Qwen3的VL模型测试感悟,
- 表格识别,Qwen3-VL依旧牛逼,本来Qwen2.5-VL就很强
- 对色彩的把握程度变高,之前色盲测试一堆问题,现在多次实验,结果均正确
- 图片排序任务,雪糕对了,菌子错了,但也解释比较合理,相较于Qwen2.5提高很多,并且比主流开源VL模型效果要好
- 网页复刻任务效果比较差,这个跟榜单coding提高有点不同,但我测试了几个复刻,效果都一般
- 空间变换能力较之前有提高,可以正确识别出主视图,但其他较复杂变换,还是不行
- 数据、推理计算很强,尤其是是推理计算,比主流开源VL模型都要好
- 目标对比不好,但可以通过grouding正确识别,感觉还是图片编码切割的问题,现在VL模型都一样
- 世界知识跟训练集相关,上海金茂大厦依然识别成上海中心大厦
- 我发现,think版本相较于instruct版本会过度思考,而导致回答错误
- 当然GUI本质是在屏幕理解并找到正确内容位置,因为grouding不错,GUI能力也不错
- 有的结果差不多,instruct和think我就放一个了
发布于 江苏
