先看证据

DecoyCount包含1,660张真实场景图像。关键事实
基准覆盖7类计数诱饵机制。关键事实
Glimpse内部单次测试准确率为50.48%。关键事实
GPT-6 Astra准确率为43.17%。关键事实
Gemini-3.8-flash准确率为32.71%。关键事实
Qwen3.8-max准确率为28.31%。关键事实

同一张图,错误可能出在不同地方

Elorian于2026年10月发布视觉推理模型Glimpse,并与AI数据公司Mercor共同推出DecoyCount基准,测试模型能否在真实场景图像中按规则数清对象。这个问题看似简单:图里有几个苹果?但若苹果出现在镜子里,答错可能是模型漏看了实物,也可能是把倒影算成第二个苹果。

这两种错误需要不同的修正办法。前者偏向视觉感知,后者涉及模型如何界定“要数的集合”;只看最后报出的数字,就会把它们混成同一种失败。DecoyCount的价值,是尝试把这层差异显露出来,而不是只给模型一个更难的计数题。

基准把“数错”拆成可观察的条件

DecoyCount包含1,660张真实场景图像,覆盖七类诱饵:重复或倒影、计数单位错误、先验预期、相似物、图中文字、结构性排列,以及估数。诱饵不是随机增加的干扰,而是对应常见的错误答案来源,例如把包装上的印刷数字当成物体数量,或受排列方式影响而漏数。

同一图像会配上不同问法:不提示规则的中性问题、说明计数规则但不泄露答案的匹配提示,以及放进现实情境的多步问题。研究者比较中性问题与匹配提示下的准确率差,将其称为“推理对齐差”。这个差值能说明模型是否容易被错误计数规则带偏,但它不是模型全部视觉能力或推理能力的总分。

提示能救回一部分错误,却不是视觉升级

论文中的六个模型在中性问题下准确率都低于50%,最高的是GPT-6 Astra,达到43.17%。匹配提示带来的准确率提升为11.77至22.09个百分点;其中GPT-6 Astra提升22.09个百分点,Gemini-3.8-flash提升11.77个百分点。六个模型里有五个在中性条件下答中诱饵的次数多于答对真值,加入匹配提示后,诱饵命中减少43.3%至66.7%。

这些变化说明,至少一部分错误不是“看不见”,而是模型在不明确的规则下顺着诱饵作答。不过,提示能改变答案,不等于模型因此看得更清楚;论文也发现,更丰富的现实情境没有普遍改善表现。情境题只挽回了中性题错误的11.6%至32.6%,而估数类诱饵的提示收益较小,问题可能更多落在感知或精确枚举上。

Glimpse的领先,需要和测试条件一起读

Latent Space报道,Elorian CEO Andrew Dai称,Glimpse在1,660项DecoyCount测试上的无提示准确率为50.48%。同一报道列出的对照成绩包括GPT-6 Astra的43.17%、Gemini-3.8-flash的32.71%、Qwen3.8-max的28.31%,以及Claude-Fable-5.1的25.22%。Dai表示评测图像和文本没有用于训练,已检查的训练数据也未发现重叠。

但这不是论文中的正式同条件排名。Glimpse的数字来自单次内部测试,且没有agent或工具框架;论文里的六个模型各运行三次并取平均。公开材料也没有独立审计或完整复现记录。因此,50.48%可以作为一个值得跟进的结果,却不能直接证明Glimpse稳定胜过其他模型,更不能单凭分数确认视觉思考机制就是领先原因。

工程上先诊断失败,再决定改哪里

对技术团队而言,DecoyCount式评测的实用价值,是把“视觉模型数不准”转成更具体的问题:漏看对象、把相似物算进去、误读文字,还是枚举时失去跟踪。若不同问法在同一张图上造成明显差异,团队就能进一步判断应优先检查标注与训练数据、感知模块,还是计数规则和推理策略,而不是只靠总体准确率猜原因。

但这套基准聚焦视觉计数诱饵,不能替代对更广泛视觉推理或真实部署任务的评估。Glimpse宣称会在推理过程中生成、编辑图像,并使用视觉工作区和工具;公开资料尚不足以让外部人员独立复现这套过程。可执行的判断是:把其成绩视为候选模型信号,先在同一数据、同一设置下多次复测,再检查各类诱饵上的错误变化,之后才谈机制是否值得迁入产品。