普林斯顿AI Lab推出了一项针对空间智能的全新评测任务:Same Space or Not(SSoN)。这项测试去除了动态变化和动作控制,仅提供四张静态室内图像,要求模型识别出其中不属于同一场景的那一张,并给出理由。
在包含1000道题目的完整测试中,人类表现准确率达到83.3%,而六个被评估的视觉语言模型(VLM)中,表现最佳的GPT-6 Astra Pro仅有39.7%的准确率,其余五个模型均低于25%的随机猜测基线。这表明,在缺乏动态交互复杂性的情况下,人类与AI在基础的静态跨视角理解能力上已存在显著差距。
为何模型表现会低于25%?这并非能力下限,而是因为SSoN专门设计了“外观变化但空间正确”的强干扰视图。模型若只识别出外观差异,却无法判断其是否源于视角变化,就可能被误导,导致表现低于随机猜测。这不代表模型毫无视觉能力,而是暴露了从识别差异到理解空间之间的鸿沟。
即便取得了39.7%的准确率,其中部分正确答案的推理依据仍不充分。为何17个视觉编码器全部低于随机基线?为何模型执行三维重建后仍无法答对半数题目?这张考卷层层剖析了“空间智能的瓶颈所在”。
空间智能的集体短板:交换与细节相对容易,旋转与移动成共同盲区
SSoN的规则简洁明了:四张图中,三张来自未改变的三维场景,一张来自编辑版本。没有指定参考图或标记异常物体,模型需自行判断哪些观察可相互印证,哪一张无法共存。例如,图中的篮球在B和D中位置一致,C虽未拍到但可由视角变化解释,而A中篮球应处的位置却空空如也。关键在于空间关系的自洽性,仅凭“看起来不同”易导致误判。
按题型分析,六类编辑呈现出三个难度层次:交换和细节变化是模型的相对优势区,六个模型在这两类上的准确率均高于整体水平,Astra Pro甚至超过80%;镜像和删除处于中间层,但多数模型仍感困难,除Astra Pro外,其余五个在镜像题上均低于25%基线,删除题最高仅为42.57%;移动和旋转则暴露了更普遍的几何推理短板,六个模型在移动题上最高准确率仅27.20%,旋转题更低至9.54%,而人类在这两类上均超过70%。即便明确告知模型编辑类型,也无法有效提升这两类成绩。
当椅子在画面中改变位置和朝向时,模型需区分是椅子移动还是相机移动,尤其当房间内有外观相似的椅子时,模型必须先识别同一实例,再结合参照物判断其位置与方向。SSoN将此类考验扩展至七个室内场景来源,涵盖六类三维编辑,通过1000道题、4000张图像,逐一揭示了模型在不同空间关系上的能力差异。
17个视觉编码器全部低于随机线
研究者尝试了另一种方法:直接找出与其他三张最不相似的图像。使用CLIP、ViT和DINOv2系列共17个视觉编码器,基于图像特征相似度选择离群视图,准确率仅16.9%至21.7%,均低于25%基线。这证实了强干扰的作用:正确的新视角可能大幅改变可见内容,而真实编辑可能仅留下局部线索,依赖全局外观差异无法可靠区分二者。
VLM同样易被表面差异误导。在开发阶段的诊断实验中,合法但易误导的视图吸引了更多错误选择;替换为清晰正面参照后,多类题目成绩明显改善。这表明,能识别变化并不等同于能跨视角推理。
近三成正确答案解释不过关
更值得关注的是,部分正确选项未必对应正确的空间判断。模型可能选对答案,却声称一个未变化的物体被移动了,或给出真实但不足以排除其他视图的线索。SSoN因此同时检查答案与证据:True solve要求选择正确且解释符合图像事实、足以支持跨视角矛盾判断。六个模型合计1368次正确选择中,29.5%未通过检查,最高模型成绩从39.7%降至34.9%。
这并非题目过于刁钻。SSoN在出题和阅卷两端均进行了核验:构建时确保异常图及至少两张正常视图提供可用证据,排除多解题和渲染捷径;阅卷时对所有正确选择进行人工证据复核。超过10,000个开发候选题的迭代,最终留下了这1000道题。
提示、重建、相机参数:哪种帮助最有效?
研究者选定100道题组成干预集,原始准确率为24%、True solve为12%。先看提示:引导模型寻找环境参照、匹配物体、判断遮挡,或直接告知六种编辑类型。结合指导与编辑类别知识时,准确率达48%,True solve为34%。提示可提供帮助,但仍未让模型答对半数。
让模型执行三维重建并检查相机视角,完整流程得到47%的准确率、34%的True solve。删除和细节类表现较好,移动与旋转仍困难。最明显的改善来自直接提供真实相机信息:在指导基础上加入ground truth相机内参、外参和图像尺寸后,准确率达61%,True solve达48%。移动类题目尤为突出,准确率和True solve均从20%升至70%。这表明相机几何能帮助模型区分“物体在画面中动了”和“物体在房间里动了”。但61%与48%之间仍有差距,提示、工具和几何信息虽能缓解困难,却未使跨视角理解变得可靠。
空间智能可训练吗?未见房间成绩接近翻倍
研究者对Qwen2.5-VL-7B进行微调,并按关联房间和场景家族隔离训练、验证和测试集。模型面对来自未见房间的201道测试题:未经微调时准确率为21.89%;仅监督答案时提升至33.33%;同时提供推理依据和答案监督时达到41.79%,接近翻倍。关键区别在于训练时是否告知模型“证据为何支持答案”。推理依据监督进一步提供变化类型、相关物体与支持视图,让模型学习将跨视角证据与最终选择联系起来。最突出的变化在旋转题上,答案监督使准确率达32.84%,加入推理依据后升至58.21%。这显示空间一致性判断可通过定向监督改善,并迁移至未见房间。
AI走进物理世界前,先学会理解同一个世界
SSoN的要求朴素而深刻:相机移动了,场景可能未变;图像变了,空间关系仍可能一致。动态空间智能需要将观察转化为规划与行动,而可靠理解当前空间是基础。SSoN去除了动作控制与实时变化,单独检验模型能否整合不同视角、接受合理视觉差异、找出真正场景矛盾。83.3%与39.7%的差距揭示了当前短板,而提示、几何与训练实验为继续追问指明了方向:我们究竟需要怎样的模型和监督,才能让AI在更换视角后,仍能理解同一个三维世界?欢迎大家亲自体验这套试题,也欢迎带上你的模型参加这场空间智能考试。爱游戏体育APP作为关注AI技术发展的平台,将持续跟踪此类前沿研究。
