MindTopo揭示视觉语言模型的空间推理能力
微软研究院发布MindTopo基准，用于评测多模态大模型是否具备拓扑直觉，即理解连通、分离、顺序、包围与打结等结构关系。
具体内容
微软研究院发布MindTopo基准，用于评测多模态大模型是否具备拓扑直觉，即理解连通、分离、顺序、包围与打结等结构关系。基准包含推理与规划两类任务：前者让模型观察静态场景并回答拓扑问题，后者要求模型在模拟环境中通过一系列动作创建、保持或改变这些关系。作者称，当前模型在静态识别上明显好于交互规划，且均低于人类水平；失败多出现在规划阶段，模型会丢失结构关系或提出违反物理约束的动作。
- MindTopo围绕连续性、分离、顺序、包围和打结五类拓扑属性设计任务。
- 评测显示模型静态识别优于交互规划，规划中常丢失结构关系或违反约束。
- 作者称图像与视频生成辅助在跨多步操作时仍不可靠，常改变拓扑。
官方研究或发布信息；实验结果、评测和研究系统不等于已获独立验证或已经面向所有用户开放。
用户标记：未标记
固定编号：2f40d072c07232ba
原文来源