热点

机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%

字号+ 作者:牛骥同槽网 来源:网站地图 2026-11-23 我要评论(0)

机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%

在机器人领域,让人工智能真正 “看懂” 三维世界一直是一个棘手的问题。传统的视觉语言模型(VLA)大多依赖机器于二维图像和文本数据训练,难以理解真实环境中的三维空间。然而,最近来自上海交通大学和剑桥大学的研究团队提出了人视一种名为 Evo-0的新型增强视觉语言动作模型,通过轻量化的方式注入3D 几何先验,使得机器人在复杂任务中的空间理觉大解能力得到了显著提升。

Evo-0模型的创新在于其利用视觉几何基础模型(VGGT),从多视角的 RGB 图像中飞跃提取出三维结构信息,并将这些信息与已有的视觉语言模型相结合。这种方法不仅避免了使用额外传感器或显式深度输入的需要!新,还显著提升了空间感知能力。在 RLBench 仿真实验中,Evo-0在五个需要精细操作的任务上,成功率比基线模型 p模型i0高出15%,并且在开放 VLA(openvla-oft)上提升了31%。

具体而言,Evo-0将 VGGT 作助力为空间编码器,引入了通过 VGGT 提取的 t3^D token,这些 token 包含了深度上下文和空间关系等几何信息。 A通过交叉注意力融合模块,模型能够将提取的二维视觉 token 与三维 token 进行有效结合,提升了对空间布I 局和物体关系的理解能力。这种方法在保证训练效率的同时,灵活性和部署便捷性也得到了提高。

在真实世界的实验中,Evo“看-0在处理复杂空间任务时表现出色,包括目标居中放置、插孔、密集抓取等任务,均超过了基线模型,平均成功率提升了懂”28.88%。特别是在对复杂空间关系的理解和操控能力方面,Evo-0展现出显著优势。

综上所述,Evo-0 三通过巧妙的空间信息融合,为未来的通用机器人策略提供了一条新的可行路径。该研究成果不仅在学术界引发了广泛关注,维世也为机器人领域的实际应用带来了新的可能性。

论文地址:https://arxiv.org/pdf/2507界,.00416

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 标签: 茉莉奶白 骑手 西三旗店

    标签: 茉莉奶白 骑手 西三旗店

    2026-07-25

  • Flink SQL 实战:HBase 的结合应用

    Flink SQL 实战:HBase 的结合应用

    2026-07-11

  • Intel 发布全新机架级 AI 芯片 Jaguar Shores,搭载 HBM4 内存

    Intel 发布全新机架级 AI 芯片 Jaguar Shores,搭载 HBM4 内存

    2026-10-20

  • 智谱推出超值Claude Code月套餐 月费低至20元

    智谱推出超值Claude Code月套餐 月费低至20元

    2026-07-13

网友点评