热点

从视频片段中推断楼层平面图 新AI研究令人大开眼界

字号+ 作者:牛骥同槽网 来源:保险资讯 2026-11-23 我要评论(0)

从视频片段中推断楼层平面图 新AI研究令人大开眼界

平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如,一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局,这样3D传感器和摄像机就可以捕捉到整个空频片间。

1月11日消息,据外媒报道,近日,来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学的段中研究人员正在探索一种人工智能技术,利用视觉和音频,从一个短视频剪辑中重建一个平面图。

研究人员断言,音推断频提供了空间和语义信号,补充了图像的映射能力。他们说,这是因为声音天生是由物体的几何形状所驱动的。声音从楼层表面反射回来,揭示了房间的形状,远远超出了相机的视野。从远处听到的声音,甚至是多个房间之外的声音,可以揭平面示自由空间的存在,声音物体可能存在。此外,从不同方向听到的声音暴露了基于这些声音所代表的活动或事物图 的布局。例如,淋浴的声音可能暗示着浴室的方向,而微波炉的声音则暗示着厨房的方向。

研究人员的方法新A被称为AV-Map,旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模型利用音频和视觉I研数据序列来推理楼层平面图的结构和语义,最终使用解码组件融合音频和视频信息。AV-Map生成的平面图大究令大超出了视频中直接可见的区域,显示了划分为离散语义房间标签(如家庭房间和厨房)的自由空间和被占用区人大域。

该团队在来自Matternet3D和SoundSpaces数据集的数字环境中试验了两种设置,即主开眼动和被动。在第一个实验中,使用一个虚拟摄像机在模型房屋的房间内移动时发出一种已知的声音。在第二种情从视况下,只依赖家中物体或人自然发出的声音。

研究人员表示,在未来的工作中,将计划考虑扩展多层平面图频片,并将绘图想法与机器人连接起来,主动控制摄像头。

 

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 年度重磅发布:《人工智能发展报告2020》

    年度重磅发布:《人工智能发展报告2020》

    2026-08-28

  • 标签: 宇树科技 GD01 载人机甲 变形机甲

    标签: 宇树科技 GD01 载人机甲 变形机甲

    2026-11-14

  • 云安全日报201223:思科IP电话发现拒绝服务漏洞,需要尽快升级

    云安全日报201223:思科IP电话发现拒绝服务漏洞,需要尽快升级

    2026-09-03

  • 标签: 华沿机器人 大族机器人 协作机器人 大族激光

    标签: 华沿机器人 大族机器人 协作机器人 大族激光

    2026-07-15

网友点评