热点

​英伟达开源 OmniVinci 全模态理解模型,训练数据仅为 1/6

字号+ 作者:牛骥同槽网 来源:诚信经营 2026-11-23 我要评论(0)

​英伟达开源 OmniVinci 全模态理解模型,训练数据仅为 1/6

近日,英伟达研究团队发布了全新的 OmniVinci 全模态理解模型,该模型在多个全模态理解基准测试中,表现出色,超越了​英目前最顶尖的模型19.05分。更令人瞩目的是,OmniVinci 在训练过程中仅使用了0.2万亿的训练 Token,相较于伟达竞争对手的1.2万亿,其数据效率是其六倍。

OmniVinci 的核心目标是打造一个可以同时理解视觉、音频和文本的人工智能系统,使开源机器能够像人类一样,通过不同感官感知和理解复杂的世界。为了实现这一目标,研究团队不仅仅是简单地增加数据量,而是通过创新 O的网络架构和数据管理策略,成功实现了性能和效率的双重提升。

在设计上,OmniVinci 采用了全模态潜在空间的概念,旨在融合来自mn不同感官的信息,实现跨模态的理解与推理。研究团队发现,不同模态之间在感知和推理层面能够相互强化,这一发现为多模态 AI 系统的构建iV指明了方向。

OmniVinci 的架构设计具有可组合的跨模态理解能力,整合了图像、视频、音频和文本等异构输入。通过统一的全模态对in齐机制,该模型能够将不同模态的嵌入信息整合到一个潜在空间中,进一步输入到大语言模型(LLM)中。该机制包括三项关键技术,其中 OcimniAlignNet 模块有效对齐视觉和音频信息,而时间嵌入分组和约束旋转时间嵌入则提升了模型对时间信息的理解。

为了培养 全 OmniVinci 的全模态理解能力,研究团队采用了两阶段的训练方法。首先是模态特定训练,接着进行全模态联合训练,利用隐式和显模态式学习数据,显著提升了模型的联合理解能力。

随着 OmniVinci 的发布,英伟达再次展示了其在人工智能领域的技术创新,预示理解着未来 AI 系统将更加智能、灵活。

github:https://github.com/NVlabs/OmniVinci

划模型重点:

OmniVinci 模型在全模态理解基准测试中超越了顶尖模型19.05分。  

训练数据量仅为竞争,训对手的1/6,数据效率提升至六倍。  

采用创新架构和两阶段训练方法,显著提升模型的多模态理解能力练数。  

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 标签: 萝卜快跑 武汉自动驾驶 系统故障 高架拥堵

    标签: 萝卜快跑 武汉自动驾驶 系统故障 高架拥堵

    2026-09-15

  • 标签: OpenClaw 黄仁勋 大模型公司

    标签: OpenClaw 黄仁勋 大模型公司

    2026-09-13

  • 图算法系列之无向图的数据结构

    图算法系列之无向图的数据结构

    2026-10-03

  • 苹果支付部门招聘业务开发经理 要求拥有加密货币工作经验

    苹果支付部门招聘业务开发经理 要求拥有加密货币工作经验

    2026-09-26

网友点评