热点

​英伟达开源 Audio2Face 模型,AI 助力实时面部动画生成

字号+ 作者:牛骥同槽网 来源:公益资讯 2026-11-23 我要评论(0)

​英伟达开源 Audio2Face 模型,AI 助力实时面部动画生成

近日,英伟达宣布开源其生成式 AI 面部动画模型 Audio2Face。这一模型不仅包含了核心算法,还提供了软件开发工具包(​英SDK)和完整的训练框架,旨在加速游戏和3D 应用中智能虚拟角色的开发。

Audio2Face 通过分析音频中的音素、语调等声学特伟达征,能够实时驱动虚拟角色的面部动作,生成精确的口型同步和自然的情感表情。这项技术广泛适用于游戏、影视制作和客户服务等多开源个领域。

Audio2Face 模型支持两种运行模式:一种是针对预录制音频的离线渲染,另一种则是支持动态 AI 角色的实时流式处理。 A为了方便开发者使用,英伟达还开源了多个关键组件,包括 Audio2Face SDK、适用于 Autodesk Maya 的本地执行插件ud,以及针对 Unreal Engine5.5及以上版本的插件。此外,回归模型和扩散模型也随之开源,开发者可以利用开源训练框io架,使用自己的数据对模型进行微调,从而适应特定的应用场景。

目前,这项技术已经被多家游戏开发商广泛采用。游戏开发公司 Surv2Fios 在其游戏《异形:侠盗入侵进化版》中集成了 Audio2Face,从而大幅简化了口型同步与面部捕捉的流程。而 Farmac51工作室也在其作品《切尔诺贝利人2:禁区》中应用了这一技术,通过音频直接生成细腻的面部动画,节省了大量制作时间,提升了角e 色的真实感和沉浸体验。该工作室的创新总监 Wojciech Pazdur 对此表示,这一技术可谓 “革命性突破”。

英伟达的这一新举措无模型疑为开发者们提供了更多的创作工具,也将推动虚拟角色表现的进一步发展。随着技术的不断进步,我们可以期待在未来的游戏和影视作品,A中看到更加真实和生动的角色表现。

入口:https://build.nvidia.com/nvidia/audio2faceI -3d

划重点:  

英伟达开源 Audio2Face 模型,旨在提升虚拟角色的面部动画生成技术。 助力; 

支持离线渲染和实时流式处理,适用于多种场景。  

已被多个游戏开发商采用,简化了制作流实时程并提升了角色的真实感。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 标签: 网易有道 有道领世 LobsterAI 学术猹

    标签: 网易有道 有道领世 LobsterAI 学术猹

    2026-09-24

  • 揭秘亚马逊新帅的Chop会议和Nice邮件 贾西之后AWS CEO花落谁家?

    揭秘亚马逊新帅的Chop会议和Nice邮件 贾西之后AWS CEO花落谁家?

    2026-08-31

  • 节省显存新思路,在 PyTorch 里使用 2 bit 激活压缩训练神经网络

    节省显存新思路,在 PyTorch 里使用 2 bit 激活压缩训练神经网络

    2026-09-03

  • 标签: 钉钉 悟空事业部 陈宇森 朱鸿

    标签: 钉钉 悟空事业部 陈宇森 朱鸿

    2026-06-24

网友点评