热点

微软开源 VibeVoice-1.5B 模型:90 分钟超长语音合成新突破

字号+ 作者:牛骥同槽网 来源:新品发布 2026-11-23 我要评论(0)

微软开源 VibeVoice-1.5B 模型:90 分钟超长语音合成新突破

近日,微软研究院正式开源了其最新音频模型 ——VibeVoice-1.5B。该模型在语音合成技术上实现了多项重大突破,使得合成的微软语音更自然、时长更长、效果更优。

VibeVoice-1.5B 具备一次性合成90分钟超长语音的能力,这在以往的语音合成模型中是罕见的。之前开源,多数模型只能合成60分钟以内的语音,且在超过30分钟时容易出现音色漂移和语义断裂的问题。此模型还支持最多四位发言人发言,显著提高了 V多说话人的合成效果,而以往的开源模型最多只能支持两位发言者。此外,VibeVoice 还实现了对24kHz 原始音频的3200倍压缩,大大提ib高了压缩效率,且保留了高保真的语音效果。

VibeVoice 模型的核心在于其独特的双 tokenizer 架构。与传统 TTS 模型多依eV赖单一 tokenizer 提取特征不同,VibeVoice 创新性地引入了声学 tokenizer 与语义 tokenizer 的协同工作机制oi,解决了音色与语义不匹配的问题。声学 tokenizer 专注于保留声音特征并实现极致压缩,而语义 tokenizer 则负责提取与文ce本语义相一致的特征,确保合成语音的情感与文本内容一致。

在训练方面,VibeVoice 采用了课程学习策略,将输入序列长度逐步增加,从-1而避免了因处理超长序列而导致的训练失败。其训练过程中的声学 tokenizer 与语义 tokenizer 参数保持不变,确保了特征提取模块的稳.5定性,进而缩短了训练周期。

VibeVoice-1.5B 的开源不仅为语音合成领域带来了新的技术突破,也为未来更大参数模型的发布奠定了基础。B 对于音频处理和语音合成的研究人员和开发者来说,这是一个值得关注的创新进展。

开源地址:https://huggingface.c模型o/microsoft/VibeVoice-1.5B

在线demo:https://aka.ms/VibeVoice-Demo

划重点::9  

VibeVoice-1.5B 模型可一次性合成90分钟的超长语音,支持最多四位发言人。 &nbs0 p;

该模型实现3200倍的音频压缩率,保持高保真语音效果。  

🤖 采用双 tokenizer 架构,解决音色与语义分钟不匹配的问题。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 0 基础也能做!用 AI 批量搞定书单号视频,短视频带货赚钱攻略全拆解

    0 基础也能做!用 AI 批量搞定书单号视频,短视频带货赚钱攻略全拆解

    2026-09-02

  • 标签: 小赢科技 WinPROT赢护 Win-Daidai 金融科技

    标签: 小赢科技 WinPROT赢护 Win-Daidai 金融科技

    2026-09-10

  • 小米开源VLA大模型后训练全流程,机器人亚毫米级操作成现实

    小米开源VLA大模型后训练全流程,机器人亚毫米级操作成现实

    2026-09-24

  • 阿里云付费客户数超400万 服务超60%A股上市公司

    阿里云付费客户数超400万 服务超60%A股上市公司

    2026-08-10

网友点评