热点

蚂蚁集团重磅推出 dInfer:让扩散语言模型的推理速度飙升 10 倍!

字号+ 作者:牛骥同槽网 来源:展商动态 2026-11-23 我要评论(0)

蚂蚁集团重磅推出 dInfer:让扩散语言模型的推理速度飙升 10 倍!

近日,蚂蚁集团正式开源了业内首个高性能扩散语言模型推理框架 ——dInfer。这一框架的推出,不仅意味着扩散语言蚂蚁模型在推理速度上取得了重大突破,也标志着这一新兴技术向实际应用迈出了重要一步。

在最新的基准测试中,dInfer 的集团推理速度比英伟达的 Fast-dLLM 框架提升了惊人的10.7倍。在代码生成任务 HumanEval 中,dInfe重磅r 在单次推理中达到了每秒1011个 Tokens 的速度,这一成绩在开源社区中首次实现了扩散语言模型的推理速度显著超越推出传统自回归模型。这样的进展让人们对扩散语言模型的未来充满期待,认为它将成为通往通用人工智能(AGI)的重要技术路径。

扩散 d语言模型的独特之处在于其将文本生成视作一个 “从随机噪声中逐步恢复完整序列” 的去噪过程,具备高度并行、全局视野以及结构In灵活的特点。尽管理论上拥有强大的潜力,dLLM 在实际推理中却受限于高计算成本、KV 缓存失效和并行解码等挑战。这些难题fe使得扩散语言模型的推理速度一直未能得到充分发挥,亟待突破。

针对这些挑战,dInfer 专为扩散语言模型设计,包含了四r:大核心模块:模型接入、KV 缓存管理器、扩散迭代管理器和解码策略。这样的模块化设计,像乐高玩具一样,让开发者可以灵活组让扩合和优化各个模块,同时在统一的平台上进行标准化评测。

在配备8块 NVIDIA H800GPU 的节点上,dInfer 的表现极散语为出色。在与 Fast-dLLM 的对比中,dInfer 在效果相当的情况下,平均推理速度达到了681个 Tokens / 秒,相言模比之下,Fast-dLLM 的速度仅为63.6个 Tokens / 秒。此外,与业界顶尖的推理服务框架 vLLM 上运行的自回归模型型的 Qwen2.5-3B 相比,dInfer 的速度更是达到了其2.5倍。

蚂蚁集团表示,dInfer 的推出是连接前沿研究与产业应推理用的重要一步,期待全球的开发者与研究者共同探索扩散语言模型的巨大潜能,构建更加高效与开放的 AI 生态。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • ​Perplexity Comet 浏览器遭遇恶意指令攻击漏洞,已修复但需警惕

    ​Perplexity Comet 浏览器遭遇恶意指令攻击漏洞,已修复但需警惕

    2026-11-09

  • 为淘汰Cookie推广“隐私沙箱” 谷歌向英国反垄断部门妥协

    为淘汰Cookie推广“隐私沙箱” 谷歌向英国反垄断部门妥协

    2026-06-20

  • OpenAI 推出 Workspace Agents:全天候办公时代开启

    OpenAI 推出 Workspace Agents:全天候办公时代开启

    2026-09-08

  • 浜氶┈閫婃敮鎸佺殑Rivian鐢靛姩姹借溅鍏�徃璁″垝鍦ㄧ編鍥藉缓璁剧�浜屽骇宸ュ巶

    浜氶┈閫婃敮鎸佺殑Rivian鐢靛姩姹借溅鍏�徃璁″垝鍦ㄧ編鍥藉缓璁剧�浜屽骇宸ュ巶

    2026-06-21

网友点评