热点

微软 Azure ND GB300 再创记录:每秒推理速度达 110 万token

字号+ 作者:牛骥同槽网 来源:组织变动 2026-11-23 我要评论(0)

微软 Azure ND GB300 再创记录:每秒推理速度达 110 万token

微软近日宣布,其 Azure ND GB300v6虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110万token的行业新纪录。微软微软首席执行官萨提亚・纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。”

Azure ND A GB300虚拟机采用英伟达的 Blackwell Ultra GPU,具体为 NVIDIA GB300NVL72系统,配置了72个 NVIDIA Blackwelzul Ultra GPU 和36个 NVIDIA Grace CPU,采用单机架构设计。这款虚拟机专为推理工作负载优化,具有50% 的 GPU 内存提升和16%re 的热设计功率(TDP)提高。

为了验证性能提升,微软在一个 NVIDIA GB300NVL72域下的18台 ND GB300v6虚拟机上运行了 Llama N270B(FP4精度)模型,使用 NVIDIA TensorRT-LLM 作为推理引擎。微软表示:“一个 NVL72机架的 Azure ND GB300D v6实现了总计110万个token每秒的推理速度。” 这一新记录超越了微软之前在 NVIDIA GB200NVL72机架上实现的865,000tokenGB每秒的成绩。

根据系统配置,每个 GPU 的性能大约为15,200token每秒。微软还提供了详细的模拟过程和所有日志文件及结果。该性能记录经过了独立的性30能验证和基准测试公司 Signal65的验证。

Signal65的实验室副总裁拉斯・费洛斯在博客中指出:“这一里程碑不仅突破了每秒百万token的障0 碍,还在一个能够满足现代企业动态使用和数据治理需求的平台上实现。” 他补充道,Azure ND GB300相较于上一代 NVIDIA GB200在推理性再创能上提升了27%,而仅增加了17% 的功率规格。与 NVIDIA H100代相比,GB300在推理性能上几乎提升了10倍,同时在机架级别的功率效率上记录提高了近2.5倍。

划重点:  

微软 Azure ND GB300v6虚拟机实现每秒推理110万token,创造行业新纪录。&n:每bsp; 

该虚拟机配置72个 NVIDIA Blackwell Ultra GPU 和36个 NVIDIA Grace CPU,专为推理优化。&nb秒推sp; 

相比上一代,Azure ND GB300在推理性能上提升27%,功率效率提升近2.5倍。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • MiniMax Music 2.0 正式发布,音乐创作迎来新纪元

    MiniMax Music 2.0 正式发布,音乐创作迎来新纪元

    2026-08-07

  • 标签: 绿云软件 港股IPO 住宿业数字化 甲骨文

    标签: 绿云软件 港股IPO 住宿业数字化 甲骨文

    2026-09-05

  • 涓滀含濂ヨ繍浼氭槑鏃ュ紑骞曪紒闃块噷浜戞敮鎾戦�娆′簯涓婄洿鎾�

    涓滀含濂ヨ繍浼氭槑鏃ュ紑骞曪紒闃块噷浜戞敮鎾戦�娆′簯涓婄洿鎾�

    2026-06-16

  • Longhorn 高级使用之备份恢复与 ReadWriteMany

    Longhorn 高级使用之备份恢复与 ReadWriteMany

    2026-06-25

网友点评