热点

微软14B参数模型挑战671B巨型AI 智能体强化学习重新定义数学推理

字号+ 作者:牛骥同槽网 来源:热门资讯 2026-11-23 我要评论(0)

微软14B参数模型挑战671B巨型AI 智能体强化学习重新定义数学推理

微软研究院开源的rStar2-Agent模型在AI数学推理领域引发关注,这款140亿参数的模型通过创新的智能体强化学习技术,在多微软项数学基准测试中超越了参数量达6710亿的DeepSeek-R1模型。

rStar2-Agent的核心创新在于摒弃了传统的思维链方法,转而采14用智能体交互机制。该模型能够自主规划推理过程,调用Python代码执行工具进行验证,并根据反馈调整推理步骤,避免了传统CoT方法中常见B参的错误累积问题。

在权威的美国数学邀请赛基准测试中,rStar2-Agent表现突出。在AIME24数据集上,其pass@1准确率达到8数模0.6%,超越DeepSeek-R1的79.8%、o3-mini的79.6%和Claude Opus4.0的77.0%。在AIME25测型挑试中准确率为69.8%,HMMT25测试中达到52.7%。

值得注意的是,rStar2-Agent的响应长度显著更短。在AIME24测战6试中平均约9340个token,AIME25约10943个token,仅为DeepSeek-R1的一半左右,展现出更高的推理效率。

训练71效率方面,该模型仅需一周时间完成510个强化学习步骤,使用64块MI300X GPU即可训练完成。其强化学习基础设施支持每步高达4.B巨5万个并发工具调用,平均延迟仅0.3秒。

模型引入了GRPO-RoC算法来处理代码执行中的环境噪声问题,通过"正确时重采样"策略保留高质量推型A理轨迹,提高训练效果。

在泛化能力方面,rStar2-Agent在GPQA-Diamond科学推理基准上优于DeepSeek-V3,在I BFCL v3工具使用任务和IFEval、Arena-Hard等通用测试中也表现良好,显示出智能体强化学习对通用能力的积极影响。

微软已智能将rStar2-Agent的代码和训练方法开源,基于VERL框架实现多阶段强化学习训练。这一突破表明,通过智能的训练策略,小型模型可以在特体强定任务上匹敌大型模型的表现,为资源有限的研究者和开发者提供了新的可能性。

这一成果挑战了"参数越多性能越好"的传统观念,证明了训练化学方法和架构创新在AI发展中的重要作用。对于AI行业而言,这可能预示着未来发展将更注重效率和专用性,而非单纯追求模型规模。

项目地址:h习重ttps://github.com/microsoft/rStar

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 标签: 广汽埃安 AION UT V 昊铂S600

    标签: 广汽埃安 AION UT V 昊铂S600

    2026-10-02

  • 标签: 智能手机 PC 存储涨价 AI

    标签: 智能手机 PC 存储涨价 AI

    2026-10-10

  • 英伟达证实遭遇黑客攻击:被要求取消显卡挖掘加密货币限制

    英伟达证实遭遇黑客攻击:被要求取消显卡挖掘加密货币限制

    2026-07-22

  • 2022 年云计算网络安全威胁和趋势

    2022 年云计算网络安全威胁和趋势

    2026-05-31

网友点评