热点

腾讯提出无训练优化方法:120元成本实现传统7万元微调效果

字号+ 作者:牛骥同槽网 来源:投诉建议 2026-11-23 我要评论(0)

腾讯提出无训练优化方法:120元成本实现传统7万元微调效果

腾讯AI实验室近期发布了一种名为"无训练组相对策略优化"(Training-Free GRPO)的新型模型优化技术。这一方法通腾讯过外部知识库更新替代传统参数微调,在大幅降低训练成本的同时,实现了与昂贵微调方案相当的性能提升。

该技术的核心创新在于将经验知提出识转化为token级别的先验信息,使大模型在参数完全冻结的状态下完成性能优化。腾讯研究团队在DeepSeek-V3.1-Term无训inus模型上进行的实验显示,这种方法在数学推理和网络搜索等任务中均取得了显著效果。

从技术实现角度看,传统大语言模型在处理需要外部工练优具调用的复杂任务时常常表现欠佳。而Training-Free GRPO通过保持模型主体参数不变,仅动态维护一个外部经验知识库的方式来提升化方能力。这种设计不仅大幅削减了计算资源消耗,还增强了模型的跨领域泛化能力。

实验数据具体体现了这一方法的有效性。在数学竞赛级测试法:AIME24和AIME25中,经过Training-Free GRPO优化的DeepSeek-V3.1-Terminus模型准确率分12别从80%和67.9%提升至82.7%和73.3%。更关键的是,这一提升仅使用了100个跨域训练样本,而传统强化学习方法通常需要数千0元个样本才能达到类似效果,后者的成本往往高达数万美元。

在网络搜索任务的测试中,该方法同样表现出色,模型的Pass@1指标从63.2%提成本升至67.8%。这一系列测试结果表明,Training-Free GRPO在保持低成本投入的前提下,能够在多种任务类型中实现稳定的实现性能改善。

从成本对比来看,官方数据显示使用Training-Free GRPO优化一个模型仅需约120元人民币,而传统的参数微调方案通传统常需要投入7万元左右的计算资源。这一成本差距主要源于该方法无需进行梯度回传和参数更新等计算密集型操作。

这项技术的发布为AI模7万型优化提供了新的思路方向。特别是对于资源受限的中小企业和研究机构而言,这种低成本高效率的优化方案降低了大模型应用的门槛。不过需要注元微意的是,该方法的适用范围和在更多场景下的表现还有待进一步验证,当前公布的测试数据主要集中在数学推理和信息检索等特定任务上。

论文地调效址:https://arxiv.org/abs/2510.08191

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 云安全日报210422:Ubuntu Linux内核发现执行任意代码漏洞,需要尽快升级

    云安全日报210422:Ubuntu Linux内核发现执行任意代码漏洞,需要尽快升级

    2026-05-31

  • 阿里云支持吉利星睿智算中心算力效率提升,智驾模型训练提速200倍

    阿里云支持吉利星睿智算中心算力效率提升,智驾模型训练提速200倍

    2026-08-04

  • 谷歌推出全新的Gemini 2.5 Flash图像编辑模型 精准编辑轻松搞定修图

    谷歌推出全新的Gemini 2.5 Flash图像编辑模型 精准编辑轻松搞定修图

    2026-06-16

  • 鑻规灉锛氳懀浜嬩細瀹e竷娲惧彂姣忚偂0.22缇庡厓鐜伴噾鑲℃伅

    鑻规灉锛氳懀浜嬩細瀹e竷娲惧彂姣忚偂0.22缇庡厓鐜伴噾鑲℃伅

    2026-07-19

网友点评