热点

​Meta 研究人员揭开大语言模型黑箱,修复 AI 推理缺陷

字号+ 作者:牛骥同槽网 来源:厨房电器 2026-11-23 我要评论(0)

​Meta 研究人员揭开大语言模型黑箱,修复 AI 推理缺陷

近日,Meta 的人工智能研究团队与爱丁堡大学合作,开发了一种新技术,能够预测大型语言模型(LLM)推理的正确性,​M并在发现错误时进行修复。这种名为电路基础推理验证(CRV)的方法,旨在深入观察 LLM 的内部 “推理电路”,以便在模型解决问et题时检测出计算错误的迹象。

研究表明,CRV 可以通过构建并观察模型内部激活的计算图,以高准确率检测到 LLM 的推理错误。这一a 突破性的发现意味着研究人员可以利用深层次的内部信息,对模型的错误推理进行针对性的干预。

链式思维推理(CoT)作为一种提升研究 LLM 在复杂任务上表现的方法,已经被广泛应用,但它的可靠性依然存在问题。现有的验证方法主要分为两类:“黑箱” 方法通人员过分析最终生成的 token 或置信度分数来验证;“灰箱” 方法则试图观察模型的内部状态,然而这些方法并不能解释计算失败揭开的根本原因。

CRV 采用了一种 “白箱” 验证方法,认为模型在执行任务时会使用专门的神经元子图。通过替换标准的稠密层为训练过的大语 “转码器”,研究人员使目标 LLM 变得可解释,从而可以观察到其内部工作原理。接着,CRV 会构建一个 “归因图”,映射信息在言模模型各个部分之间的因果流动,并提取出描述图特性的 “结构指纹”。最终,训练一个 “诊断分类器” 来预测推理步骤是否正确。

研究团队型黑在 Llama3.1模型上进行了实验,结果表明,CRV 在各种数据集和指标上均优于其他验证方法,展现了其强大的有效性。同时,研箱,究发现,不同推理任务中的错误签名具有领域特异性,这意味着不同类型的推理依赖于不同的内部电路。

最重要的是,CRV 不仅仅是修复相关性分析,它提供了一种透明的计算视图,使得预测的失败可以追溯到特定组件,研究人员因此可以通过抑制错误特征,实时修正模型 A的推理路径。

划重点:

CRV 技术能有效预测并修复 LLM 的推理错误,提高 AI 的可靠性。

🧠 研究采用了 “白箱” 验证方法,揭示I 了 LLM 的内部推理电路。

CRV 的成功应用为未来 AI 模型调试工具的开发奠定了基础。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 标签: 字节跳动 豆包 Dola助手 AI模型

    标签: 字节跳动 豆包 Dola助手 AI模型

    2026-09-25

  • Z 世代 AI 态度大转弯:警惕感上升,兴奋度骤降

    Z 世代 AI 态度大转弯:警惕感上升,兴奋度骤降

    2026-10-17

  • Hinton独立发布44页论文:给你们个idea,自己去试吧

    Hinton独立发布44页论文:给你们个idea,自己去试吧

    2026-06-27

  • ​OpenAI 正式进驻印度,计划在新德里设立办公室

    ​OpenAI 正式进驻印度,计划在新德里设立办公室

    2026-09-14

网友点评