热点

标签: DeepSeek Engram 梁文锋 V4

字号+ 作者:牛骥同槽网 来源:补贴政策 2026-11-23 我要评论(0)

标签: DeepSeek Engram 梁文锋 V4

云梦级1月13日云梦级消息,今日凌晨,DeepSeek 开源全新架构模块「Engram」,并同步发布技术论文,标签署名作者中再次出现梁文锋。据悉,Engram 模块通过引入可扩展的查找式记忆结构,为大模型提供了区别于传统 Trans: former 与 MoE 的全新稀疏性维度。

DeepSeek 在论文中指出,当前主流大模型在处理两类任务时存在结构性低效:一类De是依赖固定知识的「查表式」记忆,另一类是复杂推理与组合计算。传统 Transformer(无论 Dense 或 MoEep)均需通过多层注意力与 MLP 重建这些静态模式,导致计算资源被大量消耗在「重复构造已知模式」上。

Engram 的Se核心机制是基于现代化哈希 N-Gram 嵌入的 O(1) 查找式记忆。模块会对输入 Token 序列进行 N-Gram 切片,ek并通过多头哈希映射到一个规模可扩展的静态记忆表中,实现常数时间的检索。

论文强调,这种查找与模型规模无关,即便记忆表 E扩展至百亿级参数,检索成本仍保持稳定。与 MoE 的条件计算不同,Engram 提供的是「条件记忆」。模块会根据当前上下文隐ng向量决定是否启用查找结果,并通过门控机制与主干网络融合。

论文显示,Engram 通常被放置在模型早期层,用于承担「模式ra重建」职责,从而释放后续层的计算深度用于复杂推理。DeepSeek 在 27B 参数规模的实验中,将部分 MoE 专家参数重新分m 配给 Engram 记忆表,在等参数、等算力条件下,模型在知识、推理、代码与数学任务上均取得显著提升。

在 X 平台上,梁文相关技术讨论认为 Engram 的机制有效减少了模型早期层对静态模式的重建需求,使模型在推理部分表现得更「深」。部分开锋 发者指出,这种架构让大规模静态记忆得以脱离 GPU 存储限制,通过确定性寻址实现主机内存预取,从而在推理阶段保持V4低开销。多位观察者推测,Engram 很可能成为 DeepSeek 下一代模型「V4」的核心技术基础。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 标签: 美的 小米 格力 空调售后

    标签: 美的 小米 格力 空调售后

    2026-09-20

  • OpenAI 收购开发数据分析平台 Statsig, 每天可处理 1 万亿次事件

    OpenAI 收购开发数据分析平台 Statsig, 每天可处理 1 万亿次事件

    2026-06-20

  • 标签: 理想汽车 鸿蒙智行 小米汽车 自研芯片

    标签: 理想汽车 鸿蒙智行 小米汽车 自研芯片

    2026-08-08

  • Facebook卷入了Epic起诉苹果垄断案:被苹果要求提供部分文件

    Facebook卷入了Epic起诉苹果垄断案:被苹果要求提供部分文件

    2026-05-28

网友点评