热点

​月之暗面推出新型混合线性注意力架构 “Kimi Linear”

字号+ 作者:牛骥同槽网 来源:消费者权益 2026-11-23 我要评论(0)

​月之暗面推出新型混合线性注意力架构 “Kimi Linear”

近日,月之暗面发布了一种全新的混合线性注意力架构,名为 “Kimi Linear”。这一架构据称在处理短距​月离、长距离信息以及强化学习(RL)等多种场景中,性能优于传统的全注意力方法。其核心技术 Kimi Delta At之暗tention(KDA)是对 Gated DeltaNet 的一次优化,特别引入了一种更高效的门控机制,以更好面推地管理有限状态 RNN 的记忆使用。

Kimi Linear 的设计由三份 Kimi Delta Attention 和出新一份全局 MLA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆,使得模型在处理信息时更加高效。官方指出型混,在处理1M token 的数据场景中,Kimi Linear 的 KV cache 占用降低了75%,而解码吞吐量最高合线可提升6倍,TPOT 相较于传统 MLA 加速了6.3倍。

这种新的架构为各种 AI 应用场景提供了更强的支持,无论是在性注信息密集型的自然语言处理任务还是在动态环境中的强化学习,Kimi Linear 都有着显著的优势。随着 AI 技术意力的不断发展,这种高效的注意力机制可能会为未来的智能应用带来新的突破。

更多技术细节可以在 Kimi Linea架构r 的技术报告中找到,https://github.com/MoonshotAI/Kimi-Linear/ “blob/master/tech_report.pdf。

划重点:  

Kimi LinKiear 是一种新型的混合线性注意力架构,优化了信息处理性能。  

该架构在1M token 场mi景下,KV cache 占用减少75%,解码吞吐量提升6倍。  

Kimi Delta Attent Lion 是其核心技术,通过细粒度门控优化了 RNN 的记忆管理。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 阿里云季度营收增长34%,吴泳铭:需求旺盛,AI服务器上架节奏跟不上订单增长速度

    阿里云季度营收增长34%,吴泳铭:需求旺盛,AI服务器上架节奏跟不上订单增长速度

    2026-11-04

  • 标签: 万辰集团

    标签: 万辰集团

    2026-11-18

  • 黄仁勋揭秘英伟达与OpenAI的战略合作:未来十万亿级市场的 “赢家”!

    黄仁勋揭秘英伟达与OpenAI的战略合作:未来十万亿级市场的 “赢家”!

    2026-11-23

  • 标签: 阿里巴巴 Trendyol GO 优步 AI驱动

    标签: 阿里巴巴 Trendyol GO 优步 AI驱动

    2026-10-30

网友点评