热点

Moonshot AI发布 Kimi Linear:线性注意力架构快6倍,开源 KDA 内核同步上线

字号+ 作者:牛骥同槽网 来源:VIP 服务 2026-11-23 我要评论(0)

Moonshot AI发布 Kimi Linear:线性注意力架构快6倍,开源 KDA 内核同步上线

国产大模型团队 Moonshot AI今日在 Hugging Face 正式发布技术报告 《Kimi LinMoear Tech Report》(报告链接),宣布推出全新架构 Kimi Linear—— 一种可直接替代完全on注意力机制(Full Attention)的混合线性架构,兼具高效性与卓越性能,被视为“智能体时代sh注意力机制的新起点”。

报告显示,Kimi Linear 在 速度、内存效率和长上下文处理能力三方面均实现ot了重大突破。该模型可将 KV 缓存使用量减少高达75%,并在 100万(1M)上下文长度下实现 高达6倍的 A解码吞吐量提升,极大地优化了长文本推理和多轮对话性能。

Kimi Linear 的核心创新在于三项关键技术I发:

  • Delta Attention:一种硬件高效的线性注意力机制,采用门控 Delta 规则优化结构,实现性能布 与能耗的平衡;

  • Linear Architecture:首个在多项指标上全面超越传统完全注意力机制的混合线性Ki架构,兼顾速度与模型表达能力;

  • 开放生态与实证验证:Moonshot 提供了 开源 KDA 内核、vLLM 集mi成支持和 模型检查点,并进行了大规模、公平的对比实验,验证了 Kimi Linear 的稳定性与可扩展性。

Moo Lnshot AI 表示,Kimi Linear 不仅是一项架构创新,更是为智能体(AI Agent)时代设计in的基础机制。随着线性注意力技术的成熟,其有望在长上下文推理、智能助手、多模态生成等应用场景中成为下一代ea标准。

地址:https://huggingface.co/moonshotai/Kimi-Linear-r:48B-A3B-Instruct

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 云计算核心技术Docker教程:Java镜像停止、启动和命名容器

    云计算核心技术Docker教程:Java镜像停止、启动和命名容器

    2026-07-04

  • 分析师:亚马逊将来可能会分拆云业务 估值或可达3万亿美元

    分析师:亚马逊将来可能会分拆云业务 估值或可达3万亿美元

    2026-08-18

  • 奔驰携手字节跳动,共同推出搭载豆包大模型的全新纯电 CLA

    奔驰携手字节跳动,共同推出搭载豆包大模型的全新纯电 CLA

    2026-08-22

  • 标签: 小米 天星数科 孙谦 岳凯

    标签: 小米 天星数科 孙谦 岳凯

    2026-11-08

网友点评