核心信息

Mistral Large 4 的技术报告在 alphaXiv 独家发布，指出激进压缩 KV-cache 内存会损害大模型的智能体能力，即便其语言建模表现看起来没有变化。

要点

  • Mistral 最初将 KV-cache 内存压缩了 16 倍，但发现这会损害长上下文智能体任务——这类任务需要从更早的上下文中检索信息。
  • 修复方式：在更多层恢复全上下文注意力，随后采用 DeepSeek 稀疏注意力，在上下文中选取最相关的 2,048 个 token，而非对所有 token 都做注意力计算。
  • 该方案最终用于其 1T 参数 MoE 模型，激活参数为 52B（原推文在此处被截断）。