核心信息

腾讯混元(Hy)团队在 Reddit r/LocalLLaMA 举行首次 AMA,披露了此前未公开的细节,包括路线图中的更小模型 Hy4-mini,以及 Hy4 架构选择的考量。

要点

  • 确认更小的 Hy4-mini 模型已在路线图中。
  • 团队将考虑推出适合本地运行的更小开源图像模型(Hy Image 3.0 对多数设备过大),并预告视频模型即将推出。
  • 在 Hy4 最终设计上,团队在 GQA 与 MLA 之间反复权衡:相同 KV 缓存大小下 MLA 模型质量更好,但计算强度显著更高,导致推理 GPU 上的投机解码受计算瓶颈限制。
  • 团队表示 DSA 缓解了计算取舍问题,最终倾向选择 GQA。