核心信息

Hugging Face 发布了《终极 MoE 训练手册》，这是一份基于 80 万 GPU 小时实验的免费开源资源，旨在解决训练团队在构建混合专家模型时遇到的实际问题。

要点

  • 当前 20 个最佳开源模型中有 18 个是混合专家模型，但训练知识仍集中在少数团队手中。
  • 手册涵盖专家数量和大小、共享与非共享专家、all-to-all 通信开销、路由器选择（softmax、sigmoid、sqrt(softplus)）、辅助损失与 DeepSeek 的无损偏置等。
  • 内容围绕训练团队遇到的真实问题组织，例如为什么运行速度慢 25 倍但日志中没有错误。
  • 该资源免费且开源。