核心信息

Meta 介绍了其位于俄亥俄州新奥尔巴尼的吉瓦级超级集群 Prometheus，Muse Wonder 等 Muse 基础模型即在此训练，并公布了大规模训练的可靠性指标。

要点

  • Prometheus 拥有数十万块 GPU，单台性能不达标的机器就可能拖慢整个训练任务。
  • Meta 针对大规模场景做了韧性设计，预训练有效算力利用率达 85% 以上，强化学习达 90% 以上。
  • Muse Wonder 训练期间，平均每约 4.7 万 GPU 小时才发生一次中断。
  • Meta 附上了介绍 Prometheus 底层技术的链接。