核心信息

Hugging Face Diffusers 的张量并行加载迎来重大升级，在 A10G 上以 TP=4 加载 Flux.2-Dev DiT 时，加载速度提升约 2.4 倍，每个 rank 的峰值 CPU 内存占用降低约 89%。

要点

  • 加载时间从 30.4 秒降至 12.5 秒（TP=4，A10G）
  • 每个 rank 峰值 CPU 内存从 64.1 GB 降至 6.8 GB
  • 整体加载速度提升约 2.4 倍
  • CPU 内存占用下降约 89%
  • 改动作用于 Diffusers 库的张量并行模型加载路径