核心信息

GMI Cloud 在 NVIDIA B300 上运行 EAGLE-4 投机解码，并针对 Qwen3.8-27B 与其他投机器进行基准测试，公布了吞吐结果。

要点

  • 批处理下 703 tok/s
  • 比普通解码快 2.7 倍
  • 单台 4xB300 副本在 512 并发请求下达到 27,600 tok/s
  • 完整细节见链接文章