核心信息

据作者称，新GPU机架首次测试运行DeepSeek推理方案，24小时内处理6.77万亿token，p50首字延迟1.16秒、p50吞吐143 token/s。

要点

  • 该机架过去24小时处理了6.77万亿token。
  • p50首字延迟为1.16秒，p50吞吐为143 token/s。
  • 由于一块托盘不稳定、需要更换，p95指标表现不佳。
  • 作者称其性价比优于他们找到的所有厂商，且仍有优化空间。