核心信息

一位 Qwen 大使报告，在配备 128 GB DDR5 的单张 RTX 5090 上运行 Qwen3.8 Flash-Next，借助 Strata 引擎与 ISTA Lab 的 IQ3_S 量化，编程任务解码速度达 150 tok/s。

要点

  • 单张 5090 在编程提示词上实现 150 tok/s 解码
  • 混合提示词中位数约 130 tok/s，长文本约 100 tok/s
  • 配置为 128 GB DDR5，非理想的四内存条双通道
  • 性能归功于 Niko1221 的 Strata 引擎与 IQ3_S 量化
  • 展示了消费级硬件上的高吞吐本地推理