核心信息

MiMo 2.6 Flash 的原生 mxfp4 权重可在异构硬件（RTX 6000 GPU 与 M5 笔记本，通过 10 GbE 互联）上以 40 tokens/sec 运行，llama.cpp 开箱即支持。

要点

  • 使用 SOTA 模型的原生 mxfp4 权重
  • 跨异构硬件协同运行（RTX 6000 + M5 笔记本，10 GbE 互联）
  • 达到 40 tokens/sec 吞吐
  • llama.cpp 开箱即支持