核心信息

MiniMax 介绍了社区通过量化让 428B 参数的 M3.1 Flash 模型更易在本地运行的工作，其中包括 143.9 GB 的 2-bit Dynamic GGUF 版本。

要点

  • 更低比特的权重可减少加载模型所需的内存，以及解码过程中搬运的权重数据量。
  • Unsloth（@UnslothAI、@danielhanchen）制作了 143.9 GB 的 2-bit Dynamic GGUF 权重，并在编码、工具调用等工作负载上做了校准与保真度测试。
  • @ViC305 贡献了 SAGE-EXL3，包含 token 级保真度测量和单台 DGX Spark 的部署方案。
  • @PeasantSmith 贡献了 Project Maya 量化版本与专家卸载方案。
  • 要让这些节省真正有用，需要细致的校准、高效的低比特内核，以及在 GPU 与系统内存之间做硬件感知的专家放置。