核心信息

Hugging Face 与 Thinky Machines 合作,让 Inkling 2 Mini 在 Apple Silicon 上实现快速本地运行:96GB M5 Ultra Mac Studio 上解码 210 tok/s、预填充 3620 tok/s;48GB M5 Max MacBook Pro 上解码 125 tok/s、预填充 1750 tok/s。

要点

  • 在 M5 Ultra Mac Studio 上,Inkling 2 Mini 构建原生天气应用的速度比 Claude Sonnet 5.5 快 1.8 倍。
  • 按 API 定价计算,该模型比 Claude Sonnet 5.5 便宜 11 倍。
  • 96GB M5 Ultra 解码速度达 210 tok/s,48GB M5 Max 达 125 tok/s。
  • 预填充吞吐分别为 3620 tok/s 和 1750 tok/s。
  • 该结果被视为本地与开源 AI 在速度和成本上具备竞争力的证据。