核心信息
Hugging Face 与 Thinky Machines 合作,让 Inkling 2 Mini 在 Apple Silicon 上实现快速本地运行:96GB M5 Ultra Mac Studio 上解码 210 tok/s、预填充 3620 tok/s;48GB M5 Max MacBook Pro 上解码 125 tok/s、预填充 1750 tok/s。
要点
- 在 M5 Ultra Mac Studio 上,Inkling 2 Mini 构建原生天气应用的速度比 Claude Sonnet 5.5 快 1.8 倍。
- 按 API 定价计算,该模型比 Claude Sonnet 5.5 便宜 11 倍。
- 96GB M5 Ultra 解码速度达 210 tok/s,48GB M5 Max 达 125 tok/s。
- 预填充吞吐分别为 3620 tok/s 和 1750 tok/s。
- 该结果被视为本地与开源 AI 在速度和成本上具备竞争力的证据。