核心信息

腾讯为其开源 Hy Memory 栈推出了更小的本地部署方案：从 vLLM 切换到单个 llama.cpp 二进制后，体积从 60GB 降至 18GB，同时记忆库仍保存在用户自己的磁盘上。

要点

  • 本地部署体积从 60GB 缩减至 18GB。
  • 运行时栈由 vLLM 简化为单个 llama.cpp 二进制。
  • 在腾讯自有的 LoCoMo 评测中，Q6_K 得分 58.8%，Q4_K_M 得分 56.5%。
  • 记忆数据仍存储在用户本地磁盘。
  • 模型权重已在 Hugging Face 上提供。