核心信息

ggerganov 宣布 llama.cpp 现已支持决策模型，最新构建中新增 /v1/systemone 端点，用于在本地运行 Jev 式推理。

要点

  • 最新 llama.cpp 构建新增 /v1/systemone 端点
  • 支持本地、高效且私密的 Jev 式推理
  • 已支持多个开源模型，后续将继续增加