核心信息

最新 llama.cpp 构建版本新增 /v1/systemone 端点，可在本地高效、私密地运行 Jev 式决策推理，支持多个开放模型。

要点

  • 新增 /v1/systemone 端点，已出现在近期 llama.cpp 构建中
  • 支持 Jev 式推理：对选项排序、估计是/否概率、为有序量表打分
  • 完全本地运行，注重隐私，无需生成文本
  • 已支持多个开放模型，后续还将增加更多
  • 配套 Gradio playground 演示，可向 Julia-1 输入情境并观察决策随上下文变化