核心信息

Hugging Face 的 transformers serve 新增 /v1/systemone 端点，可将 250 个受支持的 LLM 与 VLM 模型转换为类 JEV 决策模型，直接利用模型 logits 对一组决策打分，无需生成文本。

要点

  • transformers serve 新增 /v1/systemone 端点
  • 支持任意 250 个 LLM 与 VLM 模型
  • 直接基于 logits 对决策打分，跳过文本生成
  • 被称为类 JEV 决策模型，标准化即将推出
  • 标准化工作由 @art_zucker 负责