核心信息

LiteLLM 宣布在 LiteLLM SDK 中推出 Agent 评测功能,用户可通过 litellm.agent_eval() 在自有任务上对比模型与 harness。

要点

  • 新能力:Agent 评测内置于 LiteLLM SDK
  • 用户可在自定义任务上对比不同模型
  • 除模型外,还可对比不同 harness
  • 通过 litellm.agent_eval() 函数调用