核心信息
LiteLLM 宣布在 LiteLLM SDK 中推出 Agent 评测功能,用户可通过 litellm.agent_eval() 在自有任务上对比模型与 harness。
要点
- 新能力:Agent 评测内置于 LiteLLM SDK
- 用户可在自定义任务上对比不同模型
- 除模型外,还可对比不同 harness
- 通过 litellm.agent_eval() 函数调用
LiteLLM 宣布在 LiteLLM SDK 中推出 Agent 评测功能,用户可通过 litellm.agent_eval() 在自有任务上对比模型与 harness。