核心信息
LiteLLM Lens CLI 让开发者在终端对比不同 Agent 框架(Claude Agent SDK、OpenAI Agents SDK、LangGraph 或自研 Agent)下的模型表现,运行相同任务并生成对比指标。
要点
- 通过本地编码 Agent 指定要评估的模型 × 框架组合
- 按模型和框架对比通过率
- 统计总成本与每个成功任务成本,以及成本与质量的关系
- 测量延迟并给出失败分类(错误答案、工具误用、报错)
- 替代手工评测循环和表格收集结果的方式
LiteLLM Lens CLI 让开发者在终端对比不同 Agent 框架(Claude Agent SDK、OpenAI Agents SDK、LangGraph 或自研 Agent)下的模型表现,运行相同任务并生成对比指标。