核心信息

LiteLLM Lens CLI 让开发者在终端对比不同 Agent 框架(Claude Agent SDK、OpenAI Agents SDK、LangGraph 或自研 Agent)下的模型表现,运行相同任务并生成对比指标。

要点

  • 通过本地编码 Agent 指定要评估的模型 × 框架组合
  • 按模型和框架对比通过率
  • 统计总成本与每个成功任务成本,以及成本与质量的关系
  • 测量延迟并给出失败分类(错误答案、工具误用、报错)
  • 替代手工评测循环和表格收集结果的方式