核心信息

LiteLLM 发布 Lens Profiles 功能,通过自动识别客户使用 agent 的任务类型,并将网关记录的支出归因到这些任务,从而把生产流量转化为任务级模型评测。

要点

  • 无需逐条人工标注即可自动发现 agent 任务
  • 将网关记录的支出归因到具体任务,定位成本优化重点
  • 按任务对比模型部署的请求量、平均成本和 p95 延迟
  • 基于任务分类和真实生产运行,针对客户实际负载构建评测
  • 提供了网关成本归因的实现 PR 供参考