核心信息
LiteLLM 发布 Lens Profiles 功能,通过自动识别客户使用 agent 的任务类型,并将网关记录的支出归因到这些任务,从而把生产流量转化为任务级模型评测。
要点
- 无需逐条人工标注即可自动发现 agent 任务
- 将网关记录的支出归因到具体任务,定位成本优化重点
- 按任务对比模型部署的请求量、平均成本和 p95 延迟
- 基于任务分类和真实生产运行,针对客户实际负载构建评测
- 提供了网关成本归因的实现 PR 供参考
LiteLLM 发布 Lens Profiles 功能,通过自动识别客户使用 agent 的任务类型,并将网关记录的支出归因到这些任务,从而把生产流量转化为任务级模型评测。