核心信息

LiteLLM 推出客户管理功能,可按组织、团队和成员追踪每位客户的用量与花费,解决“客户付 100 美元、Agent 用量成本却超过 100 美元”的问题。

要点

  • 用量与花费可按客户在组织、团队、成员三个层级追踪。
  • 支持的定价模式之一是高级模型分层:高级模型仅在高档套餐中出售,并在客户密钥上设置独立额度。
  • 额度用尽后,请求会回退到成本更低的模型,客户仍可继续使用。
  • LiteLLM 将于 11 月 20 日太平洋时间上午 10 点进行线上演示。