核心信息

LiteLLM 现在对回退模型执行按模型的 TPM 和 RPM 限制，token 计入实际提供服务的模型。

要点

  • 场景一：Opus 失败且密钥未达回退模型限额时，LiteLLM 将请求路由到回退模型，token 计入该模型并由其提供服务。
  • 场景二：Opus 失败且密钥已达回退模型限额时，LiteLLM 不路由到回退模型，调用方收到原始 Opus 错误。
  • 该变更对应 PR #51082 和 #50994。
  • 按模型限制现在不仅约束主模型，也约束回退行为。