核心信息

LiteLLM 现在会在响应中附带限流归因信息，告诉调用方是哪条具体限制导致了 429 错误或触发了回退。相关改动见 PR #51228 与 #51138。

要点

  • 当没有可用回退时，LiteLLM 返回 429，并将 rate_limited_by 设为拦截该请求的具体规则（例如 model_per_end_user）。
  • 当使用回退时（例如 Opus 触达上限后路由到 Sol），响应头会标明发生了一次回退以及触发它的具体限流规则。
  • 这让网关用户排查限流问题与回退行为更加透明。