核心信息

LiteLLM 合并了多项网关改进，涵盖结构化输出、长响应续写、提示缓存和网页搜索路由。

要点

  • Bedrock Opus 5 和 Opus 4.8 现使用原生 JSON schema 进行结构化输出（#50222）
  • Gemini Interactions 可通过 continuation_token 续写长响应（#50151）
  • 即使关闭消息日志，提示缓存也会让对话保持在同一部署上（#50276）
  • 网页搜索请求会跳过标记为不支持网页搜索的部署（#50275）