核心信息

LiteLLM 发布本周更新日志,核心网关功能迁移至 Rust,并推出多项企业与开发者新特性,同时启动 LiteLLM for Startups 计划。

要点

  • 限流、预算与 S3 日志迁移到 Rust 热路径,/v1/messages 支持 Vertex、Bedrock 与 Azure AI Foundry。
  • Cursor CLI 订阅可置于网关鉴权之后;Claude Code 预算优先使用订阅额度,再按 API 费率计费。
  • 新增流式文本转语音、批量密钥操作、优先队列,以及用于管理多网关集群的 --control-plane 参数。
  • 首日支持 GPT 6.2 与 Gemini 4 Neon;客户门户新增应用预算与退单附加费。
  • LiteLLM for Startups 先面向 YC 公司,再开放给 5 人以上、风投支持的 AI 创业公司,打包 Rust AI 网关、Agent 追踪与评估,并提供与工程师直连的 Slack 频道。