核心信息
LiteLLM 本周更新包括:客户门户测试版,可将流量与推理支出归因到具体客户、团队和成员;/v1/messages 端点已完全用 Rust 实现;对多个 Claude 与 Gemini 新模型提供 Day 0 支持,覆盖 Anthropic、Vertex AI、Bedrock、Azure 和 GitHub Copilot;并集成 Replicate 的视频、图像与语音模型。
要点
- 客户门户(测试版):通过 LiteLLM 服务自己的客户,并按客户、团队和成员归因流量与推理支出。
- /v1/messages 现已完全用 Rust 实现。
- Day 0 模型支持:Claude Fable 5.2、Claude Mythos 5.2、Gemini 4 Carbon、Gemini 4 Hydrogen 和 Gemini Decision 1,覆盖 Anthropic、Vertex AI、Bedrock、Azure 和 GitHub Copilot。
- Replicate 集成通过 /v1/videos、/v1/images/generations 和 /v1/audio/speech 提供视频、图像与语音模型。
- 每周五太平洋时间中午举行线上办公时间。