核心信息

LiteLLM 现已支持运行在 Kubernetes 上的自托管模型的缓存感知路由。路由器会将每个 agent 会话固定在同一 GPU pod 上，使 vLLM 能够复用其提示缓存。

要点

  • 缓存感知路由面向 Kubernetes 上的自托管模型部署
  • 每个 agent 会话保持在同一个 GPU pod 上
  • 通过 pod 亲和性让 vLLM 在多次请求间复用提示缓存
  • 附有详细介绍的博客文章链接