核心信息

Requesty 网关现在采用基于延迟的路由，将每个新会话发送到给定模型的最快提供商，排名依据首 token 时间和吞吐量，并做错误校正。会话会被固定，以保持缓存热度。

要点

  • 同一模型的最快提供商全天可能变化，因此路由按每个新会话动态选择。
  • 排名基于首 token 时间和吞吐量，并带有错误校正。
  • 会话被固定到某个提供商，以保持缓存热度。
  • 面向在生产环境运行 AI、关注延迟与缓存效率的团队。