核心信息

Requesty 公布 30 天中位延迟对比：其网关仅增加 2.3 毫秒，而直连模型调用为 241 毫秒，网关开销不到请求总耗时的 1%。

要点

  • 过去 30 天中位延迟：直连模型 241 毫秒，Requesty 2.3 毫秒
  • 这 2.3 毫秒涵盖密钥鉴权、支出限额、已批准模型与合规检查，以及速率限制
  • 官方称网关开销低于请求总耗时的 1%
  • 示例模型为 typesafe/jev-latest