核心信息

Requesty 公布了 10 月 3 日至 18 日期间其 AI 网关护栏的实测延迟：中位数 4 毫秒、p95 为 15 毫秒，超过 64k token 的提示词 p95 仅升至 23 毫秒。

要点

  • 护栏响应时间中位数：4 毫秒
  • p95 延迟：15 毫秒
  • 64k+ token 提示词的 p95：23 毫秒
  • 该数据用以说明响应缓慢的护栏会给生产环境的每次请求增加本可避免的延迟