核心信息

Requesty 公布内部数据：在超过 10 万 token 的请求中，命中缓存后首 token 中位时间从 8.8 秒降至 2.4 秒。

要点

  • 数据基于经 Requesty 路由的 10 万+ token 请求
  • 缓存命中时首 token 中位时间由 8.8 秒降至 2.4 秒
  • 官方指出省钱固然重要，但延迟才是终端用户真正感知到的
  • 说明提示缓存不只是计费优化，也是延迟优化手段