核心信息

Requesty 发布了第46周(11月9日至15日)的网关图表,重点展示了 Token 用量在会话间的分布,以及输入负载中有多大比例由提示缓存承担。

要点

  • 0.2% 的会话消耗了全部 Token 的 55%,长 Agent 循环是账单的主要来源。
  • 78.1% 的输入 Token 来自提示缓存读取。
  • 模型每写出 1 个 Token,平均读取 46 个输入 Token。
  • 数据来自五张图表,涵盖 Requesty 网关上各方的排名变化与 Token 流向。