核心信息
Requesty 发布了第46周(11月9日至15日)的网关图表,重点展示了 Token 用量在会话间的分布,以及输入负载中有多大比例由提示缓存承担。
要点
- 0.2% 的会话消耗了全部 Token 的 55%,长 Agent 循环是账单的主要来源。
- 78.1% 的输入 Token 来自提示缓存读取。
- 模型每写出 1 个 Token,平均读取 46 个输入 Token。
- 数据来自五张图表,涵盖 Requesty 网关上各方的排名变化与 Token 流向。
Requesty 发布了第46周(11月9日至15日)的网关图表,重点展示了 Token 用量在会话间的分布,以及输入负载中有多大比例由提示缓存承担。