核心信息

一种 AI 基础设施方案正通过提供大规模 SSD 存储集群，让缓存可以回落到磁盘，从而可能使缓存 token 持续有效 24 小时以上。

要点

  • 大规模 SSD 集群作为磁盘缓存层，突破了常见的内存缓存容量与时长限制。
  • 这可能让提供商在更长时间内复用已缓存的 token，从而降低成本并减少重复请求的延迟。