核心信息

在同一个编码任务、同一个模型下，LiteLLM 内部编码智能体因使用不同的框架（harness），成本分别为 126 美元与 9.59 美元，差异达 13 倍，而提示词缓存命中率（0% 对 96%）是几乎全部原因。

要点

  • 同一模型同一任务，因框架不同成本从 9.59 美元到 126 美元
  • 一种情况提示词缓存命中率为 0%，另一种为 96%
  • 价格差异几乎全部可归因于缓存行为
  • 启示：框架设计对大模型调用成本影响巨大