核心信息
来自 Together 和 Ollama 的工程师发布了一份说明,指出要让前缀缓存在 Claude Code、Codex、Pi 等工具中保持长时间编码智能体会话的高速运行,harness 与推理引擎各自需要做对哪些事情。
要点
- 编码智能体每一轮都会重发整个对话,前缀缓存是让长会话保持流畅的关键。
- 系统提示中只要出现一个时间戳,就可能破坏缓存。
- 更改推理强度(reasoning effort)可能会清空整个缓存。
- 告诉智能体其输出被截断,会促使它去读取遗漏的内容。
- 缓存要生效,harness 与推理引擎必须协同配合。