核心信息

一项实验通过调整 Pi harness 的各个组件，尝试为 Qwen 系列模型进行优化，结果发现在 ALE（Agents Last Exam）上有早期提升，但在 Terminal-Bench Lite 上几乎没有改善。

要点

  • 针对 Qwen 模型逐组件调优 Pi harness
  • 早期结果在 ALE（Agents Last Exam）上显示提升
  • Terminal-Bench Lite 上几乎没有改善
  • 作者质疑两个基准为何出现分歧
  • 实验设置与发现以推文串形式分享