核心信息

作者指出业界又开始用 3D 游戏给新模型做基准测试(并提到自己上月的 flappy bench),但他认为真正该衡量的指标是:在真实代码仓库中完成一次真实修复所消耗的 token 数——这也是他们构建 TEF 基准的原因。

要点

  • 行业趋势:3D 游戏基准测试再度流行
  • 作者承认自己上月也参与过这类玩法(flappy bench)
  • 核心主张:以真实仓库中每次真实修复消耗的 token 数为衡量标准
  • 该基准名为 TEF bench,线程中附有链接