核心信息
作者指出业界又开始用 3D 游戏给新模型做基准测试(并提到自己上月的 flappy bench),但他认为真正该衡量的指标是:在真实代码仓库中完成一次真实修复所消耗的 token 数——这也是他们构建 TEF 基准的原因。
要点
- 行业趋势:3D 游戏基准测试再度流行
- 作者承认自己上月也参与过这类玩法(flappy bench)
- 核心主张:以真实仓库中每次真实修复消耗的 token 数为衡量标准
- 该基准名为 TEF bench,线程中附有链接
作者指出业界又开始用 3D 游戏给新模型做基准测试(并提到自己上月的 flappy bench),但他认为真正该衡量的指标是:在真实代码仓库中完成一次真实修复所消耗的 token 数——这也是他们构建 TEF 基准的原因。