核心信息

腾讯 AI 发布 ExplorationBench，一个旨在衡量 AI 系统探索能力而非记忆能力的基准，基于两个模型已学知识完全不适用的“异世界”构建。

要点

  • 多数基准题目背后有数十年的人类讨论文本存在于训练数据中，高分可能只反映记忆能力。
  • 两个异世界刻意反直觉：打印 100 会返回 127，且手册故意写错。
  • 十个前沿模型在探索前得分均不超过 16%。
  • 经过四轮实验后，最佳模型得分达到 89%。
  • 榜单上的每个分数都被定义为对“发现”的度量；官方提供可自行运行的世界演示。