核心信息

Qwen 推出 RecreationBench——一个面向混合计算机使用智能体的新基准,包含 250 个应用“再创造”任务,覆盖 Ubuntu、macOS、Windows、Android 和 Web,以及生产力、开发、图形、多媒体和科学等领域。智能体需要探索正在运行的参考应用、用代码重建它,并同时通过程序化测试和基于 VLM 的视觉评估。

要点

  • 不同于仅限 GUI 或仅限终端的基准,RecreationBench 要求智能体在“使用应用”和“编写代码”之间灵活切换。
  • 250 个任务横跨五大平台和多个领域,为真实世界智能体能力提供更全面的评测。
  • 评估结合自动化程序化测试与 VLM 视觉检查,验证更深入。
  • 数据集与 playground 已开放,开发者和研究者可以立即使用。