核心信息

Qwen Developers 发布开源研究基准 BabelArena，考察语言障碍如何在工具参数、数据库条目和搜索查询等环节影响智能体的理解能力。

要点

  • 名称灵感来自巴别塔故事，关注语言障碍如何阻碍人们朝同一目标协作。
  • 示例中，Qwen-3.8-Max 分别用英语和泰卢固语完成同一购物任务，均找到相同的四件商品。
  • 英语运行仅用 25 次工具调用，泰卢固语运行用了 201 次，并反复出现针对本地化目录的空搜索。
  • 两次运行均通过，但效率差距凸显智能体在多语言场景下的鲁棒性问题。
  • 论文、GitHub 仓库和数据集均已公开。