核心信息

一篇新论文表明，在后训练阶段，将标准注意力替换为带注意力汇聚的滑动窗口注意力掩码，可在不增加额外成本的情况下超越线性注意力。

要点

  • 方法简单：改用带注意力汇聚的滑动窗口注意力掩码。
  • 在后训练场景中，该方法优于线性注意力，尽管概念上非常直接。
  • 该研究由多位合作者共同完成，完整论文已在线公开。