核心信息

AsyncGRPOTrainer 在 TRL v1.18.0 中转为稳定版，生成与训练可在不同 GPU 上同时进行，而不再轮流执行。

要点

  • AsyncGRPOTrainer 在 TRL v1.18.0 中达到稳定状态
  • 生成与训练在不同 GPU 上并发执行
  • 文档说明了运行方式与可训练的内容
  • 提供了与标准 GRPOTrainer 的对比