TRL 后训练指南：用 Agent 轨迹做 SFT，2B 模型从 5.5% 提升到 34.4%

核心信息

一份新的开源后训练示例展示了如何用 TRL 对智能体轨迹做监督微调：大模型通过 OpenEnv 在 opencode 中充当编码智能体，它解决的任务被用作训练数据，使 2B 模型在留出任务上从 5.5% 提升到 34.4%。

要点

• 流程：大模型通过 OpenEnv 在 opencode 中充当编码智能体
• 已解决的任务被收集并复用为 SFT 训练数据
• 2B 模型在留出任务上从 5.5% 提升到 34.4%
• 完整指南与代码已开源