核心信息
OpenAI 分享了一项新研究，考察思维链（CoT）可监控性——具体包括无 CoT 能力与 CoT 可控性——在模型训练全周期中如何演变，结论是随着模型向更高智能扩展，通过思维链监控模型变得越来越困难。
要点
- 研究从两个维度考察 CoT 可监控性：无 CoT 能力与 CoT 可控性
- 结论追踪了可监控性在整个模型训练周期中的变化
- 核心发现：模型越智能，通过 CoT 进行监控越困难
- 作者称这一结果虽不意外，但对 AI 安全而言令人警醒
- 由 @jeffreygwang 以 10 条推文串形式发布，OpenAI 转发