核心信息

Anthropic 通过名为“自我评估”的技术训练 Claude 标记潜在滥用：Claude 在回复后立即对对话给出初步安全评估。

要点

  • 自 6 月启用自我评估以来，该技术已发现其他防护机制未能覆盖的滥用行为。
  • 由于 Claude 已阅读过对话，该方法效率很高。
  • 与针对固定危害类别的分类器不同，它依托 Claude 自身的判断，并随模型改进而更准确。
  • 详情发布在 Anthropic 新的 Safeguards 博客上。