自动化研究者能可靠缓解对齐失败
Anthropic 发布报告称，让 Claude 自主训练模型以改善 10 类对齐失败对应的公开基准表现。
具体内容
Anthropic 发布报告称，让 Claude 自主训练模型以改善 10 类对齐失败对应的公开基准表现。作者表示，Claude 通过检索文献、提出方法与数据、训练和测试的循环逐项处理，10 类均找到不损害能力的改进；最佳方法在未公开的对齐基准和 Petri 上仍有效，并在最大至 4.7 倍的模型上保持效果。报告也列出局限，如未测政治偏见、部分失败缺乏基准、仅按有限能力集筛选方法。
- Claude 自主循环改进 10 类对齐失败基准且不损能力
- 最佳方法在留出基准与 Petri 上仍有效
- 方法在最大 4.7 倍模型上仍保持效果
- 作者承认未覆盖政治偏见等生产级失败
依据官方原始发布记录整理；当时的推出范围和限制请以原文为准。
用户标记：未标记
固定编号：68eb0d14af23af3e
原文来源