捐赠我们的开源对齐工具
Anthropic宣布将开源对齐测试工具箱Petri更新至3.0版本,并把开发工作移交给AI评估非营利组织Meridian Labs。
具体内容
Anthropic宣布将开源对齐测试工具箱Petri更新至3.0版本,并把开发工作移交给AI评估非营利组织Meridian Labs。Petri于2025年10月推出,可测试模型是否存在欺骗、谄媚及配合有害请求等倾向,自Claude Sonnet 4.5起用于其对齐评估。原文称英国AI安全研究所已将其用于评估模型破坏AI研究的倾向。移交旨在保持工具独立于任何AI实验室。
- Petri是测试欺骗、谄媚等倾向的开源对齐测试工具箱
- 3.0版本开发移交Meridian Labs,以保持独立于AI实验室
- 原文称英国AI安全研究所已将其用于模型评估
依据官方原始发布记录整理;当时的推出范围和限制请以原文为准。
用户标记:未标记
固定编号:dcce7b79b581fe95
原文来源