我们为何不再评估SWE-bench Verified
Anthropic发文解释不再评估SWE-bench Verified基准，称该基准日益受到污染，无法准确衡量前沿编码进展。
具体内容
Anthropic发文解释不再评估SWE-bench Verified基准，称该基准日益受到污染，无法准确衡量前沿编码进展。文章分析指出存在有缺陷的测试和训练数据泄漏问题，并推荐使用SWE-bench Pro。摘要未提供具体分析数据或SWE-bench Pro的详细对比。
- Anthropic称SWE-bench Verified日益受污染
- 分析指出该基准存在有缺陷测试和训练泄漏
- 建议改用SWE-bench Pro进行评估
依据官方原始发布记录整理；当时的推出范围和限制请以原文为准。
用户标记：未标记
固定编号：15ce6642ee62330c
原文来源