在编程评测中区分信号与噪声
官方发布称，OpenAI 的一项新分析揭示了流行编程基准 SWE-Bench Pro 存在的问题，引发对 AI 模型评测可靠性与准确性的担忧。
具体内容
官方发布称，OpenAI 的一项新分析揭示了流行编程基准 SWE-Bench Pro 存在的问题，引发对 AI 模型评测可靠性与准确性的担忧。原始材料仅有一句摘要，未说明具体问题类型、分析方法、受影响的任务比例或对既有评测结论的影响程度。因此可确认的是该分析针对 SWE-Bench Pro 的评测质量提出质疑，具体发现与证据需以原文为准，不宜据此推断各模型排名变化。
- OpenAI 新分析指出 SWE-Bench Pro 存在评测问题
- 关注点是编程基准的可靠性与准确性
- 原文未给出具体问题细节与影响范围
依据官方原始发布记录整理；当时的推出范围和限制请以原文为准。
用户标记：未标记
固定编号：42c8525a26502cf7
原文来源