Ai2 发布研究创意新颖性评估基准，揭示 LLM 裁判不稳定性
Ai2 发布 Old Ideas, Novel Problems 研究及数据、代码与评估流水线，研究语言模型判断研究创意新颖性的可靠性。
具体内容
Ai2 发布 Old Ideas, Novel Problems 研究及数据、代码与评估流水线，研究语言模型判断研究创意新颖性的可靠性。
- 实验发现提示词、格式及评估设置变化可能大幅改变同一创意的判断。
- 检索和额外推理并不总改善表现；部分人类与生成创意配对标签属于弱标签，不能当成普适真值。
依据官方原始发布整理；案例指标不代表普遍效果。
用户标记：未标记
固定编号：3e072a154a26d59d
原文来源