衡量大语言模型开发漏洞利用的能力
该稿件介绍两个新的学术基准 ExploitBench 与 ExploitGym，以及更新版 SCONE-bench，用于量化大语言模型开发漏洞利用的能力。
具体内容
该稿件介绍两个新的学术基准 ExploitBench 与 ExploitGym，以及更新版 SCONE-bench，用于量化大语言模型开发漏洞利用的能力。作者称在三个基准上 Mythos Preview 均优于所有其他受测模型，其中在 ExploitBench 的 41 个 V8 漏洞中于 21 个实现任意代码执行，而其他模型在两个变体中均未实现一次。摘要表示，这进一步说明开发漏洞利用所需的知识门槛可能随此类能力普及而显著下降。
- ExploitBench 将漏洞利用开发拆为 16 项能力、五个层级，程序化自动评分，无人工或模型裁判。
- 在 V8 基准 41 个已修补漏洞上，Mythos Preview 于 21 个实现任意代码执行，其他模型为零。
- 作者称 Mythos Preview 是唯一能可靠逃逸 V8 沙箱的受测模型，在过半测试环境中做到。
依据官方原始发布记录整理；当时的推出范围和限制请以原文为准。
用户标记：未标记
固定编号：0f6589825ed3510d
原文来源