未分类

编程智能体Fable 5.2开卷正确率80% 闭卷降至47%

要点

西北大学、卡内基梅隆大学等提出「具身第一考」EFE 框架,把编程智能体接入仿真机器人考察物理约束能力。最强智能体在特权模式解出80%核心任务,标准模式降至47%;EFE 含1156个任务、2288项测试。

西北大学、卡内基梅隆大学等 8 所高校的研究者提出「具身第一考」(Embodied First Exam,EFE)评测框架,把编程智能体接入仿真机器人,考察其在物理约束下的能力边界。结果显示,最强的编程智能体在可读取完整仿真状态、不限次重置的特权模式下解出 80% 的核心任务,换成真实机器人对应的标准模式后降至 47%。

EFE 包含 1156 个任务、2288 项测试,覆盖 35 个任务集、23 个仿真器和 47 种机器人。在 391 项同时具备两种模式的核心任务上,Claude Fable 5.2 在特权模式解出 311 项(80%),标准模式只解出 47%,其中 136 项换到标准模式后失败。在 456 项标准模式核心测试上,Claude Fable 5.2 解出 50%,GPT-6 Astra 为 34%,GPT-6.1 Sol 为 32%,其余智能体均低于这一水平。实时模式下,在同时考查两种模式的任务中有 46% 的测试无人解出,标准模式下这一比例为 35%。

对照实验中,研究者以 GPT-6 Astra 为对象逐项补回特权模式能力:补上精确状态使成功率从 29% 升至 45%,补上不限次重置升至 53%,两者都补达到 68%,接近特权模式的 79%。研究团队分析认为,败在抓取、放置等粗略阶段的测试,补上精确状态即可多解出不少;需要组装、对准位姿的精细阶段,补上精确状态几乎无帮助,补上重置才明显有效。团队同时列出局限:每项测试只运行一次,除真机演示外结果均来自仿真,改编自公开基准的任务部分成绩可能来自模型记住的公开解法。

常见问题

什么是「具身第一考」(EFE)?

EFE 是西北大学、卡内基梅隆大学等8所高校研究者提出的评测框架,把编程智能体接入仿真机器人,考察其在物理约束下的能力边界,包含1156个任务、2288项测试,覆盖35个任务集、23个仿真器和47种机器人。

特权模式与标准模式的成绩差多少?

在391项同时具备两种模式的核心任务上,Claude Fable 5.2 在特权模式解出311项(80%),标准模式只解出47%,其中136项换到标准模式后失败。

补回哪类能力对提升成绩更有效?

对照实验中,以 GPT-6 Astra 为对象补上精确状态使成功率从29%升至45%,补上不限次重置升至53%,两者都补达到68%,接近特权模式的79%。

该评测有哪些局限?

研究团队列出局限:每项测试只运行一次,除真机演示外结果均来自仿真,改编自公开基准的任务部分成绩可能来自模型记住的公开解法。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

顾延之

顾延之,参与大观门户各频道的选题与稿件整理。

公安联网备案冀公网安备13068102000496号