抢票和俄罗斯方块难倒旗舰大模型：Realtime-Bench 挂钟测试最高仅 44%
要点
英伟达联合得克萨斯大学奥斯汀分校等机构的研究团队，在 arXiv 发布了一项名为 Realtime-Bench 的实时交互基准，直指当前大模型评测体系的一个盲区：环境不会停下来等模型思考。这项工作由 UT-Austin、俄亥俄州立大学、UIUC、西北大学与英伟达、Steadyw…
英伟达联合得克萨斯大学奥斯汀分校等机构的研究团队，在 arXiv 发布了一项名为 Realtime-Bench 的实时交互基准，直指当前大模型评测体系的一个盲区：环境不会停下来等模型思考。这项工作由 UT-Austin、俄亥俄州立大学、UIUC、西北大学与英伟达、Steadyworks 共同完成，论文于 10 月 15 日提交、10 月 22 日更新至第三版，11 月初在中文技术社区引发广泛讨论。
基准的设计思路很直接。Realtime-Bench 准备了 50 个动态任务——30 个网页任务覆盖出行、电商、服务、安全四类场景，20 个游戏任务覆盖街机、解谜、策略、模拟四类——共同特点是环境随时间自行推进，行动机会稍纵即逝。模型需要同时具备三种能力：判断信息是否过时的时间感知，根据剩余时间决定思考多久的自适应推理，以及把握等待还是立即出手的行动时机。以抢票为例，模型要先发现放票，再按购买窗口的剩余时长控制推理长度，任何一个环节迟了都会错过机会。
为了把「服务器慢」和「模型不会抢时间」区分开，研究团队设计了三种时钟协议：Wall Clock 按真实推理延迟推进环境，Paused Clock 在模型思考期间冻结世界作为理想化对照，Token Clock 则按生成的 token 数推进模拟时间，剥离 API 服务速度的影响。评测指标采用 Pass^3，即同一任务三次独立运行全部成功的概率——因为实时交互一旦失败无法重来。
结果给当下最热衷的「加大推理力度」路线泼了一盆冷水。在按真实延迟推进的挂钟条件下，表现最好的 GPT-6-Astra 单次成功率也只有 44%，连续三次全过的 Pass^3 更是跌到 36%。更耐人寻味的是推理强度的双向效应：时间冻结时，提高推理强度让六个受测模型全部涨分，GPT-5.6 Sol 从 42% 升到 58%；可一旦时间照常流逝，同样的操作却让 Claude Opus 5 在 Token Clock 下从 44% 跌到 30%，而 Kimi-K3 反而从 24% 升到 36%。低延迟也不保险——Jev 1.13 是唯一压进 1 秒的模型，Pass^3 却只有 8%，说明快而不深同样不行。
这组数据实际上是对 test-time scaling 路线的一次压力测试。过去两年，行业默认「回合制」评测：环境静止等待模型吐完几千个推理 token 再执行下一步，拉长思维链几乎总能换到更高的分数。而 Realtime-Bench 的对比显示，时间暂停时顶尖模型的成功率能逼近 70% 到 80%，挂钟一拨回真实流逝就断崖式跳水——差距全部来自时间成本。缺少时间感知的长思维链，在实时环境里会从资产变成负债。这预示着下一代实时模型需要在「时间充裕时细想、窗口将关时快动、新信息到来时改计划」之间做动态调度，而不是一味堆推理。
也有外部观察者给出了更克制的解读。Jack Clark 在 Import AI 时评中认为，这项基准的价值在于精准标出了 AI agent 的能力断点：低分任务恰恰是当前系统还不该被托付的场景，让模型替用户参加在线竞拍或打实时游戏仍为时尚早。还有分析指出基准本身的局限——环境以约 1 帧每秒的节奏采样，可能低估了真实交互的复杂度。两种声音指向同一个判断：Realtime-Bench 没有否定现有模型，但它把「实时可靠性」从对话流畅度之外单独拉了出来，成为下一代多模态模型绕不开的必答题。
—
