港科大广州发布DataVista基准 19个多模态模型最高准确率70%
要点
香港科技大学（广州）一支由通讯作者 Yuyu Luo 带领的团队提出 DataVista，这是首个专门面向"数据视频理解"的评测基准。该基准收录961个来自真实场景的数据视频，配以6775道评测题目，题目按数据感知、时序推理、叙事理解三个递进层级组织，涵盖10种细粒度题型、5个…
香港科技大学（广州）一支由通讯作者 Yuyu Luo 带领的团队提出 DataVista，这是首个专门面向”数据视频理解”的评测基准。该基准收录961个来自真实场景的数据视频，配以6775道评测题目，题目按数据感知、时序推理、叙事理解三个递进层级组织，涵盖10种细粒度题型、5个主题领域。团队对19个主流多模态大语言模型做了系统评测，结果显示表现最好的模型总体准确率为70.0%，与人类专家之间仍有明显差距。
这项工作指向的是一类此前缺乏专门评测支撑的应用形态。数据视频把数据可视化与视频叙事结合在一起，常见于新闻报道、商业分析与科普讲解，画面中图表随旁白持续变动。它的理解难度不同于通用视频理解，也不同于静态图表问答：通用视频基准考查的是动作识别与场景切换，静态图表基准面对的则是一张已被裁剪好的孤立图片，而数据视频要求模型先在一段连续变化的画面里定位到图表，再读取数值，并把跨越不同图表、不同时间点的证据串起来，最后还要理解视觉设计本身如何参与叙事。
三层能力框架的设计对应了这条链路。数据感知层包含数据事实读取与图表元素识别两类题，考察的是在连续视频中定位证据后能否读准数值；时序推理层包含跨时间变化、跨图表比较、因果推理与论证综合四类题，要求把多个图表的证据关联起来，判断是否存在有证据支撑的因果链；叙事理解层则包含叙事结构、视觉传达意图、反事实分析与质量评估四类题，落到创作者如何组织数据、用设计手段传达信息这一层。评测采用精确匹配口径：单选题必须完全答对，多选题的预测选项集合必须与标准答案完全一致。
测试覆盖了5个闭源模型与14个开源模型。Gemini-3.1-Pro 总体准确率70.0%，GPT-5 为67.4%，最强开源模型 Qwen3-VL-32B-Instruct 为57.3%，其在思考模式下可提升至62.9%。人类专家在观看完整视频并听取原始音频的条件下，总体准确率为91.7%，三层分别为97.1%、89.0%和86.8%，最佳模型与之相差21.7个百分点。差距的分布并不均匀：第一层最佳模型达81.8%、落后人类15.3个百分点，第三层最佳模型只有59.2%、差距扩大到27.6个百分点，因果推理与叙事结构是所有模型共同的薄弱项。随机选择与选择最高频答案两种基线分别为20.8%和27.5%，多数模型的总体成绩明显高于这一水平。
把输入条件逐项放开，能看到能力提升的分布规律。相对只给题干的设置，加入采样帧使五个代表性模型在第一层提升32.0个百分点、第二层提升14.7个百分点、第三层只提升5.1个百分点；在帧的基础上再加字幕，第一层提升2.9个百分点、第二层提升6.5个百分点、第三层提升2.4个百分点。帧数从8帧增至32帧时，第一层平均提升11.6个百分点，第二层提升4.7个百分点，第三层提升2.1个百分点，增至100帧后第二、三层没有一致提升。字幕的增益同样有偏向，在因果推理题型上带来8.5个百分点的提升，在论证综合上带来16.6个百分点，而另外两类题型的字幕增益最多只有4.1个百分点。
对Gemini-3.1-Pro的120个错误回答所作的分析，指向三类失效模式。感知错误占47.5%，其中数值与文本读取错误一项就占36.7%，图表结构错误占2.5%；推理错误占42.5%，主要是证据判断错误占37.5%，另有跨图表关联错误占4.2%；指令理解错误占10.0%。值得注意的是，感知错误是在相关帧已经提供的前提下发生的，说明把图表里的数字读准这件事本身仍是瓶颈；而推理错误里占比最高的一项并不是不会算，而是无法判断某个事实是否真的支持问题所问的因果关系或中心论点。
基准的构造过程也针对模型”绕过视觉”这一类取巧方式做了过滤。作者只用题干和选项、不给视频让模型作答，能够被纯文本答对的题目会被剔除——在五个代表性模型上，被剔除的问题纯文本可答性高出22.9至32.2个百分点。数据来源以公开平台的视频为主，论文给出的人工审核环节中，80.1%的候选题直接通过，15.4%经修改后通过，4.5%被拒。视频时长从28秒到15分钟不等，中位数约5.6分钟，约68.5%的视频发布于2025年6月之后。
把 DataVista 放到同期其他视频理解基准的坐标系里，可以看出定位差异。作为对照，同期在 IEEE Transactions on Pattern Analysis and Machine Intelligence 上线的 VideoVista 覆盖41个模型、面向多语种与多领域视频语言交互，其结论之一是7B与8B级小型开源模型在启用思维链推理后可与大型商用模型相当，同时指出复杂时序推理任务准确率低于63%、细粒度任务存在文化偏差。两者都指向视频理解的能力缺口，但DataVista 把重心放在数据图表的读取与叙事组织的理解上，视频语言交互的跨语种与文化偏差问题并不在其评测范围内。DataVista 第一作者此前还开源了 DataSpace 这一面向异构工作空间的可验证数据分析智能体基准，以及 DataMagic 数据视频生成系统，后者分别发表于 IEEE VIS 2026 与 VLDB 2026。
尚待确认与需要留意的部分同样清楚。基准仓库在本次发布时标注论文链接与数据集、评测资源后续补充；DataVista 论文中所称的”首个”数据视频理解基准这一判断，是作者自己的定位表述。评测中人类专家观看完整视频并听取音频，而模型输入为均匀采样的50帧帧序列，两者的信息条件并不完全对等。此外，错误分析仅抽取了120条错误样本，其结论的覆盖范围相应受限。后续可核对的节点包括数据集与评测服务的实际发布、公开排行榜的建立，以及是否有第三方机构用该基准对更多模型做独立复测。
