未分类

Weitu AI发布流式多模态大脑,OVBench得分69.9超Gemini 11.1分

要点

香港多模态人工智能公司 Weitu AI 于2026年11月16日发布流式多模态视频大脑,目标是让带摄像头的设备持续理解环境,并把看过的信息转化为可供回想和进行复杂推理决策的记忆。该公司称,目前已服务全球数十家企业、约600万个人用户。 要让设备持续理解不断到来的视频,需要在有…

香港多模态人工智能公司 Weitu AI 于2026年11月16日发布流式多模态视频大脑,目标是让带摄像头的设备持续理解环境,并把看过的信息转化为可供回想和进行复杂推理决策的记忆。该公司称,目前已服务全球数十家企业、约600万个人用户。

要让设备持续理解不断到来的视频,需要在有限算力与记忆容量下处理两类矛盾:全部画面长期保留并反复计算会带来处理负担,而过度抽帧或只保留很短时间窗口,又可能漏掉关键的时序变化。例如”钥匙被放入书包侧袋”的动作只持续片刻,用户寻找钥匙时这个细节才显得重要。

Weitu AI 团队给出的方案是视频原生的多模态架构,其核心为 Dual Sparse Memory(双层稀疏记忆)学习架构:先从时间维度自动筛选出相关片段,再从片段内部提炼关键时空特征,避免大量无关画面信息占用计算资源。具体分两步,第一步是时序块级稀疏学习,面对”会议开始时白板上写了什么”这类回溯性问题,模型先把注意力集中到相关历史时间片段,缩小后续计算范围;第二步是空间域稀疏学习,进入片段后自动提取关键视觉细节,而非让整帧场景的信息都参与同等强度的计算。该架构将”何时看过”与”哪些细节有用”同时纳入学习过程,在保留关键特征的同时控制注意力计算与缓存开销,使持续视频理解更适合长期运行的硬件设备。

在记忆环节,模型除理解当前画面外,还包括 Long-term Memory Module(长期记忆学习模块),把较早的视觉与时空信息压缩为紧凑表征,并随新画面到来持续更新。这类记忆保存的是可供后续使用的历史信息,涵盖物体位置的变动、动作发生的先后次序,以及场景里的关键状态变化。以找钥匙为例,模型需要同时保留钥匙此前所在位置与之后被移入包侧袋这两条带时空属性的线索,才能在被问及二者关系时作答。团队还探索了状态预测场景,例如系统观看咖啡冲煮过程时,需要区分”正在倒水”与”这一步已经完成”,才能回答步骤顺序、动作是否完成等问题,并进一步预测尚未完成动作的时间边界。

评测方面,在考察”过去记忆、当前感知与未来预测”三大时间维度、共16项子任务的基准 OVBench 上,这套流式视频大脑综合得分69.9,高于通用多模态强基线 Gemini 3.1 Pro 的58.8,领先11.1分。另一项基准 Meta S-EMBER 模拟 AI 眼镜等可穿戴设备的持续感知场景,素材为第一人称视角的日常视频,并规定模型作答只能依据提问时刻之前已经看到的画面内容,其得分58.23,同样高于 Gemini 3.1 Pro 的54.41,领先3.82分。对比两项测试可以看出,两者设定并不相同:OVBench 覆盖16项子任务的综合理解,S-EMBER 则把作答限定在提问时刻之前的可见信息,更强调严格的第一人称记忆检索。OVBench 相关论文发表于 CVPR 2025,S-EMBER 论文编号为 arXiv:2607.02689。

应用层面,这套能力覆盖 AI 眼镜、可穿戴摄像头及其他视觉终端,可融入日常生活、办公、教育、零售与工业场景。团队举例,在学习折纸或烹饪时可结合已完成步骤提示下一步,购物时可把眼前商品与此前看过的款式、规格和标签比较,办公演示结束后可回顾操作顺序和方案变化,工业检修中可结合此前操作与当前设备状态提示需进一步检查的环节,视频创作中则可围绕镜头衔接、叙事节奏和视觉风格提出优化建议。

在 Weitu AI 的设想中,这套流式多模态大脑可以充当通用大模型感知外部世界的通道——视频大脑负责不断处理画面、记录场景状态的变动并刷新记忆,再把与当前任务相关、经过压缩的视觉及多模态信息提供给上层模型,供其推理与规划使用。团队表示,未来希望在这一架构上融合更多模态,例如在工业场景中把视频与温度、压力、振动等传感器信号结合;申请体验和试用模型的商业用户可通过企业邮箱 business@weitu.ai 联系。

Weitu AI 为一家香港多模态人工智能公司,创始人王历伟博士深耕多模态领域十多年。2024年,该公司推出150亿参数多模态大模型 WeituAI 1.0,在 MMMU、CMMMU 等评测榜单上有相应表现;截至2024年4月,其多模态图像语言理解等技术被全球化产品公司调用即将超过一亿次。公司成立早期完成天使轮融资、估值一亿美金,超过半数成员来自北美名校并具备海外大厂工作经验。从上述时间线看,2024年的 WeituAI 1.0 为150亿参数的多模态理解模型,此次发布的流式视频大脑则以持续视频理解、记忆与推理为方向。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

邵嘉禾

邵嘉禾,关注大模型、算力与产业应用。

公安联网备案冀公网安备13068102000496号