未分类

OpenAI 发布 LifeVal 基准:从选幼儿园到报税,测试 AI 的人间烟火技能

要点

OpenAI 于 11 月 2 日发布名为 LifeVal 的新基准,用于衡量人工智能模型能否真正帮助普通人完成日常事务。该公司称,这一评估旨在让通用人工智能更贴近"对人类最有用的日常帮助"。 在任务设计上,LifeVal 参考了美国的"美国人时间使用调查"(ATUS)和跨国"…

OpenAI 于 11 月 2 日发布名为 LifeVal 的新基准,用于衡量人工智能模型能否真正帮助普通人完成日常事务。该公司称,这一评估旨在让通用人工智能更贴近”对人类最有用的日常帮助”。

在任务设计上,LifeVal 参考了美国的”美国人时间使用调查”(ATUS)和跨国”多国时间使用调查”(MTUS),并对 3995 名具有人口代表性的受访者开展调查,了解他们最希望个人 AI 助手在哪些事务上提供帮助。

LifeVal 覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景。典型任务包括:搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格、安排社区防洪志愿者等。

与传统基准不同,LifeVal 更关注任务是否能被推进到”可执行、可交付”的状态。例如,AI 不只是列出幼儿园名单,而要结合地点、预算、通勤和家庭需求进行筛选;处理财务时,也要兼顾账单、收入和风险。模型需要理解聊天记录、浏览网页、整合多方信息,并给出符合个人处境的建议。

OpenAI 表示,过去一年已将 LifeVal 用于追踪和推动模型在日常任务上的改进。公开示例显示,部分任务表现较高:为孩子找幼儿园得分 93.1%,组织防洪志愿者为 98.0%,为糖尿病家长准备膳食计划为 90.4%。

目前,LifeVal 仍主要是 OpenAI 的内部评估。外界尚未获得完整任务集、评分代码、误差范围或可独立复现的排行榜,因此其结果仍需谨慎解读。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

邵嘉禾

邵嘉禾,关注大模型、算力与产业应用。