Work2Skill用人类操作录像提炼智能体技能 跨任务跨模型可复用
要点
计算机使用智能体在陌生软件和需要人类领域知识的流程上仍然力不从心。一个具体例子是让智能体为十个人预订下周五某餐厅的餐桌，这只是主要目标；完整任务还要求考察另外三家备选餐厅、收藏其中最好的两家、添加备注、确认预订并检查结果。研究者把这套框架命名为Work2Skill，其做法是把人…
计算机使用智能体在陌生软件和需要人类领域知识的流程上仍然力不从心。一个具体例子是让智能体为十个人预订下周五某餐厅的餐桌，这只是主要目标；完整任务还要求考察另外三家备选餐厅、收藏其中最好的两家、添加备注、确认预订并检查结果。研究者把这套框架命名为Work2Skill，其做法是把人类操作电脑的过程录下来，再让智能体从录像中提炼出可复用的操作技能。
框架由三部分组成。WorkRecorder是采集工具，把屏幕录像、鼠标键盘事件以及可获取的无障碍树信息对齐到同一条时间线上；本地macOS环境由原生录制应用配合系统辅助功能提供器完成采集，远程Linux桌面则在目标环境内运行AT-SPI采集器并通过SSH隧道回连，Linux侧的点查询与邻近辅助功能事件提供控件名称、角色与边界。WorkDemo-350是配套数据集，包含350段人类桌面操作演示，覆盖64个MyPCBench Bounded Action任务与一个286任务的OSWorld-Verified子集，累计约8.48小时真人操作经验、8388张证据图片与11951条动作记录，全部经过完整性与任务成功筛选。第三部分是技能归纳方法，其产出是一份SKILL.md文档，YAML前置元数据给出名称与描述，遵循Agent Skills文件约定。
方法的差异点在于证据查阅与文档撰写是同一个可以反复修改的过程。归纳智能体先读任务说明与证据索引，遇到看不懂的点击就调出对应时刻的截图，仍不清楚就从视频中抽取前后画面，写出草稿后发现有缺口再回头查证、修改草稿。技能撰写策略要求把演示中一次性的具体输入泛化为任务相关的描述，保留流程阶段之间的共享状态、派生数据、必需顺序以及选择规则与完成检查。
效果上，四个执行模型在两套基准上的得分与成功率均以该方法最高。在64任务的MyPCBench上，GPT-5.5无技能引导时得分74.73、成功率23.44%，采用该方法后升至85.27与48.44%；Opus-4.8由81.53与42.19%升至86.20与50.00%；两个Qwen3.5模型的提升幅度更大，分别由38.38与9.38%升至44.56与20.31%，由24.27与6.25%升至34.11与12.50%。论文报告的总体口径是，相对无技能基线，MyPCBench上的平均得分提升4.67至10.54分、成功率提升6.25至25.00个百分点，OSWorld-Verified所评估子集上的平均得分提升3.11至7.50分。
证据消融实验量化了各类信息的贡献。以GPT-5.5高推理档在64个MyPCBench任务上测试，完整证据下得分为85.27、成功率48.44%、平均执行47.38步，完整解出31个任务；去掉索引图像后降至74.64与32.81%，去掉界面标注降至80.25与34.38%，去掉按键日志降至78.03与26.56%，仅保留视频为75.81与28.13%，仅保留带界面语义的动作文本则为79.09与37.50%。论文指出，去掉索引图像、界面标注或按键日志中的任意一项，得分下降5.02至10.63分、成功率下降14.06至21.88个百分点。
提示词设计的对照同样给出量化结果。固定流程式的Pipeline Prompt预设了查证顺序，得分81.30、成功率42.19%、平均48.98步；允许智能体自行决定查证顺序与时机的提示词得分85.27、成功率48.44%、47.38步，但技能归纳的词元消耗从29.68万升至33.45万，多出约12.7%。这构成一个明确的取舍：把查证顺序交还给智能体能换来更高的下游成绩，代价是更多的归纳开销。
跨任务与跨模型的复用是这套方法区别于既有工作的地方。在不重新归纳的前提下，把原本任务的技能直接用于64个变体任务上，得分相对无技能基线平均提升3.93至8.64分、成功率提升6.25至9.38个百分点。跨模型测试中，用GPT-5.5归纳出的技能交给Qwen3.5-9B执行，效果仍优于该模型自己归纳的技能。论文由此认为，技能文档承载的是可脱离具体模型存在的经验。
把边界一并列出，结论才完整。OSWorld部分测试的286个任务是从321个任务中筛选而来，排除了35个在无技能时满分、但使用既有技能反而低于满分的任务，因此这一结果不能被读作完整官方基准上的表现；归纳环节的终检只校验技能文件结构与必需的工具调用，不校验技能正确性或任务是否成功；无障碍树快照也不必反映动作发生时刻的确切状态。此外，配套代码仓库目前提供的是录制与归纳组件以及任务定义，基准环境初始化、任务扰动生成器、执行器、评估器与端到端评测结果均未包含，仓库说明中明确评估集成仍在待办状态。这几点决定了当前的报告成绩尚不能被直接复现。
