未分类

人大复旦等团队提出ToolSpace框架 744B模型长程工具基准追平Claude Opus 5

要点

中国人民大学、复旦大学和上海交通大学团队提出ToolSpace框架,把环境合成起点从数据转向工具。基于GLM-5.2的744B模型仅经监督微调,七项长程工具基准平均分从44.6提升至56.6,与Claude Opus 5持平。

中国人民大学、复旦大学和上海交通大学的研究团队提出ToolSpace,这是一个以工具为中心的跨环境智能体环境合成框架。该方法将环境合成的起点从数据转向工具,包含工具空间探索与跨环境可验证任务合成两个核心环节。

工具空间探索环节从智能体与工具的交互轨迹中提取工具,构建工具组合图,并按工具关系组织环境与底层数据。研究团队收集了超过20万条交互轨迹,来源包括真实MCP服务、开放工具使用语料和真实工作区记录,从中提取出2042个标准化工具,构建出77760个工具调用模式节点,并组织为804个环境。工具之间的连接分为数据依赖、状态依赖和重试依赖三类,分别占69%、25%和6%。系统在工具图上按确定性规则识别这些连接,边的权重来自轨迹中实际观察到的转移频率。

跨环境可验证任务合成环节沿工具图进行状态感知随机游走,将走通的调用链转化为自然语言任务与验证脚本。系统在抽中下一步后执行工具并更新状态,遇到调用失败或结果与连接要求不一致时,恢复执行前的快照并重新选择路径。一条链路成功执行后,语言模型根据调用过程及状态变化反向生成自然语言任务,任务描述保留用户目标与约束,但不包含工具名称和调用顺序。系统同时生成断言脚本,用于检查最终状态、关键中间状态及必要的返回字段;环境恢复到初始快照后从头重放,全部检查通过才保留样本。ToolSpace共生成34376条轨迹,在至少包含5次工具调用的子集中,平均每条轨迹含18.86次工具调用,平均跨越2.29个环境,66.2%以上涉及两个或更多环境。

研究团队在七项长程工具使用基准上评估该框架,包括AutomationBench、SkillsBench、JobBench、τ-Bench Banking、BFCL V4、Harvey LAB与OfficeQA Pro。结果显示,基于GLM-5.2的ToolSpace-744B-A40B仅经监督微调,七项平均分从44.6提升至56.6,与Claude Opus 5在这组基准上的平均分持平。Qwen3.6-35B-A3B经监督微调后平均分从23.0提高至41.0,其中AutomationBench从8.2提高至45.8;在线强化学习进一步将35B模型的七项平均分从41.0提高至43.2。

团队还基于AutomationBench与τ-Bench Banking构建了AutomationBench Pro与τ-Bench Banking Pro两项升级基准,通过接入具有数据或状态依赖的外部工具、沿更长调用链生成任务来提升难度。七个模型在两项Pro基准上的得分均低于标准版,其中AutomationBench最大降幅为38.2分。此外,扩大合成数据与训练环境覆盖范围总体带来模型表现改善,而按评测相关性筛选环境与随机抽取环境的最大分差为1.7,两者均接近全量环境训练结果。该研究论文的共同第一作者为董冠霆、孙志超与杨欣羽,通讯作者为桂韬和窦志成。

常见问题

ToolSpace是什么框架?

ToolSpace是中国人民大学、复旦大学和上海交通大学研究团队提出的以工具为中心的跨环境智能体环境合成框架,将环境合成的起点从数据转向工具,包含工具空间探索与跨环境可验证任务合成两个核心环节。

ToolSpace构建了多大规模的工具与环境数据?

研究团队收集了超过20万条交互轨迹,从中提取出2042个标准化工具,构建出77760个工具调用模式节点,并组织为804个环境。ToolSpace共生成34376条轨迹。

ToolSpace-744B-A40B在基准上的表现如何?

基于GLM-5.2的ToolSpace-744B-A40B仅经监督微调,在七项长程工具使用基准上的平均分从44.6提升至56.6,与Claude Opus 5在这组基准上的平均分持平。

ToolSpace升级后的Pro基准结果怎样?

团队基于AutomationBench与τ-Bench Banking构建了AutomationBench Pro与τ-Bench Banking Pro两项升级基准,七个模型在两项Pro基准上的得分均低于标准版,其中AutomationBench最大降幅为38.2分。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

沈砚清

沈砚清,参与大观门户各频道的选题与稿件整理。

公安联网备案冀公网安备13068102000496号