港科大与微软团队开源HarnessSQL 长程交互SQL智能体8B模型执行准确率反超32B专用模型 面向真实数据库
要点
据与报道，香港科技大学与微软亚洲研究院等团队推出首个原生长程环境交互训练框架HarnessSQL，并在GitHub开源代码、沙盒环境与合成轨迹资产。该框架针对真实数据库的交互式SQL生成任务，在Spider 2.0-SQLite基准上仅凭8B参数即取得45.2%执行准确率，大幅…
据与报道，香港科技大学与微软亚洲研究院等团队推出首个原生长程环境交互训练框架HarnessSQL，并在GitHub开源代码、沙盒环境与合成轨迹资产。该框架针对真实数据库的交互式SQL生成任务，在Spider 2.0-SQLite基准上仅凭8B参数即取得45.2%执行准确率，大幅超越32B专用模型与多智能体系统；扩展至14B后执行准确率达54.8%。
问题出在”训练与部署脱节”上。据公开报道，交互式Text-to-SQL可形式化为由执行环境契约调解的部分可观测马尔可夫决策过程，任务实例由自然语言指令、底层数据库、执行Harness与隐藏验证器四元组构成。现有后训练框架大多停留在静态监督损失，导致三重脱节：只把最终SQL作为目标而抹杀中间探索状态；训练时从未见过运行报错或空结果集，推理时遇到报错极易崩溃；模型不理解数据库CLI的权限边界与终止协议，容易产生工具格式幻觉。
框架的三块基石分别是高保真密闭执行沙盒、极简SQL Harness契约与两阶段长程后训练流水线。据公开报道，团队基于Spider 2.0-Lite的30个SQLite与Spider 2.0-DBT的49个DuckDB构建了79个复杂数据库沙盒，采用SQL-First蓝图合成法反向生成自然语言问题与验证Oracle，沙盒具备只读绑定、单语句约束与60秒超时保护；Harness契约提炼出四个动作——枚举数据表、探查表结构、执行只读试探查询、提交最终SQL，并内置行数截断、循环调用警示器与上下文压缩三道护栏。
训练上采用SFT加执行奖励强化学习的两阶段流程。据公开报道，第一阶段用教师模型在沙盒中自主探索，筛选通过Oracle验证的多轮轨迹做全序列监督微调，计算损失时屏蔽所有环境观测token，迫使模型依据反馈推演下一步；第二阶段用动态解耦裁剪策略优化（DAPO）在沙盒中持续对齐，奖励信号完全依托隐藏Oracle的真实执行对比，不设人工中间奖励。
实验结果给出了几项可复核的结论。据公开报道，在Spider 2.0-SQLite上HarnessSQL-8B达到45.2%，较同底座基线15.5%提升近3倍，超过OmniSQL-32B的14.8%、Arctic-Text2SQL-32B的16.3%与MARS-SQL多智能体系统的12.6%；在未见过训练数据的LiveSQLBench上，8B与14B分别取得24.8%与28.5%，是各32B基线的3至4倍。消融实验显示：若推理使用Harness交互环境而训练使用非交互式数据，准确率仅9.6%，甚至低于未微调基座；上下文从8K扩到32K时准确率从27.4%升至45.2%；DAPO（45.2%）优于GRPO（40.7%）与GSPO（43.7%）。
这项工作的价值不在于又一个基准分数，而在于它指出了长程智能体的训练方式：把交互环境本身纳入训练闭环，而不是把正确答案灌给模型。对企业级场景而言——动辄上百张表、数千字段、百万级数据的真实数据库——这决定智能体是”能写SQL”还是”能在真实库上把SQL跑通”。团队也明确了后续方向：跨数据库方言扩展至Snowflake、BigQuery、PostgreSQL等云原生生态，并融合可视化图表、交互式BI仪表盘等多元分析工具。
