未分类

Anthropic工程师发文警示认知投降:AI越可靠越要守住判断力

要点

Anthropic Claude Code 团队工程师 Addy Osmani 于 11 月 3 日发表长文《当AI智能体完成工作时,如何保持批判性思维》,提出一个与行业乐观情绪相悖的观察:AI 输出越可靠,人类越容易放弃质疑。他将这种状态命名为「认知投降」——AI 的答案逐渐…

Anthropic Claude Code 团队工程师 Addy Osmani 于 11 月 3 日发表长文《当AI智能体完成工作时,如何保持批判性思维》,提出一个与行业乐观情绪相悖的观察:AI 输出越可靠,人类越容易放弃质疑。他将这种状态命名为「认知投降」——AI 的答案逐渐被当成自己的判断,使用者甚至不再产生检查的念头。这篇警示恰好出自一名每天与 Agent 协作写代码的一线工程师之笔,分量因此不同寻常。

Osmani 的背景让这一提醒更具说服力。他曾在谷歌工作超过 14 年,参与 Chrome DevTools、Lighthouse 等开发者工具,离开前担任 Google Cloud AI 总监,如今负责 Claude Code 相关工作。他自述是 Agent 工作流的坚定支持者,日常经常同时运行多个 Agent——正因为深度使用,他才捕捉到一个反直觉的变化:早期 Agent 频繁出错,用户必须逐行核验,这个过程本身是一种认知训练;而现在模型显性错误急剧减少,输出结构完整、表达流畅且大体正确,验证环节被自然跳过,批判性思考的「肌肉」开始萎缩。

文章把人类对 AI 的依赖划分为三个递进阶段:认知卸载,把任务交给 AI 但仍理解并负责;判断让渡,AI 输出不再被视为待验证的假设,而直接成为下一步工作的前提;认知投降,连原本属于自己的判断也一并交出。危险在于三个阶段之间没有警示灯——用户可能认真读完第一份 AI 报告,第二份只扫两眼,第三份只看大纲,直到被问及某个结论的来龙去脉时,才发现自己解释不清。

「认知投降」并非 Osmani 的原创概念,其学理源头可以追溯到沃顿商学院研究者 Steven Shaw 与 Gideon Nave 的论文《思考——快速、缓慢与人工智能》。这篇论文提出「三系统理论」,在卡尼曼双系统(直觉与深思)之外引入「系统三」:运行于大脑之外的人工认知。三项预注册实验共纳入 1372 名受试者、9593 次认知反思测试:当 AI 答案正确时,参与者准确率较基线提高 25 个百分点;当研究者暗中让 AI 给出错误答案时,准确率骤降 15 个百分点,且参与者对错误答案的采纳率超过 80%,自信心不降反升。让渡判断的代价,恰恰在错误发生时才兑现。

落到软件工程场景,Osmani 把这种代价具体化为「理解债」:Agent 写出的代码越来越多、测试全绿、系统功能越来越复杂,团队对系统的理解却不随之增长,直到某天需要修改功能才发现已无人说得清内部结构。他同时提出五条对策:写 Prompt 前先自行列出需求清单,避免「意图债」;让 Agent 主动交代未经授权的决定与假设;不迷信测试全绿,追问它没测什么;多 Agent 并行时保留原始材料与验证依据;每周保留一次脱离 Agent 的独立编码练习。其中最有代表性的一条,是让 Agent 在完成大型修改后反过来出题考核工程师,答对才允许合并代码。

这一警示与境内的公共讨论形成了呼应。人民网 9 月的评论指出,多所高校校长在开学典礼上不约而同提醒学生警惕「认知卸载」「虚假掌握」「思维外包」;一项覆盖全国 400 余所高校、1953 名本科生的调研显示,AI 工具使用率已达 99.18%,超六成学生对使用边界感到困惑。复旦大学发布的生成式 AI 教学应用指引则把边界写进制度:AI 可用于资料整理、语言润色等低认知负荷任务,但研究思考、理论构建、结论形成等实质性学术劳动不得替代。工程实践与教育治理在同一个判断上汇合——AI 提高了生成效率,却没有降低审核门槛。

值得注意的是,研究者并不主张一概拒绝对 AI 的让渡。Shaw 与 Nave 在论文与后续访谈中承认,在结构清晰、AI 更准确的定义性任务上,交出判断完全可能是理性的;真正的问题在于组织和个人如何区分「哪些决策属于工具、哪些必须由人完成」。他们给出的建设性方案包括设计促使使用者暂停核验的交互界面,以及帮助员工识别自己正在「投降」的培训;实验也显示,当逐题反馈与纠错激励存在时,参与者会显著更多地质疑错误的 AI 建议。 Osmani 本人也强调,他不是要工程师背诵整个代码库,而是要求「知道自己懂什么、还有什么没懂」。

综合来看,这篇长文的真正价值不在口号,而在它把「AI 依赖」从道德担忧转译成了可操作的工程制度:可验证的完成线、审计痕迹、留白的独立练习。当生成能力的增长远快于判断能力的增长,无论是个体开发者还是教育机构,都需要重新划定「代劳」与「代想」的边界——机器可以给出十个方案,最终作出选择并承担责任的,只能是人。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

沈砚清

沈砚清,参与大观门户各频道的选题与稿件整理。