OpenAI、谷歌、微软、Anthropic 联合推行 AI 数据抓取退出标准
要点
OpenAI、谷歌、微软和 Anthropic 近日宣布将采用一项新标准，内容发布方可通过该标准，一次性向多家 AI 企业统一申明其网站内容是否可用于 AI 模型训练，无需再为每家企业单独设置规则。 该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工…
OpenAI、谷歌、微软和 Anthropic 近日宣布将采用一项新标准，内容发布方可通过该标准，一次性向多家 AI 企业统一申明其网站内容是否可用于 AI 模型训练，无需再为每家企业单独设置规则。
该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，并将集成在网站的 robots.txt 文件中。robots.txt 长期用于告知网络爬虫哪些内容允许抓取、哪些禁止抓取，适用场景包括搜索索引、网页归档以及 AI 模型训练。此前，网站必须向每一家 AI 企业分别声明其 AI 训练相关的内容使用偏好。
按公布的实施进度，Anthropic 已率先采纳该标准；OpenAI 计划在未来几个月内落实；谷歌和微软预计于明年支持。Meta 发言人 Andy Stone 表示支持建立此类通用信号，但未明确具体落地计划。
从机制上看，该标准针对的是内容方表达偏好的碎片化问题：它把”是否允许 AI 抓取用于训练”的偏好，压缩为一个可被多家抓取方读取的统一信号，降低了内容方表达偏好的门槛，也为 AI 企业提供了一种可规模化的合规接口。需要区分的是，该统一信号解决的是抓取偏好的”表达”问题，属于技术层面的统一声明，并不等同于内容授权合同，也不自动产生收益分配机制。
免责声明本页信息整理自互联网公开渠道，仅供资讯参考，不构成任何投资或商业决策依据；相关产品参数、企业信息可能存在滞后或误差，请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题，请联系 981209856@qq.com，我们将第一时间核实处理。
