OpenAI宣布将支持robots.txt中的共享AI训练偏好信号，Google、Microsoft和Anthropic等厂商也参与相关标准讨论。它的目标是让网站不必逐个维护不同AI训练爬虫，但这个信号与搜索收录、实时检索和模型训练不是一回事，配置错误可能误伤SEO。
先分清三类访问
搜索引擎蜘蛛用于建立网页索引；AI检索机器人可能在用户提问时读取页面；训练爬虫用于收集改变模型参数的数据。新的共享偏好主要表达是否允许基础生成式AI训练，并不自动代表禁止搜索索引，也不等于禁止分类、排序或实时回答。
因此不要简单写全站Disallow。网站若依赖百度、Google或Bing流量，应继续允许正常搜索蜘蛛访问文章页，同时按业务选择是否允许训练。站内Claude文本水印与SEO影响也说明，内容来源治理要与搜索可见性分开处理。
配置前先盘点
列出站点公开内容、会员内容、后台、搜索结果、API、上传文件和隐私页面。公开文章可供搜索引擎抓取；后台、内部搜索参数、用户资料和接口应禁止所有公共爬虫。再单独决定公开文章是否允许AI训练。
不要立即照抄未知规则
OpenAI表示将在后续月份实现共享信号并继续公布细节。标准尚在推进时，应先保留现有按User-agent配置，关注IETF AIPREF和各厂商正式文档，再增加共享字段。不要根据社交媒体片段写入生产robots.txt。
安全发布流程
修改前备份原文件并检查Sitemap声明。发布后分别用百度、Google和Bing的抓取测试确认文章页仍可访问；访问日志中观察正常蜘蛛是否出现403、444或大幅下降。对AI训练爬虫检查响应是否符合预期。至少观察一周再扩大规则。
与技术防护配合
robots.txt只是自愿协议，恶意采集不会遵守。敏感内容必须依靠登录、权限和数据隔离；高频扫描依靠限速、WAF和行为识别。不要把秘密URL写进robots.txt，因为文件公开可见。对于站内搜索页，建议限制参数组合并设置noindex，防止无限生成重复页面。
对内容网站的建议
保留搜索收录，屏蔽后台和动态查询；对训练使用作出明确选择；文章中增加作者、更新时间、来源和结构化数据，提升搜索引擎对原创内容的理解。定期对比蜘蛛访问、索引量和自然流量，避免规则改了却无人发现。
资料来源：OpenAI网站AI训练偏好说明。
