为什么 AI agent 抓取网页时会遇到 403 错误

2025 和 2026 年网络上发生了什么变化？

大型基础设施提供商把 AI 屏蔽变成了默认设置。三项有日期的变化解释了大多数新增的 403：

• 2025 年 7 月 1 日： Cloudflare 表示现已默认屏蔽 AI 爬虫，并在每个新域名注册时询问是否允许。同一天它推出了 pay per crawl 的私测版，以 HTTP 402 和价格作答。
• 2026 年 7 月 1 日： Cloudflare 引入了三类 AI 流量：Search、Agent 和 Training。"Agent" 明确包含 ChatGPT-User 等聊天抓取器。
• 2026 年 9 月 15 日： 对新域名，Cloudflare 的预设会在展示广告的页面上屏蔽 Training 和 Agent 流量；Search 仍被允许。

为用户抓取页面的 agent 属于 Agent 类别。在 2026 年 9 月之后接入的广告支持网站上，请预期被拒绝。

如何区分屏蔽和 bug？

先看状态码和响应体，再改动任何东西。

只有 429 和空的 JavaScript 页面是你可以在自己这边解决的技术问题。其余都是网站所有者做出的决定。

agent 开发者可以正当做些什么？

与网站合作，而不是绕过它。以下步骤能解决许多失败，并让你的 agent 站在网站所有者一边：

1. 使用网站自己的渠道。 许多网站提供 API、RSS 或 Atom feed，或包含你所需内容的 sitemap。
2. 申请访问。 网站所有者可以在 robots.txt 或 CDN 设置中允许指定 bot。清晰的 User-Agent 和联系页面能让这件事变得容易。
3. 渲染被允许但为空的页面。 对只有 JavaScript 的页面，使用运行无头浏览器的 reader。
4. 放慢速度并缓存。 同一页面只读一次并存储，尊重 Crawl-delay 和 429 响应。
5. 在网站出售访问权的地方付费。 402 是一个报价；通过网站渠道接受，或干脆不读该页面。

这些做法都让网站所有者保持控制，也正是让你的 agent 长期有用的原因。

为了绕过拒绝，我绝对不能做什么？

绝不伪装 agent 或破解保护。伪造浏览器的 User-Agent、轮换 IP 地址以逃避屏蔽，或破解挑战页面，会把一个礼貌的客户端变成专为攻破访问控制而打造的工具。2026 年，美国两家法院在关于自动化访问搜索结果的诉讼中，将此类技术视为规避。案件仍未结，尚未有定论，但风险并非理论上的。

这也会破坏与你的用户所依赖的网站之间的信任。拒绝是一种信息：记录下来，告诉用户该页面不可用，然后转向其他来源。

当网站拒绝时，内置抓取工具会怎么做？

大多数会把错误返回给模型，模型再告诉用户它无法读取该页面。OpenClaw 的文档（查阅于 2026 年 10 月 22 日）称，其内置的 web_fetch 使用 Readability 提取内容，不运行 JavaScript，输出上限为 20,000 个字符；它可以回退到 fetch provider，插件可注册新的 provider。MCP reference fetch server 对模型发起的抓取默认遵守 robots.txt。

当这些工具在允许 robots 但需要 JavaScript 的页面上失败时，能渲染页面的 reader 会有帮助。当它们因网站拒绝而失败时，任何工具都不应改变这个答复。

当网站拒绝时，WebReaderAPI 返回什么？

它会清楚地返回拒绝结果，且不向你收费。被 robots.txt 禁止的页面返回 403 blocked_by_robots。声明 ai-input=no 的网站返回 403 blocked_by_site_policy。以任何其他方式拒绝请求的网站返回 502 target_refused，并在 target_status 中给出网站自己的状态码。

如果网站拒绝我们的请求，我们会返回其答复：我们从不破解 CAPTCHA、不登录账户，也不试图绕过封锁或付费墙。你的 agent 可以准确告诉用户页面为何被跳过。错误页面 列出了每个代码及各自的 retry 规则。