WebReaderAPI 机器人：user agent、robots.txt 以及如何屏蔽它

WebReaderAPI 为什么抓取了我的页面？

因为 API 的某位客户请求了它。WebReaderAPI 不建立自己的网络索引，也不会主动浏览。每次抓取都属于以下三种请求类型之一：

• 单次读取： 某个应用或 AI agent 把你的 URL 发给了 /read，通常是因为有人提出了一个你的页面能够回答的问题。
• 批量任务： 客户提交了一份最多 100 个 URL 的列表，你的 URL 就在其中。
• 整站抓取任务： 客户要求我们读取整个站点，从一个地址开始并停留在该域名内。整站抓取会遵循你的 sitemap 和 robots.txt。

客户以 Markdown 形式收到页面的正文。之后我们不保留任何副本。

如何在全站屏蔽该机器人？

在 robots.txt 文件中为我们的 token 添加一个分组。机器人在抓取页面前会读取 /robots.txt，并最多缓存 24 小时，因此更改最迟在一天内生效。

我可以只屏蔽部分站点，或者让机器人放慢速度吗？

可以。在 Disallow 下列出你想排除的文件夹，并为整站抓取任务设置以秒为单位的 Crawl-delay。针对所有机器人的规则（User-agent: *）在你没有为我们的 token 设置分组时同样适用于我们。如果你设置了分组，则以该分组为准，正如 RFC 9309 所述。

机器人会遵守 AI 偏好信号吗？

会，遵守网站在 robots.txt 中声明的那些信号。如果你的文件声明了 Content-Signal: ai-input=no，我们会将其视为拒绝让你的页面被用作 AI 回答的输入，因此不会为我们的客户读取这些页面。此时 API 会向客户返回错误 blocked_by_site_policy，且不向客户收费。

当我的站点拒绝它时，机器人会怎么做？

它会停止并上报你的响应。403 或 429 状态码、验证页面、登录表单或付费墙都会终止该请求。客户会收到错误 target_refused 及你的状态码，且不会被收费。

机器人从不破解验证、从不登录、从不伪装成浏览器更改 user agent，也从不换装重试。如果你希望我们读取你的页面，请在 robots.txt 中允许该 token 并放行请求；如果不希望，你这边无需再做任何事。

WebReaderAPI 目前还不承诺什么？

我们目前不公布 IP 地址列表，因此请通过 user agent 和其 robots.txt 行为来识别机器人，而不是通过 IP。使用 country 选项读取页面时，请求会从所选国家的地址发出，user agent 仍然相同。一旦我们的地址段确定，我们会将其连同变更日期补充到本页。

如何举报与机器人相关的问题？

请写信至 [email protected]，附上日期和时间、你的域名、被抓取的 URL，以及一行显示我们 user agent 的访问日志。会有人阅读每份报告，并与我们的日志核对。如果客户违反我们的可接受使用政策使用 API，其账户将被暂停。

要确认某个请求是否真的来自我们，请将 user agent 和 robots.txt 行为与本页对照。使用我们名字却无视你 robots.txt 规则的客户端不是我们的机器人。