面向 AI 代理和抓取器的 robots.txt：2026 年适用规则

robots.txt 到底起什么作用？

它告诉自动化客户端，网站希望它们跳过哪些路径。该文件位于主机根目录，按 user-agent token 分组规则，并使用 Allow 和 Disallow 行。2022 年 9 月发布的 RFC 9309 将这一长期惯例变成了标准。

RFC 明确指出，该文件并不锁定任何东西：“这些规则不是一种访问授权。”遵守是自愿的。这就是为什么各厂商声明的策略很重要，也是为什么想要硬性限制的网站还会使用防火墙和机器人管理。

为什么爬虫和用户触发的抓取器不同？

爬虫自行决定访问哪些页面；用户触发的抓取器则是因为有人要求而访问某个页面。许多厂商把第二种情况当作代表其用户行动的浏览器，并表示 robots.txt 并不完全适用。

这种区分是真实存在且有文档记录的。如果你构建 agent，就要决定你站在哪一边，并在你的 user agent 和文档中说明。

Content Signals、aipref 和 RSL 是什么？

它们是更新的一些方式，用来表明 AI 系统可以如何处理内容，而不只是机器人是否可以抓取内容。

• Content Signals。 Cloudflare 于 2025 年 9 月 24 日发布了这一策略。robots.txt 可以声明 search、ai-input（用作 AI 答案的输入，例如 grounding）和 ai-train。Cloudflare 托管的 robots.txt 默认提供 search=yes, ai-train=no。
• IETF AI preferences（aipref）。 该工作组的词汇表和附件草案在 2026 年 10 月仍是 Internet-Draft，拟作为 Proposed Standard。
• Web Bot Auth。 一种让机器人对其请求签名的方式；IETF 工作组于 2026 年 9 月 1 日通过了其协议草案。
• RSL（Really Simple Licensing）。 其网站称 RSL 1.0 规范已可用；它让发布者可以通过 robots.txt、headers 或 RSS 声明许可条款，包括按抓取付费。

llms.txt 和 robots.txt 是一回事吗？

不是。robots.txt 说明不要抓取什么；llms.txt 是一个提议的文件，列出网站为语言模型准备的关键页面。采用率在增长，但实测使用率很低。Rankability 在 2026 年 9 月 18 日统计了前 1,000 个网站，其中 9.3% 有 llms.txt。PPC Land 于 2026 年 7 月 2 日报道的一项 Ahrefs 对 137,000 个域名的研究发现，97% 的 llms.txt 文件完全没有收到任何请求。

我们的 llms.txt 指南 介绍了如何通过抓取你自己的网站来构建一个，如果你还是想要的话。

WebReaderAPI 如何处理 robots.txt？

它在每次读取时都遵守 robots.txt，包括客户触发的读取。我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。对于整站抓取任务，它还会等待网站设置的 Crawl-delay。

每个请求都带有相同的 User-Agent，WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)，因此网站所有者可以在日志中看到我们，并为我们编写规则。我们的 爬虫页面 提供了详细信息以及遇到问题时的联系方式。