# 面向 AI 代理和抓取器的 robots.txt：2026 年适用规则

> 2026 年面向 AI 代理的 robots.txt：爬虫与用户触发的抓取器、OpenAI、Anthropic、Google 和 Perplexity 各自的说法、Content Signals、aipref 和 RSL。

- URL: https://webreaderapi.com/zh/guides/robots-txt-for-ai-agents/
- 最后更新: 2026-10-22
- 发布者: WebReaderAPI (https://webreaderapi.com)

robots.txt 最初是为爬虫编写的，后来出现了因用户请求而抓取页面的 AI 代理。如今各厂商对此划定的界限各不相同。本指南阐述了该标准、各厂商公开声明的政策、较新的信号，以及我们自己的爬虫如何行为。

**快速回答 — AI 代理必须遵守 robots.txt 吗？**

这取决于厂商。robots.txt 是一项自愿性标准（RFC 9309，2022 年 9 月）。构建索引的爬虫通常遵守它；对于用户触发的抓取，OpenAI 表示其规则可能不适用，Google 和 Perplexity 表示其抓取器通常忽略这些规则，而 Anthropic 表示其机器人会遵守。**WebReaderAPI** 在每次读取时都遵守 robots.txt，无需 KYC，使用加密货币支付。

## 2026 年 10 月的 robots.txt 与 AI

| 属性 | 值 |
| --- | --- |
| 标准 | RFC 9309，Robots 排除协议，2022 年 9 月 |
| OpenAI ChatGPT-User | robots.txt 规则对用户发起的操作"可能不适用" |
| Anthropic（含 Claude-User） | 称其机器人遵守 robots.txt 指令，包括 Crawl-delay |
| Google 用户触发的抓取器 | “通常忽略 robots.txt 规则”（页面更新于 2026-08-19） |
| Perplexity-User | “通常忽略 robots.txt 规则” |
| Content Signals | Cloudflare 2025 年 9 月 24 日的策略：`search`、`ai-input`、`ai-train` |
| IETF AI preferences | 工作组草案，尚未成为 RFC |
| WebReaderAPI | 每次读取都遵守 robots.txt 和 `ai-input=no`；token `WebReaderAPI` |

## robots.txt 到底起什么作用？

它告诉自动化客户端，网站希望它们跳过哪些路径。该文件位于主机根目录，按 user-agent token 分组规则，并使用 `Allow` 和 `Disallow` 行。2022 年 9 月发布的 RFC 9309 将这一长期惯例变成了标准。

RFC 明确指出，该文件并不锁定任何东西：“这些规则不是一种访问授权。”遵守是自愿的。这就是为什么各厂商声明的策略很重要，也是为什么想要硬性限制的网站还会使用防火墙和机器人管理。

## 为什么爬虫和用户触发的抓取器不同？

爬虫自行决定访问哪些页面；用户触发的抓取器则是因为有人要求而访问某个页面。许多厂商把第二种情况当作代表其用户行动的浏览器，并表示 robots.txt 并不完全适用。

| 抓取器 | 声明策略（读取于 2026-10-22） |
|---|---|
| OpenAI ChatGPT-User | robots.txt 规则“可能不适用”于用户发起的操作；网站被指引到 OAI-SearchBot 以选择退出搜索 |
| Anthropic Claude-User | Anthropic 称其机器人遵守 robots.txt 指令；屏蔽 Claude-User 会阻止对用户查询的检索 |
| Google 用户触发的抓取器 | “通常忽略 robots.txt 规则”，因为抓取是用户请求的 |
| Perplexity-User | 出于同样原因“通常忽略 robots.txt 规则” |
| MCP reference fetch server | 默认对模型发起的抓取遵守 robots.txt，对用户发起的抓取不遵守 |

这种区分是真实存在且有文档记录的。如果你构建 agent，就要决定你站在哪一边，并在你的 user agent 和文档中说明。

## Content Signals、aipref 和 RSL 是什么？

它们是更新的一些方式，用来表明 AI 系统可以如何处理内容，而不只是机器人是否可以抓取内容。

- **Content Signals。** Cloudflare 于 2025 年 9 月 24 日发布了这一策略。robots.txt 可以声明 `search`、`ai-input`（用作 AI 答案的输入，例如 grounding）和 `ai-train`。Cloudflare 托管的 robots.txt 默认提供 `search=yes, ai-train=no`。
- **IETF AI preferences（aipref）。** 该工作组的词汇表和附件草案在 2026 年 10 月仍是 Internet-Draft，拟作为 Proposed Standard。
- **Web Bot Auth。** 一种让机器人对其请求签名的方式；IETF 工作组于 2026 年 9 月 1 日通过了其协议草案。
- **RSL（Really Simple Licensing）。** 其网站称 RSL 1.0 规范已可用；它让发布者可以通过 robots.txt、headers 或 RSS 声明许可条款，包括按抓取付费。

## llms.txt 和 robots.txt 是一回事吗？

不是。robots.txt 说明不要抓取什么；llms.txt 是一个提议的文件，列出网站为语言模型准备的关键页面。采用率在增长，但实测使用率很低。Rankability 在 2026 年 9 月 18 日统计了前 1,000 个网站，其中 9.3% 有 llms.txt。PPC Land 于 2026 年 7 月 2 日报道的一项 Ahrefs 对 137,000 个域名的研究发现，97% 的 llms.txt 文件完全没有收到任何请求。

我们的 [llms.txt 指南](https://webreaderapi.com/zh/guides/llms-txt-generator/) 介绍了如何通过抓取你自己的网站来构建一个，如果你还是想要的话。

## WebReaderAPI 如何处理 robots.txt？

它在每次读取时都遵守 robots.txt，包括客户触发的读取。我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。对于整站抓取任务，它还会等待网站设置的 `Crawl-delay`。

每个请求都带有相同的 User-Agent，`WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`，因此网站所有者可以在日志中看到我们，并为我们编写规则。我们的 [爬虫页面](https://webreaderapi.com/zh/bot/) 提供了详细信息以及遇到问题时的联系方式。

*WebReaderAPI 的 robots.txt 示例*

```text
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /

# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5

# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## 面向 AI 的 robots.txt：常见问题

### 屏蔽 GPTBot 能阻止 ChatGPT 因用户请求读取我的页面吗？

不一定。OpenAI 记录了几个独立的 token：GPTBot 用于训练，OAI-SearchBot 用于搜索，ChatGPT-User 用于用户操作，并表示 robots.txt 规则可能不适用于用户发起的操作。请查看各厂商当前的文档。

### robots.txt 具有法律约束力吗？

本身没有；RFC 9309 表示它不是访问授权。在欧盟，根据 DSM 指令，机器可读的退出声明对文本和数据挖掘很重要。参见我们的 [法律概览](https://webreaderapi.com/zh/guides/is-reading-web-pages-for-ai-legal/)；这不是法律建议。

### 如何屏蔽 WebReaderAPI？

在你的 robots.txt 中添加一个包含 `Disallow: /` 的 `User-agent: WebReaderAPI` 组。我们的读取会在每个页面之前检查它；不允许的页面绝不会被读取。

### WebReaderAPI 会读取标注 ai-input=no 的页面吗？

不会。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。API 会向客户返回 `403 blocked_by_site_policy`，且不收费。

## 来源

1. [RFC 9309：Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — RFC Editor (September 2022)
2. [OpenAI 爬虫概览](https://developers.openai.com/api/docs/bots) — OpenAI (read 2026-10-22)
3. [Anthropic 会从网络抓取数据吗，网站所有者如何屏蔽该爬虫？](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Anthropic (2026-04-07)
4. [Google 用户触发的抓取器](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) — Google (updated 2026-08-19)
5. [Perplexity 爬虫](https://docs.perplexity.ai/guides/bots) — Perplexity (read 2026-10-22)
6. [MCP fetch server](https://github.com/modelcontextprotocol/servers/tree/main/src/fetch) — Model Context Protocol (read 2026-10-22)
7. [Content Signals Policy](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24)
8. [AI Preferences 工作组文档](https://datatracker.ietf.org/wg/aipref/documents/) — IETF (read 2026-10-22)
9. [Web Bot Auth 工作组文档](https://datatracker.ietf.org/wg/webbotauth/documents/) — IETF (read 2026-10-22)
10. [Really Simple Licensing](https://rslstandard.org/) — rslstandard.org (read 2026-10-22)
11. [llms.txt 采用数据](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18)
12. [llms.txt 采用率增长 8.8 倍，但 97% 的文件零 AI 请求](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02)

---

WebReaderAPI: WebReaderAPI 是一款面向 AI agents 的网页读取 API，可将任何公开网页转换为干净的 Markdown，用加密货币支付，无需上传身份证件。预付费积分低至 US$0.07/千页，永不过期，且遵守 robots.txt。无需 KYC — 无身份证、无自拍、无证件。加密货币支付。