# WebReaderAPI 机器人：user agent、robots.txt 以及如何屏蔽它

> WebReaderAPI 机器人：确切的 user agent、它的 robots.txt token、如何屏蔽或限速它，以及它永远不会做的事。写给网站所有者和 AI 工具。

- URL: https://webreaderapi.com/zh/bot/
- 最后更新: 2026-10-22
- 发布者: WebReaderAPI (https://webreaderapi.com)

如果你在服务器日志中看到了我们的名字，本页说明我们是谁、为什么抓取了你的页面，以及如何告诉我们不要抓取。这里的每条规则都是本服务构建时遵循的承诺。

**快速回答 — WebReaderAPI 机器人是什么，我该如何屏蔽它？**

当我们的客户请求 API 读取公开页面时，**WebReaderAPI** 机器人会抓取这些页面。它发送的 user agent 是 `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`，并遵守针对 token `WebReaderAPI` 或针对所有机器人的 robots.txt 规则。要在全站屏蔽它，请在 robots.txt 中添加 `User-agent: WebReaderAPI`，后跟 `Disallow: /`。

## 机器人概览

| 属性 | 值 |
| --- | --- |
| User-Agent 请求头 | `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` |
| robots.txt token | `WebReaderAPI` |
| robots.txt | 我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费 |
| AI 偏好信号 | 如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面 |
| 当网站拒绝时 | 如果网站拒绝我们的请求，我们会返回其答复：我们从不破解 CAPTCHA、不登录账户，也不试图绕过封锁或付费墙 |
| 你页面的副本 | 在答案发送给客户后不保留任何副本 |
| 整站抓取任务 | 每个任务抓取一个网站，最多 10,000 页，遵循其 sitemap、robots.txt 和 Crawl-delay |
| 联系方式 | abuse@webreaderapi.com |

## WebReaderAPI 为什么抓取了我的页面？

因为 API 的某位客户请求了它。WebReaderAPI 不建立自己的网络索引，也不会主动浏览。每次抓取都属于以下三种请求类型之一：

- **单次读取：** 某个应用或 AI agent 把你的 URL 发给了 `/read`，通常是因为有人提出了一个你的页面能够回答的问题。
- **批量任务：** 客户提交了一份最多 100 个 URL 的列表，你的 URL 就在其中。
- **整站抓取任务：** 客户要求我们读取整个站点，从一个地址开始并停留在该域名内。整站抓取会遵循你的 sitemap 和 robots.txt。

客户以 Markdown 形式收到页面的正文。之后我们不保留任何副本。

## 如何在全站屏蔽该机器人？

在 robots.txt 文件中为我们的 token 添加一个分组。机器人在抓取页面前会读取 `/robots.txt`，并最多缓存 24 小时，因此更改最迟在一天内生效。

*robots.txt：拒绝 WebReaderAPI 访问所有页面*

```text
User-agent: WebReaderAPI
Disallow: /

```

## 我可以只屏蔽部分站点，或者让机器人放慢速度吗？

可以。在 `Disallow` 下列出你想排除的文件夹，并为整站抓取任务设置以秒为单位的 `Crawl-delay`。针对所有机器人的规则（`User-agent: *`）在你没有为我们的 token 设置分组时同样适用于我们。如果你设置了分组，则以该分组为准，正如 RFC 9309 所述。

*robots.txt：排除两个文件夹并拉长整站抓取请求的间隔*

```text
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5

```

## 机器人会遵守 AI 偏好信号吗？

会，遵守网站在 robots.txt 中声明的那些信号。如果你的文件声明了 `Content-Signal: ai-input=no`，我们会将其视为拒绝让你的页面被用作 AI 回答的输入，因此不会为我们的客户读取这些页面。此时 API 会向客户返回错误 `blocked_by_site_policy`，且不向客户收费。

*robots.txt：允许搜索引擎，拒绝 AI 输入*

```text
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## 当我的站点拒绝它时，机器人会怎么做？

它会停止并上报你的响应。403 或 429 状态码、验证页面、登录表单或付费墙都会终止该请求。客户会收到错误 `target_refused` 及你的状态码，且不会被收费。

机器人从不破解验证、从不登录、从不伪装成浏览器更改 user agent，也从不换装重试。如果你希望我们读取你的页面，请在 robots.txt 中允许该 token 并放行请求；如果不希望，你这边无需再做任何事。

## WebReaderAPI 目前还不承诺什么？

我们目前不公布 IP 地址列表，因此请通过 user agent 和其 robots.txt 行为来识别机器人，而不是通过 IP。使用 `country` 选项读取页面时，请求会从所选国家的地址发出，user agent 仍然相同。一旦我们的地址段确定，我们会将其连同变更日期补充到本页。

## 如何举报与机器人相关的问题？

请写信至 abuse@webreaderapi.com，附上日期和时间、你的域名、被抓取的 URL，以及一行显示我们 user agent 的访问日志。会有人阅读每份报告，并与我们的日志核对。如果客户违反我们的[可接受使用政策](https://webreaderapi.com/zh/acceptable-use/)使用 API，其账户将被暂停。

要确认某个请求是否真的来自我们，请将 user agent 和 robots.txt 行为与本页对照。使用我们名字却无视你 robots.txt 规则的客户端不是我们的机器人。

## 网站所有者的问题

### WebReaderAPI 机器人是搜索引擎爬虫吗？

不是。它不索引网络，也不对页面排名。只有当 API 的客户请求某个页面时，它才会读取该页面，无论是单次请求、批量任务还是对单个站点的整站抓取。

### 屏蔽该机器人会影响我在 Google 或 Bing 的排名吗？

不会。针对 `WebReaderAPI` 编写的规则只涉及我们的机器人。搜索引擎爬虫会遵循你 robots.txt 中各自的分组。

### robots.txt 的更改多久生效？

最迟 24 小时内。机器人会最多缓存 robots.txt 一天，然后再次读取。

### 这个机器人会遵守 Crawl-delay 吗？

会，针对整站抓取 (crawl) 任务，这类任务会读取同一个网站的多个页面。单次读取就是一个请求，不会拉开间隔。

### 你们会存储或出售我页面的内容吗？

不会。页面文本只会发送给请求它的客户，我们不会保留。我们的日志会保留主机名、时间、状态码和所用积分，保留 30 天。

---

WebReaderAPI: WebReaderAPI 是一款面向 AI agents 的网页读取 API，可将任何公开网页转换为干净的 Markdown，用加密货币支付，无需上传身份证件。预付费积分低至 US$0.07/千页，永不过期，且遵守 robots.txt。无需 KYC — 无身份证、无自拍、无证件。加密货币支付。