# 为 AI 读取网页合法吗？2026 年带日期的事实

> 2026 年，为 AI agent 和 RAG 读取网页合法吗？EU 退出规则、关于 robots.txt 的 GPAI 行为准则，以及美国进行中的案件。非法律建议。

- URL: https://webreaderapi.com/zh/guides/is-reading-web-pages-for-ai-legal/
- 最后更新: 2026-10-22
- 发布者: WebReaderAPI (https://webreaderapi.com)

没有单一答案，且多起案件仍未结案。本页列出用 AI 工具读取公开页面所涉及的重要规则与法院事件，附日期和来源，以及我方采取的做法。这不是法律建议。

**快速回答 — 用 AI 工具读取网页合法吗？**

读取公开页面被广泛实践，但规则取决于国家、内容以及访问方式。在 EU，像 robots.txt 这样的机器可读退出机制会限制文本和数据挖掘。在美国，2025–2026 年有多起关于 AI 与自动化访问的案件尚未结案，没有最终判决。**WebReaderAPI** 尊重 robots.txt 和 AI 退出机制；无需 KYC，支持加密货币。非法律建议。

## 关键日期

| 属性 | 值 |
| --- | --- |
| 2019 年 4 月 17 日 | EU DSM 指令第 4(3) 条：商业性文本和数据挖掘可通过机器可读方式保留 |
| 2025 年 7 月 10 日 | EU GPAI 行为准则：签署方承诺其爬虫会读取并遵守 robots.txt |
| 2025年12月5日 | 《纽约时报》就 Perplexity 检索其内容提起诉讼（指控） |
| 2026年7月31日 | Reddit 诉 SerpApi 和 Perplexity：DMCA §1201(a) 主张通过了驳回动议（指控） |
| 报道于2026年8月5日 | 第九巡回法院撤销了 Amazon 对 Perplexity 的 Comet agent 的禁令 |

## 欧盟法律对读取网页内容是怎么规定的？

欧盟法律允许对合法可访问的内容进行文本和数据挖掘，但允许权利人保留该权利。DSM 指令（2019/790）第 4(3) 条规定，商业例外仅在未被“以适当方式，例如机器可读手段”明确保留的情况下适用于在线发布的内容。

欧盟《人工智能法案》针对通用人工智能模型的行为准则于 2025年7月10日发布，对其签署方提出了更进一步的要求。他们承诺其爬虫会读取并遵守 robots.txt，以及遵守其他适当的机器可读协议。这就是为什么遵守 robots.txt 和已声明的 AI 偏好已成为欧洲使用的基线。

## 哪些美国案件重要，它们进展如何？

目前没有任何案件就读取公开页面用于 AI 作出最终判决。以下为迄今的事实，除法院已裁决者外，均为指控：

- **Reddit 诉 SerpApi、Perplexity 等（S.D.N.Y.）。** 2026年7月31日，法院在诉答阶段允许依据 DMCA §1201(a) 提出的主张继续进行，将 Google 基于挑战的保护视为控制访问的措施。尚无被告被认定承担责任。
- **《纽约时报》诉 Perplexity。** 于2025年12月5日提起。《纽约时报》指控 Perplexity 在其已于 robots.txt 中屏蔽后，仍在查询时检索其内容。
- **Amazon 诉 Perplexity。** 据2026年8月5日报道，第九巡回法院撤销了对 Perplexity 的 Comet 购物 agent 的禁令，指出该助手是按照其用户的指令行事。合议庭表示并未为 agentic AI 设定宽泛规则。

方向不一，上诉仍在继续。任何总结，包括本总结，均应视为有时效性。

## 当 AI 工具读取页面时，什么能降低风险？

上述每条规则和每个案件中都会提到几种做法：

- **只读取公开页面。** 不登录、不进入会员区、不绕过付费墙。
- **遵守机器可读的退出声明。** robots.txt 和已声明的 AI 偏好，例如 `ai-input=no`。
- **绝不破解保护措施。** 不伪装 User-Agent、不轮换地址以逃避封锁、不破解挑战。
- **避免个人数据。** 不收集关于私人个人的画像、联系方式或其他数据。
- **注明来源。** 为每个页面保留 URL，并在答案依赖该页面时展示出来。

这些是良好实践，并非保证。请就你的具体用例咨询律师。

## WebReaderAPI 在自己这边做了什么？

我们围绕这些实践构建了该服务。我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。如果网站拒绝我们的请求，我们会返回其答复：我们从不破解 CAPTCHA、不登录账户，也不试图绕过封锁或付费墙。

我们的[可接受使用政策](https://webreaderapi.com/zh/acceptable-use/)禁止收集关于私人个人的个人数据，以及读取登录或付费墙后的内容。每个请求都以 `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` 标识自己，我们的[爬虫页面](https://webreaderapi.com/zh/bot/)告诉网站所有者如何联系我们。

## 法律问题

### 遵守 robots.txt 就能让我的使用合法吗？

仅凭这一点不能。它回答了欧盟的退出问题并体现了善意，但版权、合同、隐私法以及各网站的条款仍然适用。这不构成法律建议。

### 我可以存储读取的页面吗？

这取决于内容、你的目的和你的司法管辖区。WebReaderAPI 不会保留为你读取的页面的任何副本；你在自己这边存储什么由你决定并负责。

### 为单个用户读取页面与抓取网站不同吗？

一些供应商和一个上诉合议庭已将用户指令的 agent 与爬虫区别对待。法律尚无定论，因此 WebReaderAPI 对两者适用相同的 robots.txt 规则。

### 在哪里可以了解更多？

我们的[robots.txt 指南](https://webreaderapi.com/zh/guides/robots-txt-for-ai-agents/)涵盖了相关标准，下面的来源链接到文本和报告。针对你自己的情况，请咨询你所在司法管辖区的律师。

## 来源

1. [指令 (EU) 2019/790 第 4 条](https://www.legislation.gov.uk/eudr/2019/790/article/4) — legislation.gov.uk (read 2026-10-22)
2. [AI 办公室发布通用人工智能模型行为准则最终版](https://www.globalpolicywatch.com/2025/07/ai-office-publishes-final-version-of-the-code-of-practice-for-general-purpose-ai-models/) — Global Policy Watch (2025-07)
3. [Reddit 诉 SerpApi LLC](https://www.loeb.com/en/insights/publications/2026/08/reddit-v-serpapi-llc) — Loeb & Loeb (2026-08)
4. [《纽约时报》起诉 AI 搜索引擎 Perplexity](https://the-decoder.com/nyt-sues-ai-search-engine-perplexity-for-alleged-content-misuse/) — The Decoder (read 2026-10-22)
5. [美国法院推翻针对 Perplexity 的 Amazon 禁令](https://www.retail-insight-network.com/news/us-court-overturns-amazon-injunction-perplexity/) — Retail Insight Network (2026-08-05)

---

WebReaderAPI: WebReaderAPI 是一款面向 AI agents 的网页读取 API，可将任何公开网页转换为干净的 Markdown，用加密货币支付，无需上传身份证件。预付费积分低至 US$0.07/千页，永不过期，且遵守 robots.txt。无需 KYC — 无身份证、无自拍、无证件。加密货币支付。