为 AI 读取网页合法吗？2026 年带日期的事实

欧盟法律对读取网页内容是怎么规定的？

欧盟法律允许对合法可访问的内容进行文本和数据挖掘，但允许权利人保留该权利。DSM 指令（2019/790）第 4(3) 条规定，商业例外仅在未被“以适当方式，例如机器可读手段”明确保留的情况下适用于在线发布的内容。

欧盟《人工智能法案》针对通用人工智能模型的行为准则于 2025年7月10日发布，对其签署方提出了更进一步的要求。他们承诺其爬虫会读取并遵守 robots.txt，以及遵守其他适当的机器可读协议。这就是为什么遵守 robots.txt 和已声明的 AI 偏好已成为欧洲使用的基线。

哪些美国案件重要，它们进展如何？

目前没有任何案件就读取公开页面用于 AI 作出最终判决。以下为迄今的事实，除法院已裁决者外，均为指控：

• Reddit 诉 SerpApi、Perplexity 等（S.D.N.Y.）。 2026年7月31日，法院在诉答阶段允许依据 DMCA §1201(a) 提出的主张继续进行，将 Google 基于挑战的保护视为控制访问的措施。尚无被告被认定承担责任。
• 《纽约时报》诉 Perplexity。 于2025年12月5日提起。《纽约时报》指控 Perplexity 在其已于 robots.txt 中屏蔽后，仍在查询时检索其内容。
• Amazon 诉 Perplexity。 据2026年8月5日报道，第九巡回法院撤销了对 Perplexity 的 Comet 购物 agent 的禁令，指出该助手是按照其用户的指令行事。合议庭表示并未为 agentic AI 设定宽泛规则。

方向不一，上诉仍在继续。任何总结，包括本总结，均应视为有时效性。

当 AI 工具读取页面时，什么能降低风险？

上述每条规则和每个案件中都会提到几种做法：

• 只读取公开页面。 不登录、不进入会员区、不绕过付费墙。
• 遵守机器可读的退出声明。 robots.txt 和已声明的 AI 偏好，例如 ai-input=no。
• 绝不破解保护措施。 不伪装 User-Agent、不轮换地址以逃避封锁、不破解挑战。
• 避免个人数据。 不收集关于私人个人的画像、联系方式或其他数据。
• 注明来源。 为每个页面保留 URL，并在答案依赖该页面时展示出来。

这些是良好实践，并非保证。请就你的具体用例咨询律师。

WebReaderAPI 在自己这边做了什么？

我们围绕这些实践构建了该服务。我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。如果网站拒绝我们的请求，我们会返回其答复：我们从不破解 CAPTCHA、不登录账户，也不试图绕过封锁或付费墙。

我们的可接受使用政策禁止收集关于私人个人的个人数据，以及读取登录或付费墙后的内容。每个请求都以 WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) 标识自己，我们的爬虫页面告诉网站所有者如何联系我们。