关于 WebReaderAPI

WebReaderAPI 解决什么问题？

语言模型读的是文本，但网页大部分内容并不是文本：导航、脚本、cookie 提示、广告、相关文章组件和页脚。把原始 HTML 直接喂给模型会浪费它的上下文窗口，还会把关键事实埋没。

WebReaderAPI 抓取页面、找到正文，并以 Markdown 返回，保留标题、列表、表格和链接的位置。如果页面标注了标题、作者、发布日期、语言和字数，你也会一并拿到。一次调用就能替代你自己代码里的抓取、浏览器渲染和清洗三步。

一次请求如何一步步完成？

1. 你的代码把 URL 连同 API 密钥发送到 https://webreaderapi.com/api/v1/read。
2. 我们会检查站点的 robots.txt 中针对我们 token 和所有爬虫的规则，并查找 ai-input=no 信号。
3. 如果页面被允许读取，我们的机器人会以 User-Agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) 抓取它。
4. 当原始 HTML 中的文本太少时，先用无头浏览器渲染页面（render=auto）。
5. 我们提取正文，转换为 Markdown，并连同元数据一起返回。

1 积分 = 读取 1 个页面且无需浏览器；当页面需要浏览器渲染 JavaScript 时为 2 积分。失败的请求，或被网站 robots.txt 拒绝的请求，不扣费。read endpoint 记录了每个参数。

WebReaderAPI 绝不会做什么？

有些限制是产品本身的设定，而非可调选项：

• 绝不读取站点已拒绝的页面。 我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。
• 绝不绕过拒绝。 如果网站拒绝我们的请求，我们会返回其答复：我们从不破解 CAPTCHA、不登录账户，也不试图绕过封锁或付费墙。
• 绝不读取登录或付费墙之后的内容，即使你提供了凭据。
• 绝不保留你的页面。 文本会返回给你，我们的日志只保留主机名。

这些规则让我们放弃了一些技术上能抓取的页面。我们接受这个取舍，因为站点所有者、客户和 AI 助手都需要信任这个工具。

客户是谁？

主要是给 AI agents 提供可靠网页读取方式的开发者，以及把文档、帮助中心或博客加载进检索系统的团队。研究人员用它以干净的形式收集公开文章，也有一些工具用它构建阅读视图或摘要。

可接受使用政策 列出了禁止事项，例如收集有关私人的个人数据。每份举报都有人工审核，违反规则的账号会被封禁。

为什么用加密货币支付且无需 KYC？

因为我们的许多客户是个人开发者、小团队和自主项目，他们不愿在每尝试一个 API 时都交出自己的身份证件或银行卡信息。使用账号登录；邮箱为可选。你从 BTC, USDT, USDC, ETH, SOL, LTC 起用 US$25 充值，然后从余额购买积分。

无需 KYC 不代表没有规则。可接受使用政策适用于每个账号，robots.txt 适用于每个请求，我们会对有据可查的滥用举报采取行动。

我们不宣称什么？

目前我们不公布任何响应时间、正常运行时间或成功率数据。成功率取决于你读取的站点，一个诚实的数字需要基于有方法、有日期的公开实测样本。一旦有了，就会发布在状态页上。

我们也不宣称能读取网络上的每一个页面。拒绝 robots、要求登录或阻止自动请求的站点，按设计就不在可及范围内。

如何联系到真人？

关于 API、账单或账号的问题，请写信至 [email protected]；每天都有真人回复。站点所有者和举报滥用的人可以写信至 [email protected]；bot 页面 说明了如何阻止或限流我们的爬虫。

我们团队的任何人绝不会向你索要账号或 API 密钥。