快速回答
主要的 web reader API 术语是什么意思？
web reader API 会抓取页面，保留其正文提取内容，并以模型可读的 Markdown 返回。WebReaderAPI 在页面需要浏览器时加入 JavaScript 渲染，遵循 robots.txt 和 Content Signals，每页收取一个积分，自 2026 年 10 月起为 US$0.07/千页。以下 36 个术语解释了其余内容。
从网页一侧说起
- HTML
网页的标记语言。原始 HTML 会把你想获取的文本与标签、脚本和样式混在一起，因此对语言模型来说可读性很差。
- DOM
文档对象模型（DOM）：浏览器根据 HTML 构建、随后又用 JavaScript 修改的元素树。渲染后的页面是从 DOM 读取的，而不是从原始 HTML 读取。
- JavaScript 渲染
在浏览器中运行页面脚本，让首次响应之后加载的内容显示出来。WebReaderAPI 会在需要时执行（
render=auto），消耗两个积分而不是一个。- 无头浏览器
一种没有屏幕、由软件驱动的真实浏览器引擎。服务器上正是用它来渲染 JavaScript 密集的页面。
- 正文提取
找出读者真正要看的那部分页面内容，比如文章或文档，并排除周围的一切。在我们的 API 中，这就是
main_content=true，也是默认选项。- Readability
既指文本的一种质量，也指一类知名算法的名称，这类算法会对页面区块打分以找出正文，就像浏览器里的阅读模式那样。
- 样板内容
在每个页面都重复出现的文本：菜单、Cookie 提示、侧边栏、页脚、分享按钮。去掉它是网页阅读器的主要工作。
- Markdown
一种纯文本格式，其中
#表示标题、-表示列表项、[text](url)表示链接。模型读取效果好，而且比 HTML 消耗的 token 少得多。- 元数据
关于页面本身而非正文的事实：标题、描述、作者、发布日期、语言。当页面声明了这些信息时，WebReaderAPI 会在 Markdown 旁边一并返回它们。
- PDF 提取
把 PDF 文件里的文本转成 Markdown。最大 20 MB、100 页的 PDF 文件可转换为 Markdown，每 10 页（不足 10 页按 10 页计）1 积分。
- Sitemap
网站用来列出其页面的 XML 文件。整站抓取 (crawl) 任务在它存在时会从它开始，从而更快、以更少的请求找到页面。
- 付费墙
只向订阅者展示内容的屏障。WebReaderAPI 从不会读取付费墙后的内容。
从爬虫的角度
- 爬虫
为某个目的抓取网页的程序。我们的爬虫只抓取客户请求的页面，bot 页面 有相关说明。
- User-Agent
客户端随每次请求发送的名称。我们的是
WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)，所以网站所有者总能知道是谁在请求。- robots.txt
网站根目录下的文件，告诉爬虫哪些路径可以抓取，标准为 RFC 9309。我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。
- Crawl-delay
robots.txt 中的一行，要求爬虫在两次请求之间等待若干秒。我们的整站抓取 (crawl) 任务会遵守它。
- Content Signals
robots.txt 中诸如
Content-Signal: search=yes, ai-input=no这类行的策略，用来声明网站内容可以如何使用，包括供 AI 使用。- ai-input
Content Signals 的一个设置，涉及将页面作为 AI 回答的输入使用。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。
- llms.txt
一些网站会发布在
/llms.txt的 Markdown 文件，为语言模型提供其内容和关键页面的简要指南。- 整站抓取 (crawl)
通过跟踪链接和 sitemap 来读取同一网站的多个页面。每个任务抓取一个网站，最多 10,000 页，遵循其 sitemap、robots.txt 和 Crawl-delay。
- 批量任务
在一次请求中发送、在后台处理的 URL 列表。每个批量任务最多 100 个 URL。
- HTTP 403
服务器用来拒绝请求而发送的状态。当网站对我们的爬虫返回 403 时，API 会返回
target_refused，并且不收取任何费用。- HTTP 429
请求过多的状态。来自网站时，表示需要放慢速度；来自我们的 API（
concurrency_limit）时，表示你的账户已达到同时读取的上限。- 指数退避
每次失败后等待更久再重试（例如 1 秒、2 秒、然后 4 秒），以免给繁忙的服务器造成过多请求。
从 AI 视角
- Token
语言模型读取和计费的单位，大致相当于一个短词或词的一部分。干净的 Markdown 比同一页面的 HTML 使用的 token 少得多。
- 上下文窗口
模型一次能接收的文本量。
max_chars参数让每个页面都控制在你设定的预算之内。- RAG
检索增强生成：模型根据为问题检索到的文档来作答。网页读取器从实时页面提供这些文档。
- 分块
在建立索引之前，把长文档切分成段落。Markdown 标题提供了自然的切分点。
- 嵌入
表示一段文字含义的数字列表，用于找出与问题相似的段落。
- 向量存储
存储嵌入并返回与查询最接近段落的数据库，是 RAG 系统中分块网页的常见归宿。
- 工具调用
模型请求应用运行某个函数（例如读取 URL）并使用其结果的能力。参见 OpenAI function calling。
- MCP
Model Context Protocol，一种将工具接入 Claude Desktop 或 Cursor 等 AI 客户端的标准方式。我们的 MCP 页面 展示了一个基于该 API 构建的 fetch 工具。
从计费视角
- 积分
API 的使用单位。1 积分 = 读取 1 个页面且无需浏览器；当页面需要浏览器渲染 JavaScript 时为 2 积分。失败的请求，或被网站 robots.txt 拒绝的请求，不扣费。
- 并发数
你的账户在同一时刻可以运行的读取数量。每个账户都有同时读取页面数的上限；你的控制台会显示该上限，支持团队可将其提高。
- KYC
了解你的客户：某些服务要求的身份核验，例如身份证件或自拍。WebReaderAPI 不做任何要求。
- 稳定币
追踪美元等货币的加密货币。USDT 和 USDC 是接受充值的两种；完整币种列表见 BTC, USDT, USDC, ETH, SOL, LTC。