# Web reader API 术语表

> 用 API 读取网页的 36 个术语表：Markdown、正文提取、JavaScript 渲染、robots.txt、Content Signals、RAG、MCP、积分等。

- URL: https://webreaderapi.com/zh/glossary/
- 最后更新: 2026-10-22
- 发布者: WebReaderAPI (https://webreaderapi.com)

将网页转换为供语言模型使用的文本时会遇到的词汇，从 HTML 侧到 AI 侧，并附上每个术语在文档中相关位置的链接。

**快速回答 — 主要的 web reader API 术语是什么意思？**

web reader API 会抓取页面，保留其**正文提取**内容，并以模型可读的 **Markdown** 返回。**WebReaderAPI** 在页面需要浏览器时加入 **JavaScript 渲染**，遵循 **robots.txt** 和 **Content Signals**，每页收取一个**积分**，自 2026 年 10 月起为 US$0.07/千页。以下 36 个术语解释了其余内容。

## 从网页一侧说起

**HTML** — 网页的标记语言。原始 HTML 会把你想获取的文本与标签、脚本和样式混在一起，因此对语言模型来说可读性很差。

**DOM** — 文档对象模型（DOM）：浏览器根据 HTML 构建、随后又用 JavaScript 修改的元素树。渲染后的页面是从 DOM 读取的，而不是从原始 HTML 读取。

**JavaScript 渲染** — 在浏览器中运行页面脚本，让首次响应之后加载的内容显示出来。WebReaderAPI 会在需要时执行（`render=auto`），消耗两个积分而不是一个。

**无头浏览器** — 一种没有屏幕、由软件驱动的真实浏览器引擎。服务器上正是用它来渲染 JavaScript 密集的页面。

**正文提取** — 找出读者真正要看的那部分页面内容，比如文章或文档，并排除周围的一切。在我们的 API 中，这就是 `main_content=true`，也是默认选项。

**Readability** — 既指文本的一种质量，也指一类知名算法的名称，这类算法会对页面区块打分以找出正文，就像浏览器里的阅读模式那样。

**样板内容** — 在每个页面都重复出现的文本：菜单、Cookie 提示、侧边栏、页脚、分享按钮。去掉它是网页阅读器的主要工作。

**Markdown** — 一种纯文本格式，其中 `#` 表示标题、`-` 表示列表项、`[text](url)` 表示链接。模型读取效果好，而且比 HTML 消耗的 token 少得多。

**元数据** — 关于页面本身而非正文的事实：标题、描述、作者、发布日期、语言。当页面声明了这些信息时，WebReaderAPI 会在 Markdown 旁边一并返回它们。

**PDF 提取** — 把 PDF 文件里的文本转成 Markdown。最大 20 MB、100 页的 PDF 文件可转换为 Markdown，每 10 页（不足 10 页按 10 页计）1 积分。

**Sitemap** — 网站用来列出其页面的 XML 文件。整站抓取 (crawl) 任务在它存在时会从它开始，从而更快、以更少的请求找到页面。

**付费墙** — 只向订阅者展示内容的屏障。WebReaderAPI 从不会读取付费墙后的内容。

## 从爬虫的角度

**爬虫** — 为某个目的抓取网页的程序。我们的爬虫只抓取客户请求的页面，[bot 页面](https://webreaderapi.com/zh/bot/) 有相关说明。

**User-Agent** — 客户端随每次请求发送的名称。我们的是 `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`，所以网站所有者总能知道是谁在请求。

**robots.txt** — 网站根目录下的文件，告诉爬虫哪些路径可以抓取，标准为 RFC 9309。我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。

**Crawl-delay** — robots.txt 中的一行，要求爬虫在两次请求之间等待若干秒。我们的整站抓取 (crawl) 任务会遵守它。

**Content Signals** — robots.txt 中诸如 `Content-Signal: search=yes, ai-input=no` 这类行的策略，用来声明网站内容可以如何使用，包括供 AI 使用。

**ai-input** — Content Signals 的一个设置，涉及将页面作为 AI 回答的输入使用。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。

**llms.txt** — 一些网站会发布在 `/llms.txt` 的 Markdown 文件，为语言模型提供其内容和关键页面的简要指南。

**整站抓取 (crawl)** — 通过跟踪链接和 sitemap 来读取同一网站的多个页面。每个任务抓取一个网站，最多 10,000 页，遵循其 sitemap、robots.txt 和 Crawl-delay。

**批量任务** — 在一次请求中发送、在后台处理的 URL 列表。每个批量任务最多 100 个 URL。

**HTTP 403** — 服务器用来拒绝请求而发送的状态。当网站对我们的爬虫返回 403 时，API 会返回 `target_refused`，并且不收取任何费用。

**HTTP 429** — 请求过多的状态。来自网站时，表示需要放慢速度；来自我们的 API（`concurrency_limit`）时，表示你的账户已达到同时读取的上限。

**指数退避** — 每次失败后等待更久再重试（例如 1 秒、2 秒、然后 4 秒），以免给繁忙的服务器造成过多请求。

## 从 AI 视角

**Token** — 语言模型读取和计费的单位，大致相当于一个短词或词的一部分。干净的 Markdown 比同一页面的 HTML 使用的 token 少得多。

**上下文窗口** — 模型一次能接收的文本量。`max_chars` 参数让每个页面都控制在你设定的预算之内。

**RAG** — 检索增强生成：模型根据为问题检索到的文档来作答。网页读取器从实时页面提供这些文档。

**分块** — 在建立索引之前，把长文档切分成段落。Markdown 标题提供了自然的切分点。

**嵌入** — 表示一段文字含义的数字列表，用于找出与问题相似的段落。

**向量存储** — 存储嵌入并返回与查询最接近段落的数据库，是 RAG 系统中分块网页的常见归宿。

**工具调用** — 模型请求应用运行某个函数（例如读取 URL）并使用其结果的能力。参见 [OpenAI function calling](https://webreaderapi.com/zh/docs/openai/)。

**MCP** — Model Context Protocol，一种将工具接入 Claude Desktop 或 Cursor 等 AI 客户端的标准方式。我们的 [MCP 页面](https://webreaderapi.com/zh/docs/mcp/) 展示了一个基于该 API 构建的 fetch 工具。

## 从计费视角

**积分** — API 的使用单位。1 积分 = 读取 1 个页面且无需浏览器；当页面需要浏览器渲染 JavaScript 时为 2 积分。失败的请求，或被网站 robots.txt 拒绝的请求，不扣费。

**并发数** — 你的账户在同一时刻可以运行的读取数量。每个账户都有同时读取页面数的上限；你的控制台会显示该上限，支持团队可将其提高。

**KYC** — 了解你的客户：某些服务要求的身份核验，例如身份证件或自拍。WebReaderAPI 不做任何要求。

**稳定币** — 追踪美元等货币的加密货币。USDT 和 USDC 是接受充值的两种；完整币种列表见 BTC, USDT, USDC, ETH, SOL, LTC。

---

WebReaderAPI: WebReaderAPI 是一款面向 AI agents 的网页读取 API，可将任何公开网页转换为干净的 Markdown，用加密货币支付，无需上传身份证件。预付费积分低至 US$0.07/千页，永不过期，且遵守 robots.txt。无需 KYC — 无身份证、无自拍、无证件。加密货币支付。