什么是网页读取 API？输入 URL，输出可读的 Markdown

网页读取 API 具体分几步完成什么工作？

它在一次调用中完成每个页面转文本 pipeline 都需要的五项工作：

1. 检查许可。 谨慎的读取器在抓取任何内容之前，会先查看该站点 robots.txt 中针对自身名称和所有爬虫的规则。
2. 抓取页面。 下载 HTML，跟随重定向，并在超时后停止。
3. 按需渲染。 如果 HTML 只是由 JavaScript 填充的空壳，它在无头浏览器中加载页面并读取结果。
4. 提取正文。 一个类似 readability 的步骤找出文章或文档正文，并丢弃周围与正文无关的页面元素。
5. 转换与描述。 将内容写为 Markdown，并添加元数据：标题、作者、发布日期、语言和字数。

调用方会得到一个包含 Markdown 的 JSON 对象。模型可以直接读取，pipeline 也可以将其切分为多个块存入向量数据库。

为什么模型需要 Markdown 而不是 HTML？

因为 HTML 页面的大部分内容并非正文。菜单、script 标签、跟踪代码和布局标记会消耗模型必须读取、而你需要付费的 token。Markdown 保留了承载意义的部分：标题、列表、表格、链接和强调。

Cloudflare 在 2026 年 2 月 12 日推出“Markdown for Agents”功能时给出了一个具体例子：一个页面的 token 从 HTML 的 16,180 个减少到 Markdown 的 3,150 个，约减少 80%。结果因页面而异，但大多数文章和文档页面的趋势是一致的。

网页读取 API 与网页抓取 API 有何不同？

网页抓取 API 返回服务器发送的内容；读取器返回的是用户会读到的东西。网页抓取 API 为大规模抓取页面而构建，通常用于提取价格或产品名称等特定字段，通常返回原始 HTML 或你定义的结构化 JSON。

网页读取器范围更窄、更有主见。它决定什么是正文，移除其余部分并输出干净的文本。当下一个消费者是语言模型、搜索索引或阅读摘要的人时，这是合适的工具。当你需要产品网格的每个字段时，它就不合适了；那种情况你需要完整 HTML 或基于 schema 的提取。

它与搜索 API 有何不同？

搜索 API 回答“哪些页面谈到这个？”；读取器回答“这个页面说了什么？”。搜索针对一个查询返回带标题和摘要的 URL 列表。读取器接收其中一个 URL 并返回其全文。

Agent 经常把两者串联起来：先用搜索找到候选页面，然后读取最好的三四个页面并带引用作答。将步骤分开可以让你选择读取多少页面，从而节省 token 和积分。

我可以用开源工具代替 API 吗？

可以，许多团队就是这样起步的。Mozilla 的 Readability 在浏览器环境中提取页面正文；Trafilatura 在 Python 中做提取；Microsoft 的 MarkItDown 将包括 PDF 在内的文档转换为 Markdown；Crawl4AI 结合了整站抓取 (crawl) 和 Markdown 输出。

库只是简单的一部分。在生产环境中运行它意味着要为 JavaScript 页面托管无头浏览器、检查 robots.txt、处理超时、重定向和字符集、转换 PDF，并保持所有部分都已打补丁。当你宁愿按页付费也不愿运行这套机制时，API 值得；当流量稳定且你有时间运维时，库值得。

网页读取 API 如何计费？

2026 年常见三种计费模式。基于积分（credit）的方案每页收取固定数量的积分：Firecrawl 的定价页（2026 年 10 月 22 日查看）计算为每抓取一页 1 积分，使用其 JSON 格式每页另加 4 积分。按 token 计费对返回的文本收费：Jina Reader 自 2025 年 5 月 6 日起采用这种计费方式，并为每个新密钥提供 1000 万免费 token。月度方案在每个周期重置积分，而预付包则保留积分。

WebReaderAPI 使用永不过期的预付积分：1 积分 = 读取 1 个页面且无需浏览器；当页面需要浏览器渲染 JavaScript 时为 2 积分。失败的请求，或被网站 robots.txt 拒绝的请求，不扣费。截至 2026 年 10 月，10,000 个网页 花费 US$3.75，在 5,000,000 个网页 时费率降至 US$0.07/千页。

选择网页读取 API 之前应该检查什么？

用你自己的二十个 URL 测试它，并关注六点：

• 提取质量。 Markdown 是否保留文章并丢弃其余部分，包括表格和代码块？
• JavaScript。 在浏览器中构建的页面是否返回文本，渲染成本是多少？
• PDF。 是否支持，页面如何计数？
• 站点所有者的选择。 服务是否遵守 robots.txt 和声明的 AI 偏好，并在文档中说明？
• 失败情况。 失败和被拒绝的页面是否收费？
• 预算控制。 你能限制每个页面的长度吗，积分会过期吗？

我们的网页读取 API 价格对比 将主要服务商并列展示，并附有日期。