# Crawl4AI 还是托管 API？何时该运行你自己的网页阅读器

> Crawl4AI 还是将网页转为 Markdown 的托管 API？许可证、robots.txt 默认设置、自托管的成本，以及 2026-10-22 核查的托管价格。

- URL: https://webreaderapi.com/zh/compare/crawl4ai-vs-api/
- 最后更新: 2026-10-22
- 发布者: WebReaderAPI (https://webreaderapi.com)

开源工具可以在你自己的服务器上免费将网页转为 Markdown。托管 API 按页收费，并替你运行服务器。本页面说明每种选择实际要花多少钱，从许可证和 robots.txt 默认设置到浏览器和维护。

**快速回答 — 我该自托管 Crawl4AI 还是使用托管网页阅读器 API？**

当你拥有稳定流量以及运行浏览器和服务器的人员时，自托管 Crawl4AI（Apache-2.0，带有署名要求）；注意其 robots.txt 检查默认关闭。当流量不稳定或你不想承担运维工作时，使用托管 API：Crawl4AI Cloud 起价 $10 对应 10,000 积分，而 **WebReaderAPI** 为 US$3.75 对应 10,000 个网页，用加密货币支付，无需 KYC（2026 年 10 月 22 日）。

## 有哪些开源工具可以将网页转为 Markdown？

2026 年 10 月的主要选项，附有其各自仓库和文档中说明的许可证和默认设置。

| 工具 | 许可证 | 渲染 JavaScript | 默认检查 robots.txt | MCP server |
| --- | --- | --- | --- | --- |
| Crawl4AI | Apache-2.0，另有 README 署名要求 | 是（Playwright） | 关闭：`check_robots_txt` 默认为 False | 是，在你自己的服务器上 |
| Firecrawl（自托管） | AGPL-3.0 核心；SDK 与部分 UI 组件为 MIT | 是（Playwright 服务） | 开 | 是（firecrawl-mcp-server，MIT） |
| Microsoft MarkItDown | MIT | 否 | 未记录 | 是（markitdown-mcp） |
| Trafilatura | Apache-2.0（v1.8.0 之前为 GPLv3+） | 否 | 其 spider 遵循 Robots Exclusion Standard | 未提及 |
| Mozilla Readability | Apache-2.0 | 否；需要 DOM，且不进行抓取 | 不适用 | 未发现 |
| Jina Reader（开源分支） | Apache-2.0 | 是（Puppeteer） | 未提及 | 不在该仓库中 |

*价格核查于 2026年10月22日.*

依据下方列出的 GitHub 仓库与文档，读取时间为 2026-10-22。

## 自托管一个网页阅读器，成本究竟是多少？

软件免费；但运行它并不免费。在你把一个托管价格与零相比之前，先算上这些：

- **服务器与浏览器。** 静态页面只需很少 CPU，但 JavaScript 页面每个请求都需要一个无头浏览器，内存也要相应跟上。高峰时需要备用容量，而这些容量在其余时间都处于闲置状态。
- **维护。** 浏览器版本、提取规则和依赖都在变。Crawl4AI 于 2026 年 10 月 14 日发布 v0.9.5；MarkItDown 于 2026 年 10 月 21 日发布 0.1.9。每次更新都需要有人测试并部署。
- **网络。** 出站带宽、DNS、超时和重试都要由你调优。网站可能拒绝来自你服务器地址的流量，此时正确的做法是尊重这一拒绝。
- **策略。** 除非你开启，Crawl4AI 默认关闭 `check_robots_txt`，并允许你设置或随机化 user agent。决定并执行你自己的 robots.txt 与身份标识规则，也是这项工作的一部分。
- **安全。** MarkItDown 的 README 警告说，它以当前进程的权限执行 I/O，在不受信任的环境中应对外部输入做净化处理。一个抓取任意 URL 的服务还必须拒绝私有地址和本地地址。

## 相比之下，托管阅读器收费如何？

托管 API 把这些成本转化为按页计价。2026 年 10 月 22 日的两个例子：

| | Crawl4AI Cloud | WebReaderAPI（我们） |
|---|---|---|
| 入门 | Starter 每月 $10，10,000 积分 | US$3.75 得 10,000 个网页 |
| 静态页面 | 0.5 积分 | 1 积分 |
| 使用浏览器的页面 | 1 积分（"真实浏览器"） | 2 积分 |
| 更大套餐 | Builder $99 得 125,000 积分；Scale $499 得 750,000 | US$74.25 得 1,000,000 个网页；US$350 得 5,000,000 个网页 |
| 未使用积分 | 月度积分不结转；额外积分永不过期 | 永不过期 |
| 支付 | 通过 Stripe 刷卡 | BTC, USDT, USDC, ETH, SOL, LTC |
| robots.txt | 客户必须遵守网站的 robots 指令（条款） | 每次读取时由服务检查 |

Crawl4AI Cloud 由 Crawl4AI 维护者运营，并称其价格处于可能变动的"软启动"阶段。其积分为 $0.001，因此 Starter 上静态页面每 1,000 页花费 $0.50。

## 什么时候应该自托管？

当三件事同时成立时，自托管才划算：你的量高且稳定，你已经在运行服务器和浏览器，并且你需要 API 无法提供的控制力。

- **自定义提取。** Crawl4AI 的 CSS、XPath 与 LLM schema，或在 Readability 或 Trafilatura 之上叠加你自己的规则。
- **数据驻留。** 页面永不离开你的基础设施。
- **网页之外的输入。** MarkItDown 可转换 Word、Excel、PowerPoint、EPub 等，而网页阅读器 API 做不到。
- **许可证适配。** Apache-2.0 与 MIT 工具允许闭源产品；Firecrawl 的 AGPL-3.0 核心要求你在将其作为网络服务提供时共享修改。

## 什么时候托管 API 是更好的选择？

当你的工作负载不均衡、团队规模小，或者阅读器只是代理内的一个工具而非独立产品时，买页面比跑服务器更合适。

- **尖峰或季节性负载。** 一年抓取两次并不值得养一套浏览器集群。用 WebReaderAPI，预付费积分永不过期：未使用的页面数会一直保留在你的账户中，直到你使用。
- **代理。** 托管 endpoint 几分钟内即可接入 MCP、LangChain 或 OpenAI 工具；见[我们的 MCP server](https://webreaderapi.com/zh/docs/mcp/)。
- **无需自建的策略。** 我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。
- **无需银行卡的支付。** WebReaderAPI 接受 BTC, USDT, USDC, ETH, SOL, LTC，无需 KYC。

## 可以两者兼用吗？

可以，很多团队都这样做。对你已持有的文件（如 PDF 和 Office 文档）用 MarkItDown 跑开源转换器，对实时网页调用托管阅读器，尤其是那些否则需要你自己浏览器的 JavaScript 页面。

让两边的输出格式保持一致，即带源 URL 和标题的 Markdown，这样你的分块与索引代码就不关心文档来自哪里。我们的 [RAG 指南](https://webreaderapi.com/zh/use-cases/rag/) 展示了该格式的实际用法。

## 用 WebReaderAPI 的托管阅读器成本是多少？

按页计费的积分，用加密货币支付，截至 2026 年 10 月 22 日：静态页面 1 积分，使用浏览器 2 积分，失败或被拒绝的页面不计费。积分永不过期。

| 套餐 | 数量 | 价格 | 单价 |
| --- | --- | --- | --- |
| 测试 | 10,000 个网页 | US$3.75 | US$0.38/千页 |
| 构建 | 100,000 个网页 | US$21.75 | US$0.22/千页 |
| 高用量 | 1,000,000 个网页 | US$74.25 | US$0.07/千页 |
| 批量 | 5,000,000 个网页 | US$350 | US$0.07/千页 |

所有套餐均包含: 正文提取 · 需要时渲染 JavaScript · 失败和被拒绝的页面不收费 · 积分永不过期

**付款前须知**

- 最低充值 US$25。 用加密货币充值一次，即可从余额购买任意套餐。
- 您的余额没有到期日，可随时购买网页积分。如果某个积分包的价格低于最低充值金额，您仅为达到该最低金额而额外充入的部分，可在付款后 30 天内按需退回，以 USDT 或 USDC 形式返还，前提是这部分金额尚未使用。其他余额不予退款，除非法律另有规定.
- 付款在区块链上核实后即到账。 网络确认的通常时间： BTC 约 20 分钟 · USDT TRC-20 约 1 分钟 · USDT ERC-20 约 5 分钟 · USDC ERC-20 约 5 分钟 · ETH 约 5 分钟 · SOL 约 1 分钟 · LTC 约 15 分钟

## 自托管网页阅读器：常见问题

### Crawl4AI 可免费用于商业用途吗？

其 README 称采用 Apache-2.0 许可，允许商业使用，并补充说用户必须包含署名，可以是徽章或一行文字。发布前请自行阅读许可证与 README。

### Crawl4AI 遵守 robots.txt 吗？

只有你要求时才会。其 `check_robots_txt` 参数默认为 False；将其设为 True 可在抓取前检查并缓存 robots.txt 规则。你也可以设置或随机化 user agent，因此其行为由你自己的策略决定。

### 我可以用 Firecrawl 代替 Crawl4AI 进行自托管吗？

可以。Firecrawl 的核心以 AGPL-3.0 开源，并默认遵守 robots.txt。AGPL 要求你在将该软件作为网络服务提供时公开修改，这对商业产品很重要。

### 哪个工具能转换 PDF 和 Office 文件？

Microsoft MarkItDown 采用 MIT 许可证，可将 PDF、Word、PowerPoint、Excel、HTML、EPub 等格式转换为 Markdown。它不渲染 JavaScript 页面。WebReaderAPI 可从 URL 读取 PDF，最多 100 页。

### Crawl4AI Cloud 多少钱？

2026 年 10 月 22 日：Starter 每月 $10 享 10,000 积分，Builder 每月 $99 享 125,000 积分，Scale 每月 $499 享 750,000 积分，静态页面每个 0.5 积分，浏览器页面每个 1 积分。网站将这些价格标记为软启动价，可能会有变动。

## 来源

1. [unclecode/crawl4ai 仓库](https://github.com/unclecode/crawl4ai) — GitHub (read 2026-10-22)
2. [Crawl4AI 参数](https://docs.crawl4ai.com/api/parameters/) — Crawl4AI docs (read 2026-10-22)
3. [Crawl4AI 自托管](https://docs.crawl4ai.com/core/self-hosting/) — Crawl4AI docs (read 2026-10-22)
4. [PyPI 上的 crawl4ai](https://pypi.org/project/crawl4ai/) — PyPI (read 2026-10-22)
5. [Crawl4AI Cloud](https://crawl4ai.com/) — Crawl4AI (read 2026-10-22)
6. [microsoft/markitdown 仓库](https://github.com/microsoft/markitdown) — GitHub (read 2026-10-22)
7. [PyPI 上的 markitdown](https://pypi.org/project/markitdown/) — PyPI (read 2026-10-22)
8. [adbar/trafilatura 仓库](https://github.com/adbar/trafilatura) — GitHub (read 2026-10-22)
9. [mozilla/readability 仓库](https://github.com/mozilla/readability) — GitHub (read 2026-10-22)
10. [firecrawl/firecrawl 仓库](https://github.com/firecrawl/firecrawl) — GitHub (read 2026-10-22)
11. [jina-ai/reader 仓库](https://github.com/jina-ai/reader) — GitHub (read 2026-10-22)

---

WebReaderAPI: WebReaderAPI 是一款面向 AI agents 的网页读取 API，可将任何公开网页转换为干净的 Markdown，用加密货币支付，无需上传身份证件。预付费积分低至 US$0.07/千页，永不过期，且遵守 robots.txt。无需 KYC — 无身份证、无自拍、无证件。加密货币支付。