Crawl4AI 还是托管 API？何时该运行你自己的网页阅读器

自托管一个网页阅读器，成本究竟是多少？

软件免费；但运行它并不免费。在你把一个托管价格与零相比之前，先算上这些：

• 服务器与浏览器。 静态页面只需很少 CPU，但 JavaScript 页面每个请求都需要一个无头浏览器，内存也要相应跟上。高峰时需要备用容量，而这些容量在其余时间都处于闲置状态。
• 维护。 浏览器版本、提取规则和依赖都在变。Crawl4AI 于 2026 年 10 月 14 日发布 v0.9.5；MarkItDown 于 2026 年 10 月 21 日发布 0.1.9。每次更新都需要有人测试并部署。
• 网络。 出站带宽、DNS、超时和重试都要由你调优。网站可能拒绝来自你服务器地址的流量，此时正确的做法是尊重这一拒绝。
• 策略。 除非你开启，Crawl4AI 默认关闭 check_robots_txt，并允许你设置或随机化 user agent。决定并执行你自己的 robots.txt 与身份标识规则，也是这项工作的一部分。
• 安全。 MarkItDown 的 README 警告说，它以当前进程的权限执行 I/O，在不受信任的环境中应对外部输入做净化处理。一个抓取任意 URL 的服务还必须拒绝私有地址和本地地址。

相比之下，托管阅读器收费如何？

托管 API 把这些成本转化为按页计价。2026 年 10 月 22 日的两个例子：

Crawl4AI Cloud 由 Crawl4AI 维护者运营，并称其价格处于可能变动的"软启动"阶段。其积分为 $0.001，因此 Starter 上静态页面每 1,000 页花费 $0.50。

什么时候应该自托管？

当三件事同时成立时，自托管才划算：你的量高且稳定，你已经在运行服务器和浏览器，并且你需要 API 无法提供的控制力。

• 自定义提取。 Crawl4AI 的 CSS、XPath 与 LLM schema，或在 Readability 或 Trafilatura 之上叠加你自己的规则。
• 数据驻留。 页面永不离开你的基础设施。
• 网页之外的输入。 MarkItDown 可转换 Word、Excel、PowerPoint、EPub 等，而网页阅读器 API 做不到。
• 许可证适配。 Apache-2.0 与 MIT 工具允许闭源产品；Firecrawl 的 AGPL-3.0 核心要求你在将其作为网络服务提供时共享修改。

什么时候托管 API 是更好的选择？

当你的工作负载不均衡、团队规模小，或者阅读器只是代理内的一个工具而非独立产品时，买页面比跑服务器更合适。

• 尖峰或季节性负载。 一年抓取两次并不值得养一套浏览器集群。用 WebReaderAPI，预付费积分永不过期：未使用的页面数会一直保留在你的账户中，直到你使用。
• 代理。 托管 endpoint 几分钟内即可接入 MCP、LangChain 或 OpenAI 工具；见我们的 MCP server。
• 无需自建的策略。 我们遵守 robots.txt：我们的爬虫以 WebReaderAPI 标识自身，遵循专为其或为所有爬虫编写的规则，不读取网站禁止的页面。被拒绝的页面不扣费。如果网站在其 robots.txt 中声明 Content-Signal: ai-input=no，我们不会为你读取其页面。
• 无需银行卡的支付。 WebReaderAPI 接受 BTC, USDT, USDC, ETH, SOL, LTC，无需 KYC。

可以两者兼用吗？

可以，很多团队都这样做。对你已持有的文件（如 PDF 和 Office 文档）用 MarkItDown 跑开源转换器，对实时网页调用托管阅读器，尤其是那些否则需要你自己浏览器的 JavaScript 页面。

让两边的输出格式保持一致，即带源 URL 和标题的 Markdown，这样你的分块与索引代码就不关心文档来自哪里。我们的 RAG 指南 展示了该格式的实际用法。