Crawl4AIかホスト型APIか? 自前のWebページリーダーを動かすべき時

Webリーダーのセルフホスティングには実際いくらかかるのか？

ソフトウェアは無料ですが、運用は無料ではありません。ホスティングの価格をゼロと比較する前に、次の点を数えてください:

• サーバーとブラウザ。 静的ページならCPUはほとんど要りませんが、JavaScriptページはリクエストごとにヘッドレスブラウザが必要で、それに見合うメモリも要ります。ピーク時には、それ以外の時間は遊んでいる余剰キャパシティが必要です。
• メンテナンス。 ブラウザのバージョン、本文抽出のルール、依存関係は変わります。Crawl4AIは2026年10月14日にv0.9.5を、MarkItDownは2026年10月21日に0.1.9をリリースしました。各アップデートをテストしてデプロイする人が必要です。
• ネットワーク。 外向きの帯域幅、DNS、タイムアウト、リトライは自分で調整するものです。サイトがあなたのサーバーのアドレスからのトラフィックを拒否することもあり、その場合の正しい対応は拒否を尊重することです。
• ポリシー。 Crawl4AIは、あなたがオンにしない限りcheck_robots_txtをオフのままにし、User-Agentを設定またはランダム化できます。独自のrobots.txtと識別ルールを決めて徹底するのも仕事のうちです。
• セキュリティ。 MarkItDownのREADMEは、現在のプロセスの権限でI/Oを行い、信頼できない環境では入力をサニタイズすべきだと警告しています。任意のURLを取得するサービスは、プライベートアドレスやローカルアドレスも拒否しなければなりません。

ホスト型リーダーはそれに比べて何を請求するのか？

ホスト型APIは、そうしたコストを1ページあたりの価格に変えます。2026年10月22日時点の2つの例です:

Crawl4AI CloudはCrawl4AIのメンテナーが運営しており、価格は変更される可能性のある「ソフトローンチ」と表示しています。クレジットは$0.001相当なので、Starterでは静的ページ1,000ページあたり$0.50かかります。

セルフホスティングはいつ選ぶべきか？

セルフホスティングは、次の3つが当てはまるときに元が取れます。利用量が多く安定している、すでにサーバーとブラウザを運用している、そしてAPIでは得られない制御が必要な場合です。

• カスタム抽出。 Crawl4AIのCSS、XPath、LLMスキーマ、またはReadabilityやTrafilaturaの上に載せる独自ルール。
• データの所在。 ページがあなたのインフラから出ることはありません。
• Webページ以外の入力。 MarkItDownはWord、Excel、PowerPoint、EPubなどを変換できますが、WebリーダーAPIにはできません。
• ライセンスの適合。 Apache-2.0とMITのツールはクローズドな製品に使えます。FirecrawlのAGPL-3.0のコアは、ネットワークサービスとして提供する場合に変更を共有することを求めます。

ホスト型APIがより良い選択になるのはどんなときか？

ワークロードが不均衡、チームが小規模、またはリーダーが製品そのものではなくエージェント内のツールである場合は、サーバーを運用するよりもページを買うほうが適しています。

• 急増する、または季節性のある利用量。 年に2回のクロールではブラウザ群を正当化できません。WebReaderAPIなら、プリペイドクレジットに有効期限はありません。未使用のページは使うまでアカウントに残ります。
• エージェント。 ホスト型エンドポイントは数分でMCP、LangChain、OpenAIのツールに組み込めます。当社のMCPサーバーをご覧ください。
• 自分で作らなくてよいポリシー。 当社はrobots.txtを尊重します。クローラーはWebReaderAPIとして名乗り、自身向けまたはすべてのロボット向けに書かれたルールに従い、サイトが禁止したページは読み取りません。拒否されたページは課金されません。サイトがrobots.txtでContent-Signal: ai-input=noを宣言している場合、そのページをあなたのために読み取ることはありません。
• カード不要の支払い。 WebReaderAPIはKYC不要でBTC, USDT, USDC, ETH, SOL, LTCを受け付けます。

両方を組み合わせることはできるか？

はい、多くのチームがそうしています。すでに手元にあるPDFやOffice文書などはMarkItDownなどのオープンソースのコンバーターで処理し、ライブのWebページ、とくに自前のブラウザが必要になるJavaScriptページにはホスト型リーダーを呼び出します。

出力形式は両側で同じにしてください。ソースURLとタイトル付きのMarkdownにすれば、チャンキングやインデックスのコードは文書の出どころを気にしません。当社のRAGガイドでは、その形式を実際に示しています。