Web Reader APIとは？URLを渡すと読めるMarkdownが返る

Web Reader APIは、ステップごとに何をするのか？

ページをテキストに変換するパイプラインに必要な5つの処理を、1回の呼び出しで実行します。

1. 権限を確認する。 慎重なリーダーは、何かを取得する前に、サイトのrobots.txtで自分自身の名前とすべてのrobotsを確認します。
2. ページを取得する。 HTMLをダウンロードし、リダイレクトを追跡し、タイムアウトで停止します。
3. 必要に応じてレンダリングする。 HTMLがJavaScriptで埋められる空のシェルである場合、ヘッドレスブラウザでページを読み込み、その結果を読み取ります。
4. 本文を抽出する。 可読性重視のステップで記事またはドキュメントの本文を見つけ、その周囲のページ装飾を取り除きます。
5. 変換して説明を付ける。 コンテンツをMarkdownとして書き出し、タイトル・著者・公開日・言語・単語数などのメタデータを追加します。

呼び出し元は、Markdownを含む1つのJSONオブジェクトを受け取ります。モデルはそれを一度に読むことも、パイプラインがベクトルストア用にチャンクに分割することもできます。

なぜモデルにはHTMLではなくMarkdownが必要なのか？

HTMLページのほとんどはコンテンツではないからです。メニュー、scriptタグ、トラッキングコード、レイアウト用マークアップは、モデルが読まなければならず、あなたが料金を支払わなければならないトークンを消費します。Markdownは、見出し・リスト・表・リンク・強調など、意味を持つ部分だけを保持します。

Cloudflareは2026年2月12日に「Markdown for Agents」機能をリリースした際、具体的な例を挙げました。あるページはHTMLで16,180トークンだったものがMarkdownでは3,150トークンになり、約80%削減されました。結果はページによって異なりますが、ほとんどの記事ページやドキュメントページで方向性は同じです。

Web Reader APIはスクレイピングAPIとどう違うのか？

スクレイピングAPIはサーバーが送信したものを返しますが、リーダーは人が読むものを返します。スクレイピングAPIは大規模にページを取得するために作られており、多くの場合、価格や商品名などの特定のフィールドを抽出するためのもので、通常は生のHTMLまたは自分で定義した構造化JSONを返します。

Webリーダーはより限定的で、考え方が明確です。何が本文かを判断し、それ以外を削除してクリーンなテキストを書き出します。次の利用者が言語モデル、検索インデックス、または要約を読む人である場合に適したツールです。商品グリッドのすべてのフィールドが必要な場合には適していません。その場合は完全なHTMLまたはスキーマベースの抽出が必要です。

検索APIとはどう違うのか？

検索APIは「どのページがこの話題について書いているか」に答え、リーダーは「このページは何と言っているか」に答えます。検索はクエリに対してタイトルとスニペット付きのURLリストを返します。リーダーはそのURLの1つを受け取り、その全文を返します。

エージェントはしばしばこの2つを連鎖させます。検索で候補ページを見つけ、次に最良の3〜4ページを読んで引用付きで回答します。ステップを分けておくことで、読むページ数を選べ、トークンとクレジットを節約できます。

APIの代わりにオープンソースツールを使うことはできるのか？

はい、多くのチームがそうやって始めています。MozillaのReadabilityはブラウザコンテキストでページの本文を抽出します。TrafilaturaはPythonで抽出を行います。MicrosoftのMarkItDownはPDFを含むドキュメントをMarkdownに変換します。Crawl4AIはクロールとMarkdown出力を組み合わせます。

ライブラリ自体は簡単な部分です。本番環境で動かすには、JavaScriptページ用のヘッドレスブラウザのホスティング、robots.txtの確認、タイムアウト・リダイレクト・文字コードの処理、PDFの変換、そしてそれらすべてにパッチを当て続けることが必要です。その仕組みを運用するよりもページ単位で支払いたい場合はAPIが向いており、利用量が安定していて運用する時間がある場合はライブラリが向いています。

Web Reader APIの課金方式は？

2026年には3つの課金モデルが一般的です。クレジット制のプランは1ページにつき一定数のクレジットを課金します。Firecrawlの価格ページ（2026年10月22日時点）では、スクレイピングした1ページにつき1クレジット、JSON形式では1ページにつき追加で4クレジットとされています。トークン制の課金は返されるテキストに対して課金します。Jina Readerは2025年5月6日からこの方式で、新しいキーごとに1,000万トークンを無料で提供しています。月額プランはクレジットがサイクルごとにリセットされますが、前払いパックはクレジットが保持されます。

WebReaderAPIは失効しない前払いクレジットを使用しています：1クレジット = ブラウザなしでページを1回読み取り。ページのJavaScriptレンダリングにブラウザが必要な場合は2クレジット。失敗したリクエスト、またはサイトのrobots.txtが拒否したリクエストは課金されません。10,000ページは$3.75で、2026年10月時点で5,000,000ページではレートが$0.07/1Kページまで下がります。

Web Reader APIを選ぶ前に確認すべきことは？

自分のURLを20個用意してテストし、6つの点を確認しましょう。

• 抽出品質。 Markdownが表やコードブロックを含め記事を保持し、それ以外を削除できているか？
• JavaScript。 ブラウザで構築されたページがテキスト付きで返ってくるか、レンダリングにいくらかかるか？
• PDF。 サポートされているか、ページ数はどう数えられるか？
• サイト所有者の選択。 サービスがrobots.txtや宣言されたAI設定を尊重し、ドキュメントでそう明記しているか？
• 失敗時。 失敗したページや拒否されたページにも課金されるか？
• 予算管理。 各ページの長さに上限を設けられるか、クレジットは失効するか？

当社のWeb Reader API価格比較では、主要プロバイダーを日付付きで並べて比較しています。