# AIエージェント向けWeb fetchツール: ページをクリーンなMarkdownとして読み取る

> AIエージェント向けのWeb fetchツール: 長さ上限付きで任意の公開ページをMarkdownとして読み取り、MCP、OpenAIツール、LangChain、n8nから$0.07/1Kページで利用。暗号資産で支払い。

- URL: https://webreaderapi.com/ja/use-cases/ai-agents/
- 最終更新: 2026-10-22
- 発行者: WebReaderAPI (https://webreaderapi.com)

検索はできても読み取れないエージェントは、スニペットから回答します。任意の公開URLを短くクリーンなMarkdownに変換するツールを与えれば、設定した予算の範囲内で、ソースを読み、引用し、出典を示すことができます。

**概要 — AIエージェントにWeb fetchツールを与える最善の方法は何ですか？**

WebリーダーAPIを、URLを受け取り、ページのメインコンテンツをMarkdownとして指定の長さで切り詰めて返すツールとしてラップします。**WebReaderAPI**が読み取りを行い、必要に応じてJavaScriptをレンダリングし、robots.txtを尊重し、2026年10月時点で$0.07/1Kページから1ページにつき1クレジットを課金します。すぐに使えるツールコードは、MCP、OpenAI function calling、LangChain、n8n、OpenClawに対応しています。KYC不要、暗号資産で支払い。

## エージェントツールとしてのWebReaderAPI

| 項目 | 値 |
| --- | --- |
| ツール | `https://webreaderapi.com/api/v1/read`を呼び出す`read_url(url, max_chars)` |
| 戻り値 | メインコンテンツのMarkdown、加えてタイトル、著者、日付、語数 |
| 長さ上限 | `max_chars`、1ページあたり1,000〜500,000文字 |
| JavaScriptページ | ページに必要な場合はヘッドレスブラウザでJavaScriptをレンダリング（render=auto）、常にレンダリング、または一切レンダリングしない |
| 拒否 | 明確なエラーとして返され、課金はされない |
| 連携 | [MCP](https://webreaderapi.com/ja/docs/mcp/)、[OpenAI](https://webreaderapi.com/ja/docs/openai/)、[LangChainとLlamaIndex](https://webreaderapi.com/ja/docs/langchain/)、[n8n](https://webreaderapi.com/ja/docs/n8n/)、[OpenClaw](https://webreaderapi.com/ja/docs/openclaw/) |
| 料金 | 10,000ページで$3.75。クレジットに有効期限はありません |

## なぜエージェントには生のHTMLではなくリーダーが必要なのですか？

生のHTMLは、モデルには不要な要素にコンテキストウィンドウを費やしてしまうからです。ニュース記事やドキュメントページは、ナビゲーション、スクリプト、同意バナー、関連リンクに囲まれた状態で届きます。そのまま渡すと会話の余地を圧迫し、モデルがメニューを引用する原因になります。

リーダーは3つの問題を同時に解決します。本文だけを残し、JavaScriptが実行されるまで空のページをレンダリングし、PDFをテキストに変換します。エージェントは、引用できるタイトルと日付を伴う、コンパクトなMarkdownのブロックを1つ受け取ります。

## 組み込みのフェッチツールが失敗することがあるのはなぜですか？

主な理由は、サイトが自動化されたトラフィックを拒否するからです。2025年7月1日以降、Cloudflareは新しいドメインに対してデフォルトでAIクローラーをブロックしており、2026年9月15日からは、そのプリセットにより新しいドメインの広告収益型ページで「Agent」トラフィックをブロックします。コーディングエージェントやアシスタントの組み込みツールも、他のクライアントと同様にこうした拒否に遭遇します。

それ以外の失敗は技術的なものです。2026年10月22日に読んだOpenClawのドキュメントによると、その組み込みのweb_fetchはReadabilityで本文抽出を行い、JavaScriptを実行せず、出力を20,000文字に制限しています。ブラウザ上で構築されたページ、長いドキュメント、遅いサーバー、レート制限は、いずれもこうしたツールを失敗させます。ページをレンダリングするリーダーはJavaScriptの問題を解決し、キャッシュと忍耐が残りを解決します。拒否はサイト所有者の判断です。[web fetch 403エラーに関するガイド](https://webreaderapi.com/ja/guides/web-fetch-403-errors/)で各ケースを説明しています。

## なぜツール名がweb_fetchではなくread_urlなのですか？

エージェントがすでに持っているツールとの衝突を避けるためです。Claude CodeとOpenClawはどちらも`web_fetch`という名前の組み込みツールを搭載しています。同じ名前の2つ目のツールがあると、モデルはどちらを呼び出しているのか混乱します。私たちのツールを`read_url`と名付けることで、両方を利用可能に保てます。エージェントは簡単な確認には組み込みのフェッチャーを使い、クリーンなMarkdown、PDF、JavaScriptページが必要なときには`read_url`を使えます。

ドキュメントページのツール定義はすべてこの名前を使っているので、プロンプトを変更せずにフレームワーク間を切り替えられます。

*Python：長さ上限付きのコンパクトなread_urlツール*

```python
import os

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}


def read_url(url: str, max_chars: int = 12000) -> str:
    """Return a web page as Markdown for a model, or a short reason it was not read."""
    resp = requests.get(API, headers=HEADERS, params={"url": url, "max_chars": max_chars}, timeout=90)
    data = resp.json()
    if resp.status_code != 200:
        err = data.get("error", {})
        return "Not read (" + err.get("code", "error") + "): " + err.get("message", "")
    head = "# " + (data.get("title") or url) + "\nSource: " + data["final_url"]
    if data.get("published_at"):
        head += " | Published: " + data["published_at"]
    return head + "\n\n" + data["markdown"]


if __name__ == "__main__":
    print(read_url("https://example.com/blog/pour-over-coffee", max_chars=2000)[:500])

```

## エージェントは何を読むべきかをどう判断すればよいですか？

予算とルールを与えてください。3つの習慣がコストとコンテキストを抑えます：

- **読む量を絞り、質を重視する。** 1つの質問につき2〜4件のソースがあれば、引用付きで答えるのに通常十分です。
- **各ページに上限を設ける。** まず`max_chars`を10,000〜15,000文字程度に設定し、`word_count`で答えがさらに下にありそうだと分かったときだけ増やします。
- **拒否を報告する。** ページが読めなかったときは、モデルにその旨を伝えさせ、再試行するのではなく別のソースに移らせます。

上記のツールは拒否を1つの簡潔な文として返すので、モデルはそれをユーザーに説明できます。

## WebReaderAPIでエージェントを動かすにはいくらかかりますか？

1ページにつき1クレジット、ブラウザが必要なページでは2クレジットです。1日に100件の質問に答え、それぞれ4ページを読むアシスタントは、月におよそ12,000ページを読みます。2026年10月時点で、50,000ページ（$14.25）でそれを4か月分まかなえます。

クレジットに有効期限はないので、ある週は忙しく次の週は暇なエージェントでも月次クォータを無駄にしません。失敗したページやrobots.txtが拒否したページは無料です。

## どのパックがエージェントに適していますか？

まず10,000ページでプロトタイプを作り、エージェントが実際のユーザーにサービスを提供する段階で50,000ページまたは100,000ページに移行してください。クレジットに有効期限はありません。

| プラン | 数量 | 料金 | 単価 |
| --- | --- | --- | --- |
| テスト | 10,000ページ | $3.75 | $0.38/1Kページ |
| スターター | 50,000ページ | $14.25 | $0.28/1Kページ |
| 構築 | 100,000ページ | $21.75 | $0.22/1Kページ |

すべてのプランに含まれるもの: 本文抽出 · 必要な場合はJavaScriptをレンダリング · 失敗・拒否されたページは課金なし · クレジットの有効期限なし

**お支払いの前に**

- 最低チャージ額$25。 暗号資産で一度チャージすれば、残高から任意のプランを購入できます。
- 残高に有効期限はなく、いつでもページクレジットの購入に使えます。パックの価格が最低入金額を下回る場合、その最低額に達するためだけに追加した分は、お支払いから30日以内であればご依頼によりUSDTまたはUSDCで返金します（ただし未使用分に限ります）。それ以外の残高は、法令に別段の定めがある場合を除き返金されません.
- お支払いがブロックチェーン上で確認され次第、残高に反映されます。 ネットワーク承認の目安時間: BTC 約20分 · USDT TRC-20 約1分 · USDT ERC-20 約5分 · USDC ERC-20 約5分 · ETH 約5分 · SOL 約1分 · LTC 約15分

## AIエージェント：よくある質問

### WebReaderAPIをClaude DesktopやCursorに追加できますか？

はい、`read_url`を公開する小さなMCPサーバーを通じて追加できます。[MCPページ](https://webreaderapi.com/ja/docs/mcp/)にコードと設定スニペットがあり、APIキーは環境変数に保持します。

### OpenClawで動作しますか？

はい、OpenClawの組み込みweb_fetchと並ぶMCPサーバーとして動作します。[OpenClawページ](https://webreaderapi.com/ja/docs/openclaw/)にOpenClaw自身のドキュメントにあるコマンドを掲載しています。

### エージェントはAIボットをブロックするページを読めますか？

いいえ。robots.txtがページを拒否している場合、APIは`blocked_by_robots`を返します。サイトが拒否した場合は、サイトのステータスとともに`target_refused`を返します。どちらも課金されず、私たちが拒否を回避しようとすることは決してありません。

### 長いページがコンテキストウィンドウを埋めるのを防ぐには？

`max_chars`を設定してください。Markdownはその長さで切り詰められ、`word_count`がフルページの長さをエージェントに伝えるので、必要なときだけ追加を要求できます。

### カードや身分証明書は必要ですか？

いいえ。WebReaderAPIでは身分証明書、自撮り、書類、カードのいずれも求められません。支払いはBTC, USDT, USDC, ETH, SOL, LTCで、最低チャージ額は$25です。

## ソース

1. [プレスリリース：AIクローラーがデフォルトでブロックされる](https://www.cloudflare.com/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) — Cloudflare (2025-07-01)
2. [ブログ：AIクローラーとエージェントの新しいデフォルト設定](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — Cloudflare (2026-09-15)
3. [Web fetchツール](https://docs.openclaw.ai/tools/web-fetch.md) — OpenClaw (read 2026-10-22)

---

WebReaderAPI: WebReaderAPIはAIエージェント向けのWebリーダーAPIで、あらゆる公開WebページをクリーンなMarkdownに変換します。暗号資産で支払い、本人確認書類のアップロードは不要です。$0.07/1Kページから購入できるプリペイドクレジットに有効期限はなく、robots.txtを尊重します。KYC不要 — 身分証もセルフィーも書類も不要。暗号資産で支払い。