AIエージェントがWebページを取得する際に403エラーが発生する理由

2025年と2026年にWeb上で何が変わったのか？

大手インフラプロバイダーがAIブロックをデフォルトにしました。3つの日付付きの変更が、新しい403のほとんどを説明します：

• 2025年7月1日： CloudflareはAIクローラーをデフォルトでブロックするようになり、新規ドメインの登録時に許可するかどうかを確認すると発表しました。同日、プライベートベータでpay per crawlを開始し、HTTP 402と価格を返すようになりました。
• 2026年7月1日： CloudflareはAIトラフィックをSearch、Agent、Trainingの3つのカテゴリーに分類しました。「Agent」にはChatGPT-Userなどのチャットのフェッチャーが明示的に含まれます。
• 2026年9月15日： 新規ドメインについて、Cloudflareのプリセットは広告を表示するページでTrainingとAgentのトラフィックをブロックします。Searchは許可されたままです。

ユーザーのためにページを取得するエージェントはAgentカテゴリーに該当します。2026年9月以降に登録された広告収益型サイトでは、拒否を想定してください。

ブロックとバグをどう見分けるか？

何かを変更する前に、ステータスコードと本文を確認してください。

自分側で解決できる技術的な問題は、429と空のJavaScriptページだけです。それ以外はサイト所有者の判断です。

エージェントの開発者が合法的にできることは？

サイトの邪魔をするのではなく、協力してください。これらの手順は多くの失敗を解決し、エージェントをサイト所有者の立場に沿わせます：

1. サイト自身のチャネルを使う。 多くのサイトはAPI、RSSまたはAtomフィード、または必要なコンテンツを含むサイトマップを提供しています。
2. アクセスを求める。 サイト所有者はrobots.txtやCDN設定で特定のボットを許可できます。明確なUser-Agentと連絡先ページがあれば簡単です。
3. 許可されているが空のページをレンダリングする。 JavaScriptのみのページには、ヘッドレスブラウザを実行するリーダーを使います。
4. 速度を落としてキャッシュする。 同じページを一度だけ読み、保存し、Crawl-delayと429レスポンスを尊重します。
5. サイトがアクセスを販売している場合は支払う。 402はオファーです。サイトのチャネルを通じて受け入れるか、そのページを除外します。

いずれもサイト所有者の制御を保ち、それがあなたのエージェントを長期的に有用に保ちます。

拒否を回避するために絶対にしてはいけないことは？

エージェントを偽装したり、保護を突破したりしないでください。ブラウザのUser-Agentを偽造する、ブロックを逃れるためにIPアドレスをローテーションする、チャレンジページを解くといった行為は、礼儀正しいクライアントをアクセス制御を突破するためのツールに変えてしまいます。2026年、米国の2つの裁判所は、検索結果への自動アクセスをめぐる訴訟で、こうした手法を回避行為とみなしました。訴訟はまだ係争中で何も確定していませんが、リスクは理論上のものではありません。

また、ユーザーが依存するサイトとの信頼も損ないます。拒否は情報です。それを記録し、ユーザーにページが利用できなかったことを伝え、別の情報源に進んでください。

サイトが拒否した場合、組み込みのフェッチツールはどうするのか？

ほとんどはエラーをモデルに返し、モデルはユーザーにページを読めなかったと伝えます。2026年10月22日に確認したOpenClawのドキュメントによると、組み込みのweb_fetchはReadabilityでコンテンツを抽出し、JavaScriptを実行せず、出力を20,000文字に制限します。フェッチプロバイダーにフォールバックでき、プラグインで新しいプロバイダーを登録できます。MCPリファレンスのfetchサーバーは、モデルが開始するフェッチについてデフォルトでrobots.txtを遵守します。

これらのツールが、robotsは許可しているがJavaScriptが必要なページで失敗する場合、ページをレンダリングするリーダーが役立ちます。サイトが拒否したために失敗する場合、どのツールもその回答を変えるべきではありません。

サイトが拒否した場合、WebReaderAPIは何を返すのか？

拒否を明確に返し、課金はされません。robots.txtで禁止されているページは403 blocked_by_robotsを返します。ai-input=noを宣言しているサイトは403 blocked_by_site_policyを返します。その他の方法でリクエストを拒否するサイトは502 target_refusedを返し、target_statusにサイト自身のステータスコードが含まれます。

サイトが当社のリクエストを拒否した場合、その回答をそのまま返します。CAPTCHAを解いたり、アカウントにログインしたり、ブロックやペイウォールを回避しようとしたりすることは決してありません。エージェントはユーザーにページがスキップされた理由を正確に示せます。エラーページでは、すべてのコードとそれぞれの再試行ルールを一覧で確認できます。