概要
AIエージェントはrobots.txtに従う必要があるか？
ベンダーによります。robots.txtは任意の標準です（RFC 9309、2022年9月）。インデックスを構築するクローラーは一般にこれに従います。ユーザーが起動する取得については、OpenAIは自社のルールが適用されない場合があると述べ、GoogleとPerplexityは自社のフェッチャーは一般にこれらを無視すると述べ、Anthropicは自社のボットはこれらを遵守すると述べています。WebReaderAPIはすべての読み取りでrobots.txtに従い、KYC不要、暗号資産で支払いです。
2026年10月時点のrobots.txtとAI
| 標準 | RFC 9309、Robots Exclusion Protocol、2022年9月 |
|---|---|
| OpenAI ChatGPT-User | robots.txtのルールはユーザー起動のアクションには「適用されない場合がある」 |
| Anthropic（Claude-Userを含む） | ボットがCrawl-delayを含むrobots.txtの指示を遵守すると述べています |
| Googleのユーザー起因フェッチャー | 「robots.txtのルールは概ね無視します」（ページ更新日：2026-08-19） |
| Perplexity-User | 「robots.txtのルールは概ね無視します」 |
| Content Signals | Cloudflareの2025年9月24日付ポリシー：search、ai-input、ai-train |
| IETF AI preferences | ワーキンググループのドラフトであり、まだRFCではありません |
| WebReaderAPI | 読み取りのたびにrobots.txtとai-input=noを遵守します。トークンはWebReaderAPI |
robots.txtは実際に何をするのですか？
自動化されたクライアントに対して、サイトが避けてほしいパスを伝えるものです。このファイルはホストのルートに置かれ、user-agentトークンごとにルールをグループ化し、AllowとDisallowの行を使用します。2022年9月に公開されたRFC 9309により、長年の慣習が標準となりました。
RFCは、このファイルが何もロックしないことを明言しています。「これらのルールはアクセス認可の形式ではありません。」遵守は任意です。だからこそ、各ベンダーの表明するポリシーが重要であり、厳格な制限を求めるサイトがファイアウォールやボット管理も併用する理由でもあります。
クローラーとユーザー起因フェッチャーはなぜ異なるのですか？
クローラーは訪問するページを自ら決定しますが、ユーザー起因フェッチャーは人が要求したために1つのページを訪問します。多くのベンダーは後者のケースを、ユーザーのために動作するブラウザと同様に扱い、robots.txtは完全には適用されないと述べています。
| フェッチャー | 表明されたポリシー（2026-10-22時点で確認） |
|---|---|
| OpenAI ChatGPT-User | robots.txtのルールはユーザーが開始したアクションには「適用されない場合がある」。検索オプトアウトについてはサイトはOAI-SearchBotを参照するよう案内されています |
| Anthropic Claude-User | Anthropicは自社のボットがrobots.txtの指示を尊重すると述べています。Claude-Userをブロックすると、ユーザーのクエリに対する取得が停止します |
| Googleのユーザー起因フェッチャー | ユーザーがフェッチを要求したため、「robots.txtのルールは概ね無視します」 |
| Perplexity-User | 同じ理由で「robots.txtのルールは概ね無視します」 |
| MCP reference fetch server | モデルが開始したフェッチについてはデフォルトでrobots.txtに従いますが、ユーザーが開始したものには従いません |
この区分は現実のものであり、文書化されています。エージェントを構築する場合は、どちらの側に立つかを決め、user agentとドキュメントでそれを明示してください。
Content Signals、aipref、RSLとは何ですか？
これらは、ロボットがコンテンツを取得してよいかだけでなく、AIシステムがコンテンツをどう扱ってよいかを伝える新しい方法です。
- Content Signals。 Cloudflareが2025年9月24日にこのポリシーを公開しました。robots.txtで
search、ai-input（AIの回答への入力、例えばグラウンディングとしての利用）、ai-trainを表明できます。Cloudflareの管理するrobots.txtはデフォルトでsearch=yes, ai-train=noを配信します。 - IETF AI preferences（aipref）。 ワーキンググループの語彙ドラフトと添付ドラフトは2026年10月時点でまだInternet-Draftであり、Proposed Standardを意図しています。
- Web Bot Auth。 ボットがリクエストに署名する方法です。IETFワーキンググループは2026年9月1日にそのプロトコルドラフトを採用しました。
- RSL（Really Simple Licensing）。 そのサイトにはRSL 1.0仕様が利用可能であると記載されています。パブリッシャーはrobots.txt、ヘッダー、またはRSSを通じて、クロール課金を含むライセンス条件を表明できます。
llms.txtはrobots.txtと同じものですか？
いいえ。robots.txtは取得してほしくないものを示し、llms.txtは言語モデル向けにサイトの主要ページを列挙する提案中のファイルです。採用は増えていますが、計測された利用は少ないです。Rankabilityは2026年9月18日時点で上位1,000サイトの9.3%でllms.txtを確認しました。PPC Landが2026年7月2日に報じたAhrefsの137,000ドメインの調査では、llms.txtファイルの97%がリクエストを一切受け取っていませんでした。
それでも必要なら、当社のllms.txtガイドで、自身のサイトのクロールから作成する方法を説明しています。
WebReaderAPIはrobots.txtをどう扱いますか？
お客様が開始した読み取りを含め、すべての読み取りで従います。当社はrobots.txtを尊重します。クローラーはWebReaderAPIとして名乗り、自身向けまたはすべてのロボット向けに書かれたルールに従い、サイトが禁止したページは読み取りません。拒否されたページは課金されません。サイトがrobots.txtでContent-Signal: ai-input=noを宣言している場合、そのページをあなたのために読み取ることはありません。クロールジョブでは、サイトが設定するCrawl-delayも待機します。
すべてのリクエストは同じUser-Agent、WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)を伴うため、サイト所有者はログで当社を確認し、当社向けのルールを記述できます。詳細と問題時の連絡先は当社のクローラーページに記載しています。
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
AI向けrobots.txt：よくある質問
GPTBotをブロックするとChatGPTがユーザーのために私のページを読むのを止められますか？
必ずしもそうではありません。OpenAIはトークンを分けて文書化しています。GPTBotはトレーニング用、OAI-SearchBotは検索用、ChatGPT-Userはユーザーアクション用であり、robots.txtのルールはユーザーが開始したアクションには適用されない場合があると述べています。各ベンダーの最新ドキュメントを確認してください。
robots.txtには法的拘束力がありますか？
それ自体にはありません。RFC 9309はアクセス認可ではないと述べています。EUでは、DSM指令の下でのテキストおよびデータマイニングにおいて、機械可読なオプトアウトが重要です。当社の法的概要をご覧ください。これは法的助言ではありません。
WebReaderAPIをブロックするにはどうすればよいですか？
robots.txtにDisallow: /を含むUser-agent: WebReaderAPIグループを追加してください。当社の読み取りは毎ページの前にこれを確認し、不許可のページは決して読み取りません。
WebReaderAPIはai-input=noと記載されたページを読み取りますか？
いいえ。サイトがrobots.txtでContent-Signal: ai-input=noを宣言している場合、そのページをあなたのために読み取ることはありません。APIは料金なしで403 blocked_by_site_policyをお客様に返します。
ソース (12)
- RFC 9309：Robots Exclusion Protocol — RFC Editor (September 2022)
- OpenAIクローラーの概要 — OpenAI (read 2026-10-22)
- Anthropicはウェブからデータをクロールしますか、またサイト所有者はクローラーをどうブロックできますか？ — Anthropic (2026-04-07)
- Googleのユーザー起因フェッチャー — Google (updated 2026-08-19)
- Perplexityのクローラー — Perplexity (read 2026-10-22)
- MCP fetch server — Model Context Protocol (read 2026-10-22)
- Content Signalsポリシー — Cloudflare (2025-09-24)
- AI Preferencesワーキンググループのドキュメント — IETF (read 2026-10-22)
- Web Bot Authワーキンググループのドキュメント — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- llms.txtの導入データ — Rankability (2026-09-18)
- llms.txtの導入は8.8倍に増加、しかし97%のファイルはAIリクエストを一切受け取っていない — PPC Land (2026-07-02)