概要
WebReaderAPIボットとは何か、どうブロックすればよいですか？
WebReaderAPI ボットは、当社のお客様がAPIにページの読み取りを依頼したときに公開ページを取得します。送信するUser-Agentは WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) で、トークン WebReaderAPI またはすべてのロボット向けに書かれた robots.txt のルールに従います。サイト全体でブロックするには、robots.txt に User-agent: WebReaderAPI とそれに続く Disallow: / を追加してください。
ボットの概要
| User-Agentヘッダー | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| robots.txtトークン | WebReaderAPI |
| robots.txt | 当社はrobots.txtを尊重します。クローラーはWebReaderAPIとして名乗り、自身向けまたはすべてのロボット向けに書かれたルールに従い、サイトが禁止したページは読み取りません。拒否されたページは課金されません |
| AI利用に関する意思表示シグナル | サイトがrobots.txtでContent-Signal: ai-input=noを宣言している場合、そのページをあなたのために読み取ることはありません |
| サイトが拒否した場合 | サイトが当社のリクエストを拒否した場合、その回答をそのまま返します。CAPTCHAを解いたり、アカウントにログインしたり、ブロックやペイウォールを回避しようとしたりすることは決してありません |
| お客様のページのコピー | 回答をお客様に送信した後は一切保持しません |
| クロールジョブ | 1ジョブにつき1つのWebサイトを、最大10,000ページまでクロール。サイトマップ、robots.txt、Crawl-delayに従います |
| お問い合わせ | [email protected] |
WebReaderAPIが私のページを取得したのはなぜですか？
APIのお客様がそれを依頼したからです。WebReaderAPI は独自のWebインデックスを構築せず、自発的に巡回することもありません。各取得は次の3種類のリクエストのいずれかに該当します：
- 単一読み取り： アプリケーションやAIエージェントがお客様のURLを
/readに送信した場合です。通常は、ある人がお客様のページに答えがある質問をしたことがきっかけです。 - バッチジョブ： お客様が最大100件のURLリストを送信し、その中にお客様のページが含まれていた場合です。
- クロールジョブ： お客様が1つのアドレスから開始し、そのドメイン内に留まってサイト全体を読み取るよう依頼した場合です。クロールはsitemapとrobots.txtに従います。
お客様にはページの本文がMarkdownとして届きます。その後、当社はそのコピーを一切保持しません。
サイト全体でボットをブロックするにはどうすればよいですか？
robots.txtファイルに当社のトークン用のグループを追加してください。ボットはページを取得する前に /robots.txt を読み、最大24時間キャッシュするため、変更は遅くとも1日以内に反映されます。
User-agent: WebReaderAPI
Disallow: /
サイトの一部だけをブロックしたり、ボットの速度を落としたりできますか？
はい。除外したいフォルダを Disallow の下に列挙し、クロールジョブには秒単位で Crawl-delay を設定してください。すべてのロボット向け（User-agent: *）に書かれたルールも、当社のトークン用グループがない場合には適用されます。グループがある場合は、RFC 9309に記載されているとおり、そのグループが優先されます。
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
ボットはAI利用に関する意思表示シグナルに従いますか？
はい、サイトがrobots.txtで表明したものには従います。ファイルに Content-Signal: ai-input=no が宣言されている場合、当社はそれを「お客様のページをAIの回答の入力として使用することへの拒否」とみなし、お客様向けにそのページを読み取りません。その場合、APIはエラー blocked_by_site_policy をお客様に返し、料金は発生しません。
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
サイトが拒否した場合、ボットはどうしますか？
停止し、お客様の回答を報告します。403や429のステータス、チャレンジページ、ログインフォーム、ペイウォールはいずれもリクエストを終了させます。お客様にはお客様のステータスコード付きでエラー target_refused が返り、料金は発生しません。
ボットはチャレンジを解決せず、ログインせず、ブラウザに見せかけるためにUser-Agentを変更せず、偽装して再試行することもありません。当社にページを読み取らせたい場合は、robots.txtでトークンを許可し、リクエストを通してください。不要な場合は、そちらでの対応は特に必要ありません。
WebReaderAPIがまだ約束していないことは何ですか？
現時点ではIPアドレスのリストを公開していないため、ボットの識別はIPではなくUser-Agentとrobots.txtの挙動で行ってください。country オプションで読み取るページは、選択した国のアドレスから送信されますが、User-Agentは同じままです。アドレス範囲が確定したら、変更日とともにこのページに追記します。
ボットに関する問題を報告するにはどうすればよいですか？
日時、お客様のドメイン、取得されたURL、当社のUser-Agentが記録されたアクセスログの1行を添えて [email protected] までご連絡ください。担当者が各報告を読み、当社のログと照合して確認します。お客様が当社のAcceptable Use Policyに違反してAPIを使用している場合、そのアカウントは停止されます。
リクエストが本当に当社からのものか確認するには、User-Agentとrobots.txtの挙動をこのページと比較してください。当社の名前を使用しながらお客様のrobots.txtルールを無視するクライアントは、当社のボットではありません。
サイト管理者からの質問
WebReaderAPIボットは検索エンジンのクローラーですか？
いいえ。Webをインデックス化したり、ページをランク付けしたりすることはありません。APIのお客様がそのページを依頼したときにのみ、単一リクエスト、バッチ、または1サイトのクロールとしてページを読み取ります。
ボットをブロックするとGoogleやBingのランキングに影響しますか？
いいえ。WebReaderAPI 向けに書かれたルールは当社のボットにのみ関係します。検索エンジンのクローラーは、robots.txt内のそれぞれ独自のグループに従います。
robots.txtの変更はどのくらいで反映されますか？
遅くとも24時間以内です。ボットは再読み取り前にrobots.txtを最大1日キャッシュします。
ボットはCrawl-delayを尊重しますか?
はい、1つのサイトの多数のページを読み取るクロールジョブでは尊重します。単発の読み取りは1リクエストであり、間隔は空けません。
ページの内容を保存したり販売したりしますか?
いいえ。ページのテキストはそれを要求したお客様に届けられ、当社が保持することはありません。ログにはホスト名、時刻、ステータス、使用クレジットを30日間保存します。