# WebReaderAPIボット：User-Agent、robots.txt、ブロック方法

> WebReaderAPIボットの概要：正確なUser-Agent、robots.txtのトークン、ブロックまたは速度制限の方法、そしてこのボットが決して行わないこと。サイト管理者とAIツール向けに解説します。

- URL: https://webreaderapi.com/ja/bot/
- 最終更新: 2026-10-22
- 発行者: WebReaderAPI (https://webreaderapi.com)

サーバーログに当社の名前が記録されていた場合、このページでは当社が何者か、なぜお客様のページを取得したのか、そして取得を止めていただく方法を説明します。ここに記載するルールはすべて、本サービスの設計に組み込まれた約束です。

**概要 — WebReaderAPIボットとは何か、どうブロックすればよいですか？**

**WebReaderAPI** ボットは、当社のお客様がAPIにページの読み取りを依頼したときに公開ページを取得します。送信するUser-Agentは `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` で、トークン `WebReaderAPI` またはすべてのロボット向けに書かれた robots.txt のルールに従います。サイト全体でブロックするには、robots.txt に `User-agent: WebReaderAPI` とそれに続く `Disallow: /` を追加してください。

## ボットの概要

| 項目 | 値 |
| --- | --- |
| User-Agentヘッダー | `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` |
| robots.txtトークン | `WebReaderAPI` |
| robots.txt | 当社はrobots.txtを尊重します。クローラーはWebReaderAPIとして名乗り、自身向けまたはすべてのロボット向けに書かれたルールに従い、サイトが禁止したページは読み取りません。拒否されたページは課金されません |
| AI利用に関する意思表示シグナル | サイトがrobots.txtでContent-Signal: ai-input=noを宣言している場合、そのページをあなたのために読み取ることはありません |
| サイトが拒否した場合 | サイトが当社のリクエストを拒否した場合、その回答をそのまま返します。CAPTCHAを解いたり、アカウントにログインしたり、ブロックやペイウォールを回避しようとしたりすることは決してありません |
| お客様のページのコピー | 回答をお客様に送信した後は一切保持しません |
| クロールジョブ | 1ジョブにつき1つのWebサイトを、最大10,000ページまでクロール。サイトマップ、robots.txt、Crawl-delayに従います |
| お問い合わせ | abuse@webreaderapi.com |

## WebReaderAPIが私のページを取得したのはなぜですか？

APIのお客様がそれを依頼したからです。WebReaderAPI は独自のWebインデックスを構築せず、自発的に巡回することもありません。各取得は次の3種類のリクエストのいずれかに該当します：

- **単一読み取り：** アプリケーションやAIエージェントがお客様のURLを `/read` に送信した場合です。通常は、ある人がお客様のページに答えがある質問をしたことがきっかけです。
- **バッチジョブ：** お客様が最大100件のURLリストを送信し、その中にお客様のページが含まれていた場合です。
- **クロールジョブ：** お客様が1つのアドレスから開始し、そのドメイン内に留まってサイト全体を読み取るよう依頼した場合です。クロールはsitemapとrobots.txtに従います。

お客様にはページの本文がMarkdownとして届きます。その後、当社はそのコピーを一切保持しません。

## サイト全体でボットをブロックするにはどうすればよいですか？

robots.txtファイルに当社のトークン用のグループを追加してください。ボットはページを取得する前に `/robots.txt` を読み、最大24時間キャッシュするため、変更は遅くとも1日以内に反映されます。

*robots.txt：WebReaderAPIにすべてのページを拒否する例*

```text
User-agent: WebReaderAPI
Disallow: /

```

## サイトの一部だけをブロックしたり、ボットの速度を落としたりできますか？

はい。除外したいフォルダを `Disallow` の下に列挙し、クロールジョブには秒単位で `Crawl-delay` を設定してください。すべてのロボット向け（`User-agent: *`）に書かれたルールも、当社のトークン用グループがない場合には適用されます。グループがある場合は、RFC 9309に記載されているとおり、そのグループが優先されます。

*robots.txt：2つのフォルダを除外し、クロールリクエストの間隔を空ける例*

```text
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5

```

## ボットはAI利用に関する意思表示シグナルに従いますか？

はい、サイトがrobots.txtで表明したものには従います。ファイルに `Content-Signal: ai-input=no` が宣言されている場合、当社はそれを「お客様のページをAIの回答の入力として使用することへの拒否」とみなし、お客様向けにそのページを読み取りません。その場合、APIはエラー `blocked_by_site_policy` をお客様に返し、料金は発生しません。

*robots.txt：検索エンジンは許可し、AI入力は拒否する例*

```text
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## サイトが拒否した場合、ボットはどうしますか？

停止し、お客様の回答を報告します。403や429のステータス、チャレンジページ、ログインフォーム、ペイウォールはいずれもリクエストを終了させます。お客様にはお客様のステータスコード付きでエラー `target_refused` が返り、料金は発生しません。

ボットはチャレンジを解決せず、ログインせず、ブラウザに見せかけるためにUser-Agentを変更せず、偽装して再試行することもありません。当社にページを読み取らせたい場合は、robots.txtでトークンを許可し、リクエストを通してください。不要な場合は、そちらでの対応は特に必要ありません。

## WebReaderAPIがまだ約束していないことは何ですか？

現時点ではIPアドレスのリストを公開していないため、ボットの識別はIPではなくUser-Agentとrobots.txtの挙動で行ってください。`country` オプションで読み取るページは、選択した国のアドレスから送信されますが、User-Agentは同じままです。アドレス範囲が確定したら、変更日とともにこのページに追記します。

## ボットに関する問題を報告するにはどうすればよいですか？

日時、お客様のドメイン、取得されたURL、当社のUser-Agentが記録されたアクセスログの1行を添えて abuse@webreaderapi.com までご連絡ください。担当者が各報告を読み、当社のログと照合して確認します。お客様が当社の[Acceptable Use Policy](https://webreaderapi.com/ja/acceptable-use/)に違反してAPIを使用している場合、そのアカウントは停止されます。

リクエストが本当に当社からのものか確認するには、User-Agentとrobots.txtの挙動をこのページと比較してください。当社の名前を使用しながらお客様のrobots.txtルールを無視するクライアントは、当社のボットではありません。

## サイト管理者からの質問

### WebReaderAPIボットは検索エンジンのクローラーですか？

いいえ。Webをインデックス化したり、ページをランク付けしたりすることはありません。APIのお客様がそのページを依頼したときにのみ、単一リクエスト、バッチ、または1サイトのクロールとしてページを読み取ります。

### ボットをブロックするとGoogleやBingのランキングに影響しますか？

いいえ。`WebReaderAPI` 向けに書かれたルールは当社のボットにのみ関係します。検索エンジンのクローラーは、robots.txt内のそれぞれ独自のグループに従います。

### robots.txtの変更はどのくらいで反映されますか？

遅くとも24時間以内です。ボットは再読み取り前にrobots.txtを最大1日キャッシュします。

### ボットはCrawl-delayを尊重しますか?

はい、1つのサイトの多数のページを読み取るクロールジョブでは尊重します。単発の読み取りは1リクエストであり、間隔は空けません。

### ページの内容を保存したり販売したりしますか?

いいえ。ページのテキストはそれを要求したお客様に届けられ、当社が保持することはありません。ログにはホスト名、時刻、ステータス、使用クレジットを30日間保存します。

---

WebReaderAPI: WebReaderAPIはAIエージェント向けのWebリーダーAPIで、あらゆる公開WebページをクリーンなMarkdownに変換します。暗号資産で支払い、本人確認書類のアップロードは不要です。$0.07/1Kページから購入できるプリペイドクレジットに有効期限はなく、robots.txtを尊重します。KYC不要 — 身分証もセルフィーも書類も不要。暗号資産で支払い。