# WebリーダーAPI用語集

> APIでWebページを読み取るための36の用語集：Markdown、本文抽出、JavaScriptレンダリング、robots.txt、Content Signals、RAG、MCP、クレジットなど。

- URL: https://webreaderapi.com/ja/glossary/
- 最終更新: 2026-10-22
- 発行者: WebReaderAPI (https://webreaderapi.com)

Webページを言語モデル向けのテキストに変換する際に出会う用語を、HTML側からAI側まで、それぞれがドキュメントのどこで重要になるかへのリンク付きで解説します。

**概要 — WebリーダーAPIの主な用語の意味は？**

WebリーダーAPIはページを取得し、その**本文**を保持して、モデルが読める**Markdown**として返します。**WebReaderAPI**は、ページにブラウザが必要な場合に**JavaScriptレンダリング**を追加し、**robots.txt**と**Content Signals**に従い、1ページにつき1**クレジット**を請求します。料金は2026年10月時点で$0.07/1Kページからです。以下の36の用語で残りを説明します。

## Webページ側から

**HTML** — Webページのマークアップ言語。生のHTMLは、必要なテキストにタグやスクリプト、スタイルが混ざっているため、言語モデルにとって読みにくい形式になります。

**DOM** — Document Object Model の略で、ブラウザがHTMLから構築し、その後JavaScriptで変更する要素のツリーです。レンダリングされたページは、生のHTMLではなくDOMから読み取られます。

**JavaScriptレンダリング** — 最初のレスポンス後に読み込まれたコンテンツが表示されるよう、ブラウザでページのスクリプトを実行すること。WebReaderAPIは必要な場合（`render=auto`）にこれを行い、1クレジットではなく2クレジットかかります。

**ヘッドレスブラウザ** — 画面なしで動作し、ソフトウェアによって制御される実際のブラウザエンジン。JavaScriptを多用するページをサーバー上でレンダリングする手段です。

**本文抽出** — 読者が目的とするページの部分（記事やドキュメントなど）を見つけ出し、その周囲をすべて除外すること。当社のAPIではこれがデフォルトの`main_content=true`です。

**Readability** — テキストの品質を指すと同時に、ページのブロックを評価して本文を見つける、よく知られたアルゴリズム群の名称でもあります。ブラウザのリーディングモードと同じ仕組みです。

**ボイラープレート** — サイトのすべてのページで繰り返されるテキスト（メニュー、Cookie通知、サイドバー、フッター、共有ボタンなど）。これを除去することがWebリーダーの作業の大部分を占めます。

**Markdown** — `#`が見出し、`-`がリスト項目、`[text](url)`がリンクを表すプレーンテキスト形式。モデルはこれをよく読み取り、HTMLよりはるかに少ないトークンで済みます。

**メタデータ** — テキストではなくページに関する情報（タイトル、説明、著者、公開日、言語など）。WebReaderAPIは、ページに記載があればMarkdownと並べてこれらを返します。

**PDF抽出** — PDFファイルのテキストをMarkdownに変換すること。20 MB・100ページまでのPDFファイルをMarkdownに変換します。10ページ単位の開始ブロックごとに1クレジットです。

**サイトマップ** — サイトが自身のページを列挙したXMLファイル。存在する場合はクロールジョブがここから開始するため、より少ないリクエストでページを早く見つけられます。

**ペイウォール** — 購読者にのみコンテンツを表示する障壁。WebReaderAPIは決してその奥を読みません。

## クローラー側から

**クローラー** — 目的のためにWebページを取得するプログラム。当社のものは顧客が要求したページのみを取得し、その詳細は[bot page](https://webreaderapi.com/ja/bot/)]で説明しています。

**ユーザーエージェント** — クライアントが各リクエストとともに送る名前。当社のものは`WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`なので、サイト所有者は常に誰が要求しているかを把握できます。

**robots.txt** — サイトのルートにあるファイルで、クローラーが取得してよいパスを伝えます。RFC 9309として標準化されています。当社はrobots.txtを尊重します。クローラーはWebReaderAPIとして名乗り、自身向けまたはすべてのロボット向けに書かれたルールに従い、サイトが禁止したページは読み取りません。拒否されたページは課金されません。

**Crawl-delay** — リクエスト間で数秒待つようクローラーに求めるrobots.txtの行。当社のクロールジョブはこれを遵守します。

**Content Signals** — `Content-Signal: search=yes, ai-input=no`のようなrobots.txtの行に対するポリシーで、AIによる利用を含め、サイトのコンテンツをどのように使用してよいかを示します。

**ai-input** — ページをAIの回答への入力として使用することを対象とするContent Signalsの設定。サイトがrobots.txtでContent-Signal: ai-input=noを宣言している場合、そのページをあなたのために読み取ることはありません。

**llms.txt** — 一部のサイトが`/llms.txt`で公開するMarkdownファイルで、言語モデルにコンテンツと主要ページの短いガイドを提供します。

**クロール** — サイトのリンクとサイトマップをたどって、1つのサイトの多くのページを読み取ること。1ジョブにつき1つのWebサイトを、最大10,000ページまでクロール。サイトマップ、robots.txt、Crawl-delayに従います。

**バッチジョブ** — 1回のリクエストで送信され、バックグラウンドで処理されるURLのリスト。バッチジョブあたり最大100 URL。

**HTTP 403** — リクエストを拒否するためにサーバーが送るステータス。サイトが当社のクローラーに403を返した場合、APIは`target_refused`を返し、何も課金しません。

**HTTP 429** — リクエストが多すぎる場合のステータスです。サイト側からの場合は速度を落とすことを意味し、当社のAPI（`concurrency_limit`）からの場合は、アカウントが同時読み取りの上限に達したことを意味します。

**指数バックオフ** — 失敗するたびに待ち時間を長くして（例えば1秒、2秒、次に4秒）、再試行する前に待つことで、混雑したサーバーに負荷をかけないようにします。

## AI側から見ると

**トークン** — 言語モデルが読み取り、課金の単位となるもので、おおよそ短い単語1つ、またはその一部に相当します。クリーンなMarkdownは、同じページをHTMLで扱う場合よりはるかに少ないトークンで済みます。

**コンテキストウィンドウ** — モデルが一度に取り込めるテキストの量です。`max_chars`パラメータで、各ページを設定した予算内に収めます。

**RAG** — 検索拡張生成：モデルが質問に対して取得したドキュメントから回答する仕組みです。Webリーダーは、ライブページからそれらのドキュメントを供給します。

**チャンク分割** — 長いドキュメントをインデックス化する前に、複数のパッセージに分割することです。Markdownの見出しは自然な分割ポイントになります。

**埋め込み** — パッセージの意味を表す数値のリストで、質問に類似したパッセージを見つけるために使います。

**ベクトルストア** — 埋め込みを保存し、クエリに最も近いパッセージを返すデータベースで、RAGシステムにおけるチャンク化されたWebページの通常の保管場所です。

**ツール呼び出し** — URLを読み取るなどの関数をアプリケーションに実行させ、その結果を利用するモデルの能力です。[OpenAI function calling](https://webreaderapi.com/ja/docs/openai/)を参照してください。

**MCP** — Model Context Protocolのことで、Claude DesktopやCursorなどのAIクライアントにツールを接続する標準的な方法です。当社の[MCPページ](https://webreaderapi.com/ja/docs/mcp/)では、API上に構築されたfetchツールを紹介しています。

## 請求側から見ると

**クレジット** — APIの利用単位です。1クレジット = ブラウザなしでページを1回読み取り。ページのJavaScriptレンダリングにブラウザが必要な場合は2クレジット。失敗したリクエスト、またはサイトのrobots.txtが拒否したリクエストは課金されません。

**同時実行数** — アカウントが同時に実行できる読み取りの数です。すべてのアカウントには同時に読み取れるページ数の上限があります。上限はダッシュボードに表示され、サポートで引き上げられます。

**KYC** — Know your customer：一部のサービスが求める本人確認で、身分証明書や自撮り写真などが必要です。WebReaderAPIでは一切求めません。

**ステーブルコイン** — 米ドルなどの通貨に連動する暗号資産です。チャージに利用できるのはUSDTとUSDCの2種類で、コインの全リストはBTC, USDT, USDC, ETH, SOL, LTCです。

---

WebReaderAPI: WebReaderAPIはAIエージェント向けのWebリーダーAPIで、あらゆる公開WebページをクリーンなMarkdownに変換します。暗号資産で支払い、本人確認書類のアップロードは不要です。$0.07/1Kページから購入できるプリペイドクレジットに有効期限はなく、robots.txtを尊重します。KYC不要 — 身分証もセルフィーも書類も不要。暗号資産で支払い。