# RAG向けWebページ：サイトをクリーンでチャンク分割可能なMarkdownに変換

> WebページをRAGパイプラインに取り込む：ドキュメントやブログをクロールしてクリーンなMarkdownに変換し、見出しでチャンク分割し、ソースURLを保持します。$0.07/1Kページから、KYC不要、暗号資産で支払い。

- URL: https://webreaderapi.com/ja/use-cases/rag/
- 最終更新: 2026-10-22
- 発行者: WebReaderAPI (https://webreaderapi.com)

検索はインデックスに入れたものに基づいて機能します。見出し、メタデータ、ソースURLを備えたクリーンなMarkdownは、より良いチャンク、無駄の少ないトークン、ページを引用できる回答をもたらします。

**概要 — WebページをRAGパイプラインに取り込むにはどうすればよいですか？**

各ページをメインコンテンツのMarkdownとして読み取り、見出しに沿って分割し、すべてのチャンクにソースURLとタイトルを付与してから、埋め込みを行い保存します。**WebReaderAPI**が読み取りを担当します：ページごとに1リクエスト、または最大10,000ページのサイト全体に対して1つのクロールジョブで、2026年10月時点で$0.07/1Kページから1ページ1クレジットです。robots.txtを尊重します。KYC不要、暗号資産で支払い。

## WebReaderAPIによるRAG取り込み

| 項目 | 値 |
| --- | --- |
| サイト全体 | `POST https://webreaderapi.com/api/v1/crawl`：1ジョブにつき1つのWebサイトを、最大10,000ページまでクロール。サイトマップ、robots.txt、Crawl-delayに従います |
| URLのリスト | `POST https://webreaderapi.com/api/v1/batch`: バッチジョブあたり最大100 URL |
| ページごと | メインコンテンツのMarkdown、タイトル、著者、日付、言語、単語数 |
| PDF | 20 MB・100ページまでのPDFファイルをMarkdownに変換します。10ページ単位の開始ブロックごとに1クレジットです |
| 課金 | 1クレジット = ブラウザなしでページを1回読み取り。ページのJavaScriptレンダリングにブラウザが必要な場合は2クレジット。失敗したリクエスト、またはサイトのrobots.txtが拒否したリクエストは課金されません |
| 料金 | 50,000ページあたり$14.25、クレジットは失効しません |

## クリーンなMarkdownがより良い検索結果をもたらすのはなぜですか？

ボイラープレートで構成されたチャンクは検索精度が低下します。メニュー、Cookieのテキスト、フッターが残ったままページを分割すると、多くのチャンクに同じナビゲーション用の単語が含まれ、無関係な質問に対してもベクトル検索がそれらを返してしまいます。メインコンテンツの抽出は、埋め込み前にそのノイズを取り除きます。

見出しも同じくらい重要です。`## Refund policy`で始まるチャンクはトピックを引き継ぐため、埋め込みと後で読むモデルの両方がその内容を把握できます。プレーンテキストはそのシグナルを失い、生のHTMLはマークアップの下に隠してしまいます。

## 取り込みパイプラインはどのようなものですか？

ベクターストアが何であっても、手順は5つです:

1. **URLを集める。** サイトをクロールするか、すでに持っているリストをバッチで送信します。
2. **Markdownとして読み取る。** 記事やドキュメントには`main_content=true`を使い、一覧ページには`false`を使います。
3. **見出しでチャンク分割する。** `#`、`##`、`###`で分割し、長いセクションは少しのオーバーラップを付けてサイズ上限まで切り詰めます。
4. **メタデータを付ける。** 各チャンクに`url`、`title`、`published_at`と見出しのパスを保存し、回答がソースを引用できるようにします。
5. **更新する。** sitemapの`lastmod`が変わったページを再読み取りし、エラーを返すようになったページのチャンクは削除します。

*Python: ページを読み取り、ソース付きでチャンクに分割する*

```python
import os
import re

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
    "https://docs.example.com/getting-started",
    "https://docs.example.com/billing",
]


def chunks_for(url, max_len=2000):
    page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
    if "markdown" not in page:
        return []
    out = []
    for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
        section = section.strip()
        heading = section.splitlines()[0] if section else ""
        for start in range(0, len(section), max_len):
            out.append({
                "text": section[start:start + max_len],
                "url": page.get("final_url", url),
                "title": page.get("title"),
                "heading": heading,
            })
    return out


all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")

```

## インデックスの構築と更新にはいくらかかりますか？

構築は1ページにつき1クレジット、ブラウザが必要なページは2クレジットです。更新は再読み取りしたページ分だけかかります。2026年10月時点の価格で3つの例を示します:

- **ある製品のヘルプセンター** 800ページ、変更されたページ（約10%）を毎月更新: 初回800クレジット、その後は月約80クレジット。10,000ページ（$3.75）で数年分まかなえます。
- **10個のドキュメントサイト** 各2,000ページ、5%を毎週更新: 20,000クレジット、その後は月約4,000クレジット。50,000ページ（$14.25）で構築と7か月分の更新をカバーできます。
- **ニュースアーカイブ** 決して変わらない300,000記事: 初回300,000クレジットで、500,000ページ（$50）に収まります。

埋め込みとストレージはご自身のプロバイダーで課金され、含まれません。

## インデックスされたくないサイトをインデックスできますか？

WebReaderAPIではできません。robots.txtで当社のクローラーに対して、またはすべてのロボットに対して禁止されているページはスキップされ、課金されません。`Content-Signal: ai-input=no`を宣言しているサイトは読み取られません。ロボットをブロックしているご自身のサイトやパートナーサイトについては、オーナーにrobots.txtで`WebReaderAPI`を許可してもらってください。追加すべき行は[クローラーページ](https://webreaderapi.com/ja/bot/)に記載しています。

これはユーザーにとっても重要です。ソースを引用するRAGアシスタントは、そのソースが読み取られることに同意している場合により有用になります。

## RAGプロジェクトにはどのパックが合いますか？

インデックスを構築するページ数を数え、毎月の更新分を加え、数か月分をカバーするパックを選んでください。クレジットは失効しません。

| プラン | 数量 | 料金 | 単価 |
| --- | --- | --- | --- |
| テスト | 10,000ページ | $3.75 | $0.38/1Kページ |
| スターター | 50,000ページ | $14.25 | $0.28/1Kページ |
| 構築 | 100,000ページ | $21.75 | $0.22/1Kページ |
| スケール | 500,000ページ | $50 | $0.10/1Kページ |

すべてのプランに含まれるもの: 本文抽出 · 必要な場合はJavaScriptをレンダリング · 失敗・拒否されたページは課金なし · クレジットの有効期限なし

**お支払いの前に**

- 最低チャージ額$25。 暗号資産で一度チャージすれば、残高から任意のプランを購入できます。
- 残高に有効期限はなく、いつでもページクレジットの購入に使えます。パックの価格が最低入金額を下回る場合、その最低額に達するためだけに追加した分は、お支払いから30日以内であればご依頼によりUSDTまたはUSDCで返金します（ただし未使用分に限ります）。それ以外の残高は、法令に別段の定めがある場合を除き返金されません.
- お支払いがブロックチェーン上で確認され次第、残高に反映されます。 ネットワーク承認の目安時間: BTC 約20分 · USDT TRC-20 約1分 · USDT ERC-20 約5分 · USDC ERC-20 約5分 · ETH 約5分 · SOL 約1分 · LTC 約15分

## RAG取り込み: よくある質問

### チャンクサイズはどのくらいにすればよいですか？

まず見出しで分割し、その後500〜1,000トークン程度より長いセクションは少しのオーバーラップを付けて切り詰めます。見出しベースのチャンクは1つにつき1トピックを保つため、通常はページ全体に対する固定サイズのウィンドウよりも検索精度が良くなります。

### WebReaderAPIは埋め込みを作成したりベクターを保存したりしますか？

いいえ。WebReaderAPIはページを読み取り、メタデータ付きのMarkdownを返します。埋め込みは任意のモデルで行い、ご自身のベクターデータベースに保存します。[LangChainとLlamaIndexのページ](https://webreaderapi.com/ja/docs/langchain/)で両方を紹介しています。

### インデックスを最新に保つにはどうすればよいですか？

変更されたページだけを再読み取りします。ほとんどのsitemapはURLごとに`lastmod`日付を持っているので、最後に読み取った日付と比較し、変更されたURLをバッチで送信します。エラーになったページはインデックスから削除してください。

### 同じサイトのPDFを含められますか？

はい。クロールは同じドメイン上のPDFリンクを、同じrobots.txtチェックで読み取ります。20 MB・100ページまでのPDFファイルをMarkdownに変換します。10ページ単位の開始ブロックごとに1クレジットです。

---

WebReaderAPI: WebReaderAPIはAIエージェント向けのWebリーダーAPIで、あらゆる公開WebページをクリーンなMarkdownに変換します。暗号資産で支払い、本人確認書類のアップロードは不要です。$0.07/1Kページから購入できるプリペイドクレジットに有効期限はなく、robots.txtを尊重します。KYC不要 — 身分証もセルフィーも書類も不要。暗号資産で支払い。