KYC不要 — 身分証もセルフィーも書類も不要。暗号資産で支払い：BTC, USDT, USDC, ETH, SOL, LTC
言語: 日本語
APIキーを取得

ユースケース · 検索拡張生成

RAG向けWebページ：サイトをクリーンでチャンク分割可能なMarkdownに変換

検索はインデックスに入れたものに基づいて機能します。見出し、メタデータ、ソースURLを備えたクリーンなMarkdownは、より良いチャンク、無駄の少ないトークン、ページを引用できる回答をもたらします。

最終更新:

概要

WebページをRAGパイプラインに取り込むにはどうすればよいですか？

各ページをメインコンテンツのMarkdownとして読み取り、見出しに沿って分割し、すべてのチャンクにソースURLとタイトルを付与してから、埋め込みを行い保存します。WebReaderAPIが読み取りを担当します：ページごとに1リクエスト、または最大10,000ページのサイト全体に対して1つのクロールジョブで、2026年10月時点で$0.07/1Kページから1ページ1クレジットです。robots.txtを尊重します。KYC不要、暗号資産で支払い。

WebReaderAPIによるRAG取り込み

サイト全体POST https://webreaderapi.com/api/v1/crawl：1ジョブにつき1つのWebサイトを、最大10,000ページまでクロール。サイトマップ、robots.txt、Crawl-delayに従います
URLのリストPOST https://webreaderapi.com/api/v1/batch: バッチジョブあたり最大100 URL
ページごとメインコンテンツのMarkdown、タイトル、著者、日付、言語、単語数
PDF20 MB・100ページまでのPDFファイルをMarkdownに変換します。10ページ単位の開始ブロックごとに1クレジットです
課金1クレジット = ブラウザなしでページを1回読み取り。ページのJavaScriptレンダリングにブラウザが必要な場合は2クレジット。失敗したリクエスト、またはサイトのrobots.txtが拒否したリクエストは課金されません
料金50,000ページあたり$14.25、クレジットは失効しません

クリーンなMarkdownがより良い検索結果をもたらすのはなぜですか？

ボイラープレートで構成されたチャンクは検索精度が低下します。メニュー、Cookieのテキスト、フッターが残ったままページを分割すると、多くのチャンクに同じナビゲーション用の単語が含まれ、無関係な質問に対してもベクトル検索がそれらを返してしまいます。メインコンテンツの抽出は、埋め込み前にそのノイズを取り除きます。

見出しも同じくらい重要です。## Refund policyで始まるチャンクはトピックを引き継ぐため、埋め込みと後で読むモデルの両方がその内容を把握できます。プレーンテキストはそのシグナルを失い、生のHTMLはマークアップの下に隠してしまいます。

取り込みパイプラインはどのようなものですか？

ベクターストアが何であっても、手順は5つです:

  1. URLを集める。 サイトをクロールするか、すでに持っているリストをバッチで送信します。
  2. Markdownとして読み取る。 記事やドキュメントにはmain_content=trueを使い、一覧ページにはfalseを使います。
  3. 見出しでチャンク分割する。 #、##、###で分割し、長いセクションは少しのオーバーラップを付けてサイズ上限まで切り詰めます。
  4. メタデータを付ける。 各チャンクにurl、title、published_atと見出しのパスを保存し、回答がソースを引用できるようにします。
  5. 更新する。 sitemapのlastmodが変わったページを再読み取りし、エラーを返すようになったページのチャンクは削除します。
Python: ページを読み取り、ソース付きでチャンクに分割する
import os
import re

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
    "https://docs.example.com/getting-started",
    "https://docs.example.com/billing",
]


def chunks_for(url, max_len=2000):
    page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
    if "markdown" not in page:
        return []
    out = []
    for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
        section = section.strip()
        heading = section.splitlines()[0] if section else ""
        for start in range(0, len(section), max_len):
            out.append({
                "text": section[start:start + max_len],
                "url": page.get("final_url", url),
                "title": page.get("title"),
                "heading": heading,
            })
    return out


all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")

インデックスの構築と更新にはいくらかかりますか？

構築は1ページにつき1クレジット、ブラウザが必要なページは2クレジットです。更新は再読み取りしたページ分だけかかります。2026年10月時点の価格で3つの例を示します:

  • ある製品のヘルプセンター 800ページ、変更されたページ（約10%）を毎月更新: 初回800クレジット、その後は月約80クレジット。10,000ページ（$3.75）で数年分まかなえます。
  • 10個のドキュメントサイト 各2,000ページ、5%を毎週更新: 20,000クレジット、その後は月約4,000クレジット。50,000ページ（$14.25）で構築と7か月分の更新をカバーできます。
  • ニュースアーカイブ 決して変わらない300,000記事: 初回300,000クレジットで、500,000ページ（$50）に収まります。

埋め込みとストレージはご自身のプロバイダーで課金され、含まれません。

インデックスされたくないサイトをインデックスできますか？

WebReaderAPIではできません。robots.txtで当社のクローラーに対して、またはすべてのロボットに対して禁止されているページはスキップされ、課金されません。Content-Signal: ai-input=noを宣言しているサイトは読み取られません。ロボットをブロックしているご自身のサイトやパートナーサイトについては、オーナーにrobots.txtでWebReaderAPIを許可してもらってください。追加すべき行はクローラーページに記載しています。

これはユーザーにとっても重要です。ソースを引用するRAGアシスタントは、そのソースが読み取られることに同意している場合により有用になります。

RAGプロジェクトにはどのパックが合いますか？

インデックスを構築するページ数を数え、毎月の更新分を加え、数か月分をカバーするパックを選んでください。クレジットは失効しません。

テスト

10,000ページ

$3.75

$0.38/1Kページ

  • 実際のURLで試す
  • 最大のパックと同じAPI
  • クレジットの有効期限なし
10,000ページを選択

スターター

50,000ページ

$14.25

$0.28/1Kページ

  • AIエージェントまたはRAGプロトタイプ
  • ドキュメントサイトをクロール
  • クレジットの有効期限なし
50,000ページを選択

構築

100,000ページ

$21.75

$0.22/1Kページ

  • 本番環境のエージェントとRAGパイプライン
  • バッチとクロールジョブ
  • クレジットの有効期限なし
100,000ページを選択

スケール

500,000ページ

$50

$0.10/1Kページ

  • 大規模ナレッジベース
  • リクエストに応じて同時実行数を増加
  • クレジットの有効期限なし
500,000ページを選択

すべてのプランに含まれるもの: 本文抽出 · 必要な場合はJavaScriptをレンダリング · 失敗・拒否されたページは課金なし · クレジットの有効期限なし

RAG取り込み: よくある質問

チャンクサイズはどのくらいにすればよいですか？

まず見出しで分割し、その後500〜1,000トークン程度より長いセクションは少しのオーバーラップを付けて切り詰めます。見出しベースのチャンクは1つにつき1トピックを保つため、通常はページ全体に対する固定サイズのウィンドウよりも検索精度が良くなります。

WebReaderAPIは埋め込みを作成したりベクターを保存したりしますか？

いいえ。WebReaderAPIはページを読み取り、メタデータ付きのMarkdownを返します。埋め込みは任意のモデルで行い、ご自身のベクターデータベースに保存します。LangChainとLlamaIndexのページで両方を紹介しています。

インデックスを最新に保つにはどうすればよいですか？

変更されたページだけを再読み取りします。ほとんどのsitemapはURLごとにlastmod日付を持っているので、最後に読み取った日付と比較し、変更されたURLをバッチで送信します。エラーになったページはインデックスから削除してください。

同じサイトのPDFを含められますか？

はい。クロールは同じドメイン上のPDFリンクを、同じrobots.txtチェックで読み取ります。20 MB・100ページまでのPDFファイルをMarkdownに変換します。10ページ単位の開始ブロックごとに1クレジットです。

$0.07/1Kページから · KYC不要

APIキーを取得