WebリーダーAPI用語集

Webページのマークアップ言語。生のHTMLは、必要なテキストにタグやスクリプト、スタイルが混ざっているため、言語モデルにとって読みにくい形式になります。

Document Object Model の略で、ブラウザがHTMLから構築し、その後JavaScriptで変更する要素のツリーです。レンダリングされたページは、生のHTMLではなくDOMから読み取られます。

最初のレスポンス後に読み込まれたコンテンツが表示されるよう、ブラウザでページのスクリプトを実行すること。WebReaderAPIは必要な場合（render=auto）にこれを行い、1クレジットではなく2クレジットかかります。

画面なしで動作し、ソフトウェアによって制御される実際のブラウザエンジン。JavaScriptを多用するページをサーバー上でレンダリングする手段です。

読者が目的とするページの部分（記事やドキュメントなど）を見つけ出し、その周囲をすべて除外すること。当社のAPIではこれがデフォルトのmain_content=trueです。

テキストの品質を指すと同時に、ページのブロックを評価して本文を見つける、よく知られたアルゴリズム群の名称でもあります。ブラウザのリーディングモードと同じ仕組みです。

サイトのすべてのページで繰り返されるテキスト（メニュー、Cookie通知、サイドバー、フッター、共有ボタンなど）。これを除去することがWebリーダーの作業の大部分を占めます。

#が見出し、-がリスト項目、[text](url)がリンクを表すプレーンテキスト形式。モデルはこれをよく読み取り、HTMLよりはるかに少ないトークンで済みます。

テキストではなくページに関する情報（タイトル、説明、著者、公開日、言語など）。WebReaderAPIは、ページに記載があればMarkdownと並べてこれらを返します。

PDFファイルのテキストをMarkdownに変換すること。20 MB・100ページまでのPDFファイルをMarkdownに変換します。10ページ単位の開始ブロックごとに1クレジットです。

サイトが自身のページを列挙したXMLファイル。存在する場合はクロールジョブがここから開始するため、より少ないリクエストでページを早く見つけられます。

購読者にのみコンテンツを表示する障壁。WebReaderAPIは決してその奥を読みません。

目的のためにWebページを取得するプログラム。当社のものは顧客が要求したページのみを取得し、その詳細はbot page]で説明しています。

クライアントが各リクエストとともに送る名前。当社のものはWebReaderAPI/1.0 (+https://webreaderapi.com/bot/)なので、サイト所有者は常に誰が要求しているかを把握できます。

サイトのルートにあるファイルで、クローラーが取得してよいパスを伝えます。RFC 9309として標準化されています。当社はrobots.txtを尊重します。クローラーはWebReaderAPIとして名乗り、自身向けまたはすべてのロボット向けに書かれたルールに従い、サイトが禁止したページは読み取りません。拒否されたページは課金されません。

リクエスト間で数秒待つようクローラーに求めるrobots.txtの行。当社のクロールジョブはこれを遵守します。

Content-Signal: search=yes, ai-input=noのようなrobots.txtの行に対するポリシーで、AIによる利用を含め、サイトのコンテンツをどのように使用してよいかを示します。

ページをAIの回答への入力として使用することを対象とするContent Signalsの設定。サイトがrobots.txtでContent-Signal: ai-input=noを宣言している場合、そのページをあなたのために読み取ることはありません。

一部のサイトが/llms.txtで公開するMarkdownファイルで、言語モデルにコンテンツと主要ページの短いガイドを提供します。

サイトのリンクとサイトマップをたどって、1つのサイトの多くのページを読み取ること。1ジョブにつき1つのWebサイトを、最大10,000ページまでクロール。サイトマップ、robots.txt、Crawl-delayに従います。

1回のリクエストで送信され、バックグラウンドで処理されるURLのリスト。バッチジョブあたり最大100 URL。

リクエストを拒否するためにサーバーが送るステータス。サイトが当社のクローラーに403を返した場合、APIはtarget_refusedを返し、何も課金しません。

リクエストが多すぎる場合のステータスです。サイト側からの場合は速度を落とすことを意味し、当社のAPI（concurrency_limit）からの場合は、アカウントが同時読み取りの上限に達したことを意味します。

失敗するたびに待ち時間を長くして（例えば1秒、2秒、次に4秒）、再試行する前に待つことで、混雑したサーバーに負荷をかけないようにします。

言語モデルが読み取り、課金の単位となるもので、おおよそ短い単語1つ、またはその一部に相当します。クリーンなMarkdownは、同じページをHTMLで扱う場合よりはるかに少ないトークンで済みます。

モデルが一度に取り込めるテキストの量です。max_charsパラメータで、各ページを設定した予算内に収めます。

検索拡張生成：モデルが質問に対して取得したドキュメントから回答する仕組みです。Webリーダーは、ライブページからそれらのドキュメントを供給します。

長いドキュメントをインデックス化する前に、複数のパッセージに分割することです。Markdownの見出しは自然な分割ポイントになります。

パッセージの意味を表す数値のリストで、質問に類似したパッセージを見つけるために使います。

埋め込みを保存し、クエリに最も近いパッセージを返すデータベースで、RAGシステムにおけるチャンク化されたWebページの通常の保管場所です。

URLを読み取るなどの関数をアプリケーションに実行させ、その結果を利用するモデルの能力です。OpenAI function callingを参照してください。

Model Context Protocolのことで、Claude DesktopやCursorなどのAIクライアントにツールを接続する標準的な方法です。当社のMCPページでは、API上に構築されたfetchツールを紹介しています。

APIの利用単位です。1クレジット = ブラウザなしでページを1回読み取り。ページのJavaScriptレンダリングにブラウザが必要な場合は2クレジット。失敗したリクエスト、またはサイトのrobots.txtが拒否したリクエストは課金されません。

アカウントが同時に実行できる読み取りの数です。すべてのアカウントには同時に読み取れるページ数の上限があります。上限はダッシュボードに表示され、サポートで引き上げられます。

Know your customer：一部のサービスが求める本人確認で、身分証明書や自撮り写真などが必要です。WebReaderAPIでは一切求めません。

米ドルなどの通貨に連動する暗号資産です。チャージに利用できるのはUSDTとUSDCの2種類で、コインの全リストはBTC, USDT, USDC, ETH, SOL, LTCです。