Glossar zur Web-Reader-API

Die Auszeichnungssprache von Webseiten. Rohes HTML vermischt den gewünschten Text mit Tags, Skripten und Styling, weshalb es sich für ein Sprachmodell schlecht lesen lässt.

Das Document Object Model: der Elementbaum, den ein Browser aus HTML aufbaut und dann mit JavaScript verändert. Eine gerenderte Seite wird aus dem DOM gelesen, nicht aus dem rohen HTML.

Das Ausführen der Skripte einer Seite in einem Browser, damit Inhalte erscheinen, die erst nach der ersten Antwort geladen werden. WebReaderAPI erledigt das bei Bedarf (render=auto), für zwei Credits statt einem.

Eine echte Browser-Engine, die ohne Bildschirm läuft und von Software gesteuert wird. So werden JavaScript-lastige Seiten auf einem Server gerendert.

Den Teil einer Seite finden, für den ein Leser gekommen ist, etwa den Artikel oder die Dokumentation, und alles drum herum weglassen. In unserer API ist das main_content=true, der Standard.

Sowohl eine Texteigenschaft als auch der Name einer bekannten Familie von Algorithmen, die Seitenblöcke bewerten, um den Hauptinhalt zu finden, wie es Lesemodi in Browsern tun.

Text, der sich auf jeder Seite einer Website wiederholt: Menüs, Cookie-Hinweise, Seitenleisten, Fußzeilen, Share-Buttons. Ihn zu entfernen ist der größte Teil der Arbeit eines Web-Readers.

Ein Klartextformat, in dem # eine Überschrift, - einen Listeneintrag und [text](url) einen Link markiert. Modelle lesen es gut, und es verbraucht weit weniger Tokens als HTML.

Angaben über eine Seite statt ihres Textes: Titel, Beschreibung, Autor, Veröffentlichungsdatum, Sprache. WebReaderAPI gibt sie neben dem Markdown zurück, wenn die Seite sie angibt.

Den Text einer PDF-Datei in Markdown umwandeln. PDF-Dateien bis 20 MB und 100 Seiten werden in Markdown umgewandelt, zu 1 Credit pro angefangenem Block von 10 Seiten.

Eine XML-Datei, in der eine Website ihre Seiten auflistet. Ein Crawling-Job startet daraus, wenn sie existiert, was Seiten schneller und mit weniger Anfragen findet.

Eine Sperre, die Inhalte nur Abonnenten zeigt. WebReaderAPI liest nie dahinter.

Ein Programm, das Webseiten zu einem Zweck abruft. Unserer ruft nur die Seiten ab, die Kunden anfragen, und die Bot-Seite beschreibt ihn.

Der Name, den ein Client mit jeder Anfrage sendet. Unserer ist WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), sodass Website-Betreiber immer wissen, wer anfragt.

Eine Datei im Wurzelverzeichnis einer Website, die Crawlern sagt, welche Pfade sie abrufen dürfen, standardisiert als RFC 9309. Wir respektieren robots.txt: Unser Crawler identifiziert sich als WebReaderAPI, befolgt die Regeln, die für ihn oder für alle Roboter geschrieben sind, und liest keine Seite, die eine Website nicht erlaubt. Verweigerte Seiten werden nicht abgerechnet.

Eine robots.txt-Zeile, die Crawler bittet, eine Anzahl Sekunden zwischen Anfragen zu warten. Unsere Crawling-Jobs halten sich daran.

Eine Richtlinie für robots.txt-Zeilen wie Content-Signal: search=yes, ai-input=no, die festlegen, wie die Inhalte einer Website verwendet werden dürfen, auch durch KI.

Die Content Signals-Einstellung, die die Nutzung einer Seite als Eingabe für eine KI-Antwort abdeckt. Wenn eine Website in ihrer robots.txt Content-Signal: ai-input=no deklariert, lesen wir ihre Seiten nicht für Sie.

Eine Markdown-Datei, die manche Websites unter /llms.txt veröffentlichen, um Sprachmodellen einen kurzen Leitfaden zu ihren Inhalten und ihren wichtigsten Seiten zu geben.

Viele Seiten einer Website lesen, indem ihren Links und ihrer Sitemap gefolgt wird. Eine Website pro Job crawlen, bis zu 10.000 Seiten, entlang ihrer Sitemap, ihrer robots.txt und ihrer Crawl-delay.

Eine Liste von URLs, die in einer Anfrage gesendet und im Hintergrund verarbeitet wird. Bis zu 100 URLs pro Batch-Job.

Der Status, den ein Server sendet, um eine Anfrage abzulehnen. Wenn eine Website unserem Crawler mit 403 antwortet, gibt die API target_refused zurück und berechnet nichts.

Der Status für zu viele Anfragen. Von einer Webseite bedeutet er: langsamer werden; von unserer API (concurrency_limit) bedeutet er: Ihr Konto hat sein Limit für gleichzeitige Reads erreicht.

Länger warten nach jedem fehlgeschlagenen Versuch (zum Beispiel 1, 2, dann 4 Sekunden), bevor Sie es erneut versuchen, damit ein ausgelasteter Server nicht überflutet wird.

Die Einheit, die ein Sprachmodell liest und nach der abgerechnet wird, ungefähr ein kurzes Wort oder ein Teil davon. Sauberes Markdown verbraucht weit weniger Tokens als dieselbe Seite in HTML.

Die Textmenge, die ein Modell auf einmal aufnehmen kann. Der Parameter max_chars hält jede Seite innerhalb des Budgets, das Sie festlegen.

Retrieval-Augmented Generation: Das Modell antwortet aus Dokumenten, die für die Frage abgerufen werden. Ein Web-Reader liefert diese Dokumente aus Live-Webseiten.

Das Aufteilen eines langen Dokuments in Abschnitte vor dem Indexieren. Markdown-Überschriften geben natürliche Trennstellen.

Eine Liste von Zahlen, die die Bedeutung eines Abschnitts repräsentiert und dazu dient, Abschnitte zu finden, die einer Frage ähneln.

Eine Datenbank, die Embeddings speichert und die zu einer Suchanfrage nächstgelegenen Abschnitte zurückgibt – der übliche Ort für gechunkte Webseiten in einem RAG-System.

Die Fähigkeit eines Modells, die Anwendung aufzufordern, eine Funktion auszuführen, etwa eine URL zu lesen, und das Ergebnis zu verwenden. Siehe OpenAI function calling.

Das Model Context Protocol, ein Standard, um Tools in KI-Clients wie Claude Desktop oder Cursor einzubinden. Unsere MCP-Seite zeigt ein Fetch-Tool, das auf der API aufbaut.

Die Verbrauchseinheit der API. 1 Credit = 1 gelesene Seite ohne Browser; 2 Credits, wenn die Seite einen Browser braucht, um JavaScript auszuführen. Eine Suchanfrage, die fehlschlägt oder die eine robots.txt einer Website verweigert, wird nicht abgerechnet.

Wie viele Reads Ihr Konto im selben Moment ausführen kann. Jedes Konto hat ein Limit dafür, wie viele Seiten es gleichzeitig liest; Ihr Dashboard zeigt es an, und der Support kann es erhöhen.

Know your customer: Identitätsprüfungen, die manche Dienste verlangen, etwa ein Ausweisdokument oder ein Selfie. WebReaderAPI verlangt keine.

Eine Kryptowährung, die einer Währung wie dem US-Dollar folgt. USDT und USDC sind die beiden, die für Aufladungen akzeptiert werden; die vollständige Liste der Coins finden Sie BTC, USDT, USDC, ETH, SOL, LTC.