# Glossar zur Web-Reader-API

> Glossar mit 36 Begriffen zum Lesen von Webseiten per API: Markdown, Hauptinhalt, JavaScript-Rendering, robots.txt, Content Signals, RAG, MCP, Credits und mehr.

- URL: https://webreaderapi.com/de/glossary/
- Zuletzt aktualisiert: 2026-10-22
- Herausgeber: WebReaderAPI (https://webreaderapi.com)

Die Begriffe, die Ihnen begegnen, wenn Sie Webseiten für Sprachmodelle in Text umwandeln, von der HTML-Seite bis zur KI-Seite, mit Links zu den Stellen in der Dokumentation, an denen jeder Begriff wichtig ist.

**Kurze Antwort — Was bedeuten die wichtigsten Begriffe der Web-Reader-API?**

Eine Web-Reader-API ruft eine Seite ab, behält ihren **Hauptinhalt** und gibt ihn als **Markdown** zurück, das ein Modell lesen kann. **WebReaderAPI** ergänzt **JavaScript-Rendering**, wenn eine Seite einen Browser braucht, respektiert **robots.txt** und **Content Signals** und berechnet einen **Credit** pro Seite, ab 0,07 $/1K Seiten, Stand Oktober 2026. Die 36 Begriffe unten erklären den Rest.

## Von der Webseiten-Seite

**HTML** — Die Auszeichnungssprache von Webseiten. Rohes HTML vermischt den gewünschten Text mit Tags, Skripten und Styling, weshalb es sich für ein Sprachmodell schlecht lesen lässt.

**DOM** — Das Document Object Model: der Elementbaum, den ein Browser aus HTML aufbaut und dann mit JavaScript verändert. Eine gerenderte Seite wird aus dem DOM gelesen, nicht aus dem rohen HTML.

**JavaScript-Rendering** — Das Ausführen der Skripte einer Seite in einem Browser, damit Inhalte erscheinen, die erst nach der ersten Antwort geladen werden. WebReaderAPI erledigt das bei Bedarf (`render=auto`), für zwei Credits statt einem.

**Headless-Browser** — Eine echte Browser-Engine, die ohne Bildschirm läuft und von Software gesteuert wird. So werden JavaScript-lastige Seiten auf einem Server gerendert.

**Hauptinhalt extrahieren** — Den Teil einer Seite finden, für den ein Leser gekommen ist, etwa den Artikel oder die Dokumentation, und alles drum herum weglassen. In unserer API ist das `main_content=true`, der Standard.

**Readability** — Sowohl eine Texteigenschaft als auch der Name einer bekannten Familie von Algorithmen, die Seitenblöcke bewerten, um den Hauptinhalt zu finden, wie es Lesemodi in Browsern tun.

**Boilerplate** — Text, der sich auf jeder Seite einer Website wiederholt: Menüs, Cookie-Hinweise, Seitenleisten, Fußzeilen, Share-Buttons. Ihn zu entfernen ist der größte Teil der Arbeit eines Web-Readers.

**Markdown** — Ein Klartextformat, in dem `#` eine Überschrift, `-` einen Listeneintrag und `[text](url)` einen Link markiert. Modelle lesen es gut, und es verbraucht weit weniger Tokens als HTML.

**Metadaten** — Angaben über eine Seite statt ihres Textes: Titel, Beschreibung, Autor, Veröffentlichungsdatum, Sprache. WebReaderAPI gibt sie neben dem Markdown zurück, wenn die Seite sie angibt.

**PDF-Extraktion** — Den Text einer PDF-Datei in Markdown umwandeln. PDF-Dateien bis 20 MB und 100 Seiten werden in Markdown umgewandelt, zu 1 Credit pro angefangenem Block von 10 Seiten.

**Sitemap** — Eine XML-Datei, in der eine Website ihre Seiten auflistet. Ein Crawling-Job startet daraus, wenn sie existiert, was Seiten schneller und mit weniger Anfragen findet.

**Paywall** — Eine Sperre, die Inhalte nur Abonnenten zeigt. WebReaderAPI liest nie dahinter.

## Aus Crawler-Sicht

**Crawler** — Ein Programm, das Webseiten zu einem Zweck abruft. Unserer ruft nur die Seiten ab, die Kunden anfragen, und die [Bot-Seite](https://webreaderapi.com/de/bot/) beschreibt ihn.

**User-Agent** — Der Name, den ein Client mit jeder Anfrage sendet. Unserer ist `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`, sodass Website-Betreiber immer wissen, wer anfragt.

**robots.txt** — Eine Datei im Wurzelverzeichnis einer Website, die Crawlern sagt, welche Pfade sie abrufen dürfen, standardisiert als RFC 9309. Wir respektieren robots.txt: Unser Crawler identifiziert sich als WebReaderAPI, befolgt die Regeln, die für ihn oder für alle Roboter geschrieben sind, und liest keine Seite, die eine Website nicht erlaubt. Verweigerte Seiten werden nicht abgerechnet.

**Crawl-delay** — Eine robots.txt-Zeile, die Crawler bittet, eine Anzahl Sekunden zwischen Anfragen zu warten. Unsere Crawling-Jobs halten sich daran.

**Content Signals** — Eine Richtlinie für robots.txt-Zeilen wie `Content-Signal: search=yes, ai-input=no`, die festlegen, wie die Inhalte einer Website verwendet werden dürfen, auch durch KI.

**ai-input** — Die Content Signals-Einstellung, die die Nutzung einer Seite als Eingabe für eine KI-Antwort abdeckt. Wenn eine Website in ihrer robots.txt Content-Signal: ai-input=no deklariert, lesen wir ihre Seiten nicht für Sie.

**llms.txt** — Eine Markdown-Datei, die manche Websites unter `/llms.txt` veröffentlichen, um Sprachmodellen einen kurzen Leitfaden zu ihren Inhalten und ihren wichtigsten Seiten zu geben.

**Crawl** — Viele Seiten einer Website lesen, indem ihren Links und ihrer Sitemap gefolgt wird. Eine Website pro Job crawlen, bis zu 10.000 Seiten, entlang ihrer Sitemap, ihrer robots.txt und ihrer Crawl-delay.

**Batch-Job** — Eine Liste von URLs, die in einer Anfrage gesendet und im Hintergrund verarbeitet wird. Bis zu 100 URLs pro Batch-Job.

**HTTP 403** — Der Status, den ein Server sendet, um eine Anfrage abzulehnen. Wenn eine Website unserem Crawler mit 403 antwortet, gibt die API `target_refused` zurück und berechnet nichts.

**HTTP 429** — Der Status für zu viele Anfragen. Von einer Webseite bedeutet er: langsamer werden; von unserer API (`concurrency_limit`) bedeutet er: Ihr Konto hat sein Limit für gleichzeitige Reads erreicht.

**Exponentielles Backoff** — Länger warten nach jedem fehlgeschlagenen Versuch (zum Beispiel 1, 2, dann 4 Sekunden), bevor Sie es erneut versuchen, damit ein ausgelasteter Server nicht überflutet wird.

## Aus Sicht der KI

**Token** — Die Einheit, die ein Sprachmodell liest und nach der abgerechnet wird, ungefähr ein kurzes Wort oder ein Teil davon. Sauberes Markdown verbraucht weit weniger Tokens als dieselbe Seite in HTML.

**Kontextfenster** — Die Textmenge, die ein Modell auf einmal aufnehmen kann. Der Parameter `max_chars` hält jede Seite innerhalb des Budgets, das Sie festlegen.

**RAG** — Retrieval-Augmented Generation: Das Modell antwortet aus Dokumenten, die für die Frage abgerufen werden. Ein Web-Reader liefert diese Dokumente aus Live-Webseiten.

**Chunking** — Das Aufteilen eines langen Dokuments in Abschnitte vor dem Indexieren. Markdown-Überschriften geben natürliche Trennstellen.

**Embedding** — Eine Liste von Zahlen, die die Bedeutung eines Abschnitts repräsentiert und dazu dient, Abschnitte zu finden, die einer Frage ähneln.

**Vector Store** — Eine Datenbank, die Embeddings speichert und die zu einer Suchanfrage nächstgelegenen Abschnitte zurückgibt – der übliche Ort für gechunkte Webseiten in einem RAG-System.

**Tool Calling** — Die Fähigkeit eines Modells, die Anwendung aufzufordern, eine Funktion auszuführen, etwa eine URL zu lesen, und das Ergebnis zu verwenden. Siehe [OpenAI function calling](https://webreaderapi.com/de/docs/openai/).

**MCP** — Das Model Context Protocol, ein Standard, um Tools in KI-Clients wie Claude Desktop oder Cursor einzubinden. Unsere [MCP-Seite](https://webreaderapi.com/de/docs/mcp/) zeigt ein Fetch-Tool, das auf der API aufbaut.

## Aus Sicht der Abrechnung

**Credit** — Die Verbrauchseinheit der API. 1 Credit = 1 gelesene Seite ohne Browser; 2 Credits, wenn die Seite einen Browser braucht, um JavaScript auszuführen. Eine Suchanfrage, die fehlschlägt oder die eine robots.txt einer Website verweigert, wird nicht abgerechnet.

**Parallelität** — Wie viele Reads Ihr Konto im selben Moment ausführen kann. Jedes Konto hat ein Limit dafür, wie viele Seiten es gleichzeitig liest; Ihr Dashboard zeigt es an, und der Support kann es erhöhen.

**KYC** — Know your customer: Identitätsprüfungen, die manche Dienste verlangen, etwa ein Ausweisdokument oder ein Selfie. WebReaderAPI verlangt keine.

**Stablecoin** — Eine Kryptowährung, die einer Währung wie dem US-Dollar folgt. USDT und USDC sind die beiden, die für Aufladungen akzeptiert werden; die vollständige Liste der Coins finden Sie BTC, USDT, USDC, ETH, SOL, LTC.

---

WebReaderAPI: WebReaderAPI ist eine Web-Reader-API für KI-Agenten, die jede öffentliche Webseite in sauberes Markdown umwandelt und die Sie mit Krypto bezahlen – ohne ID-Upload. Prepaid-Credits ab 0,07 $/1K Seiten verfallen nie, und robots.txt wird respektiert. Ohne KYC – keine ID, kein Selfie, keine Dokumente. Mit Krypto bezahlen.