# llms.txt-Generator: Erstellen Sie die Datei aus einem Crawl Ihrer eigenen Website > llms.txt-Datei für die Website aus einem Crawl erstellen: ein Python-Skript liest jede Seite als Markdown und listet sie mit Zusammenfassung. Daten 2026. - URL: https://webreaderapi.com/de/guides/llms-txt-generator/ - Zuletzt aktualisiert: 2026-10-22 - Herausgeber: WebReaderAPI (https://webreaderapi.com) Eine llms.txt-Datei listet die wichtigsten Seiten einer Website mit je einer Zeile dazu in Markdown auf, das Modelle leicht lesen. Dieser Leitfaden liefert ehrliche Verbreitungszahlen und dann ein Skript, das Ihre Website crawlt und die Datei für Sie schreibt. **Kurze Antwort — Wie erzeuge ich eine llms.txt-Datei für meine Website?** Crawlen Sie Ihre eigene Website, nehmen Sie den Titel und den ersten Absatz jeder Seite und schreiben Sie sie als Markdown-Liste unter den Namen Ihrer Website in eine Datei unter `/llms.txt`. **WebReaderAPI** übernimmt den Crawl: bis zu 10.000 Seiten pro Auftrag, als Markdown mit Metadaten, zu einem Credit pro Seite ab 0,07 $/1K Seiten Stand Oktober 2026. Das untenstehende Python-Skript schreibt die Datei. Kein KYC; mit Krypto bezahlen. ## llms.txt kurz erklärt | Attribut | Wert | | --- | --- | | Was es ist | Eine vorgeschlagene Markdown-Datei im Wurzelverzeichnis einer Website, die ihre wichtigsten Seiten für Sprachmodelle auflistet | | Verbreitung, Top-1.000-Websites | 9,3 % (93 Websites) am 18. September 2026, laut Rankability | | Webseiten mit der Datei | Von 4.088 auf 36.120 zwischen Juni 2025 und Mai 2026, laut Originality.ai | | Gemessene Nutzung | 97 % der llms.txt-Dateien erhielten null Anfragen in einer Ahrefs-Studie über 137.000 Domains | | Kosten für den Aufbau mit WebReaderAPI | Ein Credit pro gecrawlter Seite; 10.000 Seiten kosten 3,75 $ | ## Lohnt es sich, llms.txt zu erstellen? Die Erstellung ist günstig, und die gemessene Wirkung ist bislang gering. Die Verbreitung nimmt zu: Rankability fand die Datei am 18. September 2026 auf 9,3 % der Top-1.000-Webseiten, gegenüber 0,3 % im Juni 2025, wobei sich die Methode zwischen den beiden Zählungen änderte. Originality.ai zählte Webseiten mit der Datei, deren Zahl zwischen Juni 2025 und Mai 2026 von 4.088 auf 36.120 stieg. Die Nutzung ist eine andere Sache. Eine Ahrefs-Studie über 137.000 Domains, über die PPC Land am 2. Juli 2026 berichtete, ergab, dass 97 % der llms.txt-Dateien überhaupt keine Anfragen erhielten und dass KI-Retrieval-Bots nur 1,1 % der Anfragen stellten, die auf die Dateien eingingen. Erstellen Sie eine, wenn Ihre Dokumentation umfangreich ist und Sie einen sauberen Index wünschen; erwarten Sie nicht, dass sie allein daran etwas ändert, wie Assistenten Ihre Webseite zitieren. ## Was gehört in eine llms.txt-Datei? Ein Titel, eine Zusammenfassung in einem Absatz, dann gruppierte Linklisten mit jeweils einer kurzen Beschreibung. Eine minimale Datei sieht so aus: - `# Example Docs` in der ersten Zeile, der Name der Webseite oder des Projekts. - `> One sentence on what the site covers.` als Zitat-Zusammenfassung. - `## Guides`, `## API reference` und weitere Abschnitte, einer pro Teil der Webseite. - `- [Page title](https://example.com/page): one line on what the page answers.` für jede Seite. Halten Sie die Beschreibungen sachlich und kurz. Schreiben Sie keine Anweisungen an KI-Systeme in die Datei; Assistenten behandeln solchen Text zunehmend als Manipulation. *Python: Crawlen Sie Ihre eigene Webseite und schreiben Sie llms.txt* ```python import os import time from collections import defaultdict from urllib.parse import urlparse import requests API = "https://webreaderapi.com/api/v1" HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]} SITE = "https://docs.example.com/" def first_paragraph(markdown): for block in markdown.split("\n\n"): block = block.strip() if block and not block.startswith(("#", "-", "|", "!", ">")): return " ".join(block.split())[:160] return "" job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 300}, timeout=60).json() pages, cursor, delay = [], None, 5 while True: params = {"cursor": cursor} if cursor else {} batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json() pages += [p for p in batch.get("results", []) if "markdown" in p] cursor = batch.get("next_cursor") if batch["status"] == "done" and not cursor: break if not cursor: time.sleep(delay) delay = min(delay * 2, 60) sections = defaultdict(list) for p in pages: path = urlparse(p["final_url"]).path.strip("/") section = path.split("/")[0].replace("-", " ").title() if path else "Home" summary = p.get("description") or first_paragraph(p["markdown"]) sections[section].append("- [" + p["title"] + "](" + p["final_url"] + "): " + summary) lines = ["# Example Docs", "", "> Documentation for the Example product.", ""] for name in sorted(sections): lines += ["## " + name, ""] + sorted(sections[name]) + [""] with open("llms.txt", "w", encoding="utf-8") as fh: fh.write("\n".join(lines)) print(len(pages), "pages written to llms.txt") ``` ## Wie funktioniert das Skript? Es startet einen Crawling-Job, sammelt die Ergebnisse Seite für Seite und gruppiert die Seiten dann nach dem ersten Ordner ihres Pfads. Für jede Seite verwendet es die Meta-Beschreibung, wenn die Webseite eine bereitstellt, andernfalls den ersten Absatz des Markdown, gekürzt auf 160 Zeichen. Ändern Sie `SITE`, die Titelzeile und die Zusammenfassungszeile passend zu Ihrem Projekt, und erhöhen Sie `limit` für eine größere Webseite, bis zu 10.000 Seiten pro Job. Prüfen Sie die Ausgabe, bevor Sie sie veröffentlichen: Die Abschnittsnamen stammen aus Ihrer URL-Struktur und brauchen möglicherweise eine menschliche Hand. ## Muss mein robots.txt das Crawling erlauben? Ja. WebReaderAPI liest nur, was robots.txt für `WebReaderAPI` oder für alle Roboter erlaubt, und wartet die von Ihnen festgelegte `Crawl-delay` ab. Wenn Ihre eigene Webseite Roboter blockiert, fügen Sie eine Gruppe hinzu, die unser Token für die Dauer des Crawlings erlaubt; unsere [Crawler-Seite](https://webreaderapi.com/de/bot/) zeigt die genauen Zeilen. Seiten, die robots.txt untersagt, werden übersprungen und nicht berechnet, eine strenge Datei kostet Sie also nichts extra; sie lässt diese Seiten nur aus llms.txt heraus. ## Wie viel kostet es? Ein Credit pro gelesener Seite, zwei für Seiten, die einen Browser benötigen. Eine Dokumentations-Webseite mit 300 Seiten kostet 300 Credits, oder bis zu 600, wenn es eine JavaScript-Anwendung ist. Das passt problemlos in 10.000 Seiten für 3,75 $, Stand Oktober 2026, und die übrigen Credits bleiben auf Ihrem Konto: Sie verfallen nie. Erstellen Sie die Datei neu, wenn sich Ihre Dokumentation ändert. Wenn Sie die Crawling-Ausgabe aufbewahren, können Sie mit einem Batch-Job nur die geänderten Seiten erneut lesen, statt alles noch einmal zu crawlen. ## llms.txt: häufige Fragen ### Wo platziere ich die llms.txt-Datei? Im Stammverzeichnis Ihrer Webseite, sodass sie unter `/llms.txt` ausgeliefert wird, als Klartext oder Markdown. Manche Webseiten veröffentlichen zusätzlich `llms-full.txt` mit dem vollständigen Text der aufgeführten Seiten. ### Ersetzt llms.txt robots.txt? Nein. robots.txt gibt an, welche Pfade Roboter überspringen sollen; llms.txt listet Seiten auf, die Modelle finden sollen. Behalten Sie beides. Unser [robots.txt-Leitfaden](https://webreaderapi.com/de/guides/robots-txt-for-ai-agents/) erklärt den Unterschied. ### Bringt llms.txt ChatGPT oder Claude dazu, meine Webseite zu zitieren? Es gibt keine Belege dafür, dass es das allein bewirkt. Die im Juli 2026 veröffentlichte Ahrefs-Studie ergab, dass 97 % der Dateien keine Anfragen erhielten. Klare Seiten mit direkten Antworten und datierten Fakten zählen mehr. ### Kann ich llms.txt für die Webseite von jemand anderem erstellen? Nur für Ihre eigenen Webseiten oder mit Zustimmung des Eigentümers. Die Datei spricht für die Webseite, daher obliegt es dem Eigentümer der Webseite, sie zu veröffentlichen. ## Quellen 1. [Daten zur Verbreitung von llms.txt](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18) 2. [Verbreitung von llms.txt steigt um das 8,8-Fache, aber 97 % der Dateien erhalten null KI-Anfragen](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02) --- WebReaderAPI: WebReaderAPI ist eine Web-Reader-API für KI-Agenten, die jede öffentliche Webseite in sauberes Markdown umwandelt und die Sie mit Krypto bezahlen – ohne ID-Upload. Prepaid-Credits ab 0,07 $/1K Seiten verfallen nie, und robots.txt wird respektiert. Ohne KYC – keine ID, kein Selfie, keine Dokumente. Mit Krypto bezahlen.