Jawaban singkat
Bagaimana cara membuat file llms.txt untuk situs web saya?
Crawl situs Anda sendiri, ambil judul dan paragraf pertama setiap halaman, lalu tulis sebagai daftar Markdown di bawah nama situs Anda dalam file di /llms.txt. WebReaderAPI melakukan crawl: hingga 10.000 halaman per job, sebagai Markdown dengan metadata, seharga satu kredit per halaman dari US$0,07/1K halaman per Oktober 2026. Skrip Python di bawah menulis file tersebut. Tanpa KYC; bayar dengan kripto.
llms.txt secara singkat
| Apa itu | File Markdown yang diusulkan di root situs yang mencantumkan halaman-halaman utamanya untuk model bahasa |
|---|---|
| Adopsi, 1.000 situs teratas | 9,3% (93 situs) pada 18 September 2026, menurut Rankability |
| Situs dengan file | Dari 4,088 menjadi 36,120 antara Juni 2025 dan Mei 2026, menurut Originality.ai |
| Penggunaan terukur | 97% file llms.txt tidak mendapat permintaan sama sekali dalam studi Ahrefs terhadap 137,000 domain |
| Biaya membangun dengan WebReaderAPI | Satu kredit per halaman yang di-crawl; 10.000 halaman berbiaya US$3,75 |
Apakah llms.txt layak dibuat?
Membuatnya murah, dan efek terukurnya sejauh ini kecil. Adopsinya naik: Rankability menemukan file ini di 9,3% dari 1.000 situs teratas pada 18 September 2026, dibandingkan 0,3% pada Juni 2025, meskipun metodenya berubah antara kedua penghitungan. Originality.ai menghitung situs dengan file ini tumbuh dari 4,088 menjadi 36,120 antara Juni 2025 dan Mei 2026.
Penggunaannya lain soal. Studi Ahrefs terhadap 137,000 domain, yang dilaporkan PPC Land pada 2 Juli 2026, menemukan bahwa 97% file llms.txt tidak menerima permintaan sama sekali, dan bahwa bot retrieval AI hanya membuat 1,1% dari permintaan yang diterima file tersebut. Buatlah jika dokumentasi Anda besar dan Anda ingin indeks yang rapi; jangan berharap file ini sendiri mengubah cara asisten mengutip Anda.
Apa saja isi file llms.txt?
Sebuah judul, ringkasan satu paragraf, lalu daftar tautan yang dikelompokkan dengan deskripsi singkat masing-masing. File minimal tampak seperti ini:
# Example Docspada baris pertama, nama situs atau proyek.> One sentence on what the site covers.sebagai ringkasan dalam tanda kutip.## Guides,## API referencedan bagian lain, satu per bagian situs.- [Page title](https://example.com/page): one line on what the page answers.untuk setiap halaman.
Jaga deskripsi tetap faktual dan singkat. Jangan menulis instruksi ke sistem AI di dalam file; asisten semakin menganggap teks semacam itu sebagai manipulasi.
import os
import time
from collections import defaultdict
from urllib.parse import urlparse
import requests
API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://docs.example.com/"
def first_paragraph(markdown):
for block in markdown.split("\n\n"):
block = block.strip()
if block and not block.startswith(("#", "-", "|", "!", ">")):
return " ".join(block.split())[:160]
return ""
job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 300}, timeout=60).json()
pages, cursor, delay = [], None, 5
while True:
params = {"cursor": cursor} if cursor else {}
batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
pages += [p for p in batch.get("results", []) if "markdown" in p]
cursor = batch.get("next_cursor")
if batch["status"] == "done" and not cursor:
break
if not cursor:
time.sleep(delay)
delay = min(delay * 2, 60)
sections = defaultdict(list)
for p in pages:
path = urlparse(p["final_url"]).path.strip("/")
section = path.split("/")[0].replace("-", " ").title() if path else "Home"
summary = p.get("description") or first_paragraph(p["markdown"])
sections[section].append("- [" + p["title"] + "](" + p["final_url"] + "): " + summary)
lines = ["# Example Docs", "", "> Documentation for the Example product.", ""]
for name in sorted(sections):
lines += ["## " + name, ""] + sorted(sections[name]) + [""]
with open("llms.txt", "w", encoding="utf-8") as fh:
fh.write("\n".join(lines))
print(len(pages), "pages written to llms.txt")
Bagaimana cara kerja skripnya?
Skrip memulai satu crawl job, mengumpulkan hasil halaman demi halaman, lalu mengelompokkan halaman berdasarkan folder pertama pada path-nya. Untuk setiap halaman, ia memakai meta description bila situs menyediakannya, dan jika tidak, paragraf pertama Markdown, dipotong menjadi 160 karakter.
Ubah SITE, baris judul dan baris ringkasan agar sesuai dengan proyek Anda, dan naikkan limit untuk situs yang lebih besar, hingga 10,000 halaman per job. Tinjau hasilnya sebelum Anda mempublikasikan: nama bagian berasal dari struktur URL Anda dan mungkin perlu sentuhan manusia.
Apakah robots.txt saya harus mengizinkan crawl?
Ya. WebReaderAPI hanya membaca apa yang diizinkan robots.txt untuk WebReaderAPI atau untuk semua robot, dan ia menunggu Crawl-delay yang Anda tetapkan. Jika situs Anda sendiri memblokir robot, tambahkan grup yang mengizinkan token kami selama crawl; halaman crawler kami menunjukkan baris persisnya.
Halaman yang dilarang robots.txt dilewati dan tidak dikenai biaya, jadi file yang ketat tidak menambah biaya apa pun; itu hanya mengeluarkan halaman tersebut dari llms.txt.
Berapa biayanya?
Satu kredit per halaman yang dibaca, dua untuk halaman yang membutuhkan browser. Situs dokumentasi dengan 300 halaman berbiaya 300 kredit, atau hingga 600 jika itu aplikasi JavaScript. Itu mudah masuk ke 10.000 halaman seharga US$3,75, per Oktober 2026, dan sisa kredit tetap di akun Anda: kredit tidak pernah kedaluwarsa.
Bangun ulang file saat dokumentasi Anda berubah. Jika Anda menyimpan output crawl, Anda dapat membaca ulang hanya halaman yang berubah dengan batch job alih-alih crawl semuanya lagi.
llms.txt: pertanyaan umum
Di mana saya meletakkan file llms.txt?
Di root situs Anda, sehingga disajikan di /llms.txt, sebagai teks biasa atau Markdown. Beberapa situs juga menerbitkan llms-full.txt berisi teks lengkap halaman yang terdaftar.
Apakah llms.txt menggantikan robots.txt?
Tidak. robots.txt menyatakan path mana yang harus dilewati robot; llms.txt mendaftar halaman yang Anda ingin model temukan. Pertahankan keduanya. Panduan robots.txt kami menjelaskan perbedaannya.
Apakah llms.txt membuat ChatGPT atau Claude mengutip situs saya?
Tidak ada bukti bahwa file itu sendiri melakukannya. Studi Ahrefs yang dilaporkan pada Juli 2026 menemukan 97% file tidak menerima permintaan sama sekali. Halaman yang jelas dengan jawaban langsung dan fakta bertanggal lebih penting.
Bisakah saya membuat llms.txt untuk situs orang lain?
Hanya untuk situs Anda sendiri atau dengan persetujuan pemiliknya. File ini mewakili situs, jadi pemilik situslah yang berhak menerbitkannya.
Sumber (2)
- Data adopsi llms.txt — Rankability (2026-09-18)
- Adopsi llms.txt naik 8,8x tetapi 97% file tidak mendapat permintaan AI sama sekali — PPC Land (2026-07-02)