Jawaban singkat
Apakah AI agent wajib mengikuti robots.txt?
Tergantung vendornya. robots.txt adalah standar sukarela (RFC 9309, September 2022). Crawler yang membangun indeks umumnya mengikutinya; untuk pengambilan yang dipicu pengguna, OpenAI menyatakan aturannya mungkin tidak berlaku, Google dan Perplexity menyatakan fetcher mereka umumnya mengabaikannya, dan Anthropic menyatakan bot mereka mematuhinya. WebReaderAPI mengikuti robots.txt pada setiap pembacaan, tanpa KYC dan bayar dengan kripto.
robots.txt dan AI pada Oktober 2026
| Standar | RFC 9309, Robots Exclusion Protocol, September 2022 |
|---|---|
| OpenAI ChatGPT-User | Aturan robots.txt "mungkin tidak berlaku" untuk tindakan yang dipicu pengguna |
| Anthropic (termasuk Claude-User) | Menyatakan bot-nya mematuhi direktif robots.txt, termasuk Crawl-delay |
| Fetcher yang dipicu pengguna Google | "Umumnya mengabaikan aturan robots.txt" (halaman diperbarui 2026-08-19) |
| Perplexity-User | "Umumnya mengabaikan aturan robots.txt" |
| Content Signals | Kebijakan Cloudflare 24 September 2025: search, ai-input, ai-train |
| Preferensi AI IETF | Draf working group, belum menjadi RFC |
| WebReaderAPI | Mematuhi robots.txt dan ai-input=no pada setiap pembacaan; token WebReaderAPI |
Apa fungsi robots.txt sebenarnya?
File ini memberi tahu klien otomatis jalur mana yang sebaiknya dilewati situs. File berada di root sebuah host, mengelompokkan aturan berdasarkan token user-agent, dan memakai baris Allow serta Disallow. RFC 9309, yang terbit pada September 2022, menjadikan konvensi lama ini sebuah standar.
RFC menegaskan bahwa file ini tidak mengunci apa pun: "These rules are not a form of access authorization." Kepatuhan bersifat sukarela. Karena itu kebijakan yang dinyatakan tiap vendor penting, dan karena itu pula situs yang menginginkan batas tegas juga memakai firewall dan bot management.
Mengapa crawler dan fetcher yang dipicu pengguna berbeda?
Crawler memutuskan sendiri halaman mana yang dikunjungi; fetcher yang dipicu pengguna mengunjungi satu halaman karena ada orang yang memintanya. Banyak vendor memperlakukan kasus kedua seperti browser yang bertindak untuk penggunanya, dan menyatakan robots.txt tidak sepenuhnya berlaku.
| Fetcher | Kebijakan yang dinyatakan (dibaca 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | Aturan robots.txt "may not apply" untuk tindakan yang diprakarsai pengguna; situs diarahkan ke OAI-SearchBot untuk opt-out pencarian |
| Anthropic Claude-User | Anthropic menyatakan bot-nya mematuhi direktif robots.txt; memblokir Claude-User menghentikan pengambilan untuk kueri pengguna |
| Fetcher yang dipicu pengguna Google | "Generally ignore robots.txt rules" karena pengguna meminta pengambilan |
| Perplexity-User | "Generally ignores robots.txt rules" dengan alasan yang sama |
| Server fetch referensi MCP | Mematuhi robots.txt untuk pengambilan yang diprakarsai model secara default, bukan untuk yang diprakarsai pengguna |
Pembagian ini nyata dan terdokumentasi. Jika Anda membangun agent, tentukan di sisi mana Anda berada dan nyatakan itu di user agent serta dokumentasi Anda.
Apa itu Content Signals, aipref, dan RSL?
Itu cara-cara yang lebih baru untuk menyatakan apa yang boleh dilakukan sistem AI terhadap konten, bukan sekadar apakah sebuah robot boleh mengambilnya.
- Content Signals. Cloudflare menerbitkan kebijakan ini pada 24 September 2025. Sebuah robots.txt dapat menyatakan
search,ai-input(dipakai sebagai input untuk jawaban AI, seperti grounding) danai-train. robots.txt terkelola Cloudflare menyajikansearch=yes, ai-train=nosecara default. - Preferensi AI IETF (aipref). Draf kosakata dan attachment working group ini masih berstatus Internet-Draft pada Oktober 2026, ditujukan sebagai Proposed Standard.
- Web Bot Auth. Cara bagi bot untuk menandatangani request-nya; working group IETF mengadopsi draf protokolnya pada 1 September 2026.
- RSL (Really Simple Licensing). Situsnya menyatakan spesifikasi RSL 1.0 sudah tersedia; RSL memungkinkan penerbit menyatakan syarat lisensi, termasuk pay-per-crawl, melalui robots.txt, header, atau RSS.
Apakah llms.txt sama dengan robots.txt?
Tidak. robots.txt menyatakan apa yang tidak boleh diambil; llms.txt adalah file yang diusulkan untuk mencantumkan halaman-halaman utama sebuah situs bagi model bahasa. Adopsinya tumbuh tetapi pemakaian terukur masih rendah. Rankability menghitung llms.txt pada 9,3% dari 1.000 situs teratas pada 18 September 2026. Studi Ahrefs terhadap 137.000 domain, yang dilaporkan PPC Land pada 2 Juli 2026, menemukan bahwa 97% file llms.txt tidak menerima request sama sekali.
Panduan llms.txt kami menunjukkan cara membuatnya dari crawl situs Anda sendiri, jika Anda tetap menginginkannya.
Bagaimana WebReaderAPI memperlakukan robots.txt?
WebReaderAPI mematuhinya pada setiap pembacaan, termasuk pembacaan yang dipicu pelanggan. Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya. Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda. Untuk job crawl, WebReaderAPI juga menunggu Crawl-delay yang ditetapkan situs.
Setiap request membawa User-Agent yang sama, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), sehingga pemilik situs dapat melihat kami di log mereka dan menulis aturan untuk kami. Halaman crawler kami memberikan detailnya dan kontak untuk masalah.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt untuk AI: pertanyaan umum
Apakah memblokir GPTBot menghentikan ChatGPT membaca halaman saya untuk seorang pengguna?
Belum tentu. OpenAI mendokumentasikan token terpisah: GPTBot untuk training, OAI-SearchBot untuk pencarian, dan ChatGPT-User untuk tindakan pengguna, serta menyatakan aturan robots.txt mungkin tidak berlaku untuk tindakan yang diprakarsai pengguna. Periksa dokumentasi terkini tiap vendor.
Apakah robots.txt mengikat secara hukum?
Tidak dengan sendirinya; RFC 9309 menyatakan file ini bukan otorisasi akses. Di UE, opt-out yang dapat dibaca mesin penting untuk text and data mining di bawah DSM Directive. Lihat ringkasan hukum kami; ini bukan nasihat hukum.
Bagaimana cara memblokir WebReaderAPI?
Tambahkan grup User-agent: WebReaderAPI dengan Disallow: / ke robots.txt Anda. Pembacaan kami memeriksanya sebelum setiap halaman; halaman yang dilarang tidak pernah dibaca.
Apakah WebReaderAPI membaca halaman yang menyatakan ai-input=no?
Tidak. Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda. API mengembalikan 403 blocked_by_site_policy kepada pelanggan, tanpa biaya.
Sumber (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- Ringkasan crawler OpenAI — OpenAI (read 2026-10-22)
- Apakah Anthropic meng-crawl data dari web, dan bagaimana pemilik situs memblokir crawler tersebut? — Anthropic (2026-04-07)
- Fetcher yang dipicu pengguna Google — Google (updated 2026-08-19)
- Crawler Perplexity — Perplexity (read 2026-10-22)
- Server fetch MCP — Model Context Protocol (read 2026-10-22)
- Content Signals Policy — Cloudflare (2025-09-24)
- Dokumen working group AI Preferences — IETF (read 2026-10-22)
- Dokumen working group Web Bot Auth — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- Data adopsi llms.txt — Rankability (2026-09-18)
- Adopsi llms.txt naik 8,8x tetapi 97% file tidak mendapat permintaan AI sama sekali — PPC Land (2026-07-02)