# robots.txt untuk AI agent dan fetcher: apa yang berlaku pada 2026

> robots.txt untuk AI agent pada 2026: crawler vs fetcher yang dipicu pengguna, apa kata OpenAI, Anthropic, Google dan Perplexity, Content Signals, aipref dan RSL

- URL: https://webreaderapi.com/id/guides/robots-txt-for-ai-agents/
- Terakhir diperbarui: 2026-10-22
- Penerbit: WebReaderAPI (https://webreaderapi.com)

robots.txt ditulis untuk crawler, lalu muncul AI agent yang mengambil halaman karena ada orang yang memintanya. Vendor sekarang menarik garis itu secara berbeda. Panduan ini menjabarkan standarnya, kebijakan yang dinyatakan tiap vendor, sinyal yang lebih baru, dan bagaimana crawler kami sendiri berperilaku.

**Jawaban singkat — Apakah AI agent wajib mengikuti robots.txt?**

Tergantung vendornya. robots.txt adalah standar sukarela (RFC 9309, September 2022). Crawler yang membangun indeks umumnya mengikutinya; untuk pengambilan yang dipicu pengguna, OpenAI menyatakan aturannya mungkin tidak berlaku, Google dan Perplexity menyatakan fetcher mereka umumnya mengabaikannya, dan Anthropic menyatakan bot mereka mematuhinya. **WebReaderAPI** mengikuti robots.txt pada setiap pembacaan, tanpa KYC dan bayar dengan kripto.

## robots.txt dan AI pada Oktober 2026

| Atribut | Nilai |
| --- | --- |
| Standar | RFC 9309, Robots Exclusion Protocol, September 2022 |
| OpenAI ChatGPT-User | Aturan robots.txt "mungkin tidak berlaku" untuk tindakan yang dipicu pengguna |
| Anthropic (termasuk Claude-User) | Menyatakan bot-nya mematuhi direktif robots.txt, termasuk Crawl-delay |
| Fetcher yang dipicu pengguna Google | "Umumnya mengabaikan aturan robots.txt" (halaman diperbarui 2026-08-19) |
| Perplexity-User | "Umumnya mengabaikan aturan robots.txt" |
| Content Signals | Kebijakan Cloudflare 24 September 2025: `search`, `ai-input`, `ai-train` |
| Preferensi AI IETF | Draf working group, belum menjadi RFC |
| WebReaderAPI | Mematuhi robots.txt dan `ai-input=no` pada setiap pembacaan; token `WebReaderAPI` |

## Apa fungsi robots.txt sebenarnya?

File ini memberi tahu klien otomatis jalur mana yang sebaiknya dilewati situs. File berada di root sebuah host, mengelompokkan aturan berdasarkan token user-agent, dan memakai baris `Allow` serta `Disallow`. RFC 9309, yang terbit pada September 2022, menjadikan konvensi lama ini sebuah standar.

RFC menegaskan bahwa file ini tidak mengunci apa pun: "These rules are not a form of access authorization." Kepatuhan bersifat sukarela. Karena itu kebijakan yang dinyatakan tiap vendor penting, dan karena itu pula situs yang menginginkan batas tegas juga memakai firewall dan bot management.

## Mengapa crawler dan fetcher yang dipicu pengguna berbeda?

Crawler memutuskan sendiri halaman mana yang dikunjungi; fetcher yang dipicu pengguna mengunjungi satu halaman karena ada orang yang memintanya. Banyak vendor memperlakukan kasus kedua seperti browser yang bertindak untuk penggunanya, dan menyatakan robots.txt tidak sepenuhnya berlaku.

| Fetcher | Kebijakan yang dinyatakan (dibaca 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | Aturan robots.txt "may not apply" untuk tindakan yang diprakarsai pengguna; situs diarahkan ke OAI-SearchBot untuk opt-out pencarian |
| Anthropic Claude-User | Anthropic menyatakan bot-nya mematuhi direktif robots.txt; memblokir Claude-User menghentikan pengambilan untuk kueri pengguna |
| Fetcher yang dipicu pengguna Google | "Generally ignore robots.txt rules" karena pengguna meminta pengambilan |
| Perplexity-User | "Generally ignores robots.txt rules" dengan alasan yang sama |
| Server fetch referensi MCP | Mematuhi robots.txt untuk pengambilan yang diprakarsai model secara default, bukan untuk yang diprakarsai pengguna |

Pembagian ini nyata dan terdokumentasi. Jika Anda membangun agent, tentukan di sisi mana Anda berada dan nyatakan itu di user agent serta dokumentasi Anda.

## Apa itu Content Signals, aipref, dan RSL?

Itu cara-cara yang lebih baru untuk menyatakan apa yang boleh dilakukan sistem AI terhadap konten, bukan sekadar apakah sebuah robot boleh mengambilnya.

- **Content Signals.** Cloudflare menerbitkan kebijakan ini pada 24 September 2025. Sebuah robots.txt dapat menyatakan `search`, `ai-input` (dipakai sebagai input untuk jawaban AI, seperti grounding) dan `ai-train`. robots.txt terkelola Cloudflare menyajikan `search=yes, ai-train=no` secara default.
- **Preferensi AI IETF (aipref).** Draf kosakata dan attachment working group ini masih berstatus Internet-Draft pada Oktober 2026, ditujukan sebagai Proposed Standard.
- **Web Bot Auth.** Cara bagi bot untuk menandatangani request-nya; working group IETF mengadopsi draf protokolnya pada 1 September 2026.
- **RSL (Really Simple Licensing).** Situsnya menyatakan spesifikasi RSL 1.0 sudah tersedia; RSL memungkinkan penerbit menyatakan syarat lisensi, termasuk pay-per-crawl, melalui robots.txt, header, atau RSS.

## Apakah llms.txt sama dengan robots.txt?

Tidak. robots.txt menyatakan apa yang tidak boleh diambil; llms.txt adalah file yang diusulkan untuk mencantumkan halaman-halaman utama sebuah situs bagi model bahasa. Adopsinya tumbuh tetapi pemakaian terukur masih rendah. Rankability menghitung llms.txt pada 9,3% dari 1.000 situs teratas pada 18 September 2026. Studi Ahrefs terhadap 137.000 domain, yang dilaporkan PPC Land pada 2 Juli 2026, menemukan bahwa 97% file llms.txt tidak menerima request sama sekali.

[Panduan llms.txt](https://webreaderapi.com/id/guides/llms-txt-generator/) kami menunjukkan cara membuatnya dari crawl situs Anda sendiri, jika Anda tetap menginginkannya.

## Bagaimana WebReaderAPI memperlakukan robots.txt?

WebReaderAPI mematuhinya pada setiap pembacaan, termasuk pembacaan yang dipicu pelanggan. Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya. Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda. Untuk job crawl, WebReaderAPI juga menunggu `Crawl-delay` yang ditetapkan situs.

Setiap request membawa User-Agent yang sama, `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`, sehingga pemilik situs dapat melihat kami di log mereka dan menulis aturan untuk kami. [Halaman crawler](https://webreaderapi.com/id/bot/) kami memberikan detailnya dan kontak untuk masalah.

*Contoh robots.txt untuk WebReaderAPI*

```text
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /

# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5

# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## robots.txt untuk AI: pertanyaan umum

### Apakah memblokir GPTBot menghentikan ChatGPT membaca halaman saya untuk seorang pengguna?

Belum tentu. OpenAI mendokumentasikan token terpisah: GPTBot untuk training, OAI-SearchBot untuk pencarian, dan ChatGPT-User untuk tindakan pengguna, serta menyatakan aturan robots.txt mungkin tidak berlaku untuk tindakan yang diprakarsai pengguna. Periksa dokumentasi terkini tiap vendor.

### Apakah robots.txt mengikat secara hukum?

Tidak dengan sendirinya; RFC 9309 menyatakan file ini bukan otorisasi akses. Di UE, opt-out yang dapat dibaca mesin penting untuk text and data mining di bawah DSM Directive. Lihat [ringkasan hukum](https://webreaderapi.com/id/guides/is-reading-web-pages-for-ai-legal/) kami; ini bukan nasihat hukum.

### Bagaimana cara memblokir WebReaderAPI?

Tambahkan grup `User-agent: WebReaderAPI` dengan `Disallow: /` ke robots.txt Anda. Pembacaan kami memeriksanya sebelum setiap halaman; halaman yang dilarang tidak pernah dibaca.

### Apakah WebReaderAPI membaca halaman yang menyatakan ai-input=no?

Tidak. Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda. API mengembalikan `403 blocked_by_site_policy` kepada pelanggan, tanpa biaya.

## Sumber

1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — RFC Editor (September 2022)
2. [Ringkasan crawler OpenAI](https://developers.openai.com/api/docs/bots) — OpenAI (read 2026-10-22)
3. [Apakah Anthropic meng-crawl data dari web, dan bagaimana pemilik situs memblokir crawler tersebut?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Anthropic (2026-04-07)
4. [Fetcher yang dipicu pengguna Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) — Google (updated 2026-08-19)
5. [Crawler Perplexity](https://docs.perplexity.ai/guides/bots) — Perplexity (read 2026-10-22)
6. [Server fetch MCP](https://github.com/modelcontextprotocol/servers/tree/main/src/fetch) — Model Context Protocol (read 2026-10-22)
7. [Content Signals Policy](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24)
8. [Dokumen working group AI Preferences](https://datatracker.ietf.org/wg/aipref/documents/) — IETF (read 2026-10-22)
9. [Dokumen working group Web Bot Auth](https://datatracker.ietf.org/wg/webbotauth/documents/) — IETF (read 2026-10-22)
10. [Really Simple Licensing](https://rslstandard.org/) — rslstandard.org (read 2026-10-22)
11. [Data adopsi llms.txt](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18)
12. [Adopsi llms.txt naik 8,8x tetapi 97% file tidak mendapat permintaan AI sama sekali](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02)

---

WebReaderAPI: WebReaderAPI adalah API pembaca web untuk AI agent yang mengubah halaman web publik apa pun menjadi Markdown bersih, dibayar dengan kripto tanpa unggah identitas. Kredit prabayar mulai dari US$0,07/1K halaman tidak pernah kedaluwarsa, dan robots.txt dihormati. Tanpa KYC — tanpa identitas, tanpa selfie, tanpa dokumen. Bayar dengan kripto.