Hızlı yanıt
AI ajanları robots.txt'ye uymak zorunda mı?
Sağlayıcıya bağlı. robots.txt gönüllü bir standarttır (RFC 9309, Eylül 2022). Dizin oluşturan tarayıcılar genellikle ona uyar; kullanıcının tetiklediği getirmeler için OpenAI kurallarının geçerli olmayabileceğini, Google ve Perplexity getiricilerinin genellikle bunları yok saydığını, Anthropic ise botlarının bunlara uyduğunu söylüyor. WebReaderAPI her okumada robots.txt'ye uyar, KYC olmadan ve kripto ile ödeme ile.
Ekim 2026'da robots.txt ve AI
| Standart | RFC 9309, Robots Exclusion Protocol, Eylül 2022 |
|---|---|
| OpenAI ChatGPT-User | robots.txt kuralları kullanıcı tarafından başlatılan eylemler için "geçerli olmayabilir" |
| Anthropic (Claude-User dahil) | Botlarının Crawl-delay dahil robots.txt direktiflerine uyduğunu söylüyor |
| Google kullanıcı tetiklemeli getiriciler | "Genellikle robots.txt kurallarını yok sayar" (sayfa 2026-08-19 tarihinde güncellendi) |
| Perplexity-User | "Genellikle robots.txt kurallarını yok sayar" |
| Content Signals | Cloudflare'ın 24 Eylül 2025 tarihli politikası: search, ai-input, ai-train |
| IETF AI tercihleri | Çalışma grubu taslakları, henüz bir RFC değil |
| WebReaderAPI | Her okumada robots.txt ve ai-input=no kurallarına uyar; token WebReaderAPI |
robots.txt gerçekte ne işe yarar?
Otomatik istemcilere bir sitenin hangi yolları tercihen atlamaları gerektiğini söyler. Dosya bir sunucunun kökünde bulunur, kuralları user-agent token'ına göre gruplar ve Allow ile Disallow satırlarını kullanır. Eylül 2022'de yayımlanan RFC 9309, uzun süredir uygulanan bu geleneği standarda dönüştürdü.
RFC, dosyanın hiçbir şeyi kilitlemediğini açıkça belirtir: "Bu kurallar bir erişim yetkilendirme biçimi değildir." Uyum gönüllüdür. Bu yüzden her sağlayıcının belirttiği politika önemlidir ve katı sınırlar isteyen sitelerin neden ayrıca güvenlik duvarları ve bot yönetimi kullandığı da budur.
Tarayıcılar (crawl) ile kullanıcı tetiklemeli getiriciler neden farklıdır?
Bir tarayıcı (crawler) hangi sayfaları ziyaret edeceğine kendisi karar verir; kullanıcı tetiklemeli bir getirici ise bir kişi istediği için tek bir sayfayı ziyaret eder. Birçok sağlayıcı ikinci durumu, kullanıcısı adına hareket eden bir tarayıcı gibi ele alır ve robots.txt'nin tam olarak geçerli olmadığını söyler.
| Getirici | Belirtilen politika (2026-10-22 tarihinde okundu) |
|---|---|
| OpenAI ChatGPT-User | Kullanıcı tarafından başlatılan işlemler için robots.txt kuralları "geçerli olmayabilir"; siteler arama vazgeçişi için OAI-SearchBot'a yönlendirilir |
| Anthropic Claude-User | Anthropic, botlarının robots.txt direktiflerine uyduğunu söylüyor; Claude-User'ı engellemek kullanıcı sorguları için getirmeyi durdurur |
| Google kullanıcı tetiklemeli getiriciler | Getirme işlemini kullanıcı istediği için "genellikle robots.txt kurallarını yok sayar" |
| Perplexity-User | Aynı nedenle "genellikle robots.txt kurallarını yok sayar" |
| MCP referans fetch sunucusu | Model tarafından başlatılan getirmelerde varsayılan olarak robots.txt'ye uyar, kullanıcı tarafından başlatılanlarda uymaz |
Bu ayrım gerçek ve belgelenmiştir. Bir agent geliştiriyorsanız hangi tarafta olduğunuza karar verin ve bunu user agent'ınızda ve dokümanlarınızda belirtin.
Content Signals, aipref ve RSL nedir?
Bunlar, bir robotun içeriği getirip getiremeyeceğinden öte, AI sistemlerinin içerikle ne yapabileceğini söylemenin daha yeni yollarıdır.
- Content Signals. Cloudflare bu politikayı 24 Eylül 2025'te yayımladı. Bir robots.txt,
search,ai-input(AI yanıtına girdi olarak kullanma, örneğin grounding) veai-trainbelirtebilir. Cloudflare'ın yönetilen robots.txt'si varsayılan olaraksearch=yes, ai-train=nosunar. - IETF AI tercihleri (aipref). Çalışma grubunun sözlük ve ek taslakları Ekim 2026'da hâlâ Internet-Draft'tı ve Önerilen Standart olarak tasarlanmıştı.
- Web Bot Auth. Botların isteklerini imzalamasının bir yolu; IETF çalışma grubu protokol taslağını 1 Eylül 2026'da kabul etti.
- RSL (Really Simple Licensing). Sitesi, RSL 1.0 spesifikasyonunun mevcut olduğunu söylüyor; yayıncıların tarama başına ödeme dahil lisans koşullarını robots.txt, header'lar veya RSS aracılığıyla belirtmesini sağlıyor.
llms.txt, robots.txt ile aynı şey mi?
Hayır. robots.txt neyin getirilmemesi gerektiğini söyler; llms.txt ise bir sitenin temel sayfalarını dil modelleri için listeleyen önerilen bir dosyadır. Benimsenmesi artıyor ancak ölçülen kullanım düşük. Rankability, 18 Eylül 2026'da en iyi 1.000 sitenin %9,3'ünde llms.txt buldu. PPC Land'in 2 Temmuz 2026'da aktardığı, Ahrefs'in 137.000 alan adı üzerindeki çalışması, llms.txt dosyalarının %97'sinin hiç istek almadığını gösterdi.
Yine de bir tane istiyorsanız, llms.txt rehberimiz kendi sitenizin bir taramasından (crawl) nasıl oluşturulacağını gösterir.
WebReaderAPI robots.txt'yi nasıl ele alıyor?
Müşterinin tetiklediği okumalar dahil her okumada buna uyar. robots.txt'e uyarız: crawler'ımız kendini WebReaderAPI olarak tanıtır, kendisi için veya tüm robotlar için yazılmış kurallara uyar ve bir sitenin izin vermediği sayfayı okumaz. Reddedilen sayfalar için ücret alınmaz. Bir site robots.txt'inde Content-Signal: ai-input=no bildirirse, sayfalarını sizin için okumayız. Crawl işlerinde ayrıca bir sitenin belirlediği Crawl-delay süresini bekler.
Her istek aynı User-Agent'ı, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), taşır; böylece site sahipleri bizi loglarında görebilir ve bizim için kurallar yazabilir. Tarayıcı sayfamız ayrıntıları ve sorunlar için bir iletişim adresi sunar.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
AI için robots.txt: sık sorulan sorular
GPTBot'u engellemek, ChatGPT'nin bir kullanıcı için sayfamı okumasını durdurur mu?
Mutlaka değil. OpenAI ayrı token'ları belgeliyor: eğitim için GPTBot, arama için OAI-SearchBot ve kullanıcı işlemleri için ChatGPT-User; ayrıca robots.txt kurallarının kullanıcı tarafından başlatılan işlemlere geçerli olmayabileceğini söylüyor. Her sağlayıcının güncel dokümantasyonunu kontrol edin.
robots.txt yasal olarak bağlayıcı mı?
Tek başına değil; RFC 9309 bunun bir erişim yetkilendirmesi olmadığını söyler. AB'de makine tarafından okunabilir vazgeçişler, DSM Direktifi kapsamında metin ve veri madenciliği için önemlidir. Hukuki genel bakışımıza bakın; bu hukuki tavsiye değildir.
WebReaderAPI'yi nasıl engellerim?
robots.txt dosyanıza Disallow: / içeren bir User-agent: WebReaderAPI grubu ekleyin. Okumalarımız her sayfadan önce bunu kontrol eder; izin verilmeyen sayfalar hiçbir zaman okunmaz.
WebReaderAPI ai-input=no diyen sayfaları okur mu?
Hayır. Bir site robots.txt'inde Content-Signal: ai-input=no bildirirse, sayfalarını sizin için okumayız. API, müşteriye ücretsiz olarak 403 blocked_by_site_policy döndürür.
Kaynaklar (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- OpenAI tarayıcılarına genel bakış — OpenAI (read 2026-10-22)
- Anthropic web'den veri tarar mı ve site sahipleri tarayıcıyı nasıl engelleyebilir? — Anthropic (2026-04-07)
- Google kullanıcı tetiklemeli getiriciler — Google (updated 2026-08-19)
- Perplexity tarayıcıları — Perplexity (read 2026-10-22)
- MCP fetch sunucusu — Model Context Protocol (read 2026-10-22)
- Content Signals Politikası — Cloudflare (2025-09-24)
- AI Preferences çalışma grubu belgeleri — IETF (read 2026-10-22)
- Web Bot Auth çalışma grubu belgeleri — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- llms.txt benimseme verileri — Rankability (2026-09-18)
- llms.txt benimsemesi 8,8 kat artıyor ama dosyaların %97'si sıfır AI isteği alıyor — PPC Land (2026-07-02)