AI agent'lar web sayfalarını çekerken neden 403 hataları alıyor

2025 ve 2026'da web'de ne değişti?

Büyük altyapı sağlayıcıları AI engellemeyi varsayılana dönüştürdü. Tarihli üç değişiklik yeni 403'lerin çoğunu açıklıyor:

• 1 Temmuz 2025: Cloudflare artık AI crawler'ları varsayılan olarak engellediğini ve her yeni alan adına kayıt sırasında bunlara izin verilip verilmeyeceğini sorduğunu duyurdu. Aynı gün, HTTP 402 ve bir fiyatla yanıt veren pay per crawl hizmetini özel beta olarak başlattı.
• 1 Temmuz 2026: Cloudflare üç AI trafiği kategorisi sundu: Search, Agent ve Training. "Agent" kategorisi ChatGPT-User gibi sohbet fetch'lerini açıkça içeriyor.
• 15 Eylül 2026: yeni alan adları için Cloudflare'in hazır ayarları reklam gösteren sayfalarda Training ve Agent trafiğini engelliyor; Search izinli kalıyor.

Bir kullanıcı için sayfa çeken bir agent, Agent kategorisine girer. Eylül 2026'dan sonra dahil edilen reklam destekli sitelerde reddedilmeyi bekleyin.

Bir engellemeyi hatadan nasıl ayırt ederim?

Herhangi bir şeyi değiştirmeden önce durum kodunu ve yanıt gövdesini okuyun.

Yalnızca 429 ve boş JavaScript sayfası sizin tarafınızda çözebileceğiniz teknik sorunlardır. Diğerleri site sahibinin verdiği kararlardır.

Bir agent geliştiricisi meşru olarak ne yapabilir?

Siteyle birlikte çalışın, ona karşı değil. Bu adımlar birçok hatayı düzeltir ve agent'ınızı site sahiplerinin doğru tarafında tutar:

1. Sitenin kendi kanalını kullanın. Birçok site ihtiyacınız olan içerik için bir API, bir RSS veya Atom akışı ya da bir site haritası sunar.
2. Erişim isteyin. Site sahipleri robots.txt veya CDN ayarlarında adı belirli bir bot'a izin verebilir. Açık bir User-Agent ve bir iletişim sayfası bunu kolaylaştırır.
3. İzinli ama boş sayfaları render edin. Yalnızca JavaScript içeren sayfalar için headless tarayıcı çalıştıran bir reader kullanın.
4. Yavaşlayın ve önbelleğe alın. Aynı sayfayı bir kez okuyun, saklayın ve Crawl-delay ve 429 yanıtlarına uyun.
5. Sitenin erişim sattığı yerlerde ödeme yapın. 402 bir tekliftir; sitenin kanalı üzerinden kabul edin ya da sayfayı dışarıda bırakın.

Bunların her biri site sahibinin kontrolünü korur; bu da agent'ınızı zaman içinde faydalı tutan şeydir.

Bir reddin üstesinden gelmek için asla ne yapmamalıyım?

Agent'ı asla gizlemeyin veya bir korumayı aşmayın. Bir tarayıcının User-Agent'ını taklit etmek, bir engelden kaçmak için IP adreslerini döndürmek veya doğrulama sayfalarını çözmek, kibar bir istemciyi erişim kontrollerini aşmak için tasarlanmış bir araca dönüştürür. 2026'da iki ABD mahkemesi, arama sonuçlarına otomatik erişime ilişkin davalarda bu tür teknikleri dolaşma (circumvention) olarak değerlendirdi. Davalar hâlâ açık ve hiçbir şey karara bağlanmadı, ancak risk teorik değil.

Ayrıca kullanıcılarınızın bağımlı olduğu sitelerle güveni zedeler. Bir ret bir bilgidir: kaydedin, kullanıcıya sayfanın kullanılamadığını söyleyin ve başka bir kaynağa geçin.

Yerleşik fetch araçları bir site reddettiğinde ne yapar?

Çoğu hatayı modele döndürür, model de kullanıcıya sayfayı okuyamadığını söyler. 22 Ekim 2026'da okunan OpenClaw belgeleri, yerleşik web_fetch aracının içeriği Readability ile çıkardığını, JavaScript çalıştırmadığını ve çıktıyı 20.000 karakterle sınırladığını söylüyor; bir fetch sağlayıcısına geri dönebilir ve plugin'ler yenilerini kaydedebilir. MCP referans fetch sunucusu, model tarafından başlatılan fetch'lerde varsayılan olarak robots.txt'ye uyar.

Bu araçlar robots'a izin veren ama JavaScript gerektiren sayfalarda başarısız olduğunda, sayfaları render eden bir reader yardımcı olur. Site reddettiği için başarısız olduklarında, hiçbir araç yanıtı değiştirmemelidir.

Bir site reddettiğinde WebReaderAPI ne döndürür?

Reddi açıkça döndürür ve sizden ücret alınmaz. robots.txt tarafından izin verilmeyen bir sayfa 403 blocked_by_robots verir. ai-input=no bildiren bir site 403 blocked_by_site_policy verir. İsteği başka herhangi bir şekilde reddeden bir site 502 target_refused verir ve sitenin kendi durum kodu target_status içinde bulunur.

Bir site isteğimizi reddederse, verdiği yanıtı döndürürüz: CAPTCHA'ları asla çözmeyiz, hesaplara giriş yapmayız veya bir engeli ya da ödeme duvarını aşmaya çalışmayız. Agent'ınız kullanıcıya bir sayfanın neden atlandığını tam olarak gösterebilir. Hatalar sayfası her kodu, her biri için yeniden deneme kuralıyla birlikte listeler.