# WebReaderAPI bot: user agent, robots.txt ve nasıl engellenir

> WebReaderAPI bot: tam user agent'ı, robots.txt token'ı, nasıl engellenir veya yavaşlatılır ve asla yapmadıkları. Site sahipleri ve AI araçları için yazıldı.

- URL: https://webreaderapi.com/tr/bot/
- Son güncelleme: 2026-10-22
- Yayıncı: WebReaderAPI (https://webreaderapi.com)

Sunucu loglarınızda adımızı gördüyseniz, bu sayfa kim olduğumuzu, sayfanızı neden çektiğimizi ve bize nasıl "yapma" diyebileceğinizi açıklar. Buradaki her kural, hizmetin üzerine inşa edildiği bir taahhüttür.

**Hızlı yanıt — WebReaderAPI bot nedir ve nasıl engellerim?**

**WebReaderAPI** bot, müşterilerimizden biri API'den sayfaları okumasını istediğinde herkese açık sayfaları çeker. `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` user agent'ını gönderir ve `WebReaderAPI` token'ı veya tüm botlar için yazılmış robots.txt kurallarına uyar. Her yerde engellemek için robots.txt dosyanıza `User-agent: WebReaderAPI` ardından `Disallow: /` ekleyin.

## Bir bakışta bot

| Özellik | Değer |
| --- | --- |
| User-Agent başlığı | `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` |
| robots.txt token'ı | `WebReaderAPI` |
| robots.txt | robots.txt'e uyarız: crawler'ımız kendini WebReaderAPI olarak tanıtır, kendisi için veya tüm robotlar için yazılmış kurallara uyar ve bir sitenin izin vermediği sayfayı okumaz. Reddedilen sayfalar için ücret alınmaz |
| AI tercih sinyalleri | Bir site robots.txt'inde Content-Signal: ai-input=no bildirirse, sayfalarını sizin için okumayız |
| Bir site hayır dediğinde | Bir site isteğimizi reddederse, verdiği yanıtı döndürürüz: CAPTCHA'ları asla çözmeyiz, hesaplara giriş yapmayız veya bir engeli ya da ödeme duvarını aşmaya çalışmayız |
| Sayfalarınızın kopyaları | Yanıt müşteriye gönderildikten sonra hiçbiri saklanmaz |
| Tarama (crawl) işleri | İş başına bir web sitesi tarama (crawl), 10.000 sayfaya kadar, sitemap'ini, robots.txt'ini ve Crawl-delay'ini izleyerek |
| İletişim | abuse@webreaderapi.com |

## WebReaderAPI sayfamı neden çekti?

Çünkü API'nin bir müşterisi bunu istedi. WebReaderAPI web'in kendi dizinini oluşturmaz ve kendi inisiyatifiyle gezinmez. Her çekme, üç istek türünden birine aittir:

- **Tek bir okuma:** bir uygulama veya bir AI agent, URL'nizi `/read` adresine gönderdi; genellikle bir kişi, sayfanızın yanıtladığı bir soru sorduğu için.
- **Bir toplu iş:** bir müşteri en fazla 100 URL'den oluşan bir liste gönderdi ve sizinki de listedeydi.
- **Bir tarama (crawl) işi:** bir müşteri bizden bir adresten başlayıp o domain'de kalarak tüm bir siteyi okumamızı istedi. Taramalar sitemap'inizi ve robots.txt dosyanızı takip eder.

Müşteri, sayfanın ana metnini Markdown olarak alır. Sonrasında bizde hiçbir kopyası saklanmaz.

## Botu tüm sitemde nasıl engellerim?

robots.txt dosyanıza token'ımız için bir grup ekleyin. Bot, bir sayfayı çekmeden önce `/robots.txt` dosyasını okur ve en fazla 24 saat önbelleğe alır, yani bir değişiklik en geç bir gün içinde uygulanır.

*robots.txt: WebReaderAPI için her sayfayı reddet*

```text
User-agent: WebReaderAPI
Disallow: /

```

## Sitemin yalnızca bir bölümünü engelleyebilir veya botu yavaşlatabilir miyim?

Evet. Dışarıda tutmak istediğiniz klasörleri `Disallow` altında listeleyin ve tarama (crawl) işleri için saniye cinsinden bir `Crawl-delay` ayarlayın. Tüm botlar için yazılmış kurallar (`User-agent: *`), token'ımız için bir grubunuz olmadığında bizim için de geçerlidir. Bir grubunuz olduğunda ise RFC 9309'da açıklandığı gibi o grup geçerlidir.

*robots.txt: iki klasörü dışarıda tut ve tarama isteklerini seyrekleştir*

```text
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5

```

## Bot, AI tercih sinyallerine uyuyor mu?

Evet, bir sitenin robots.txt dosyasında belirttiği sinyallere. Dosyanız `Content-Signal: ai-input=no` bildiriyorsa, bunu sayfalarınızın AI yanıtları için girdi olarak kullanılmasına ret olarak kabul ederiz ve sayfalarınızı müşterilerimiz için okumayız. API bu durumda müşteriye `blocked_by_site_policy` hatasını döner ve müşteriden ücret alınmaz.

*robots.txt: arama motorlarına izin ver, AI girdisini reddet*

```text
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## Sitem botu reddettiğinde bot ne yapar?

Durur ve yanıtınızı bildirir. 403 veya 429 durumu, bir challenge sayfası, bir giriş formu veya bir paywall isteği sonlandırır. Müşteri, sizin durum kodunuzla birlikte `target_refused` hatasını alır ve bunun için ücret ödemez.

Bot asla challenge çözmez, asla giriş yapmaz, tarayıcı gibi görünmek için user agent'ını asla değiştirmez ve asla kılık değiştirerek yeniden denemez. Sayfalarınızı okumamızı istiyorsanız robots.txt dosyanızda token'a izin verin ve isteklerin geçmesine izin verin; istemiyorsanız sizin tarafınızda başka bir şey yapmanıza gerek yok.

## WebReaderAPI henüz neyi taahhüt etmiyor?

Bugün bir IP adresi listesi yayımlamıyoruz, bu yüzden lütfen botu IP ile değil, user agent'ı ve robots.txt davranışıyla tanımlayın. `country` seçeneğiyle okunan sayfalar, seçilen ülkedeki bir adresten çıkar, yine aynı user agent ile. Adres aralıklarımız kesinleştiğinde, değişikliğin tarihiyle birlikte bu sayfaya ekleyeceğiz.

## Botla ilgili bir sorunu nasıl bildiririm?

Tarih ve saat, domain'iniz, çekilen URL ve erişim logunuzdan user agent'ımızı gösteren bir satır ile birlikte abuse@webreaderapi.com adresine yazın. Her raporu bir kişi okur ve loglarımızla karşılaştırarak kontrol eder. Bir müşteri API'yi [Kabul Edilebilir Kullanım Politikamıza](https://webreaderapi.com/tr/acceptable-use/) aykırı şekilde kullanırsa, hesabı askıya alınır.

Bir isteğin gerçekten bizden gelip gelmediğini kontrol etmek için user agent'ı ve robots.txt davranışını bu sayfayla karşılaştırın. Adımızı kullanırken robots.txt kurallarınızı yok sayan bir istemci bizim botumuz değildir.

## Site sahiplerinin soruları

### WebReaderAPI bot bir arama motoru tarayıcısı mı?

Hayır. Web'i dizinlemez veya sayfaları sıralamaz. Bir sayfayı yalnızca API'nin bir müşterisi o sayfayı istediğinde okur: tek bir istekte, bir toplu işte veya tek bir sitenin taranmasında.

### Botu engellemek Google veya Bing sıralamalarımı etkiler mi?

Hayır. `WebReaderAPI` için yazılmış kurallar yalnızca bizim botumuzu ilgilendirir. Arama motoru tarayıcıları robots.txt dosyanızdaki kendi gruplarını takip eder.

### Bir robots.txt değişikliği ne kadar sürede etkili olur?

En geç 24 saat içinde. Bot, robots.txt dosyasını yeniden okumadan önce en fazla bir gün önbelleğe alır.

### Bot Crawl-delay'e uyuyor mu?

Evet, tek bir sitenin birçok sayfasını okuyan tarama işleri için. Tek bir okuma tek bir istektir ve aralarına bekleme süresi konmaz.

### Sayfalarımın içeriğini saklıyor veya satıyor musunuz?

Hayır. Sayfa metni, onu isteyen müşteriye gider ve tarafımızca saklanmaz. Loglarımız 30 gün boyunca ana bilgisayar adını, zamanı, durumu ve kullanılan kredileri tutar.

---

WebReaderAPI: WebReaderAPI, AI ajanları için bir web reader API'sidir; herkese açık herhangi bir web sayfasını temiz Markdown'a dönüştürür ve kimlik yüklemeden kripto ile ödenir. $0,07/1K sayfa başlangıçlı ön ödemeli kreditler asla süresi dolmaz ve robots.txt'e uyulur. KYC yok — kimlik yok, selfie yok, belge yok. Kripto ile ödeme yapın.