Jawaban singkat
Apa itu bot WebReaderAPI, dan bagaimana cara memblokirnya?
Bot WebReaderAPI mengambil halaman publik ketika salah satu pelanggan kami meminta API untuk membacanya. Bot ini mengirim user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) dan mematuhi aturan robots.txt yang ditulis untuk token WebReaderAPI atau untuk semua robot. Untuk memblokirnya di seluruh situs, tambahkan User-agent: WebReaderAPI diikuti Disallow: / ke robots.txt Anda.
Bot secara singkat
| Header User-Agent | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| Token robots.txt | WebReaderAPI |
| robots.txt | Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya |
| Sinyal preferensi AI | Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda |
| Ketika situs menolak | Jika suatu situs menolak permintaan kami, kami mengembalikan jawabannya: kami tidak pernah menyelesaikan CAPTCHA, masuk ke akun, atau mencoba mengatasi blokir atau paywall |
| Salinan halaman Anda | Tidak ada yang disimpan setelah jawaban dikirim ke pelanggan |
| Crawl job | Crawl satu situs web per job, hingga 10.000 halaman, mengikuti sitemap, robots.txt dan Crawl-delay-nya |
| Kontak | [email protected] |
Mengapa WebReaderAPI mengambil halaman saya?
Karena pelanggan API memintanya. WebReaderAPI tidak membangun indeks web sendiri dan tidak menjelajah atas inisiatif sendiri. Setiap pengambilan termasuk salah satu dari tiga jenis permintaan:
- Pembacaan tunggal: sebuah aplikasi atau AI agent mengirim URL Anda ke
/read, biasanya karena seseorang mengajukan pertanyaan yang dijawab oleh halaman Anda. - Batch job: pelanggan mengirim daftar berisi hingga 100 URL, dan URL Anda ada di dalamnya.
- Crawl job: pelanggan meminta kami membaca seluruh situs, dimulai dari satu alamat dan tetap di domain tersebut. Crawl mengikuti sitemap dan robots.txt Anda.
Pelanggan menerima teks utama halaman dalam format Markdown. Kami tidak menyimpan salinannya setelah itu.
Bagaimana cara memblokir bot di seluruh situs saya?
Tambahkan grup untuk token kami ke file robots.txt Anda. Bot membaca /robots.txt sebelum mengambil halaman dan meng-cache-nya paling lama 24 jam, jadi perubahan berlaku paling lambat dalam sehari.
User-agent: WebReaderAPI
Disallow: /
Bisakah saya memblokir hanya sebagian situs saya, atau memperlambat bot?
Bisa. Daftarkan folder yang ingin Anda kecualikan di bawah Disallow, dan tetapkan Crawl-delay dalam detik untuk crawl job. Aturan yang ditulis untuk semua robot (User-agent: *) juga berlaku bagi kami jika Anda tidak memiliki grup untuk token kami. Jika Anda memilikinya, grup tersebut yang berlaku, sebagaimana dijelaskan RFC 9309.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
Apakah bot mematuhi sinyal preferensi AI?
Ya, sinyal yang dinyatakan situs di robots.txt. Jika file Anda mendeklarasikan Content-Signal: ai-input=no, kami menganggapnya sebagai penolakan agar halaman Anda digunakan sebagai input untuk jawaban AI, dan kami tidak membacanya untuk pelanggan kami. API kemudian mengembalikan error blocked_by_site_policy kepada pelanggan, yang tidak dikenai biaya.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Apa yang dilakukan bot ketika situs saya menolaknya?
Bot berhenti dan melaporkan jawaban Anda. Status 403 atau 429, halaman challenge, formulir login, atau paywall mengakhiri permintaan. Pelanggan menerima error target_refused beserta kode status Anda, dan tidak dikenai biaya untuk itu.
Bot tidak pernah menyelesaikan challenge, tidak pernah login, tidak pernah mengubah user agent-nya agar terlihat seperti browser, dan tidak pernah mencoba ulang dengan menyamar. Jika Anda ingin kami membaca halaman Anda, izinkan token di robots.txt dan biarkan permintaan lewat; jika tidak, tidak ada tindakan lain yang diperlukan di pihak Anda.
Apa yang belum dijanjikan WebReaderAPI?
Kami belum mempublikasikan daftar alamat IP saat ini, jadi identifikasi bot berdasarkan user agent dan perilaku robots.txt-nya, bukan berdasarkan IP. Halaman yang dibaca dengan opsi country keluar dari alamat di negara yang dipilih, tetap dengan user agent yang sama. Kami akan menambahkan rentang alamat kami ke halaman ini setelah ditetapkan, beserta tanggal perubahannya.
Bagaimana cara melaporkan masalah dengan bot?
Kirim email ke [email protected] dengan tanggal dan waktu, domain Anda, URL yang diambil, dan satu baris access log Anda yang menunjukkan user agent kami. Seseorang membaca setiap laporan dan memeriksanya terhadap log kami. Jika pelanggan menggunakan API yang melanggar Acceptable Use Policy kami, akun mereka ditangguhkan.
Untuk memeriksa apakah suatu permintaan benar-benar berasal dari kami, bandingkan user agent dan perilaku robots.txt dengan halaman ini. Klien yang mengabaikan aturan robots.txt Anda sambil memakai nama kami bukanlah bot kami.
Pertanyaan pemilik situs
Apakah bot WebReaderAPI crawler mesin pencari?
Bukan. Bot ini tidak mengindeks web atau memberi peringkat halaman. Bot membaca halaman hanya ketika pelanggan API meminta halaman tersebut, dalam satu permintaan, batch, atau crawl satu situs.
Apakah memblokir bot akan memengaruhi peringkat saya di Google atau Bing?
Tidak. Aturan yang ditulis untuk WebReaderAPI hanya berlaku untuk bot kami. Crawler mesin pencari mengikuti grup mereka sendiri di robots.txt Anda.
Berapa lama perubahan robots.txt berlaku?
Paling lambat dalam 24 jam. Bot meng-cache robots.txt paling lama satu hari sebelum membacanya lagi.
Apakah bot mematuhi Crawl-delay?
Ya, untuk tugas crawl, yang membaca banyak halaman dari satu situs. Satu read adalah satu permintaan dan tidak diberi jeda.
Apakah Anda menyimpan atau menjual konten halaman saya?
Tidak. Teks halaman dikirim ke pelanggan yang memintanya dan tidak kami simpan. Log kami menyimpan nama host, waktu, status, dan kredit yang digunakan, selama 30 hari.