Jawaban singkat
Apa itu web reader API?
Web reader API adalah layanan yang menerima URL, memuat halaman, dan mengembalikan konten utamanya sebagai teks bersih, biasanya Markdown, dengan metadata seperti judul, penulis, dan tanggal. AI agent dan pipeline RAG memakainya sebagai ganti HTML mentah. WebReaderAPI adalah salah satunya: satu kredit per halaman, mulai US$0,07/1K halaman per Oktober 2026, dengan robots.txt dihormati, tanpa KYC, dan bayar dengan kripto.
Web reader API dalam satu tabel
| Input | URL halaman web publik atau PDF |
|---|---|
| Output | Markdown konten utama, atau teks biasa, dengan judul, penulis, tanggal, dan bahasa |
| Dihapus | Navigasi, banner cookie, iklan, sidebar, footer, script, dan style |
| Halaman JavaScript | Dirender di browser headless saat HTML mentah berisi terlalu sedikit teks |
| Penagihan umum | Per halaman atau per kredit; sebagian penyedia menagih per token output |
| Contoh request | GET https://webreaderapi.com/api/v1/read?url=https://example.com/post |
Apa yang dilakukan web reader API, langkah demi langkah?
Ada lima pekerjaan yang dibutuhkan setiap pipeline page-to-text, dalam satu panggilan:
- Periksa izin. Reader yang cermat melihat robots.txt situs untuk namanya sendiri dan untuk semua robot sebelum mengambil apa pun.
- Ambil halaman. Ia mengunduh HTML, mengikuti redirect, dan berhenti saat timeout.
- Render bila perlu. Jika HTML hanya kerangka kosong yang diisi JavaScript, ia memuat halaman di browser headless dan membaca hasilnya.
- Ekstrak konten utama. Langkah bergaya readability menemukan artikel atau isi dokumentasi dan membuang elemen di sekitarnya.
- Konversi dan deskripsikan. Ia menulis konten sebagai Markdown dan menambahkan metadata: judul, penulis, tanggal publikasi, bahasa, dan jumlah kata.
Pemanggil menerima satu objek JSON dengan Markdown di dalamnya. Model bisa langsung membacanya, atau pipeline bisa memecahnya menjadi chunk untuk vector store.
Mengapa model butuh Markdown, bukan HTML?
Karena sebagian besar halaman HTML bukan konten. Menu, tag script, kode tracking, dan markup layout memakai token yang harus dibaca model dan harus Anda bayar. Markdown mempertahankan bagian yang bermakna: heading, list, tabel, link, dan emphasis.
Cloudflare memberi contoh konkret saat meluncurkan fitur "Markdown for Agents" pada 12 Februari 2026: satu halaman turun dari 16.180 token sebagai HTML menjadi 3.150 token sebagai Markdown, sekitar 80% lebih sedikit. Hasilnya berbeda-beda per halaman, tetapi arahnya sama di sebagian besar halaman artikel dan dokumentasi.
Apa bedanya web reader API dengan scraping API?
Scraping API mengembalikan apa yang dikirim server; reader mengembalikan apa yang akan dibaca orang. Scraping API dibuat untuk mengambil halaman dalam skala besar, sering untuk menarik field tertentu seperti harga atau nama produk, dan biasanya mengembalikan HTML mentah atau JSON terstruktur yang Anda tentukan.
Web reader lebih sempit dan lebih tegas. Ia memutuskan apa konten utamanya, membuang sisanya, dan menulis teks bersih. Itu alat yang tepat ketika konsumen berikutnya adalah model bahasa, indeks pencarian, atau orang yang membaca ringkasan. Itu alat yang salah ketika Anda butuh setiap field dari grid produk; untuk itu Anda perlu HTML lengkap atau ekstraksi berbasis schema.
Apa bedanya dengan search API?
Search API menjawab "halaman mana yang membahas ini?"; reader menjawab "apa isi halaman ini?". Search mengembalikan daftar URL dengan judul dan snippet untuk sebuah kueri. Reader mengambil salah satu URL itu dan mengembalikan teks lengkapnya.
Agent sering merangkai keduanya: search untuk menemukan halaman kandidat, lalu membaca tiga atau empat yang terbaik untuk menjawab dengan sitasi. Memisahkan langkah-langkahnya memungkinkan Anda memilih berapa halaman yang dibaca, yang menghemat token dan kredit.
Bisakah saya memakai tool open-source alih-alih API?
Bisa, dan banyak tim memulai dengan cara itu. Readability dari Mozilla mengekstrak konten utama halaman dalam konteks browser; Trafilatura melakukan ekstraksi di Python; MarkItDown dari Microsoft mengonversi dokumen, termasuk PDF, ke Markdown; Crawl4AI menggabungkan crawl dan output Markdown.
Library adalah bagian yang mudah. Menjalankannya di produksi berarti meng-hosting browser headless untuk halaman JavaScript, memeriksa robots.txt, menangani timeout, redirect, dan character set, mengonversi PDF, dan menjaga semuanya tetap ter-patch. API layak dipakai ketika Anda lebih memilih membayar per halaman daripada menjalankan mesin itu; library layak dipakai ketika volumenya stabil dan Anda punya waktu untuk mengoperasikannya.
Bagaimana web reader API menagih?
Tiga model penagihan umum pada 2026. Paket berbasis kredit menagih sejumlah kredit tetap per halaman: halaman pricing Firecrawl, dibaca pada 22 Oktober 2026, menghitung 1 kredit per halaman yang di-scrape dan 4 kredit tambahan per halaman untuk format JSON-nya. Penagihan berbasis token menagih teks yang dikembalikan: Jina Reader memakai harga ini sejak 6 Mei 2025 dan memberi 10 juta token gratis untuk setiap API key baru. Paket bulanan mereset kreditnya setiap siklus, sedangkan pack prabayar menyimpannya.
WebReaderAPI memakai kredit prabayar yang tidak kedaluwarsa: 1 kredit = 1 halaman dibaca tanpa browser; 2 kredit jika halaman memerlukan browser untuk merender JavaScript. Permintaan yang gagal, atau yang ditolak oleh robots.txt suatu situs, tidak dikenai biaya. 10.000 halaman biayanya US$3,75 dan tarifnya turun menjadi US$0,07/1K halaman pada 5.000.000 halaman, per Oktober 2026.
Apa yang harus saya periksa sebelum memilih web reader API?
Uji pada dua puluh URL Anda sendiri dan perhatikan enam hal:
- Kualitas ekstraksi. Apakah Markdown mempertahankan artikel dan membuang sisanya, termasuk tabel dan blok kode?
- JavaScript. Apakah halaman yang dibangun di browser kembali dengan teks, dan berapa biaya rendering-nya?
- PDF. Apakah didukung, dan bagaimana halamannya dihitung?
- Pilihan pemilik situs. Apakah layanan menghormati robots.txt dan preferensi AI yang dideklarasikan, dan menyatakannya di dokumentasinya?
- Kegagalan. Apakah halaman yang gagal dan ditolak tetap ditagih?
- Kontrol anggaran. Bisakah Anda membatasi panjang setiap halaman, dan apakah kredit kedaluwarsa?
Perbandingan harga web reader API kami menampilkan penyedia utama secara berdampingan lengkap dengan tanggal.
Web reader API: pertanyaan umum
Apakah web reader API sama dengan mode reader di browser?
Idenya sama, mempertahankan artikel dan membuang hal-hal yang mengganggu, tetapi ia berjalan di server, mengembalikan Markdown dan metadata sebagai JSON, dan bekerja untuk ribuan URL. Mode reader ditujukan untuk satu orang yang membaca satu halaman.
Bisakah web reader API membaca situs web apa pun?
Tidak. Layanan ini membaca halaman publik yang mengizinkannya. Layanan yang cermat melewati halaman yang tidak diizinkan robots.txt dan mengembalikan jawaban situs ketika situs menolak. Halaman di balik login atau paywall tidak dapat dijangkau secara desain.
Apakah web reader menyimpan gambar?
Biasanya tidak secara default, karena model sebagian besar membutuhkan teks. Dengan WebReaderAPI, include_images=true menyimpan gambar sebagai tautan gambar Markdown beserta alt text-nya.
Berapa lama waktu untuk membaca satu halaman?
Tergantung pada situs dan apakah halaman memerlukan browser. Kami tidak mempublikasikan waktu respons sampai kami mengukurnya pada sampel publik; rencanakan timeout Anda berdasarkan parameter timeout, yang mencapai 60 detik.
Apakah saya perlu akun dengan ID untuk menggunakan WebReaderAPI?
Tidak. WebReaderAPI tidak meminta ID, tidak meminta selfie, dan tidak meminta dokumen. Login Anda adalah nomor akun, dan pembayaran dilakukan dengan BTC, USDT, USDC, ETH, SOL, LTC.
Sumber (3)
- Memperkenalkan Markdown for Agents — Cloudflare (2026-02-12)
- Harga Firecrawl — Firecrawl (read 2026-10-22)
- Reader API — Jina AI (Elastic) (read 2026-10-22)