Glosarium web reader API

Bahasa markup untuk halaman web. HTML mentah mencampur teks yang Anda inginkan dengan tag, skrip, dan styling, sehingga kurang enak dibaca oleh model bahasa.

Document Object Model: pohon elemen yang dibangun browser dari HTML lalu diubah dengan JavaScript. Halaman yang dirender dibaca dari DOM, bukan dari HTML mentah.

Menjalankan skrip halaman di browser agar konten yang dimuat setelah respons pertama muncul. WebReaderAPI melakukannya saat diperlukan (render=auto), dengan biaya dua kredit, bukan satu.

Mesin browser sungguhan yang berjalan tanpa layar, dikendalikan oleh perangkat lunak. Beginilah halaman yang berat JavaScript dirender di server.

Menemukan bagian halaman yang dicari pembaca, seperti artikel atau dokumentasi, dan meninggalkan semua yang ada di sekitarnya. Di API kami ini adalah main_content=true, yang default.

Sekaligus kualitas teks dan nama keluarga algoritma terkenal yang menilai blok halaman untuk menemukan konten utama, seperti mode baca di browser.

Teks yang berulang di setiap halaman situs: menu, pemberitahuan cookie, sidebar, footer, tombol berbagi. Menghapusnya adalah sebagian besar pekerjaan sebuah web reader.

Format teks biasa di mana # menandai heading, - item daftar, dan [text](url) tautan. Model membacanya dengan baik dan jauh lebih hemat token daripada HTML.

Fakta tentang halaman, bukan teksnya: judul, deskripsi, penulis, tanggal terbit, bahasa. WebReaderAPI mengembalikannya di samping Markdown ketika halaman mencantumkannya.

Mengubah teks file PDF menjadi Markdown. File PDF hingga 20 MB dan 100 halaman dikonversi menjadi Markdown, dengan 1 kredit per blok 10 halaman yang dimulai.

File XML tempat sebuah situs mendaftar halaman-halamannya. Tugas crawl dimulai darinya jika ada, sehingga halaman ditemukan lebih cepat dan dengan lebih sedikit permintaan.

Penghalang yang hanya menampilkan konten kepada pelanggan. WebReaderAPI tidak pernah membaca di baliknya.

Program yang mengambil halaman web untuk suatu tujuan. Milik kami hanya mengambil halaman yang diminta pelanggan, dan halaman bot menjelaskannya.

Nama yang dikirim klien pada setiap permintaan. Milik kami adalah WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), sehingga pemilik situs selalu tahu siapa yang meminta.

File di root sebuah situs yang memberi tahu crawler jalur mana yang boleh mereka ambil, distandarkan sebagai RFC 9309. Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya.

Baris robots.txt yang meminta crawler menunggu sejumlah detik di antara permintaan. Tugas crawl kami mematuhinya.

Kebijakan untuk baris robots.txt seperti Content-Signal: search=yes, ai-input=no, yang menyatakan bagaimana konten sebuah situs boleh digunakan, termasuk oleh AI.

Pengaturan Content Signals yang mencakup penggunaan halaman sebagai input untuk jawaban AI. Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda.

File Markdown yang diterbitkan sebagian situs di /llms.txt untuk memberi model bahasa panduan singkat tentang konten dan halaman utama mereka.

Membaca banyak halaman dari satu situs dengan mengikuti tautan dan sitemapnya. Crawl satu situs web per job, hingga 10.000 halaman, mengikuti sitemap, robots.txt dan Crawl-delay-nya.

Daftar URL yang dikirim dalam satu permintaan dan diproses di latar belakang. Hingga 100 URL per batch job.

Status yang dikirim server untuk menolak permintaan. Ketika sebuah situs menjawab 403 kepada crawler kami, API mengembalikan target_refused dan tidak mengenakan biaya apa pun.

Status untuk terlalu banyak permintaan. Dari sebuah situs, artinya memperlambat; dari API kami (concurrency_limit), artinya akun Anda telah mencapai batas pembacaan bersamaan.

Menunggu lebih lama setelah setiap percobaan gagal (misalnya 1, 2, lalu 4 detik) sebelum mencoba lagi, agar server yang sibuk tidak dibanjiri.

Unit yang dibaca dan ditagih oleh model bahasa, kira-kira satu kata pendek atau sebagiannya. Markdown yang bersih menggunakan jauh lebih sedikit token daripada halaman yang sama dalam HTML.

Jumlah teks yang dapat diterima model sekaligus. Parameter max_chars menjaga setiap halaman tetap dalam batas yang Anda tetapkan.

Retrieval-augmented generation: model menjawab dari dokumen yang diambil untuk pertanyaan tersebut. Web reader memasok dokumen tersebut dari halaman live.

Memecah dokumen panjang menjadi bagian-bagian sebelum diindeks. Heading Markdown memberikan titik pemisah yang alami.

Daftar angka yang merepresentasikan makna suatu bagian, digunakan untuk menemukan bagian yang mirip dengan sebuah pertanyaan.

Database yang menyimpan embedding dan mengembalikan bagian terdekat dengan sebuah kueri, tempat biasa halaman web yang di-chunk dalam sistem RAG.

Kemampuan model untuk meminta aplikasi menjalankan sebuah fungsi, seperti membaca URL, dan menggunakan hasilnya. Lihat OpenAI function calling.

Model Context Protocol, cara standar untuk memasang tool ke klien AI seperti Claude Desktop atau Cursor. Halaman MCP kami menunjukkan fetch tool yang dibangun di atas API.

Unit penggunaan API. 1 kredit = 1 halaman dibaca tanpa browser; 2 kredit jika halaman memerlukan browser untuk merender JavaScript. Permintaan yang gagal, atau yang ditolak oleh robots.txt suatu situs, tidak dikenai biaya.

Berapa banyak pembacaan yang dapat dijalankan akun Anda pada saat yang sama. Setiap akun memiliki batas berapa banyak halaman yang dibaca sekaligus; dashboard Anda menampilkannya, dan support dapat menaikkannya.

Know your customer: pemeriksaan identitas yang diwajibkan sebagian layanan, seperti dokumen identitas atau selfie. WebReaderAPI tidak meminta apa pun.

Cryptocurrency yang mengikuti mata uang seperti dolar AS. USDT dan USDC adalah dua yang diterima untuk top-up; daftar lengkap koin ada di BTC, USDT, USDC, ETH, SOL, LTC.