# Glosarium web reader API > Glosarium 36 istilah untuk membaca halaman web dengan WebReaderAPI: Markdown, konten utama, rendering JavaScript, robots.txt, RAG, MCP, dan kredit. - URL: https://webreaderapi.com/id/glossary/ - Terakhir diperbarui: 2026-10-22 - Penerbit: WebReaderAPI (https://webreaderapi.com) Kata-kata yang Anda temui saat mengubah halaman web menjadi teks untuk model bahasa, dari sisi HTML hingga sisi AI, dengan tautan ke tempat masing-masing istilah dibahas di dokumentasi. **Jawaban singkat — Apa arti istilah-istilah utama web reader API?** Web reader API mengambil halaman, mempertahankan **konten utama**-nya, dan mengembalikannya sebagai **Markdown** yang dapat dibaca model. **WebReaderAPI** menambahkan **rendering JavaScript** saat halaman memerlukan browser, mematuhi **robots.txt** dan **Content Signals**, dan menagih satu **kredit** per halaman, mulai dari US$0,07/1K halaman per Oktober 2026. 36 istilah di bawah menjelaskan sisanya. ## Dari sisi halaman web **HTML** — Bahasa markup untuk halaman web. HTML mentah mencampur teks yang Anda inginkan dengan tag, skrip, dan styling, sehingga kurang enak dibaca oleh model bahasa. **DOM** — Document Object Model: pohon elemen yang dibangun browser dari HTML lalu diubah dengan JavaScript. Halaman yang dirender dibaca dari DOM, bukan dari HTML mentah. **JavaScript rendering** — Menjalankan skrip halaman di browser agar konten yang dimuat setelah respons pertama muncul. WebReaderAPI melakukannya saat diperlukan (`render=auto`), dengan biaya dua kredit, bukan satu. **Browser headless** — Mesin browser sungguhan yang berjalan tanpa layar, dikendalikan oleh perangkat lunak. Beginilah halaman yang berat JavaScript dirender di server. **Mengekstrak konten utama** — Menemukan bagian halaman yang dicari pembaca, seperti artikel atau dokumentasi, dan meninggalkan semua yang ada di sekitarnya. Di API kami ini adalah `main_content=true`, yang default. **Readability** — Sekaligus kualitas teks dan nama keluarga algoritma terkenal yang menilai blok halaman untuk menemukan konten utama, seperti mode baca di browser. **Boilerplate** — Teks yang berulang di setiap halaman situs: menu, pemberitahuan cookie, sidebar, footer, tombol berbagi. Menghapusnya adalah sebagian besar pekerjaan sebuah web reader. **Markdown** — Format teks biasa di mana `#` menandai heading, `-` item daftar, dan `[text](url)` tautan. Model membacanya dengan baik dan jauh lebih hemat token daripada HTML. **Metadata** — Fakta tentang halaman, bukan teksnya: judul, deskripsi, penulis, tanggal terbit, bahasa. WebReaderAPI mengembalikannya di samping Markdown ketika halaman mencantumkannya. **Ekstraksi PDF** — Mengubah teks file PDF menjadi Markdown. File PDF hingga 20 MB dan 100 halaman dikonversi menjadi Markdown, dengan 1 kredit per blok 10 halaman yang dimulai. **Sitemap** — File XML tempat sebuah situs mendaftar halaman-halamannya. Tugas crawl dimulai darinya jika ada, sehingga halaman ditemukan lebih cepat dan dengan lebih sedikit permintaan. **Paywall** — Penghalang yang hanya menampilkan konten kepada pelanggan. WebReaderAPI tidak pernah membaca di baliknya. ## Dari sisi crawler **Crawler** — Program yang mengambil halaman web untuk suatu tujuan. Milik kami hanya mengambil halaman yang diminta pelanggan, dan [halaman bot](https://webreaderapi.com/id/bot/) menjelaskannya. **User agent** — Nama yang dikirim klien pada setiap permintaan. Milik kami adalah `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`, sehingga pemilik situs selalu tahu siapa yang meminta. **robots.txt** — File di root sebuah situs yang memberi tahu crawler jalur mana yang boleh mereka ambil, distandarkan sebagai RFC 9309. Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya. **Crawl-delay** — Baris robots.txt yang meminta crawler menunggu sejumlah detik di antara permintaan. Tugas crawl kami mematuhinya. **Content Signals** — Kebijakan untuk baris robots.txt seperti `Content-Signal: search=yes, ai-input=no`, yang menyatakan bagaimana konten sebuah situs boleh digunakan, termasuk oleh AI. **ai-input** — Pengaturan Content Signals yang mencakup penggunaan halaman sebagai input untuk jawaban AI. Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda. **llms.txt** — File Markdown yang diterbitkan sebagian situs di `/llms.txt` untuk memberi model bahasa panduan singkat tentang konten dan halaman utama mereka. **Crawl** — Membaca banyak halaman dari satu situs dengan mengikuti tautan dan sitemapnya. Crawl satu situs web per job, hingga 10.000 halaman, mengikuti sitemap, robots.txt dan Crawl-delay-nya. **Batch job** — Daftar URL yang dikirim dalam satu permintaan dan diproses di latar belakang. Hingga 100 URL per batch job. **HTTP 403** — Status yang dikirim server untuk menolak permintaan. Ketika sebuah situs menjawab 403 kepada crawler kami, API mengembalikan `target_refused` dan tidak mengenakan biaya apa pun. **HTTP 429** — Status untuk terlalu banyak permintaan. Dari sebuah situs, artinya memperlambat; dari API kami (`concurrency_limit`), artinya akun Anda telah mencapai batas pembacaan bersamaan. **Exponential backoff** — Menunggu lebih lama setelah setiap percobaan gagal (misalnya 1, 2, lalu 4 detik) sebelum mencoba lagi, agar server yang sibuk tidak dibanjiri. ## Dari sisi AI **Token** — Unit yang dibaca dan ditagih oleh model bahasa, kira-kira satu kata pendek atau sebagiannya. Markdown yang bersih menggunakan jauh lebih sedikit token daripada halaman yang sama dalam HTML. **Context window** — Jumlah teks yang dapat diterima model sekaligus. Parameter `max_chars` menjaga setiap halaman tetap dalam batas yang Anda tetapkan. **RAG** — Retrieval-augmented generation: model menjawab dari dokumen yang diambil untuk pertanyaan tersebut. Web reader memasok dokumen tersebut dari halaman live. **Chunking** — Memecah dokumen panjang menjadi bagian-bagian sebelum diindeks. Heading Markdown memberikan titik pemisah yang alami. **Embedding** — Daftar angka yang merepresentasikan makna suatu bagian, digunakan untuk menemukan bagian yang mirip dengan sebuah pertanyaan. **Vector store** — Database yang menyimpan embedding dan mengembalikan bagian terdekat dengan sebuah kueri, tempat biasa halaman web yang di-chunk dalam sistem RAG. **Tool calling** — Kemampuan model untuk meminta aplikasi menjalankan sebuah fungsi, seperti membaca URL, dan menggunakan hasilnya. Lihat [OpenAI function calling](https://webreaderapi.com/id/docs/openai/). **MCP** — Model Context Protocol, cara standar untuk memasang tool ke klien AI seperti Claude Desktop atau Cursor. [Halaman MCP](https://webreaderapi.com/id/docs/mcp/) kami menunjukkan fetch tool yang dibangun di atas API. ## Dari sisi penagihan **Kredit** — Unit penggunaan API. 1 kredit = 1 halaman dibaca tanpa browser; 2 kredit jika halaman memerlukan browser untuk merender JavaScript. Permintaan yang gagal, atau yang ditolak oleh robots.txt suatu situs, tidak dikenai biaya. **Concurrency** — Berapa banyak pembacaan yang dapat dijalankan akun Anda pada saat yang sama. Setiap akun memiliki batas berapa banyak halaman yang dibaca sekaligus; dashboard Anda menampilkannya, dan support dapat menaikkannya. **KYC** — Know your customer: pemeriksaan identitas yang diwajibkan sebagian layanan, seperti dokumen identitas atau selfie. WebReaderAPI tidak meminta apa pun. **Stablecoin** — Cryptocurrency yang mengikuti mata uang seperti dolar AS. USDT dan USDC adalah dua yang diterima untuk top-up; daftar lengkap koin ada di BTC, USDT, USDC, ETH, SOL, LTC. --- WebReaderAPI: WebReaderAPI adalah API pembaca web untuk AI agent yang mengubah halaman web publik apa pun menjadi Markdown bersih, dibayar dengan kripto tanpa unggah identitas. Kredit prabayar mulai dari US$0,07/1K halaman tidak pernah kedaluwarsa, dan robots.txt dihormati. Tanpa KYC — tanpa identitas, tanpa selfie, tanpa dokumen. Bayar dengan kripto.