Uji
10.000 halaman
US$3,75
US$0,38/1K halaman
- Coba dengan URL asli Anda
- API yang sama dengan paket terbesar
- Kredit tidak pernah kedaluwarsa
Jawaban singkat
API mana yang mengubah halaman web menjadi Markdown bersih untuk LLM?
Web page to Markdown API mengambil halaman, mempertahankan konten utamanya, dan mengembalikannya sebagai Markdown. WebReaderAPI melakukannya dalam satu permintaan: GET https://webreaderapi.com/api/v1/read?url=… mengembalikan artikel beserta heading, daftar, tabel, dan link, plus judul, penulis, tanggal, dan jumlah kata, dengan biaya satu kredit per halaman mulai US$0,07/1K halaman per Oktober 2026. robots.txt dipatuhi. Tanpa KYC; bayar dengan kripto.
URL to Markdown API sekilas
| Endpoint | GET https://webreaderapi.com/api/v1/read?url=… (atau POST dengan JSON body) |
|---|---|
| Output | Markdown bersih dari konten utama halaman (atau teks biasa, atau HTML bersih), dengan judul, deskripsi, penulis, tanggal publikasi, bahasa dan jumlah kata; tautan dan gambar berdasarkan permintaan |
| JavaScript | Render JavaScript di browser headless saat halaman memerlukannya (render=auto), atau selalu, atau tidak pernah |
| Penagihan | 1 kredit = 1 halaman dibaca tanpa browser; 2 kredit jika halaman memerlukan browser untuk merender JavaScript. Permintaan yang gagal, atau yang ditolak oleh robots.txt suatu situs, tidak dikenai biaya |
| Token budget | max_chars memotong Markdown sesuai panjang yang bisa diterima model Anda |
| robots.txt | Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya |
| Harga | US$3,75 untuk 10.000 halaman, US$21,75 untuk 100.000 halaman, mulai US$0,07/1K halaman di 5.000.000 halaman |
| Pembayaran | BTC, USDT, USDC, ETH, SOL, LTC, dari top-up US$25; tanpa KYC |
Mengapa mengubah halaman web menjadi Markdown sebelum memberikannya ke model?
Markdown mempertahankan struktur yang dibutuhkan model dan membuang markup yang tidak dibutuhkannya. Halaman artikel tipikal membawa navigasi, skrip, tag pelacak, pemberitahuan cookie, dan widget artikel terkait di sekitar beberapa ratus kata teks. Jika dikirim sebagai HTML mentah, sebagian besar token yang Anda bayar adalah markup.
Markdown mempertahankan heading sebagai #, daftar sebagai -, tabel sebagai pipa, dan tautan sebagai [text](url). Model tetap dapat melihat kalimat mana yang termasuk bagian mana, mengutip tautan sumber, dan memecah teks menjadi chunk berdasarkan heading-nya. Teks yang sama dalam prosa biasa kehilangan struktur itu; teks yang sama dalam HTML memakan jauh lebih banyak token.
Apa yang dipertahankan API, dan apa yang dihapusnya?
Dengan main_content=true, nilai default, API mempertahankan bagian halaman yang dicari pembaca dan menghapus sisanya.
| Dipertahankan | Dihapus |
|---|---|
| Judul dan heading | Navigasi situs dan menu |
| Paragraf, kutipan, dan daftar | Banner cookie dan persetujuan |
| Tabel, sebagai tabel Markdown | Iklan dan widget promosi |
| Blok kode, dengan bahasanya bila ditampilkan | Sidebar dan daftar artikel terkait |
| Tautan di dalam teks | Footer dan boilerplate legal |
Gambar, hanya dengan include_images=true | Tombol share dan formulir komentar |
Setel main_content=false untuk mengubah seluruh halaman, misalnya halaman beranda atau daftar produk yang semuanya penting. Setel format=text untuk teks biasa tanpa Markdown, atau format=html untuk HTML bersih dari konten utama.
curl -G "https://webreaderapi.com/api/v1/read" \
-H "Authorization: Bearer $WEBREADER_API_KEY" \
--data-urlencode "url=https://example.com/blog/pour-over-coffee" \
-d format=markdown -d max_chars=20000import os
import requests
resp = requests.get(
"https://webreaderapi.com/api/v1/read",
headers={"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]},
params={"url": "https://example.com/blog/pour-over-coffee", "format": "markdown"},
timeout=90,
)
resp.raise_for_status()
page = resp.json()
print(page["title"], "|", page.get("author"), "|", page.get("published_at"))
print(page["word_count"], "words,", page["credits_used"], "credit(s)")
print(page["markdown"][:500])
Bagaimana dengan halaman yang dibuat dengan JavaScript?
Banyak halaman mengirim hampir tanpa teks di HTML pertamanya dan membangun konten di browser. Dengan render=auto, nilai default, API terlebih dahulu membaca HTML mentah; jika teksnya terlalu sedikit, API membuka halaman di browser headless dan membaca hasilnya. Respons menyebutkan mana yang terjadi di rendered.
Halaman yang memerlukan browser memakan dua kredit, bukan satu. Jika Anda tahu suatu situs selalu memerlukannya, setel render=true; jika Anda hanya ingin apa yang dikirim server, setel render=false dan tidak pernah membayar kredit kedua.
Apa yang terjadi ketika situs tidak ingin dibaca?
Kami menghormati pilihannya dan Anda tidak dikenakan biaya. Crawler kami mengidentifikasi dirinya sebagai WebReaderAPI dan memeriksa robots.txt sebelum setiap pembacaan. Halaman yang tidak diizinkan untuk token kami, atau untuk semua robot, menghasilkan 403 blocked_by_robots. Situs yang mendeklarasikan Content-Signal: ai-input=no menghasilkan 403 blocked_by_site_policy.
Jika situs menolak permintaan dengan cara lain, seperti status 403, halaman tantangan, atau login wall, Anda menerima 502 target_refused dengan status dari situs itu sendiri. Jika suatu situs menolak permintaan kami, kami mengembalikan jawabannya: kami tidak pernah menyelesaikan CAPTCHA, masuk ke akun, atau mencoba mengatasi blokir atau paywall. Halaman crawler kami menjelaskan semua ini kepada pemilik situs, lengkap dengan User-Agent yang tepat.
Berapa banyak halaman yang dibutuhkan proyek saya?
Hitung satu kredit per halaman, dua untuk halaman yang memerlukan browser. Beberapa volume tipikal:
- Agen AI yang membaca 5 halaman per tugas dan menjalankan 100 tugas sehari membaca sekitar 15.000 halaman per bulan: 50.000 halaman (US$14,25) bertahan lebih dari tiga bulan.
- Indeks RAG dari tiga situs dokumentasi dengan masing-masing 2.000 halaman adalah 6.000 halaman, lalu penyegaran mingguan untuk halaman yang berubah.
- Korpus riset berisi 400.000 artikel berita dan blog masuk dalam 500.000 halaman (US$50).
Kredit tidak pernah kedaluwarsa, jadi pack yang dibeli untuk crawl sekali pakai tetap menyimpan nilai sisanya untuk pekerjaan berikutnya.
Berapa biaya URL to Markdown API?
10.000 halaman biayanya US$3,75, 100.000 halaman biayanya US$21,75, dan 1.000.000 halaman biayanya US$74,25, per Oktober 2026. Halaman yang gagal dan halaman yang ditolak robots.txt gratis. Lihat semua pack.
Starter
50.000 halaman
US$14,25
US$0,28/1K halaman
- Agen AI atau prototipe RAG
- Crawl situs dokumentasi
- Kredit tidak pernah kedaluwarsa
Build
100.000 halaman
US$21,75
US$0,22/1K halaman
- Agen produksi dan pipeline RAG
- Job batch dan crawl
- Kredit tidak pernah kedaluwarsa
Volume
1.000.000 halaman
US$74,25
US$0,07/1K halaman
- Dataset dan korpus riset
- Konkurensi lebih tinggi sesuai permintaan
- Kredit tidak pernah kedaluwarsa
Di setiap paket: Ekstraksi konten utama · Rendering JavaScript saat diperlukan · Halaman gagal dan ditolak tidak ditagih · Kredit tidak pernah kedaluwarsa
URL to Markdown API: pertanyaan umum
Apakah Markdown mempertahankan tabel dan blok kode?
Ya. Tabel HTML menjadi tabel Markdown, dan blok kode tetap di dalam fence, dengan bahasanya bila halaman menandainya. Tabel yang sangat kompleks, seperti yang memiliki sel gabungan, diratakan baris demi baris.
Bisakah saya mendapatkan seluruh halaman alih-alih hanya artikelnya?
Bisa. Setel main_content=false dan API mengubah semua yang ada di halaman, termasuk navigasi dan footer. Ini cocok untuk halaman beranda, halaman kategori, dan daftar produk, di mana detektor konten utama akan membuang bagian yang berguna.
Bagaimana cara menjaga halaman tetap dalam context window model saya?
Gunakan max_chars, antara 1.000 dan 500.000 karakter, untuk memotong Markdown pada panjang tertentu. Field word_count memberi tahu Anda seberapa panjang artikel lengkapnya, sehingga agen Anda dapat memutuskan apakah perlu membaca lebih lanjut.
Apakah bisa membaca halaman di balik login atau paywall?
Tidak. WebReaderAPI hanya membaca halaman publik. API tidak pernah login ke akun dan tidak pernah mencoba melewati paywall atau blokir; halaman seperti itu mengembalikan penolakan dari situs dan tidak dikenakan biaya.
Apakah saya perlu ID atau kartu untuk mendapatkan API key?
Tidak. WebReaderAPI tidak meminta ID, selfie, dokumen perusahaan, maupun kartu. Login dengan nomor akun; email opsional. Anda mengisi saldo dari US$25 dalam BTC, USDT, USDC, ETH, SOL, LTC.