Uji
10.000 halaman
US$3,75
US$0,38/1K halaman
- Coba dengan URL asli Anda
- API yang sama dengan paket terbesar
- Kredit tidak pernah kedaluwarsa
Jawaban singkat
Apa cara terbaik memberi agen AI sebuah web fetch tool?
Bungkus web reader API sebagai tool yang menerima URL dan mengembalikan konten utama halaman sebagai Markdown, dipotong pada panjang tertentu. WebReaderAPI melakukan pembacaan, merender JavaScript bila perlu, menghormati robots.txt, dan mengenakan satu kredit per halaman mulai dari US$0,07/1K halaman per Oktober 2026. Kode tool siap pakai mencakup MCP, OpenAI function calling, LangChain, n8n, dan OpenClaw. Tanpa KYC; kripto.
WebReaderAPI sebagai tool agen
| Alat | read_url(url, max_chars) memanggil https://webreaderapi.com/api/v1/read |
|---|---|
| Mengembalikan | Markdown konten utama, plus judul, penulis, tanggal, dan jumlah kata |
| Batas panjang | max_chars, 1.000 hingga 500.000 karakter per halaman |
| Halaman JavaScript | Render JavaScript di browser headless saat halaman memerlukannya (render=auto), atau selalu, atau tidak pernah |
| Penolakan | Dikembalikan sebagai error yang jelas, tidak pernah dikenakan biaya |
| Integrasi | MCP, OpenAI, LangChain dan LlamaIndex, n8n, OpenClaw |
| Harga | US$3,75 seharga 10.000 halaman; kredit tidak pernah kedaluwarsa |
Mengapa agent butuh reader dan bukan HTML mentah?
Karena HTML mentah menghabiskan context window untuk hal-hal yang tidak dibutuhkan model. Artikel berita atau halaman dokumentasi datang terbungkus navigasi, script, banner persetujuan, dan tautan terkait. Jika diteruskan apa adanya, konten itu mendesak percakapan dan membuat model mengutip menu.
Reader menyelesaikan tiga masalah sekaligus. Reader hanya menyimpan konten utama, merender halaman yang kosong sampai JavaScript berjalan, dan mengubah PDF menjadi teks. Agent menerima satu blok Markdown ringkas dengan judul dan tanggal yang bisa dikutip.
Mengapa tool fetch bawaan kadang gagal?
Terutama karena situs menolak lalu lintas otomatis. Sejak 1 Juli 2025, Cloudflare memblokir crawler AI secara default untuk domain baru, dan mulai 15 September 2026 preset-nya memblokir lalu lintas "Agent" pada halaman beriklan di domain baru. Tool bawaan di coding agent dan asisten menghadapi penolakan itu seperti klien lain.
Kegagalan lain bersifat teknis. Dokumentasi OpenClaw, dibaca pada 22 Oktober 2026, menyebutkan web_fetch bawaannya mengekstrak konten dengan Readability, tidak menjalankan JavaScript, dan membatasi output pada 20.000 karakter. Halaman yang dibangun di browser, dokumen panjang, server lambat, dan rate limit semuanya membuat tool seperti ini tersandung. Reader yang merender halaman memperbaiki kasus JavaScript; caching dan kesabaran memperbaiki sisanya. Penolakan adalah keputusan pemilik situs. Panduan kami tentang error 403 web fetch menjelaskan setiap kasus.
Mengapa tool ini disebut read_url dan bukan web_fetch?
Untuk menghindari bentrok dengan tool yang sudah dimiliki agent. Claude Code dan OpenClaw sama-sama menyertakan tool bawaan bernama web_fetch. Tool kedua dengan nama yang sama membingungkan model tentang tool mana yang sedang dipanggil. Menamai milik kami read_url membuat keduanya tetap tersedia: agent dapat memakai fetcher bawaannya untuk pengecekan cepat dan read_url saat butuh Markdown bersih, PDF, atau halaman JavaScript.
Definisi tool di halaman dokumentasi kami semuanya memakai nama ini, sehingga Anda dapat berpindah antar framework tanpa mengubah prompt Anda.
import os
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
def read_url(url: str, max_chars: int = 12000) -> str:
"""Return a web page as Markdown for a model, or a short reason it was not read."""
resp = requests.get(API, headers=HEADERS, params={"url": url, "max_chars": max_chars}, timeout=90)
data = resp.json()
if resp.status_code != 200:
err = data.get("error", {})
return "Not read (" + err.get("code", "error") + "): " + err.get("message", "")
head = "# " + (data.get("title") or url) + "\nSource: " + data["final_url"]
if data.get("published_at"):
head += " | Published: " + data["published_at"]
return head + "\n\n" + data["markdown"]
if __name__ == "__main__":
print(read_url("https://example.com/blog/pour-over-coffee", max_chars=2000)[:500])
Bagaimana seharusnya agent memutuskan apa yang dibaca?
Beri batas dan aturan. Tiga kebiasaan menjaga biaya dan context tetap terkendali:
- Baca sedikit, baca dengan baik. Dua hingga empat sumber per pertanyaan biasanya cukup untuk menjawab dengan kutipan.
- Batasi setiap halaman. Mulai dengan
max_charssekitar 10.000 hingga 15.000 karakter; naikkan hanya ketikaword_countmenunjukkan jawaban kemungkinan ada lebih jauh di bawah. - Laporkan penolakan. Ketika halaman tidak terbaca, biarkan model menyebutkannya dan beralih ke sumber lain alih-alih mencoba ulang.
Tool di atas mengembalikan penolakan sebagai satu kalimat biasa, sehingga model dapat menjelaskannya kepada pengguna.
Berapa biaya menjalankan agent di WebReaderAPI?
Satu kredit per halaman, dua ketika halaman memerlukan browser. Asisten yang menjawab 100 pertanyaan sehari dan membaca 4 halaman untuk masing-masingnya membaca sekitar 12.000 halaman sebulan. 50.000 halaman (US$14,25) menutupinya selama empat bulan, per Oktober 2026.
Kredit tidak pernah kedaluwarsa, jadi agent yang sibuk satu minggu dan menganggur minggu berikutnya tidak membuang kuota bulanan. Halaman yang gagal atau yang ditolak robots.txt tidak dikenakan biaya.
Paket mana yang cocok untuk agent?
Prototipe di 10.000 halaman; beralih ke 50.000 halaman atau 100.000 halaman ketika agent melayani pengguna sungguhan. Kredit tidak pernah kedaluwarsa.
Starter
50.000 halaman
US$14,25
US$0,28/1K halaman
- Agen AI atau prototipe RAG
- Crawl situs dokumentasi
- Kredit tidak pernah kedaluwarsa
Build
100.000 halaman
US$21,75
US$0,22/1K halaman
- Agen produksi dan pipeline RAG
- Job batch dan crawl
- Kredit tidak pernah kedaluwarsa
Di setiap paket: Ekstraksi konten utama · Rendering JavaScript saat diperlukan · Halaman gagal dan ditolak tidak ditagih · Kredit tidak pernah kedaluwarsa
AI agent: pertanyaan umum
Bisakah saya menambahkan WebReaderAPI ke Claude Desktop atau Cursor?
Ya, melalui MCP server kecil yang mengekspos read_url. Halaman MCP berisi kode dan cuplikan konfigurasi; API key Anda tetap di environment variable.
Apakah ini berfungsi dengan OpenClaw?
Ya, sebagai MCP server di samping web_fetch bawaan OpenClaw. Halaman OpenClaw menunjukkan perintah dari dokumentasi OpenClaw sendiri.
Bisakah agent membaca halaman yang memblokir bot AI?
Tidak. Jika robots.txt tidak mengizinkan halaman, API mengembalikan blocked_by_robots; jika situs menolak, API mengembalikan target_refused dengan status dari situs. Keduanya tidak dikenakan biaya, dan kami tidak pernah mencoba mengakali penolakan tersebut.
Bagaimana cara mencegah halaman panjang memenuhi context window?
Setel max_chars. Markdown dipotong pada panjang itu, dan word_count memberi tahu agent seberapa panjang halaman penuh, sehingga agent dapat meminta lebih hanya saat diperlukan.
Apakah saya butuh kartu atau identitas?
Tidak. WebReaderAPI tidak meminta identitas, selfie, dokumen, maupun kartu. Pembayaran dengan BTC, USDT, USDC, ETH, SOL, LTC, dengan top-up minimum US$25.
Sumber (3)
- Siaran pers: crawler AI diblokir secara default — Cloudflare (2025-07-01)
- Blog: default baru untuk AI crawler dan agent — Cloudflare (2026-09-15)
- Alat web fetch — OpenClaw (read 2026-10-22)