# Web fetch tool untuk agen AI: baca halaman sebagai Markdown bersih

> Alat web fetch untuk agen AI: baca halaman publik sebagai Markdown lewat MCP, OpenAI tools, LangChain, atau n8n, mulai dari US$0,07/1K halaman. Kripto.

- URL: https://webreaderapi.com/id/use-cases/ai-agents/
- Terakhir diperbarui: 2026-10-22
- Penerbit: WebReaderAPI (https://webreaderapi.com)

Agen yang bisa mencari tetapi tidak bisa membaca hanya menjawab dari snippet. Beri ia tool yang mengubah URL publik mana pun menjadi Markdown pendek dan bersih, dan ia dapat membaca sumbernya, mengutipnya, dan mencantumkannya, dalam batas anggaran yang Anda tetapkan.

**Jawaban singkat — Apa cara terbaik memberi agen AI sebuah web fetch tool?**

Bungkus web reader API sebagai tool yang menerima URL dan mengembalikan konten utama halaman sebagai Markdown, dipotong pada panjang tertentu. **WebReaderAPI** melakukan pembacaan, merender JavaScript bila perlu, menghormati robots.txt, dan mengenakan satu kredit per halaman mulai dari US$0,07/1K halaman per Oktober 2026. Kode tool siap pakai mencakup MCP, OpenAI function calling, LangChain, n8n, dan OpenClaw. Tanpa KYC; kripto.

## WebReaderAPI sebagai tool agen

| Atribut | Nilai |
| --- | --- |
| Alat | `read_url(url, max_chars)` memanggil `https://webreaderapi.com/api/v1/read` |
| Mengembalikan | Markdown konten utama, plus judul, penulis, tanggal, dan jumlah kata |
| Batas panjang | `max_chars`, 1.000 hingga 500.000 karakter per halaman |
| Halaman JavaScript | Render JavaScript di browser headless saat halaman memerlukannya (render=auto), atau selalu, atau tidak pernah |
| Penolakan | Dikembalikan sebagai error yang jelas, tidak pernah dikenakan biaya |
| Integrasi | [MCP](https://webreaderapi.com/id/docs/mcp/), [OpenAI](https://webreaderapi.com/id/docs/openai/), [LangChain dan LlamaIndex](https://webreaderapi.com/id/docs/langchain/), [n8n](https://webreaderapi.com/id/docs/n8n/), [OpenClaw](https://webreaderapi.com/id/docs/openclaw/) |
| Harga | US$3,75 seharga 10.000 halaman; kredit tidak pernah kedaluwarsa |

## Mengapa agent butuh reader dan bukan HTML mentah?

Karena HTML mentah menghabiskan context window untuk hal-hal yang tidak dibutuhkan model. Artikel berita atau halaman dokumentasi datang terbungkus navigasi, script, banner persetujuan, dan tautan terkait. Jika diteruskan apa adanya, konten itu mendesak percakapan dan membuat model mengutip menu.

Reader menyelesaikan tiga masalah sekaligus. Reader hanya menyimpan konten utama, merender halaman yang kosong sampai JavaScript berjalan, dan mengubah PDF menjadi teks. Agent menerima satu blok Markdown ringkas dengan judul dan tanggal yang bisa dikutip.

## Mengapa tool fetch bawaan kadang gagal?

Terutama karena situs menolak lalu lintas otomatis. Sejak 1 Juli 2025, Cloudflare memblokir crawler AI secara default untuk domain baru, dan mulai 15 September 2026 preset-nya memblokir lalu lintas "Agent" pada halaman beriklan di domain baru. Tool bawaan di coding agent dan asisten menghadapi penolakan itu seperti klien lain.

Kegagalan lain bersifat teknis. Dokumentasi OpenClaw, dibaca pada 22 Oktober 2026, menyebutkan web_fetch bawaannya mengekstrak konten dengan Readability, tidak menjalankan JavaScript, dan membatasi output pada 20.000 karakter. Halaman yang dibangun di browser, dokumen panjang, server lambat, dan rate limit semuanya membuat tool seperti ini tersandung. Reader yang merender halaman memperbaiki kasus JavaScript; caching dan kesabaran memperbaiki sisanya. Penolakan adalah keputusan pemilik situs. [Panduan kami tentang error 403 web fetch](https://webreaderapi.com/id/guides/web-fetch-403-errors/) menjelaskan setiap kasus.

## Mengapa tool ini disebut read_url dan bukan web_fetch?

Untuk menghindari bentrok dengan tool yang sudah dimiliki agent. Claude Code dan OpenClaw sama-sama menyertakan tool bawaan bernama `web_fetch`. Tool kedua dengan nama yang sama membingungkan model tentang tool mana yang sedang dipanggil. Menamai milik kami `read_url` membuat keduanya tetap tersedia: agent dapat memakai fetcher bawaannya untuk pengecekan cepat dan `read_url` saat butuh Markdown bersih, PDF, atau halaman JavaScript.

Definisi tool di halaman dokumentasi kami semuanya memakai nama ini, sehingga Anda dapat berpindah antar framework tanpa mengubah prompt Anda.

*Python: tool read_url ringkas dengan batas panjang*

```python
import os

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}


def read_url(url: str, max_chars: int = 12000) -> str:
    """Return a web page as Markdown for a model, or a short reason it was not read."""
    resp = requests.get(API, headers=HEADERS, params={"url": url, "max_chars": max_chars}, timeout=90)
    data = resp.json()
    if resp.status_code != 200:
        err = data.get("error", {})
        return "Not read (" + err.get("code", "error") + "): " + err.get("message", "")
    head = "# " + (data.get("title") or url) + "\nSource: " + data["final_url"]
    if data.get("published_at"):
        head += " | Published: " + data["published_at"]
    return head + "\n\n" + data["markdown"]


if __name__ == "__main__":
    print(read_url("https://example.com/blog/pour-over-coffee", max_chars=2000)[:500])

```

## Bagaimana seharusnya agent memutuskan apa yang dibaca?

Beri batas dan aturan. Tiga kebiasaan menjaga biaya dan context tetap terkendali:

- **Baca sedikit, baca dengan baik.** Dua hingga empat sumber per pertanyaan biasanya cukup untuk menjawab dengan kutipan.
- **Batasi setiap halaman.** Mulai dengan `max_chars` sekitar 10.000 hingga 15.000 karakter; naikkan hanya ketika `word_count` menunjukkan jawaban kemungkinan ada lebih jauh di bawah.
- **Laporkan penolakan.** Ketika halaman tidak terbaca, biarkan model menyebutkannya dan beralih ke sumber lain alih-alih mencoba ulang.

Tool di atas mengembalikan penolakan sebagai satu kalimat biasa, sehingga model dapat menjelaskannya kepada pengguna.

## Berapa biaya menjalankan agent di WebReaderAPI?

Satu kredit per halaman, dua ketika halaman memerlukan browser. Asisten yang menjawab 100 pertanyaan sehari dan membaca 4 halaman untuk masing-masingnya membaca sekitar 12.000 halaman sebulan. 50.000 halaman (US$14,25) menutupinya selama empat bulan, per Oktober 2026.

Kredit tidak pernah kedaluwarsa, jadi agent yang sibuk satu minggu dan menganggur minggu berikutnya tidak membuang kuota bulanan. Halaman yang gagal atau yang ditolak robots.txt tidak dikenakan biaya.

## Paket mana yang cocok untuk agent?

Prototipe di 10.000 halaman; beralih ke 50.000 halaman atau 100.000 halaman ketika agent melayani pengguna sungguhan. Kredit tidak pernah kedaluwarsa.

| Paket | Jumlah | Harga | Harga per unit |
| --- | --- | --- | --- |
| Uji | 10.000 halaman | US$3,75 | US$0,38/1K halaman |
| Starter | 50.000 halaman | US$14,25 | US$0,28/1K halaman |
| Build | 100.000 halaman | US$21,75 | US$0,22/1K halaman |

Di setiap paket: Ekstraksi konten utama · Rendering JavaScript saat diperlukan · Halaman gagal dan ditolak tidak ditagih · Kredit tidak pernah kedaluwarsa

**Sebelum Anda membayar**

- Minimum top-up US$25. Isi saldo sekali dengan kripto, lalu beli paket apa pun dari saldo Anda.
- Saldo Anda tidak memiliki tanggal kedaluwarsa dan dapat digunakan untuk membeli kredit halaman kapan saja. Jika sebuah paket berharga kurang dari minimum top-up, jumlah yang Anda tambahkan hanya untuk mencapai minimum tersebut dapat dikembalikan atas permintaan dalam 30 hari sejak pembayaran, dalam USDT atau USDC, selama belum Anda belanjakan. Saldo lainnya tidak dikembalikan kecuali hukum menentukan lain.
- Dikreditkan setelah pembayaran Anda diperiksa di blockchain. Waktu konfirmasi jaringan yang umum: BTC ≈ 20 mnt · USDT TRC-20 ≈ 1 mnt · USDT ERC-20 ≈ 5 mnt · USDC ERC-20 ≈ 5 mnt · ETH ≈ 5 mnt · SOL ≈ 1 mnt · LTC ≈ 15 mnt

## AI agent: pertanyaan umum

### Bisakah saya menambahkan WebReaderAPI ke Claude Desktop atau Cursor?

Ya, melalui MCP server kecil yang mengekspos `read_url`. [Halaman MCP](https://webreaderapi.com/id/docs/mcp/) berisi kode dan cuplikan konfigurasi; API key Anda tetap di environment variable.

### Apakah ini berfungsi dengan OpenClaw?

Ya, sebagai MCP server di samping web_fetch bawaan OpenClaw. [Halaman OpenClaw](https://webreaderapi.com/id/docs/openclaw/) menunjukkan perintah dari dokumentasi OpenClaw sendiri.

### Bisakah agent membaca halaman yang memblokir bot AI?

Tidak. Jika robots.txt tidak mengizinkan halaman, API mengembalikan `blocked_by_robots`; jika situs menolak, API mengembalikan `target_refused` dengan status dari situs. Keduanya tidak dikenakan biaya, dan kami tidak pernah mencoba mengakali penolakan tersebut.

### Bagaimana cara mencegah halaman panjang memenuhi context window?

Setel `max_chars`. Markdown dipotong pada panjang itu, dan `word_count` memberi tahu agent seberapa panjang halaman penuh, sehingga agent dapat meminta lebih hanya saat diperlukan.

### Apakah saya butuh kartu atau identitas?

Tidak. WebReaderAPI tidak meminta identitas, selfie, dokumen, maupun kartu. Pembayaran dengan BTC, USDT, USDC, ETH, SOL, LTC, dengan top-up minimum US$25.

## Sumber

1. [Siaran pers: crawler AI diblokir secara default](https://www.cloudflare.com/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) — Cloudflare (2025-07-01)
2. [Blog: default baru untuk AI crawler dan agent](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — Cloudflare (2026-09-15)
3. [Alat web fetch](https://docs.openclaw.ai/tools/web-fetch.md) — OpenClaw (read 2026-10-22)

---

WebReaderAPI: WebReaderAPI adalah API pembaca web untuk AI agent yang mengubah halaman web publik apa pun menjadi Markdown bersih, dibayar dengan kripto tanpa unggah identitas. Kredit prabayar mulai dari US$0,07/1K halaman tidak pernah kedaluwarsa, dan robots.txt dihormati. Tanpa KYC — tanpa identitas, tanpa selfie, tanpa dokumen. Bayar dengan kripto.