# Crawl4AI atau API hosted? Kapan menjalankan web reader sendiri

> Crawl4AI atau API hosted untuk halaman web ke Markdown? Lisensi, default robots.txt, biaya self-hosting, dan harga hosted yang diperiksa pada 2026-10-22.

- URL: https://webreaderapi.com/id/compare/crawl4ai-vs-api/
- Terakhir diperbarui: 2026-10-22
- Penerbit: WebReaderAPI (https://webreaderapi.com)

Alat open-source dapat mengubah halaman web menjadi Markdown secara gratis, di server Anda sendiri. API hosted menagih per halaman dan menjalankan server untuk Anda. Halaman ini menjelaskan biaya sebenarnya dari setiap pilihan, dari lisensi dan default robots.txt hingga browser dan pemeliharaan.

**Jawaban singkat — Haruskah saya self-host Crawl4AI atau menggunakan API web reader hosted?**

Self-host Crawl4AI (Apache-2.0, dengan persyaratan atribusi) ketika Anda memiliki volume stabil dan orang untuk menjalankan browser dan server; perhatikan bahwa pemeriksaan robots.txt-nya nonaktif secara default. Gunakan API hosted ketika volume tidak merata atau Anda tidak ingin pekerjaan operasional: Crawl4AI Cloud mulai dari $10 untuk 10.000 kredit, dan **WebReaderAPI** mulai dari US$3,75 untuk 10.000 halaman, dibayar dengan kripto tanpa KYC (22 Oktober 2026).

## Alat open-source mana yang mengubah halaman web menjadi Markdown?

Opsi utama pada Oktober 2026, dengan lisensi dan default yang dinyatakan oleh repositori dan dokumentasi mereka sendiri.

| Alat | Lisensi | Merender JavaScript | robots.txt secara default | server MCP |
| --- | --- | --- | --- | --- |
| Crawl4AI | Apache-2.0, plus persyaratan atribusi README | Ya (Playwright) | Nonaktif: `check_robots_txt` default ke False | Ya, di server Anda sendiri |
| Firecrawl (self-hosted) | Inti AGPL-3.0; SDK dan sebagian UI berlisensi MIT | Ya (layanan Playwright) | Aktif | Ya (firecrawl-mcp-server, MIT) |
| Microsoft MarkItDown | MIT | Tidak | Tidak didokumentasikan | Ya (markitdown-mcp) |
| Trafilatura | Apache-2.0 (GPLv3+ sebelum v1.8.0) | Tidak | Spider-nya mengikuti Robots Exclusion Standard | Tidak ada yang disebutkan |
| Mozilla Readability | Apache-2.0 | Tidak; butuh DOM dan tidak mengambil halaman | Tidak berlaku | Tidak ditemukan |
| Jina Reader (cabang open-source) | Apache-2.0 | Ya (Puppeteer) | Tidak disebutkan | Tidak ada di repositori |

*Harga diperiksa pada 22 Oktober 2026.*

Dari repositori GitHub dan dokumentasi yang tercantum di bawah, dibaca pada 2026-10-22.

## Berapa biaya sebenarnya untuk self-hosting web reader?

Perangkat lunaknya gratis; menjalankannya tidak. Sebelum Anda membandingkan harga hosted dengan nol, hitung dulu hal-hal ini:

- **Server dan browser.** Halaman statis tidak butuh banyak CPU, tetapi halaman JavaScript butuh browser headless per permintaan, dengan memori yang setara. Lonjakan trafik butuh kapasitas cadangan yang menganggur sepanjang waktu lainnya.
- **Pemeliharaan.** Versi browser, aturan ekstraksi, dan dependensi berubah. Crawl4AI merilis v0.9.5 pada 14 Oktober 2026; MarkItDown 0.1.9 pada 21 Oktober 2026. Seseorang harus menguji dan men-deploy setiap pembaruan.
- **Jaringan.** Bandwidth keluar, DNS, timeout, dan retry menjadi tanggung jawab Anda untuk disetel. Situs dapat menolak trafik dari alamat server Anda, dan jawaban yang tepat saat itu adalah menghormati penolakan tersebut.
- **Kebijakan.** Crawl4AI membiarkan `check_robots_txt` nonaktif kecuali Anda mengaktifkannya, dan memungkinkan Anda menetapkan atau mengacak user agent. Memutuskan dan menegakkan aturan robots.txt serta identifikasi Anda sendiri adalah bagian dari pekerjaan ini.
- **Keamanan.** README MarkItDown memperingatkan bahwa perangkat ini melakukan I/O dengan hak akses proses saat ini dan bahwa input harus disanitasi di lingkungan yang tidak tepercaya. Layanan yang mengambil URL sembarang juga harus menolak alamat privat dan lokal.

## Berapa biaya yang dikenakan pembaca hosted sebagai perbandingan?

API hosted mengubah biaya tersebut menjadi harga per halaman. Dua contoh dari 22 Oktober 2026:

| | Crawl4AI Cloud | WebReaderAPI (milik kami) |
|---|---|---|
| Masuk | Starter $10 per bulan, 10.000 kredit | US$3,75 untuk 10.000 halaman |
| Halaman statis | 0,5 kredit | 1 kredit |
| Halaman dengan browser | 1 kredit ("real browser") | 2 kredit |
| Paket lebih besar | Builder $99 untuk 125.000 kredit; Scale $499 untuk 750.000 | US$74,25 untuk 1.000.000 halaman; US$350 untuk 5.000.000 halaman |
| Kredit tak terpakai | Kredit bulanan tidak roll over; kredit tambahan tidak pernah kedaluwarsa | Tidak pernah kedaluwarsa |
| Pembayaran | Kartu melalui Stripe | BTC, USDT, USDC, ETH, SOL, LTC |
| robots.txt | Pelanggan harus mematuhi direktif robots situs (ketentuan) | Diperiksa oleh layanan pada setiap pembacaan |

Crawl4AI Cloud dijalankan oleh pengelola Crawl4AI dan menandai harganya sebagai "soft launch" yang dapat berubah. Kreditnya bernilai $0,001, jadi halaman statis berbiaya $0,50 per 1.000 pada paket Starter.

## Kapan sebaiknya saya self-host?

Self-hosting menguntungkan ketika tiga hal terpenuhi: volume Anda tinggi dan stabil, Anda sudah menjalankan server dan browser, dan Anda butuh kontrol yang tidak bisa diberikan API.

- **Ekstraksi kustom.** Skema CSS, XPath, dan LLM dari Crawl4AI, atau aturan Anda sendiri di atas Readability atau Trafilatura.
- **Residensi data.** Halaman tidak pernah meninggalkan infrastruktur Anda.
- **Input selain halaman web.** MarkItDown mengonversi Word, Excel, PowerPoint, EPub, dan lainnya, yang tidak dilakukan API web reader.
- **Kesesuaian lisensi.** Alat berlisensi Apache-2.0 dan MIT memungkinkan produk closed-source; inti AGPL-3.0 Firecrawl meminta Anda membagikan perubahan jika Anda menawarkannya sebagai layanan jaringan.

## Kapan API hosted menjadi pilihan yang lebih baik?

Beli halaman alih-alih menjalankan server ketika beban kerja Anda tidak merata, tim Anda kecil, atau reader hanyalah alat di dalam agent, bukan produk tersendiri.

- **Volume yang melonjak atau musiman.** Crawl dua kali setahun tidak membenarkan armada browser. Dengan WebReaderAPI, Kredit prabayar tidak pernah kedaluwarsa: halaman yang belum digunakan tetap ada di akun Anda sampai Anda memakainya.
- **Agent.** Endpoint hosted dapat dipasang ke MCP, LangChain, atau tool OpenAI dalam hitungan menit; lihat [server MCP kami](https://webreaderapi.com/id/docs/mcp/).
- **Kebijakan yang tidak perlu Anda bangun sendiri.** Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya. Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda.
- **Pembayaran tanpa kartu.** WebReaderAPI menerima BTC, USDT, USDC, ETH, SOL, LTC tanpa KYC.

## Bisakah saya menggabungkan keduanya?

Bisa, dan banyak tim melakukannya. Jalankan konverter open-source untuk file yang sudah Anda miliki, seperti PDF dan dokumen Office dengan MarkItDown, dan panggil reader hosted untuk halaman web langsung, terutama halaman JavaScript yang jika tidak demikian akan membutuhkan browser Anda sendiri.

Jaga format output tetap sama di kedua sisi, Markdown dengan URL sumber dan judul, agar kode chunking dan indexing Anda tidak peduli dari mana dokumen itu berasal. [Panduan RAG kami](https://webreaderapi.com/id/use-cases/rag/) menunjukkan format itu dalam praktik.

## Berapa biaya reader hosted dengan WebReaderAPI?

Kredit per halaman yang dibayar dengan kripto, per 22 Oktober 2026: 1 kredit per halaman statis, 2 dengan browser, tanpa biaya untuk halaman yang gagal atau ditolak. Kredit tidak pernah kedaluwarsa.

| Paket | Jumlah | Harga | Harga per unit |
| --- | --- | --- | --- |
| Uji | 10.000 halaman | US$3,75 | US$0,38/1K halaman |
| Build | 100.000 halaman | US$21,75 | US$0,22/1K halaman |
| Volume | 1.000.000 halaman | US$74,25 | US$0,07/1K halaman |
| Bulk | 5.000.000 halaman | US$350 | US$0,07/1K halaman |

Di setiap paket: Ekstraksi konten utama · Rendering JavaScript saat diperlukan · Halaman gagal dan ditolak tidak ditagih · Kredit tidak pernah kedaluwarsa

**Sebelum Anda membayar**

- Minimum top-up US$25. Isi saldo sekali dengan kripto, lalu beli paket apa pun dari saldo Anda.
- Saldo Anda tidak memiliki tanggal kedaluwarsa dan dapat digunakan untuk membeli kredit halaman kapan saja. Jika sebuah paket berharga kurang dari minimum top-up, jumlah yang Anda tambahkan hanya untuk mencapai minimum tersebut dapat dikembalikan atas permintaan dalam 30 hari sejak pembayaran, dalam USDT atau USDC, selama belum Anda belanjakan. Saldo lainnya tidak dikembalikan kecuali hukum menentukan lain.
- Dikreditkan setelah pembayaran Anda diperiksa di blockchain. Waktu konfirmasi jaringan yang umum: BTC ≈ 20 mnt · USDT TRC-20 ≈ 1 mnt · USDT ERC-20 ≈ 5 mnt · USDC ERC-20 ≈ 5 mnt · ETH ≈ 5 mnt · SOL ≈ 1 mnt · LTC ≈ 15 mnt

## Self-hosting web reader: pertanyaan umum

### Apakah Crawl4AI gratis untuk penggunaan komersial?

README-nya menyatakan berlisensi Apache-2.0, yang mengizinkan penggunaan komersial, dan menambahkan bahwa pengguna harus menyertakan atribusi, baik berupa badge atau baris teks. Baca sendiri lisensi dan README-nya sebelum Anda merilis.

### Apakah Crawl4AI mematuhi robots.txt?

Hanya jika Anda memintanya. Parameter `check_robots_txt`-nya default ke False; set ke True untuk memeriksa dan menyimpan cache aturan robots.txt sebelum crawl. Anda juga dapat menetapkan atau mengacak user agent, jadi kebijakan Anda sendiri yang menentukan perilakunya.

### Bisakah saya self-host Firecrawl alih-alih Crawl4AI?

Bisa. Inti Firecrawl bersifat open-source di bawah AGPL-3.0 dan secara default mematuhi robots.txt. AGPL meminta Anda menerbitkan perubahan ketika Anda menawarkan perangkat lunak sebagai layanan jaringan, yang penting untuk produk komersial.

### Alat mana yang mengubah PDF dan file Office?

Microsoft MarkItDown, dengan lisensi MIT, mengubah PDF, Word, PowerPoint, Excel, HTML, EPub, dan lainnya menjadi Markdown. Alat ini tidak merender halaman JavaScript. WebReaderAPI membaca PDF dari URL, hingga 100 halaman.

### Berapa biaya Crawl4AI Cloud?

Pada 22 Oktober 2026: Starter $10 sebulan untuk 10.000 kredit, Builder $99 untuk 125.000, dan Scale $499 untuk 750.000, dengan halaman statis sebesar 0,5 kredit dan halaman browser sebesar 1. Situs menandai harga ini sebagai soft launch yang dapat berubah.

## Sumber

1. [repositori unclecode/crawl4ai](https://github.com/unclecode/crawl4ai) — GitHub (read 2026-10-22)
2. [parameter Crawl4AI](https://docs.crawl4ai.com/api/parameters/) — Crawl4AI docs (read 2026-10-22)
3. [self-hosting Crawl4AI](https://docs.crawl4ai.com/core/self-hosting/) — Crawl4AI docs (read 2026-10-22)
4. [crawl4ai di PyPI](https://pypi.org/project/crawl4ai/) — PyPI (read 2026-10-22)
5. [Crawl4AI Cloud](https://crawl4ai.com/) — Crawl4AI (read 2026-10-22)
6. [repositori microsoft/markitdown](https://github.com/microsoft/markitdown) — GitHub (read 2026-10-22)
7. [markitdown di PyPI](https://pypi.org/project/markitdown/) — PyPI (read 2026-10-22)
8. [repositori adbar/trafilatura](https://github.com/adbar/trafilatura) — GitHub (read 2026-10-22)
9. [repositori mozilla/readability](https://github.com/mozilla/readability) — GitHub (read 2026-10-22)
10. [repositori firecrawl/firecrawl](https://github.com/firecrawl/firecrawl) — GitHub (read 2026-10-22)
11. [Repositori jina-ai/reader](https://github.com/jina-ai/reader) — GitHub (read 2026-10-22)

---

WebReaderAPI: WebReaderAPI adalah API pembaca web untuk AI agent yang mengubah halaman web publik apa pun menjadi Markdown bersih, dibayar dengan kripto tanpa unggah identitas. Kredit prabayar mulai dari US$0,07/1K halaman tidak pernah kedaluwarsa, dan robots.txt dihormati. Tanpa KYC — tanpa identitas, tanpa selfie, tanpa dokumen. Bayar dengan kripto.