Dokumentasi · curl

Halaman web ke Markdown dengan curl dan jq

Q: Bagaimana cara melihat status HTTP dari sebuah error?

Tambahkan -w '\n%{http_code}\n' untuk mencetaknya setelah body, atau -i untuk melihat semua headers. error.code pada body adalah nilai stabil untuk diuji dalam skrip.

Semua yang dilakukan API muat dalam one-liner shell. Resep ini memakai curl untuk memanggil API dan jq untuk mengambil field dari JSON, dengan versi PowerShell untuk Windows di bagian akhir.

Terakhir diperbarui: 22 Oktober 2026 · 3 menit baca

Jawaban singkat

Bagaimana cara mengubah halaman web menjadi Markdown dari command line?

Jalankan curl -sG https://webreaderapi.com/api/v1/read --data-urlencode "url=…" dengan API key Anda di header Authorization: Bearer, lalu pipe jawabannya ke jq -r .markdown. WebReaderAPI mengembalikan konten utama halaman sebagai Markdown beserta metadatanya. Satu halaman biasa menggunakan 1 kredit, dari US$0,07/1K halaman per Oktober 2026. Tanpa KYC; bayar dengan kripto.

Bagaimana cara menyiapkan terminal?

Instal curl dan jq, yang biasanya sudah tersedia di sebagian besar sistem Linux dan macOS, lalu ekspor API key Anda sekali per sesi. Setiap resep di bawah membacanya dari $WEBREADER_API_KEY, jadi API key tidak pernah muncul di riwayat shell Anda sebagai bagian dari sebuah perintah.

Gunakan -G dengan --data-urlencode untuk permintaan GET: curl lalu mengodekan alamat halaman untuk Anda, yang penting karena alamat berisi ?, & dan = miliknya sendiri.

Setel API key dan simpan satu halaman sebagai file .md

export WEBREADER_API_KEY="your-key"

curl -sG "https://webreaderapi.com/api/v1/read" \
  -H "Authorization: Bearer $WEBREADER_API_KEY" \
  --data-urlencode "url=https://example.com/guides/compost" \
  | jq -r '.markdown' > compost.md

Bagaimana cara melihat apa yang dikembalikan sebuah panggilan dan berapa biayanya?

Minta metadata ke jq, bukan kontennya. final_url menunjukkan ke mana redirect mengarah, rendered memberi tahu apakah browser digunakan, dan credits_used adalah biaya panggilan tersebut. Jika jawabannya berupa error, filter yang sama mencetak field null; cetak .error untuk membaca kode dan pesannya.

Hanya metadata, atau error jika ada

curl -sG "https://webreaderapi.com/api/v1/read" \
  -H "Authorization: Bearer $WEBREADER_API_KEY" \
  --data-urlencode "url=https://example.com/guides/compost" \
  | jq '.error // {title, final_url, rendered, credits_used, word_count}'

Bagaimana cara menampilkan daftar tautan sebuah halaman?

Tambahkan include_links=true dan ubah daftar links menjadi baris yang dipisahkan tab. Itu memberi Anda peta cepat tautan keluar sebuah halaman, yang bisa Anda urutkan, filter dengan grep, atau umpankan ke job batch.

Tautan sebagai teks dan URL, satu per baris

curl -sG "https://webreaderapi.com/api/v1/read" \
  -H "Authorization: Bearer $WEBREADER_API_KEY" \
  --data-urlencode "url=https://example.com/docs/" \
  -d include_links=true \
  | jq -r '.links[] | "\(.text)\t\(.url)"' | sort -u

Bagaimana cara membaca halaman JavaScript atau PDF?

Tambahkan -d render=true untuk halaman yang membangun kontennya dengan JavaScript; harganya lalu 2 kredit. PDF tidak butuh apa-apa yang khusus: kirim URL-nya dan teksnya kembali dalam markdown. File PDF hingga 20 MB dan 100 halaman dikonversi menjadi Markdown, dengan 1 kredit per blok 10 halaman yang dimulai.

Halaman yang dirender, lalu PDF

curl -sG "https://webreaderapi.com/api/v1/read" -H "Authorization: Bearer $WEBREADER_API_KEY" \
  --data-urlencode "url=https://example.com/app/changelog" -d render=true \
  | jq -r '.markdown' > changelog.md

curl -sG "https://webreaderapi.com/api/v1/read" -H "Authorization: Bearer $WEBREADER_API_KEY" \
  --data-urlencode "url=https://example.com/files/annual-report.pdf" \
  | jq -r '.markdown' > annual-report.md

Bagaimana cara menjalankan job batch dari shell?

Kirim body JSON berisi URL Anda ke /batch, simpan job_id, lalu baca job tersebut. Sebuah loop kecil menunggu sampai job berstatus done dan mencetak judul atau kode error tiap halaman. Untuk job yang panjang, ikuti next_cursor seperti yang ditunjukkan di halaman batch dan crawl.

Batch berisi tiga URL, lalu tunggu hasilnya

JOB=$(curl -s "https://webreaderapi.com/api/v1/batch" \
  -H "Authorization: Bearer $WEBREADER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/a", "https://example.com/b", "https://example.com/c"]}' \
  | jq -r '.job_id')

until [ "$(curl -s "https://webreaderapi.com/api/v1/jobs/$JOB" -H "Authorization: Bearer $WEBREADER_API_KEY" | jq -r '.status')" = "done" ]; do
  sleep 5
done

curl -s "https://webreaderapi.com/api/v1/jobs/$JOB" -H "Authorization: Bearer $WEBREADER_API_KEY" \
  | jq -r '.results[] | "\(.url)\t\(.title // .error.code)"'

Bagaimana cara mengecek kredit saya?

Panggil /credits; ini gratis. Hasilnya credits_remaining, credits_used_today dan concurrency_limit Anda. Kredit prabayar tidak pernah kedaluwarsa: halaman yang belum digunakan tetap ada di akun Anda sampai Anda memakainya.

Kredit tersisa

curl -s "https://webreaderapi.com/api/v1/credits" -H "Authorization: Bearer $WEBREADER_API_KEY" | jq '.credits_remaining'

Apa versi PowerShell di Windows?

Invoke-RestMethod mem-parse JSON untuk Anda, jadi tidak perlu jq. Bangun kueri dengan [uri]::EscapeDataString untuk mengodekan alamat halaman, dan kirimkan API key dalam tabel headers.

PowerShell: simpan satu halaman

$headers = @{ Authorization = "Bearer $env:WEBREADER_API_KEY" }
$target = [uri]::EscapeDataString('https://example.com/guides/compost')
$page = Invoke-RestMethod -Uri "https://webreaderapi.com/api/v1/read?url=$target" -Headers $headers
$page.markdown | Out-File -Encoding utf8 compost.md
"$($page.title): $($page.word_count) words, $($page.credits_used) credit(s)"

curl: pertanyaan umum

Mengapa URL saya yang berisi & gagal?

Karena shell atau curl memecahnya. Beri tanda kutip pada seluruh argumen url=… dan kirimkan dengan --data-urlencode, seperti pada resep di atas; curl lalu mengodekan &, ? dan = di dalam alamat halaman.

Bagaimana cara melihat status HTTP dari sebuah error?

Tambahkan -w '\n%{http_code}\n' untuk mencetaknya setelah body, atau -i untuk melihat semua headers. error.code pada body adalah nilai stabil untuk diuji dalam skrip.

Apakah panggilan yang gagal ditagih?

Tidak. 1 kredit = 1 halaman dibaca tanpa browser; 2 kredit jika halaman memerlukan browser untuk merender JavaScript. Permintaan yang gagal, atau yang ditolak oleh robots.txt suatu situs, tidak dikenai biaya.