Baca halaman web di AI agent n8n dengan WebReaderAPI

Mengapa menggunakan node HTTP Request sebagai tool?

Karena node ini sudah melakukan semua yang dibutuhkan API ini: satu permintaan GET, satu header, dan dua parameter kueri. n8n mendokumentasikan bahwa node HTTP Request dapat berjalan sebagai node biasa atau dipasang ke AI agent sebagai tool, dan bahwa sebagian opsi hanya ada di bentuk tool.

Tidak ada yang perlu dipasang atau diperbarui dari pihak kami, dan API key tersimpan di credential store n8n, bukan di workflow. Berikan n8n API key tersendiri agar penggunaannya terlihat terpisah dari skrip Anda yang lain dan dapat dicabut sendiri. Buat beberapa API key, misalnya satu per agent atau proyek, dan cabut salah satunya dari dashboard Anda.

Bagaimana model memilih URL yang akan dibaca?

Biarkan model menentukan parameter url. n8n menampilkan tombol di samping field parameter yang memenuhi syarat untuk menyerahkan nilainya ke model, dan Anda juga dapat menulis ekspresinya sendiri dengan fungsi $fromAI() n8n. Dibutuhkan key, description, type, dan default opsional, misalnya key url, description "The http or https address of the page to read" dan type string.

n8n mendokumentasikan bahwa $fromAI() hanya berfungsi pada tool yang terhubung ke node AI Agent. Tulis juga deskripsi tool dengan kata-kata sederhana, misalnya "Reads a public web page and returns its main content as Markdown", agar agent tahu kapan harus memanggilnya.

Mengapa mengaktifkan Optimize Response?

Karena semua yang dikembalikan tool masuk ke konteks model. Optimize Response adalah opsi khusus tool yang mengurangi data yang diteruskan ke model. Dengan tipe respons JSON Anda dapat hanya menyertakan field terpilih; simpan title, final_url dan markdown lalu buang sisanya.

Batasi panjangnya di sisi kami dengan max_chars, yang memotong Markdown sebelum keluar dari API. Tipe respons HTML dan Text pada node memiliki opsi Truncate Response sendiri, tetapi dengan jawaban JSON kami, max_chars adalah kontrol yang lebih sederhana.

Bagaimana cara menggunakan API dalam workflow terjadwal?

Gunakan node HTTP Request sebagai node biasa, bukan tool, di belakang Schedule Trigger. Berikan url tetap, misalnya changelog atau halaman harga yang Anda pantau, dan kirim field markdown ke node berikutnya: file, database, pesan chat, atau perbandingan dengan eksekusi sebelumnya.

Setiap eksekusi membaca satu halaman per URL. Memantau 20 halaman sekali sehari menggunakan sekitar 600 kredit sebulan untuk halaman tanpa browser, jadi 10.000 halaman (US$3,75) bertahan lebih dari setahun. Kredit prabayar tidak pernah kedaluwarsa: halaman yang belum digunakan tetap ada di akun Anda sampai Anda memakainya.

Apa yang terjadi saat situs menolak pembacaan?

Node menerima respons error dengan kode seperti blocked_by_robots atau target_refused, dan tidak ada yang ditagih. Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya. Dalam agent, biarkan tool mengembalikan error agar model dapat menjelaskannya atau mencoba sumber lain; dalam workflow terjadwal, arahkan error ke cabang yang mencatatnya. Halaman error mencantumkan setiap kode.

Bisakah saya mencoba panggilan sebelum membangun workflow?

Jalankan panggilan yang sama di terminal dengan curl, seperti yang ditunjukkan di resep curl. Jika berhasil di sana tetapi gagal di n8n, penyebabnya ada pada pengaturan node, paling sering nilai kredensial yang kehilangan awalan Bearer atau parameter url yang dibiarkan kosong.