Apakah legal membaca halaman web untuk AI? Fakta bertanggal pada 2026

Apa kata hukum EU tentang membaca konten web?

Hukum EU mengizinkan text and data mining atas konten yang dapat diakses secara sah, tetapi memberi pemegang hak opsi untuk mencadangkannya. Pasal 4(3) DSM Directive (2019/790) menyatakan pengecualian komersial hanya berlaku jika penggunaan belum secara tegas dicadangkan "dengan cara yang layak, seperti sarana yang dapat dibaca mesin" untuk konten yang dipublikasikan online.

Code of Practice untuk model AI general-purpose dari EU AI Act, yang dipublikasikan pada 10 Juli 2025, melangkah lebih jauh bagi para penandatangannya. Mereka berkomitmen pada crawler yang membaca dan mematuhi robots.txt, serta protokol lain yang dapat dibaca mesin yang layak. Itulah sebabnya mematuhi robots.txt dan preferensi AI yang dinyatakan telah menjadi baseline untuk penggunaan di Eropa.

Kasus AS mana yang penting, dan bagaimana statusnya?

Belum ada yang menghasilkan putusan final tentang membaca halaman publik untuk AI. Fakta sejauh ini, semuanya dugaan kecuali telah diputuskan pengadilan:

• Reddit v. SerpApi, Perplexity dan lainnya (S.D.N.Y.). Pada 31 Juli 2026 pengadilan membiarkan klaim berdasarkan DMCA §1201(a) berlanjut pada tahap pleading, dengan memperlakukan proteksi berbasis tantangan milik Google sebagai langkah yang mengontrol akses. Tidak ada tergugat yang dinyatakan bertanggung jawab.
• The New York Times v. Perplexity. Diajukan pada 5 Desember 2025. The Times menduga pengambilan kontennya pada saat kueri setelah memblokir Perplexity di robots.txt.
• Amazon v. Perplexity. Sebagaimana dilaporkan pada 5 Agustus 2026, Ninth Circuit membatalkan injunksi terhadap agen belanja Comet milik Perplexity, dengan mencatat bahwa asisten tersebut bertindak atas instruksi penggunanya. Panel menyatakan tidak menetapkan aturan luas untuk AI agentic.

Arahnya beragam, dan banding masih berlanjut. Anggap ringkasan apa pun, termasuk ini, sudah usang.

Apa yang menurunkan risiko saat alat AI membaca halaman?

Beberapa praktik muncul di setiap aturan dan kasus di atas:

• Baca hanya halaman publik. Tanpa login, tanpa area anggota, tanpa paywall.
• Patuhi opt-out yang dapat dibaca mesin. robots.txt dan preferensi AI yang dinyatakan, seperti ai-input=no.
• Jangan pernah mengakali proteksi. Tanpa user agent menyamar, tanpa rotasi alamat untuk lolos dari blokir, tanpa pemecahan tantangan.
• Hindari data pribadi. Jangan mengumpulkan profil, detail kontak, atau data lain tentang orang privat.
• Cantumkan sumber Anda. Simpan URL pada setiap halaman dan tampilkan saat jawaban bergantung padanya.

Ini praktik baik, bukan jaminan. Tanyakan kepada pengacara tentang kasus penggunaan Anda sendiri.

Apa yang dilakukan WebReaderAPI di sisinya?

Kami membangun layanan ini berdasarkan praktik-praktik tersebut. Kami menghormati robots.txt: crawler kami mengidentifikasi diri sebagai WebReaderAPI, mengikuti aturan yang ditulis untuknya atau untuk semua robot, dan tidak membaca halaman yang tidak diizinkan situs. Halaman yang ditolak tidak dikenai biaya. Jika suatu situs mendeklarasikan Content-Signal: ai-input=no di robots.txt-nya, kami tidak membaca halaman tersebut untuk Anda. Jika suatu situs menolak permintaan kami, kami mengembalikan jawabannya: kami tidak pernah menyelesaikan CAPTCHA, masuk ke akun, atau mencoba mengatasi blokir atau paywall.

Acceptable Use Policy kami melarang pengumpulan data pribadi tentang orang privat dan membaca konten di balik login atau paywall. Setiap permintaan mengidentifikasi dirinya sebagai WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), dan halaman crawler kami memberi tahu pemilik situs cara menghubungi kami.