Cloudflare, Inc. (NYSE: NET), penyedia cloud konektivitas terkemuka, resmi memperkenalkan pendekatan baru berbasis izin (consent-based model) untuk mengatasi praktik perayapan konten oleh bot AI yang selama ini dilakukan tanpa izin atau kompensasi. Cloudflare kini menjadi penyedia infrastruktur internet pertama yang secara default memblokir akses perayap AI tidak sah, memberi kendali penuh kepada pemilik situs untuk memutuskan siapa yang boleh mengakses konten mereka.
Langkah ini menjadi tonggak penting dalam melindungi keberlanjutan konten orisinal dan mendorong terciptanya model ekonomi digital yang lebih sehat, adil, dan bertanggung jawab di era kecerdasan buatan.
“Perayap AI telah mengikis konten tanpa batas. Kami ingin mengembalikan kekuatan ke tangan para kreator dan menjaga masa depan Internet yang bebas dan dinamis,” tegas Matthew Prince, Co-founder dan CEO Cloudflare.
Krisis Monetisasi Konten di Era AI
Selama bertahun-tahun, internet dibangun dengan model saling menguntungkan: mesin pencari mengarahkan trafik ke situs sumber, memberi insentif bagi pembuat konten melalui iklan dan eksposur. Namun kehadiran AI mengubah skema ini. Perayap AI menyalin konten tanpa atribusi, lalu menyajikannya dalam bentuk jawaban tanpa mengarahkan kembali ke sumber aslinya—merugikan penerbit secara ekonomi maupun eksistensial.
Cloudflare memandang hal ini sebagai ancaman serius terhadap keberlanjutan jurnalisme, kreativitas digital, dan nilai konten itu sendiri.
Kontrol Penuh untuk Pemilik Situs Web
Dengan kebijakan baru ini, situs web yang menggunakan layanan Cloudflare kini secara default akan memblokir akses bot AI yang tidak terverifikasi, seperti GPTBot dan sejenisnya. Perusahaan AI diwajibkan:
- Mengidentifikasi secara transparan perayap mereka (tujuan, identitas, penggunaan data).
- Meminta izin eksplisit sebelum melakukan pengambilan data (scraping).
- Berpartisipasi dalam sistem autentikasi perayap untuk meningkatkan akuntabilitas.
Cloudflare juga mempermudah pengaturan dengan opsi satu klik bagi pemilik situs untuk mengatur preferensi izin atau memverifikasi bot secara selektif.
Dukungan Luas dari Dunia Media dan Teknologi
Langkah Cloudflare mendapat dukungan luas dari raksasa media, penerbit independen, dan pelaku industri teknologi. Beberapa tokoh yang menyuarakan dukungannya antara lain:
- Roger Lynch, CEO Condé Nast: “Inisiatif Cloudflare menciptakan standar baru penghormatan terhadap konten digital.”
- Neil Vogel, CEO Dotdash Meredith: “Kami kini bisa membatasi akses hanya kepada mitra AI yang bersedia menjalin perjanjian adil.”
- Bill Ready, CEO Pinterest: “Masa depan infrastruktur Internet harus melindungi para kreator dan penerbit.”
- Steve Huffman, CEO Reddit: “Upaya Cloudflare menuju perayapan yang transparan dan terkontrol adalah langkah benar bagi semua.”
- Mark Howard, COO TIME: “Langkah penting untuk membangun ekosistem AI yang lebih sehat dan menghormati konten tepercaya.”
Membuka Jalan untuk Model Bisnis Baru
Dengan model Bayar Per Crawl (Pay-per-Crawl), Cloudflare kini juga menawarkan mekanisme monetisasi konten bagi pemilik situs. Perusahaan AI yang ingin mengakses konten untuk pelatihan atau inferensi akan diminta untuk memberikan kompensasi layak kepada pemilik konten.
Cloudflare telah mendukung lebih dari satu juta pelanggan untuk memblokir perayapan AI sejak fitur awalnya diluncurkan pada September 2024. Kebijakan baru ini memperluas skema tersebut ke seluruh domain baru di platform mereka, menghapus kebutuhan konfigurasi manual, dan memudahkan situs web dari segala skala untuk ikut serta.
