JURNAL IT - Cloudflare, salah satu perusahaan infrastruktur internet terbesar di dunia, baru saja mengumumkan langkah besar yang dapat mengubah cara kerja web secara fundamental.
Mereka kini memblokir AI crawlers (perayap data AI) secara default, serta memperkenalkan sistem baru bernama pay-per-crawl — sebuah skema di mana perusahaan AI harus membayar kepada pemilik situs web untuk mengakses dan menggunakan konten mereka.
Langkah ini penting karena Cloudflare saat ini mendukung hampir seperempat lalu lintas internet global.
Aktivitas bot dan crawler tidak hanya memperbesar beban server, tapi juga meningkatkan biaya operasional secara signifikan.
Di tengah lonjakan penggunaan AI, laporan terbaru bahkan menyebutkan bahwa lebih dari 50% lalu lintas internet pada 2025 berasal dari AI bots, dan angka ini diperkirakan melonjak hingga 90% di akhir dekade ini.
Fenomena ini juga terasa dalam keseharian — dari komentar-komentar aneh yang berulang di YouTube hingga percakapan otomatis di media sosial yang tampak dibuat oleh bot.
Tidak hanya menimbulkan spam, interaksi palsu ini juga berpotensi merusak ekosistem komunikasi digital yang sehat.
Website Bisa Atur Sendiri
Dalam sistem baru Cloudflare, pemilik situs web akan memiliki kontrol penuh untuk mengizinkan atau menolak AI crawler.
Mereka juga dapat menentukan tarif bagi pihak AI yang ingin mengakses konten mereka. Sementara itu, perusahaan AI seperti OpenAI, Google, atau Anthropic dapat memilih apakah mereka ingin membayar biaya tersebut atau tidak.
Fitur ini masih dalam tahap private beta, namun pelanggan Cloudflare sudah bisa mendaftar untuk mendapat akses lebih awal.
Salah satu organisasi teknologi ternama, LMG (Linus Media Group), mengaku telah mendaftar meskipun belum mendapat undangan.
Namun, langkah ini tidak datang tanpa risiko. Ada kekhawatiran bahwa perusahaan pencarian (search engines) bisa membalas dengan menurunkan ranking pencarian situs yang memblokir crawler.
Jika benar terjadi, ini bisa sangat merugikan bagi situs-situs kecil yang bergantung pada lalu lintas dari mesin pencari.
Di sisi lain, skema ini juga membuka kemungkinan manipulasi baru. Misalnya, seseorang bisa mendirikan situs palsu yang hanya menyalin konten dari situs lain, lalu membuka akses untuk crawler AI dan mendapatkan bayaran — sementara situs asli justru tertutup dan tidak mendapat manfaat.
Menurut beberapa analis, ini hanyalah awal dari "perlombaan senjata" baru antara AI dan pengelola konten.
Dulu, kita mengenal persaingan antara hacker dan sistem keamanan, kini akan ada pertarungan antara crawler AI dan sistem pertahanan web.
Dampak untuk Dunia AI
Pertanyaannya sekarang adalah apakah langkah ini bisa benar-benar memperlambat perkembangan AI?
Jawabannya belum tentu. Sebagian besar data pelatihan (training data) yang bersih dan belum terkontaminasi oleh AI — yang disebut uncontaminated human-generated data — sudah diambil dalam beberapa tahun terakhir.
Faktanya, sejumlah perusahaan baru justru menjual data-data lama ini sebagai aset berharga.
Mereka mengklaim bahwa data yang mereka miliki lebih "alami" dibanding hasil dari interaksi manusia dengan AI saat ini, yang dianggap terlalu buatan dan membosankan.
Namun, meskipun training data lama mungkin tak bisa dicegah, AI tetap membutuhkan data baru agar tetap relevan — terutama untuk konten yang terus berkembang seperti produk terbaru, ulasan terkini, atau berita aktual.
Situs seperti HouseFresh, yang mengulas alat pembersih udara, tetap perlu dikunjungi dan dicrawling jika AI ingin memberikan rekomendasi produk yang akurat dan terbaru.
Dunia digital akan terus bergerak, tapi jelas bahwa cara kita memperlakukan konten — baik dari sisi pembuat maupun penggunanya — sedang berubah drastis.
Bila dulu klik dan kunjungan menjadi mata uang utama, kini kita mungkin bergerak ke arah interaksi berbayar berbasis data.
Jika pay-per-crawl sukses, ini bisa menjadi solusi atas masalah zero-click searches — fenomena di mana pengguna mendapatkan jawaban langsung dari AI tanpa pernah mengunjungi situs sumber.
Masalah ini telah memukul banyak publisher karena menghilangkan potensi pendapatan dari kunjungan pengguna.
Apakah ini langkah menuju internet yang lebih sehat dan adil, atau justru pembuka jalan untuk permainan yang lebih rumit?
Satu hal yang pasti — aturan main internet sedang berubah, dan semua pihak harus bersiap menghadapi gelombang baru yang sedang datang.
Jika kamu pemilik website atau kreator konten, langkah ini bisa menjadi momen penting untuk mempertimbangkan ulang strategi publikasi dan perlindungan data milikmu.(*)
0 Komentar