Cloudflare hari ini mengumumkan fitur baru yang memungkinkan Anda memberi sinyal melalui robot.txt apakah konten Anda dapat digunakan dalam ikhtisar AI Google (serta untuk pelatihan AI).
- Kebijakan sinyal konten baru CloudFlare dimaksudkan untuk memberi penerbit lebih banyak kontrol atas bagaimana crawler dan bot menggunakan data mereka, di luar arahan tradisional yang hanya mengatur merangkak dan pengindeksan.
Cara kerjanya. Kebijakan ini menambahkan tiga arahan baru yang dapat dibaca mesin ke robot.txt:
search: Izin untuk membangun indeks pencarian dan menampilkan tautan/cuplikan (pencarian tradisional).ai-input: Izin untuk menggunakan konten sebagai input untuk jawaban yang dihasilkan AI.ai-train: Izin untuk menggunakan konten untuk pelatihan model AI.
Misalnya:
User-Agent: * Content-Signal: search=yes, ai-train=no Allow: /
CloudFlare akan secara otomatis menambahkan arahan ini untuk jutaan situs pelanggan yang sudah menggunakan robots.txt layanan yang dikelola.
Ya, tapi. Google belum berkomitmen untuk menghormati instruksi ini.
- CEO CloudFlare, Matthew Prince, mengatakan kepada informasi (diperlukan berlangganan) bahwa Google diberi kepala tentang sinyal konten, tetapi belum mengatakan apakah itu akan menghormati sinyal baru.
- Arahan Robots.txt tidak mengikat secara hukum, dan Cloudflare mengakui bahwa beberapa perusahaan dapat mengabaikannya.
Mengapa kami peduli. Akankah Google atau perusahaan AI lainnya secara sukarela mematuhi? Saya meragukannya. Namun, opsi baru ini setidaknya memberi Anda cara untuk mendorong balik – cara untuk mengatakan “ya untuk mencari, tidak pada ikhtisar AI,” kontrol yang tidak ada sebelumnya. Itu penting karena jawaban yang dihasilkan AI telah dikritik secara luas karena mengikis lalu lintas dan memberikan sedikit atau tidak ada nilai sebagai imbalan.
Gambar yang lebih besar:
- Cloudflare mengatakan bot dapat melebihi lalu lintas manusia di internet pada tahun 2029, menaikkan taruhannya untuk memberikan alat penerbit untuk mengelola bagaimana konten mereka digunakan kembali.
- Perusahaan telah merilis kebijakan sinyal kontennya di bawah a Lisensi CC0 Untuk mendorong adopsi di luar basis pelanggannya sendiri, berharap itu menjadi standar industri yang lebih luas.
- Tapi Cloudflare juga mencatat sinyal saja tidak cukup. Penerbit yang menginginkan kontrol yang lebih ketat harus menggabungkannya dengan manajemen bot dan aturan firewall.
Intinya. Kecuali Google dan orang lain secara resmi mengenali dan mematuhi instruksi ini, penerbit tetap terperangkap dalam situasi kalah-kalah: menjaga konten terbuka dan berisiko menyalahgunakan, atau mematikannya sama sekali.
Pengumuman Cloudflare. Memberi pengguna pilihan dengan kebijakan sinyal konten baru CloudFlare
