Fitur Penurunan Harga untuk Agen AI Cloudflare membuat SEO waspada

Cloudflare kemarin mengumumkan fitur Markdown for Agents yang baru, yang menyajikan versi konten web yang ramah mesin bersama dengan halaman tradisional yang dapat dilihat manusia.

• Cloudflare menggambarkan pembaruan ini sebagai respons terhadap munculnya perayap AI dan penjelajahan agen.
• Ketika klien meminta text/markdownCloudflare mengambil HTML dari server asal, mengonversinya di edge, dan mengembalikan versi Markdown.
• Responsnya juga mencakup header perkiraan token yang dimaksudkan untuk membantu pengembang mengelola jendela konteks.
• Reaksi awal terfokus pada peningkatan efisiensi, serta implikasi yang lebih luas dari penyajian representasi alternatif konten web.

Apa yang terjadi. Cloudflare, yang menguasai sekitar 20% web, mengatakan Markdown for Agents menggunakan negosiasi konten HTTP standar. Jika klien mengirimkan Accept: text/markdown header, Cloudflare mengonversi respons HTML dengan cepat dan mengembalikan Markdown. Responsnya meliputi Vary: acceptjadi cache menyimpan varian terpisah.

• Cloudflare memposisikan fitur keikutsertaan sebagai bagian dari perubahan dalam cara konten ditemukan dan dikonsumsi, dengan perayap dan agen AI mendapatkan manfaat dari teks terstruktur dan overhead yang lebih rendah.
• Penurunan harga dapat mengurangi penggunaan token hingga 80% dibandingkan dengan HTML, kata Cloudflare.

Masalah keamanan. Konsultan SEO David McSweeney mengatakan fitur Penurunan Harga untuk Agen Cloudflare dapat membuat penyelubungan AI menjadi sepele karena Accept: text/markdown header diteruskan ke server asal, yang secara efektif menandakan bahwa permintaan tersebut berasal dari agen AI.

• Permintaan standar mengembalikan konten normal, sementara permintaan penurunan harga dapat memicu respons HTML berbeda yang kemudian diubah oleh Cloudflare dan dikirimkan ke AI, McSweeney menunjukkan di LinkedIn.
• Kekhawatirannya: situs dapat memasukkan instruksi tersembunyi, mengubah data produk, atau konten khusus mesin lainnya, sehingga menciptakan “web bayangan” untuk bot kecuali jika headernya dihapus sebelum mencapai aslinya.

Penurunan harga Google dan Bing. Komentar terbaru dari perwakilan Google dan Microsoft membuat penerbit enggan membuat halaman penurunan harga terpisah untuk model bahasa besar. John Mueller dari Google berkata:

• “Dalam POV saya, LLM telah berlatih – membaca & mengurai – halaman web normal sejak awal, tampaknya mereka tidak memiliki masalah dalam berurusan dengan HTML. Mengapa mereka ingin melihat halaman yang tidak dilihat pengguna? Dan, jika mereka memeriksa kesetaraan, mengapa tidak menggunakan HTML?”

Dan Fabrice Canel dari Microsoft berkata:

• “Benar-benar ingin menggandakan beban perayapan? Kami akan tetap melakukan perayapan untuk memeriksa kesamaan. Versi non-pengguna (AJAX yang dapat dirayapi dan sejenisnya) sering diabaikan, rusak. Mata manusia membantu memperbaiki konten yang dilihat orang dan bot. Kami menyukai Skema di halaman. AI membuat kami hebat dalam memahami halaman web. Lebih sedikit lebih baik dalam SEO!”

• Fitur Cloudflare tidak membuat URL kedua. Namun, ini menghasilkan representasi berbeda berdasarkan header permintaan.

Kasus melawan penurunan harga. Konsultan teknis SEO Jono Alderson mengatakan bahwa ketika representasi khusus mesin ada, platform harus memutuskan apakah akan memercayainya, memverifikasinya dengan versi yang dilihat manusia, atau mengabaikannya:

• “Saat Anda meratakan suatu halaman ke dalam penurunan harga, Anda tidak hanya menghilangkan kekacauan. Anda menghilangkan penilaian, dan Anda menghilangkan konteks.”
• “Saat Anda memublikasikan representasi halaman yang hanya dibuat oleh mesin, Anda telah membuat kandidat versi realitas yang kedua. Tidak masalah jika Anda berjanji bahwa halaman tersebut dihasilkan dari sumber yang sama atau bersumpah bahwa itu adalah ‘konten yang sama’. Dari luar, sistem sekarang melihat dua representasi dan harus memutuskan mana yang benar-benar mencerminkan halaman tersebut.”

Gali lebih dalam. Mengapa halaman khusus LLM bukanlah jawaban untuk pencarian AI

Mengapa kami peduli. Langkah Cloudflare dapat membuat penyerapan AI lebih murah dan bersih. Namun apakah hal ini dapat dianggap sebagai penyelubungan jika Anda menyajikan konten yang berbeda kepada manusia dan perayap? Untuk dilanjutkan…