Perdebatan seputar llms.txt telah menjadi salah satu topik paling terpolarisasi dalam pengoptimalan web.
Beberapa orang memperlakukan llms.txt sebagai infrastruktur dasar, sementara banyak pakar SEO menganggapnya sebagai teater spekulatif. Alat platform menandai file llms.txt yang hilang sebagai masalah situs, namun log server menunjukkan bahwa crawler AI jarang memintanya.
Google bahkan mengadopsinya. Semacam itu. Pada bulan Desember, perusahaan menambahkan file llms.txt di banyak situs pengembang dan dokumentasi.
Sinyalnya terlihat jelas: jika perusahaan di balik standar peta situs menerapkan llms.txt, hal ini mungkin penting.
Kecuali Google menariknya dari dokumen pengembang Penelusurannya dalam waktu 24 jam.
John Mueller dari Google mengatakan perubahan tersebut berasal dari pembaruan CMS di seluruh situs yang tidak disadari oleh banyak tim konten. Ketika ditanya mengapa file tersebut masih ada di properti Google lainnya, Mueller mengatakan bahwa file tersebut “tidak dapat ditemukan secara default karena file tersebut tidak berada di tingkat teratas” dan “dapat diasumsikan bahwa file tersebut ada di sana untuk tujuan lain”, bukan untuk penemuan.
Penelitian llms.txt
Kami menginginkan data, bukan perdebatan.
Jadi kami melacak adopsi llms.txt di 10 situs di bidang keuangan, SaaS B2B, e-niaga, asuransi, dan perawatan hewan peliharaan — 90 hari sebelum penerapan dan 90 hari setelahnya.
Kami mengukur frekuensi perayapan AI, lalu lintas dari ChatGPT, Claude, Perplexity, dan Gemini, dan apa lagi yang diubah situs-situs ini pada periode yang sama.
Hasilnya:
- Dua dari 10 situs mengalami peningkatan lalu lintas AI sebesar 12,5% dan 25%, namun llms.txt bukanlah penyebabnya.
- Delapan lokasi tidak mengalami perubahan yang terukur.
- Satu situs menurun sebesar 19,7%.
2 kisah ‘sukses’ bukan tentang file
Neobank: pertumbuhan 25%.
Platform perbankan digital ini menerapkan llms.txt pada awal Q3 2025. Sembilan puluh hari kemudian, lalu lintas AI naik 25%.
Inilah hal lain yang terjadi di jendela itu:
- Kampanye PR seputar izin perbankannya, dengan liputan di publikasi nasional besar.
- Halaman produk direstrukturisasi dengan tabel perbandingan yang dapat diekstraksi untuk suku bunga, biaya, dan minimum.
- Dua belas halaman FAQ baru yang dioptimalkan untuk ekstraksi.
- Pusat sumber daya yang dibangun kembali dengan informasi dan konsep perbankan baru.
- Masalah teknis SEO, seperti struktur header, telah diperbaiki.
Ketika sebuah perusahaan mendapatkan liputan Bloomberg pada bulan yang sama ketika perusahaan tersebut meluncurkan konten yang dioptimalkan dan memperbaiki kesalahan perayapan, Anda tidak dapat mengisolasi llms.txt sebagai pendorong pertumbuhan.
Platform SaaS B2B: pertumbuhan 12,5%.
Perusahaan otomatisasi alur kerja ini mengalami lonjakan lalu lintas sebesar 12,5% dua minggu setelah penerapan llms.txt.
Waktu yang tepat. Kasus ditutup. Kecuali…
Tiga minggu sebelumnya, perusahaan menerbitkan 27 templat AI yang dapat diunduh yang mencakup kerangka kerja manajemen proyek, model keuangan, dan perencana alur kerja. Alat fungsional, bukan pemasaran konten, yang mendorong keterlibatan di balik lonjakan tersebut.
Lalu lintas organik Google ke template meningkat 18% selama periode yang sama dan terus meningkat selama 90 hari yang kami ukur.
Mesin pencari dan model AI memunculkan templat tersebut karena mereka memecahkan masalah nyata dan meluncurkan bagian situs yang benar-benar baru — bukan karena mereka terdaftar dalam file llms.txt.
8 situs di mana tidak terjadi apa-apa setelah mengunggah llms.txt
Delapan lokasi tidak mengalami perubahan yang terukur. Satu menurun sebesar 19,7%.
Penurunan tersebut datang dari situs asuransi yang menerapkan llms.txt pada awal September. Penurunan tersebut kemungkinan besar tidak ada hubungannya dengan file tersebut.
Pola yang sama juga terjadi di seluruh saluran lalu lintas. Llms.txt tidak mencegah penurunan atau menciptakan keuntungan apa pun.
Tujuh situs lainnya — e-niaga (persediaan hewan peliharaan, perlengkapan rumah tangga, mode), SaaS B2B (teknologi SDM, analisis pemasaran), keuangan, dan perawatan hewan peliharaan — semuanya mendokumentasikan konten terbaik mereka yang ada di llms.txt. Itu termasuk halaman produk, studi kasus, dokumen API, dan panduan pembelian.
Sembilan puluh hari kemudian, tidak ada yang berubah. Lalu lintas tetap datar. Frekuensi perayapan identik. Konten sudah diindeks dan dapat ditemukan, dan file tidak mengubahnya.
Situs yang meluncurkan konten baru dan fungsional memperoleh keuntungan. Situs yang mendokumentasikan konten yang ada tidak memperoleh keuntungan.
Mengapa terputus?
Tidak ada penyedia LLM besar yang secara resmi berkomitmen untuk menguraikan llms.txt. Bukan OpenAI. Bukan Antropis. Bukan Google. Bukan Meta.
Mueller Google menjelaskannya dengan jelas:
- “Tidak ada layanan AI yang mengatakan bahwa mereka menggunakan llms.txt, dan Anda dapat mengetahui saat melihat log server Anda bahwa mereka bahkan tidak memeriksanya.”
Itulah kenyataannya. Filenya ada. Advokasi itu ada. Adopsi oleh platform belum menunjukkan hal tersebut (belum!).
Argumen efisiensi token (dan batasannya)
Alasan terkuat untuk llms.txt adalah soal efisiensi. Penurunan harga menghemat waktu dan token saat agen AI mengurai dokumentasi. Struktur bersih, bukan HTML rumit dengan navigasi, iklan, dan JavaScript.
Vercel mengatakan 10% pendaftaran mereka berasal dari ChatGPT. Llms.txt-nya menyertakan deskripsi API kontekstual yang membantu agen memutuskan apa yang akan diambil.
Hal ini penting — namun hampir secara eksklusif untuk alat pengembang dan dokumentasi API. Jika audiens Anda menggunakan asisten pengkodean AI seperti Cursor atau GitHub Copilot untuk berinteraksi dengan produk Anda, efisiensi token akan meningkatkan integrasi.
Untuk e-niaga yang menjual perlengkapan hewan peliharaan, cakupan penjelasan asuransi, atau SaaS B2B yang menargetkan pembeli non-teknis, efisiensi token tidak berarti lalu lintas.
llms.txt adalah peta situs, bukan strategi
Perbandingan paling akurat adalah peta situs.
Peta Situs adalah infrastruktur yang berharga. Mereka membantu mesin pencari menemukan dan mengindeks konten dengan lebih efisien. Namun tidak ada yang menghargai pertumbuhan lalu lintas karena penambahan peta situs. Peta situs mendokumentasikan apa yang ada; konten mendorong penemuan.
Llms.txt bekerja dengan cara yang sama. Hal ini mungkin membantu model AI mengurai situs Anda dengan lebih efisien jika mereka memilih untuk menggunakannya, namun hal ini tidak membuat konten Anda lebih berguna, berwibawa, atau cenderung menjawab pertanyaan pengguna.
Dalam analisis kami, situs-situs yang berkembang mengalami hal tersebut karena:
- Menciptakan aset fungsional seperti templat yang dapat diunduh, tabel perbandingan, dan data terstruktur.
- Mendapatkan visibilitas eksternal melalui pers dan backlink.
- Memperbaiki hambatan teknis seperti masalah perayapan dan pengindeksan.
- Konten yang diterbitkan dioptimalkan untuk ekstraksitermasuk FAQ dan perbandingan terstruktur.
Llms.txt mendokumentasikan upaya tersebut. Hal itu tidak mendorong mereka.
Apa yang sebenarnya berhasil
Dua situs yang sukses menunjukkan hal yang penting:
- Buat aset fungsional dan dapat diekstraksi. Platform SaaS membuat 27 templat yang dapat diunduh dan dapat segera diterapkan oleh pengguna. Model AI memunculkan hal ini karena model tersebut memecahkan masalah nyata, bukan karena model tersebut tercantum dalam file penurunan harga.
- Struktur konten untuk ekstraksi. Neobank membangun kembali halaman produk dengan tabel perbandingan dengan suku bunga, biaya, dan minimum rekening. Ini adalah data yang dapat ditarik langsung oleh model AI ke dalam jawaban tanpa interpretasi.
- Perbaiki hambatan teknis terlebih dahulu. Neobank memperbaiki kesalahan perayapan yang telah memblokir konten selama berbulan-bulan. Jika model AI tidak dapat mengakses konten Anda, dokumentasi sebanyak apa pun tidak dapat membantu.
- Dapatkan validasi eksternal. Liputan dari Bloomberg dan publikasi besar lainnya mendorong lalu lintas rujukan, penelusuran bermerek, dan kemungkinan besar memengaruhi cara model AI menilai otoritas.
- Optimalkan niat pengguna. Kedua situs tersebut menjawab pertanyaan spesifik: “templat manajemen proyek terbaik” dan “bagaimana caranya [brand] perbandingan suku bunga?” Model menampilkan konten yang memetakan apa yang ditanyakan pengguna, bukan konten yang hanya didokumentasikan dengan baik.
Semua ini tidak memerlukan llms.txt. Semua itu mendorong hasil.
Haruskah Anda menerapkan file llms.txt?
Jika Anda adalah alat pengembang yang menggunakan asisten pengkodean AI sebagai saluran distribusi utama, ya — efisiensi token itu penting. Audiens Anda sudah menggunakan agen untuk berinteraksi dengan dokumentasi.
Untuk orang lain, perlakukan llms.txt seperti peta situs: infrastruktur yang bermanfaat, bukan pendorong pertumbuhan.
Ini adalah praktik yang baik untuk dilakukan. Tidak ada salahnya. Namun waktu yang dihabiskan untuk menerapkan llms.txt seringkali lebih baik dihabiskan untuk merestrukturisasi halaman produk dengan data yang dapat diekstraksi, menerbitkan aset fungsional, memperbaiki masalah teknis SEO, membuat konten FAQ, atau mendapatkan liputan pers.
Taktik tersebut telah menunjukkan ROI nyata dalam penemuan AI. Llms.txt belum — setidaknya belum.
Pelajarannya bukan bahwa llms.txt itu buruk. Hal ini berarti kita berupaya mendapatkan kendali dalam sebuah sistem yang peraturannya belum tertulis. Llms.txt menawarkan kenyamanan itu: sesuatu yang konkret, dapat ditindaklanjuti, dan familier, berbentuk seperti standar web yang sudah kita kenal.
Namun tampaknya infrastruktur tidak sama dengan berfungsi seperti infrastruktur.
Fokus pada apa yang benar-benar berhasil:
- Buat konten yang bermanfaat.
- Susun untuk ekstraksi.
- Jadikan itu dapat diakses secara teknis.
- Dapatkan validasi eksternal.
Platform dan format akan berubah. Hal mendasar tidak akan terjadi.
