Apa yang dijalankan ChatGPT berulang-ulang mengungkapkan tentang visibilitas merek

Kami tahu respons AI bersifat probabilistik – jika Anda menanyakan pertanyaan yang sama kepada AI sebanyak 10 kali, Anda akan mendapat 10 respons berbeda.

Tetapi Bagaimana berbeda tanggapannya?

Itulah pertanyaan yang dieksplorasi Rand Fishkin dalam beberapa penelitian menarik.

Dan hal ini memiliki implikasi besar terhadap cara kita berpikir tentang pelacakan visibilitas AI untuk merek.

Dalam penelitiannya, dia menguji permintaan yang meminta rekomendasi pada semua jenis produk dan layanan, termasuk segala hal mulai dari pisau koki hingga rumah sakit perawatan kanker dan dealer Volvo di Los Angeles.

Pada dasarnya, dia menemukan bahwa:

• AI jarang merekomendasikan daftar merek yang sama dalam urutan yang sama dua kali.
• Untuk topik tertentu (misalnya, sepatu lari), AI lebih sering merekomendasikan beberapa merek tertentu dibandingkan merek lainnya.

Untuk penelitian saya, seperti biasa, saya berfokus secara eksklusif pada kasus penggunaan B2B. Selain itu, saya mengembangkan penelitian Fishkin dengan menjawab pertanyaan-pertanyaan tambahan berikut:

• Apakah kompleksitas yang cepat memengaruhi konsistensi rekomendasi AI?
• Apakah daya saing suatu kategori mempengaruhi konsistensi rekomendasi?

Metodologi

Untuk mengeksplorasi pertanyaan-pertanyaan tersebut, pertama-tama saya merancang 12 petunjuk:

• Kompetitif vs. ceruk pasar: Enam dari petunjuknya adalah tentang kategori perangkat lunak B2B yang sangat kompetitif (misalnya, perangkat lunak akuntansi), dan enam lainnya tentang kategori yang tidak terlalu ramai (misalnya, perangkat lunak analisis perilaku entitas pengguna (UEBA)). Saya mengidentifikasi kategori-kategori tersebut menggunakan database Contender, yang melacak berapa banyak merek yang diasosiasikan ChatGPT dengan 1.775 kategori perangkat lunak berbeda.
• Perintah sederhana vs. bernuansa: Dalam kumpulan petunjuk “kompetitif” dan “niche”, separuh petunjuknya sederhana (“Apa perangkat lunak akuntansi yang terbaik?”) dan separuh lainnya merupakan petunjuk yang berbeda-beda termasuk persona dan kasus penggunaan (“Untuk Kepala Keuangan yang berfokus pada memastikan keakuratan dan kepatuhan pelaporan keuangan, perangkat lunak akuntansi apa yang terbaik?”)

Saya menjalankan 12 perintah sebanyak 100 kali, masing-masing, melalui ChatGPT versi gratis yang telah logout di chatgpt.com (yaitu, bukan API). Saya menggunakan alamat IP berbeda untuk masing-masing 1.200 interaksi untuk menyimulasikan 1.200 pengguna berbeda yang memulai percakapan baru.

Keterbatasan: Penelitian ini hanya mencakup tanggapan dari ChatGPT. Namun mengingat pola dalam hasil Fishkin dan sifat probabilistik LLM yang serupa, Anda mungkin dapat menggeneralisasi temuan terarah (bukan nilai absolut) di bawah ini untuk sebagian besar/semua AI.

@media (lebar maksimal: 768 piksel) { .headline-responsive { ukuran font: 30 piksel !penting; tinggi garis: 1.3 !penting; } }

Temuan

Jadi apa yang terjadi jika 100 orang berbeda mengirimkan perintah yang sama ke ChatGPT, meminta rekomendasi produk?

Berapa banyak ‘slot terbuka’ dalam tanggapan ChatGPT yang tersedia untuk merek?

Rata-rata, ChatGPT akan menyebutkan 44 merek dalam 100 tanggapan berbeda. Namun salah satu rangkaian tanggapan mencakup sebanyak 95 merek – ini sangat bergantung pada kategorinya.

Kategori kompetitif vs. khusus

Oleh karena itu, untuk permintaan yang mencakup kategori kompetitif, ChatGPT menyebutkan jumlah merek dua kali lebih banyak per 100 tanggapan dibandingkan dengan tanggapan terhadap permintaan yang mencakup kategori “niche”. (Ini sejalan dengan kriteria yang saya gunakan untuk memilih kategori yang saya pelajari.)

Perintah sederhana vs. bernuansa

Rata-rata, ChatGPT menyebutkan lebih sedikit merek sebagai respons terhadap permintaan yang berbeda-beda. Namun pola ini tidak konsisten – untuk kategori perangkat lunak tertentu, terkadang pertanyaan yang berbeda-beda berakhir dengan lebih banyak merek yang disebutkan, dan terkadang pertanyaan sederhana berakhir dengan lebih banyak merek yang disebutkan, dan terkadang pertanyaan sederhana berakhir dengan lebih banyak merek yang disebutkan.

Hal ini agak mengejutkan, karena saya memperkirakan permintaan yang lebih spesifik (misalnya, “Bagi analis SOC yang perlu melakukan triase peringatan keamanan dari titik akhir secara efisien, perangkat lunak EDR apa yang terbaik?”) akan secara konsisten menghasilkan rangkaian solusi potensial yang lebih sempit dari ChatGPT.

Menurut saya ChatGPT mungkin tidak lebih baik dalam menyesuaikan daftar solusi untuk kasus penggunaan tertentu karena ChatGPT tidak memiliki pemahaman mendalam tentang sebagian besar merek. (Lebih lanjut tentang data ini di catatan mendatang.)

Kembalinya ’10 tautan biru’

Dalam setiap respons individu, ChatGPT rata-rata hanya menyebutkan 10 merek.

Namun rentangnya cukup beragam – minimal 6 merek per respons dan maksimal 15 merek jika dirata-ratakan di seluruh rangkaian respons.

Tapi satu tanggapan biasanya menyebutkan nama tentang 10 merek terlepas dari kategori atau jenis prompt.

Perbedaan besarnya terletak pada seberapa banyak kelompok merek bergiliran dalam memberikan respons – kategori kompetitif diambil dari perspektif yang lebih dalam, meskipun masing-masing respons menyebutkan jumlah yang sama.

Segala sesuatu yang lama (dalam SEO) benar-benar baru lagi (dalam GEO/AEO). Ini mengingatkan saya saat mencoba mendapatkan penempatan di salah satu “10 tautan biru” Google.

Gali lebih dalam: Cara mengukur visibilitas merek penelusuran AI Anda dan membuktikan dampak bisnis

---

Seberapa konsistenkah rekomendasi merek ChatGPT?

Saat Anda menanyakan rekomendasi perangkat lunak B2B kepada ChatGPT 100 kali berbeda, rata-rata hanya ada ~5 merek yang akan disebutkan 80%+ kali.

Singkatnya, itu hanya 11% dari 44 merek yang disebutkan dalam 100 tanggapan tersebut.

Jadi cukup kompetitif untuk menjadi salah satu merek yang secara konsisten disebutkan oleh ChatGPT setiap kali seseorang meminta rekomendasi dalam kategori Anda.

Seperti yang Anda duga, merek-merek yang “dominan” ini cenderung merupakan merek-merek besar dan mapan dengan pengakuan yang kuat. Misalnya, merek dominan di kategori software akuntansi adalah QuickBooks, Xero, Wave, FreshBooks, Zoho, dan Sage.

Jika Anda bukan merek besar, lebih baik Anda berada dalam kategori khusus:

Saat Anda beroperasi dalam kategori khusus, Anda tidak hanya bersaing dengan lebih sedikit perusahaan, namun juga terdapat lebih banyak “slot terbuka” yang tersedia bagi Anda untuk menjadi merek dominan dalam respons ChatGPT.

Dalam kategori khusus, 21% dari semua merek yang disebutkan ChatGPT adalah merek dominan, dan lebih dari 80% disebutkan.

Bandingkan dengan hanya 7% dari seluruh merek yang dominan dalam kategori kompetitif, dimana sebagian besar merek (72%) berada di posisi yang tertinggal, dan hanya disebutkan kurang dari 20%.

Perintah yang berbeda tidak secara dramatis mengubah jejak merek-merek yang jarang dilihat (dengan visibilitas <20%), namun hal ini mengubah “lingkaran pemenang.” Menambahkan konteks persona ke sebuah prompt akan mempersulit pencapaian tingkat dominan – Anda dapat melihat “jurang” yang lebih curam yang harus didaki oleh sebuah merek pada grafik “nuansed prompts” di atas.

Hal ini masuk akal secara intuitif: ketika seseorang bertanya “perangkat lunak akuntansi terbaik untuk Kepala Keuangan,” ChatGPT memiliki jawaban yang lebih spesifik dan berkomitmen lebih kuat pada lebih sedikit pilihan teratas.

Namun, perlu dicatat bahwa keseluruhan kumpulan tidak menyusut banyak – ChatGPT menyebutkan ~42 merek dalam 100 respons terhadap permintaan yang berbeda-beda, hanya sedikit lebih sedikit dari ~46 yang disebutkan sebagai respons terhadap permintaan sederhana. Jika petunjuk yang bernuansa membuat lingkaran pemenang sedikit lebih eksklusif, mengapa mereka tidak mempersempit total bidangnya?

Mungkin saja pertanyaan “bernuansa” yang kami berikan tidak lebih sempit dan spesifik daripada apa yang tersirat dalam pertanyaan sederhana yang kami ajukan.

Namun, berdasarkan data lain yang saya lihat, menurut saya hal ini disebabkan oleh kurangnya pengetahuan ChatGPT tentang sebagian besar merek agar lebih selektif. Saya akan berbagi lebih banyak tentang ini di catatan mendatang.

Gali lebih dalam: 7 kebenaran nyata tentang mengukur visibilitas AI dan kinerja GEO

Apa artinya ini bagi pemasar B2B?

Jika Anda bukan merek yang dominan, pilihlah persaingan Anda – ceruk pasar

Membedakan menjadi sangat penting. 21% merek yang disebutkan mencapai status dominan dalam kategori khusus vs. 7% dalam kategori kompetitif.

Tanpa waktu dan banyak uang untuk pemasaran merek, perusahaan teknologi pemula tidak akan menjadi merek dominan dalam kategori yang luas dan mapan seperti perangkat lunak akuntansi.

Namun bidang ini menjadi kurang kompetitif jika Anda mengandalkan kekuatan Anda yang unik dan berbeda. ChatGPT lebih cenderung memperlakukan Anda seperti merek dominan jika Anda berupaya membuat produk Anda dikenal sebagai “perangkat lunak akuntansi terbaik untuk perusahaan real estate komersial di Amerika Utara.”

Sebagian besar alat pelacak visibilitas AI sangat menyesatkan

Mengingat ketidakkonsistenan rekomendasi ChatGPT, pemeriksaan langsung terhadap perintah tertentu hampir tidak ada artinya. Sayangnya, memeriksa setiap perintah hanya sekali per periode waktu adalah hal yang dilakukan sebagian besar alat pelacak visibilitas AI.

Jika Anda menginginkan sesuatu yang mendekati skor visibilitas yang signifikan secara statistik untuk perintah tertentu, Anda perlu menjalankan perintah tersebut setidaknya puluhan kali, bahkan 100+ kali, bergantung pada seberapa tepat Anda memerlukan data tersebut.

Tapi itu jelas tidak praktis bagi kebanyakan orang, jadi saran saya adalah: Untuk kuncinya, perintah paling bawah dari corong yang Anda lacak, jalankan setiap ~5 kali setiap kali Anda mengambil data.

Setidaknya hal ini akan memberi Anda gambaran yang masuk akal mengenai apakah merek Anda cenderung muncul hampir sepanjang waktu, kadang-kadang, atau tidak sama sekali.

Sasaran Anda adalah untuk memiliki keyakinan apakah merek Anda termasuk dalam kelompok yang jarang terlihat, kelompok menengah yang terlihat, atau kelompok teratas yang dominan pada permintaan tertentu. Baik Anda menggunakan tingkatan saya ‘di bawah 20%’, ’20–80%’, dan ‘80%+’, atau ambang batas Anda sendiri, ini adalah pendekatan yang mengikuti data dan akal sehat.

@media (lebar maksimal: 768 piksel) { .headline-responsive { ukuran font: 30 piksel !penting; tinggi garis: 1.3 !penting; } }

Apa selanjutnya?

Dalam buletin dan postingan LinkedIn mendatang, saya akan mengembangkan temuan ini dengan penelitian baru:

• Bagaimana ChatGPT membahas merek yang selalu direkomendasikannya? Apakah ini menunjukkan seberapa banyak ChatGPT “mengetahui” tentang merek?
• Apakah perintah berbeda dengan maksud penelusuran yang sama cenderung menghasilkan serangkaian rekomendasi yang sama?
• Seberapa konsistenkah “peringkat” dalam tanggapan? Apakah merek dominan cenderung disebutkan terlebih dahulu?

Artikel ini pertama kali diterbitkan di Visible di beehiiv (as Sebagian besar pelacakan visibilitas AI menyesatkan (inilah data baru saya)) dan diterbitkan ulang dengan izin.