Jeff Dean dari Google: Penelusuran AI mengandalkan pemeringkatan dan pengambilan klasik

Jeff Dean mengatakan Penelusuran AI Google masih berfungsi seperti Penelusuran klasik: mempersempit web ke laman yang relevan, memberi peringkat pada laman tersebut, lalu membiarkan model menghasilkan jawabannya.

Dalam sebuah wawancara di Latent Space: The AI ​​Engineer Podcast, kepala ilmuwan AI Google menjelaskan cara kerja sistem AI Google dan seberapa besar sistem tersebut bergantung pada infrastruktur pencarian tradisional.

Arsitekturnya: filter dulu, alasan terakhir. Visibilitas masih bergantung pada pencapaian ambang batas peringkat. Konten harus masuk ke dalam kumpulan kandidat yang luas, kemudian bertahan dalam pemeringkatan yang lebih dalam sebelum dapat digunakan dalam respons yang dihasilkan oleh AI. Sederhananya, AI tidak menggantikan peringkat. Itu terletak di atasnya.

Dean mengatakan sistem yang didukung LLM tidak membaca seluruh web sekaligus. Ini dimulai dengan indeks lengkap Google, kemudian menggunakan metode ringan untuk mengidentifikasi kumpulan kandidat yang besar — ​​​​puluhan ribu dokumen. Dekan berkata:

• “Anda mengidentifikasi sebagian dari dokumen tersebut yang relevan dengan metode yang sangat ringan. Anda hanya membutuhkan 30.000 dokumen atau lebih. Dan kemudian Anda secara bertahap menyempurnakannya untuk menerapkan algoritma yang lebih canggih dan jenis sinyal yang lebih canggih dari berbagai jenis untuk sampai pada apa yang Anda tampilkan, yaitu 10 hasil akhir atau 10 hasil ditambah jenis informasi lainnya.”

Sistem peringkat yang lebih kuat mempersempit sistem peringkat yang lebih jauh. Hanya setelah beberapa putaran pemfilteran barulah model yang paling mampu menganalisis sekelompok dokumen yang jauh lebih kecil dan menghasilkan jawaban. Dekan berkata:

• “Dan menurut saya sistem berbasis LLM tidak akan jauh berbeda, bukan? Anda akan menangani triliunan token, namun Anda ingin mengidentifikasi 30.000 dokumen apa saja yang mungkin berisi 30 juta token menarik. Lalu bagaimana Anda beralih dari dokumen tersebut ke 117 dokumen apa saja yang benar-benar harus saya perhatikan untuk melaksanakan tugas yang diminta pengguna untuk saya lakukan?”

Dean menyebut ini sebagai “ilusi” dalam menangani triliunan token. Dalam praktiknya, ini adalah alur bertahap: ambil, rangking ulang, sintesis. Dekan berkata:

• “Penelusuran Google memberi Anda … bukan ilusi, namun Anda menelusuri internet, namun Anda menemukan sebagian kecil hal yang relevan.”

Pencocokan: dari kata kunci hingga makna. Tidak ada hal baru di sini, namun kami mendengar pengingat lain bahwa meliput suatu topik dengan jelas dan komprehensif lebih penting daripada mengulangi frasa yang sama persis.

Dean menjelaskan bagaimana representasi berbasis LLM mengubah cara Google mencocokkan kueri dengan konten.

Sistem lama lebih mengandalkan kata yang tumpang tindih. Dengan representasi LLM, Google dapat melampaui gagasan bahwa kata-kata tertentu harus muncul di halaman dan sebagai gantinya mengevaluasi apakah suatu halaman — atau bahkan paragraf — relevan secara topik dengan kueri. Dekan berkata:

• “Membuka representasi teks dan kata-kata berbasis LLM dan sebagainya memungkinkan Anda keluar dari gagasan keras eksplisit tentang kata-kata tertentu yang harus ada di halaman. Namun benar-benar memahami gagasan tentang topik halaman ini atau paragraf halaman ini sangat relevan dengan kueri ini.”

Pergeseran ini memungkinkan Penelusuran menghubungkan kueri dengan jawaban meskipun kata-katanya berbeda. Relevansi semakin berpusat pada maksud dan pokok bahasan, bukan hanya keberadaan kata kunci.

Perluasan kueri tidak dimulai dengan AI. Dean menunjuk pada tahun 2001, ketika Google memindahkan indeksnya ke dalam memori di mesin yang cukup untuk membuat perluasan kueri menjadi murah dan cepat. Dekan berkata:

• “Salah satu hal yang benar-benar terjadi pada tahun 2001 adalah kami berupaya untuk menskalakan sistem dalam berbagai dimensi. Salah satunya adalah kami ingin membuat indeks kami lebih besar, sehingga kami dapat mengambil dari indeks yang lebih besar, yang selalu membantu kualitas Anda secara umum. Karena jika Anda tidak memiliki halaman di indeks Anda, Anda tidak akan melakukannya dengan baik.
• “Dan kemudian kami juga perlu meningkatkan kapasitas kami karena lalu lintas kami tumbuh cukup pesat. Jadi kami memiliki sistem shard di mana Anda memiliki lebih banyak shard seiring pertumbuhan indeks, Anda memiliki sekitar 30 shard. Lalu jika Anda ingin menggandakan ukuran indeks, Anda membuat 60 shard sehingga Anda dapat membatasi latensi yang Anda gunakan untuk merespons kueri pengguna tertentu. Dan kemudian seiring pertumbuhan lalu lintas, Anda menambahkan lebih banyak replika dari masing-masing shard tersebut.
• Jadi kami akhirnya menghitung dan menyadari bahwa di pusat data yang tadinya kami katakan memiliki 60 shard dan 20 salinan setiap shard, kini kami memiliki 1.200 mesin dengan disk. Dan kami menghitungnya dan kami berpikir, Hei, satu salinan indeks itu akan muat di memori di 1.200 mesin. Jadi pada tahun 2001, kami… menyimpan seluruh indeks kami dalam memori dan apa yang dimungkinkan dari perspektif kualitas sungguh menakjubkan.

Sebelumnya, menambahkan istilah itu mahal karena memerlukan akses disk. Setelah indeks tersimpan dalam ingatan, Google dapat memperluas kueri singkat menjadi lusinan istilah terkait — menambahkan sinonim dan variasi untuk menangkap makna dengan lebih baik. Dekan berkata:

• “Sebelumnya, Anda harus benar-benar berhati-hati tentang berapa banyak istilah berbeda yang Anda cari untuk sebuah kueri, karena setiap istilah tersebut akan melibatkan pencarian disk.
• “Setelah Anda memiliki seluruh indeks dalam memori, tidak apa-apa untuk memiliki 50 istilah yang Anda masukkan ke dalam kueri dari kueri asli tiga atau empat kata pengguna. Karena sekarang Anda dapat menambahkan sinonim seperti restoran dan restoran dan kafe dan bistro dan semua hal ini.
• “Dan Anda bisa tiba-tiba mulai… memahami arti kata tersebut dan bukan bentuk semantik yang sebenarnya yang diketik pengguna. Dan itu… 2001, sebelum LLM, tapi sebenarnya ini tentang memperhalus definisi ketat dari apa yang diketik pengguna untuk memahami artinya.”

Perubahan tersebut mendorong Penelusuran menuju pencocokan maksud dan semantik bertahun-tahun sebelum LLM. Mode AI (dan pengalaman AI lainnya) melanjutkan peralihan Google menuju pengambilan berbasis makna, yang dimungkinkan oleh sistem yang lebih baik dan komputasi yang lebih banyak.

Kesegaran sebagai keunggulan inti. Dean mengatakan salah satu transformasi terbesar Search adalah kecepatan pembaruan. Sistem awal menyegarkan halaman sesering sebulan sekali. Seiring waktu, Google membangun infrastruktur yang dapat memperbarui halaman dalam waktu kurang dari satu menit. Dekan berkata:

• “Pada masa-masa awal Google, kami mengembangkan indeks secara ekstensif. Kami meningkatkan tingkat pembaruan indeks. Jadi, tingkat pembaruan sebenarnya adalah parameter yang paling banyak berubah.”

Hal ini meningkatkan hasil kueri berita dan memengaruhi pengalaman penelusuran utama. Pengguna mengharapkan informasi terkini, dan sistem dirancang untuk menyampaikannya. Dekan berkata:

• “Jika Anda mendapatkan indeks berita bulan lalu, sebenarnya itu tidak terlalu berguna.”

Google menggunakan sistem untuk memutuskan seberapa sering meng-crawl suatu halaman, menyeimbangkan seberapa besar kemungkinan halaman tersebut berubah dan seberapa berharganya versi terbaru. Bahkan halaman yang jarang berubah mungkin sering dirayapi jika halaman tersebut cukup penting. Dekan berkata:

• “Ada keseluruhan… sistem di balik layar yang mencoba menentukan tingkat pembaruan dan pentingnya halaman. Jadi, meskipun tingkat pembaruan tampaknya rendah, Anda mungkin masih ingin merayapi ulang halaman-halaman penting cukup sering karena kemungkinan perubahannya mungkin rendah, namun nilai dari pembaruan itu tinggi.”

Mengapa kami peduli. Jawaban AI tidak mengabaikan sinyal peringkat, prioritas perayapan, atau relevansi. Mereka bergantung pada mereka. Kelayakan, kualitas, dan kesegaran tetap menentukan halaman mana yang diambil dan dipersempit. LLM mengubah cara konten disintesis dan disajikan — tetapi persaingan untuk memasuki kumpulan kandidat tetap menjadi masalah pencarian.

Wawancara. Memiliki AI Pareto Frontier – Jeff Dean