Katakanlah Anda membaca cerita, atau memainkan permainan catur. Anda mungkin tidak memperhatikan, tetapi setiap langkah, pikiran Anda melacak bagaimana situasi (atau “keadaan dunia”) berubah. Anda dapat membayangkan ini sebagai semacam urutan daftar acara, yang kami gunakan untuk memperbarui prediksi kami tentang apa yang akan terjadi selanjutnya.
Model bahasa seperti ChatGPT juga melacak perubahan di dalam “pikiran” mereka sendiri saat menyelesaikan blok kode atau mengantisipasi apa yang akan Anda tulis selanjutnya. Mereka biasanya membuat tebakan berpendidikan menggunakan transformer – arsitektur internal yang membantu model memahami data berurutan – tetapi sistem kadang -kadang salah karena pola berpikir yang cacat. Mengidentifikasi dan mengubah mekanisme yang mendasari ini membantu model bahasa menjadi prognostikator yang lebih andal, terutama dengan tugas yang lebih dinamis seperti peramalan cuaca dan pasar keuangan.
Tetapi apakah sistem AI ini proses mengembangkan situasi seperti yang kita lakukan? Sebuah makalah baru dari para peneliti di Ilmu Komputer MIT dan Laboratorium Kecerdasan Buatan (CSAIL) dan Departemen Teknik Listrik dan Ilmu Komputer menunjukkan bahwa model -model itu malah menggunakan pintasan matematika yang cerdas antara setiap langkah progresif dalam urutan, yang pada akhirnya membuat prediksi yang masuk akal. Tim melakukan pengamatan ini dengan pergi di bawah kap model bahasa, mengevaluasi seberapa dekat mereka dapat melacak objek yang mengubah posisi dengan cepat. Temuan mereka menunjukkan bahwa insinyur dapat mengontrol ketika model bahasa menggunakan solusi tertentu sebagai cara untuk meningkatkan kemampuan prediktif sistem.
Game Shell
Para peneliti menganalisis pekerjaan dalam model ini menggunakan percobaan cerdas yang mengingatkan pada permainan konsentrasi klasik. Pernah harus menebak lokasi akhir suatu objek setelah ditempatkan di bawah cangkir dan dikocok dengan wadah yang identik? Tim menggunakan tes serupa, di mana model menebak pengaturan akhir angka tertentu (juga disebut permutasi). Model diberi urutan awal, seperti “42135,” dan instruksi tentang kapan dan di mana memindahkan setiap digit, seperti memindahkan “4” ke posisi ketiga dan dan seterusnya, tanpa mengetahui hasil akhirnya.
Dalam percobaan ini, model berbasis transformator secara bertahap belajar untuk memprediksi pengaturan akhir yang benar. Alih -alih menyeret angka -angka berdasarkan instruksi yang diberikan kepada mereka, meskipun, sistem mengumpulkan informasi antara negara -negara berturut -turut (atau langkah -langkah individu dalam urutan) dan menghitung permutasi akhir.
Satu pola masuk yang diamati tim, disebut “algoritma asosiatif,” pada dasarnya mengatur langkah-langkah terdekat ke dalam kelompok dan kemudian menghitung tebakan akhir. Anda dapat menganggap proses ini disusun seperti pohon, di mana pengaturan numerik awal adalah “root.” Saat Anda naik pohon, langkah -langkah yang berdekatan dikelompokkan ke dalam cabang yang berbeda dan dikalikan bersama. Di bagian atas pohon adalah kombinasi akhir angka, dihitung dengan mengalikan masing -masing urutan yang dihasilkan pada cabang bersama -sama.
Cara lain model bahasa menebak permutasi akhir adalah melalui mekanisme licik yang disebut “algoritma paritas-asosiatif,” yang pada dasarnya mengurangi opsi sebelum mengelompokkannya. Ini menentukan apakah pengaturan akhir adalah hasil dari jumlah penataan ulang digit individu genap atau ganjil. Kemudian, kelompok mekanisme sekuens yang berdekatan dari langkah yang berbeda sebelum mengalikannya, seperti halnya algoritma asosiatif.
“Perilaku ini memberi tahu kami bahwa Transformers melakukan simulasi dengan pemindaian asosiatif. Alih-alih mengikuti perubahan keadaan langkah demi langkah, model-model mengorganisirnya menjadi hierarki,” kata mahasiswa PhD MIT dan afiliasi CSAIL Belinda Li Sm ’23, seorang penulis utama di atas kertas. “Bagaimana kita mendorong Transformers untuk mempelajari pelacakan negara yang lebih baik? Alih-alih memaksakan bahwa sistem ini membentuk kesimpulan tentang data dengan cara yang mirip manusia, berurutan, mungkin kita harus memenuhi pendekatan yang mereka gunakan secara alami saat melacak perubahan keadaan.”
“Salah satu jalan penelitian adalah memperluas komputasi waktu uji di sepanjang dimensi kedalaman, daripada dimensi token-dengan meningkatkan jumlah lapisan transformator daripada jumlah token rantai selama penalaran waktu tes,” tambah LI. “Pekerjaan kami menunjukkan bahwa pendekatan ini akan memungkinkan Transformers untuk membangun pohon penalaran yang lebih dalam.”
Melalui kaca yang terlihat
Li dan rekan penulisnya mengamati bagaimana algoritma asosiatif dan paritas-asosiatif bekerja menggunakan alat yang memungkinkan mereka untuk mengintip di dalam “pikiran” model bahasa.
Mereka pertama kali menggunakan metode yang disebut “Probing,” yang menunjukkan informasi apa yang mengalir melalui sistem AI. Bayangkan Anda dapat melihat ke otak model untuk melihat pemikirannya pada saat tertentu-dengan cara yang sama, teknik ini memetakan prediksi eksperimen menengah sistem tentang pengaturan akhir digit.
Alat yang disebut “Penambalan Aktivasi” kemudian digunakan untuk menunjukkan di mana model bahasa memproses perubahan pada suatu situasi. Ini melibatkan campur tangan dengan beberapa “ide” sistem, menyuntikkan informasi yang salah ke bagian -bagian tertentu dari jaringan sambil menjaga bagian lain konstan, dan melihat bagaimana sistem akan menyesuaikan prediksi.
Alat -alat ini terungkap ketika algoritma akan membuat kesalahan dan ketika sistem “mencari tahu” bagaimana menebak permutasi akhir dengan benar. Mereka mengamati bahwa algoritma asosiatif belajar lebih cepat daripada algoritma paritas-asosiatif, sementara juga berkinerja lebih baik pada urutan yang lebih lama. LI mengaitkan kesulitan yang terakhir dengan instruksi yang lebih rumit dengan ketergantungan yang berlebihan pada heuristik (atau aturan yang memungkinkan kami menghitung solusi yang masuk akal dengan cepat) untuk memprediksi permutasi.
“Kami telah menemukan bahwa ketika model bahasa menggunakan heuristik sejak awal dalam pelatihan, mereka akan mulai membangun trik ini ke dalam mekanisme mereka,” kata Li. “Namun, model-model itu cenderung menggeneralisasi lebih buruk daripada yang tidak bergantung pada heuristik. Kami menemukan bahwa tujuan pra-pelatihan tertentu dapat menghalangi atau mendorong pola-pola ini, jadi di masa depan, kami mungkin berupaya merancang teknik yang mencegah model dari mengambil kebiasaan buruk.”
Para peneliti mencatat bahwa percobaan mereka dilakukan pada model bahasa skala kecil yang disesuaikan dengan data sintetis, tetapi menemukan ukuran model memiliki sedikit efek pada hasilnya. Ini menunjukkan bahwa menyempurnakan model bahasa yang lebih besar, seperti GPT 4.1, kemungkinan akan menghasilkan hasil yang sama. Tim berencana untuk memeriksa hipotesis mereka lebih dekat dengan menguji model bahasa dengan berbagai ukuran yang belum disesuaikan, mengevaluasi kinerja mereka pada tugas-tugas dunia nyata yang dinamis seperti melacak kode dan mengikuti bagaimana cerita berkembang.
Universitas Harvard Postdoc Keyon Vafa, yang tidak terlibat dalam makalah ini, mengatakan bahwa temuan para peneliti dapat menciptakan peluang untuk memajukan model bahasa. “Banyak penggunaan model bahasa besar bergantung pada status pelacakan: apa pun dari menyediakan resep hingga menulis kode hingga melacak detail dalam percakapan,” katanya. “Makalah ini membuat kemajuan yang signifikan dalam memahami bagaimana model bahasa melakukan tugas -tugas ini. Kemajuan ini memberi kita wawasan menarik tentang apa yang dilakukan model bahasa dan menawarkan strategi baru yang menjanjikan untuk memperbaikinya.”
Li menulis makalah dengan mahasiswa sarjana MIT Zifan “Carl” Guo dan penulis senior Jacob Andreas, yang merupakan profesor MIT dari Teknik Listrik dan Ilmu Komputer dan Penyelidik Kepala CSAIL. Penelitian mereka didukung, sebagian, oleh filantropi terbuka, MIT Quest for Intelligence, National Science Foundation, Program Clare Boothe Luce for Women in STEM, dan Sloan Research Fellowship.
Para peneliti mempresentasikan penelitian mereka di Konferensi Internasional tentang Pembelajaran Mesin (ICML) minggu ini.
