Penelitian telah menunjukkan bahwa model bahasa besar (LLM) cenderung terlalu menekankan informasi di awal dan akhir dokumen atau percakapan, sambil mengabaikan tengah.
“Bias posisi” ini berarti bahwa, jika seorang pengacara menggunakan asisten virtual bertenaga LLM untuk mengambil frasa tertentu dalam pernyataan tertulis 30 halaman, LLM lebih cenderung menemukan teks yang tepat jika ada di halaman awal atau akhir.
Peneliti MIT telah menemukan mekanisme di balik fenomena ini.
Mereka menciptakan kerangka teori untuk mempelajari bagaimana informasi mengalir melalui arsitektur pembelajaran mesin yang membentuk tulang punggung LLMS. Mereka menemukan bahwa pilihan desain tertentu yang mengontrol bagaimana model memproses data input dapat menyebabkan bias posisi.
Eksperimen mereka mengungkapkan bahwa arsitektur model, terutama yang mempengaruhi bagaimana informasi tersebar di seluruh kata -kata input dalam model, dapat menimbulkan atau mengintensifkan bias posisi, dan bahwa data pelatihan juga berkontribusi pada masalah tersebut.
Selain menunjukkan asal -usul bias posisi, kerangka kerja mereka dapat digunakan untuk mendiagnosis dan memperbaikinya dalam desain model di masa depan.
Hal ini dapat menyebabkan chatbots yang lebih dapat diandalkan yang tetap pada topik selama percakapan panjang, sistem AI medis yang beralasan lebih adil ketika menangani banyak data pasien, dan asisten kode yang lebih memperhatikan semua bagian program.
“These models are black boxes, so as an LLM user, you probably don’t know that position bias can cause your model to be inconsistent. You just feed it your documents in whatever order you want and expect it to work. But by understanding the underlying mechanism of these black-box models better, we can improve them by addressing these limitations,” says Xinyi Wu, a graduate student in the MIT Institute for Data, Systems, and Society (IDSS) and the Laboratory for Information and Sistem Keputusan (LIDS), dan penulis pertama makalah tentang penelitian ini.
Rekan penulisnya termasuk Yifei Wang, mit postdoc; dan penulis senior Stefanie Jegelka, seorang profesor Teknik Listrik dan Ilmu Komputer (EECS) dan anggota IDSS dan Ilmu Komputer dan Laboratorium Kecerdasan Buatan (CSAIL); dan Ali Jadbabaie, Profesor dan Kepala Departemen Teknik Sipil dan Lingkungan, anggota fakultas inti IDSS, dan penyelidik utama di tutupnya. Penelitian ini akan dipresentasikan pada Konferensi Internasional tentang Pembelajaran Mesin.
Menganalisis perhatian
LLMS seperti Claude, Llama, dan GPT-4 ditenagai oleh jenis arsitektur jaringan saraf yang dikenal sebagai transformator. Transformers dirancang untuk memproses data berurutan, menyandikan kalimat menjadi potongan yang disebut token dan kemudian mempelajari hubungan antara token untuk memprediksi kata -kata apa yang terjadi selanjutnya.
Model -model ini menjadi sangat baik dalam hal ini karena mekanisme perhatian, yang menggunakan lapisan node pemrosesan data yang saling berhubungan untuk memahami konteks dengan memungkinkan token untuk fokus secara selektif, atau memperhatikan, token terkait.
Tetapi jika setiap token dapat menghadiri setiap token lain dalam dokumen 30 halaman, itu dengan cepat menjadi tidak dapat dikomputasi secara komputasi. Jadi, ketika para insinyur membangun model transformator, mereka sering menggunakan teknik masking perhatian yang membatasi kata -kata yang dapat diperhatikan oleh token.
Misalnya, topeng kausal hanya memungkinkan kata -kata untuk memperhatikan mereka yang datang sebelumnya.
Insinyur juga menggunakan pengkodean posisi untuk membantu model memahami lokasi setiap kata dalam sebuah kalimat, meningkatkan kinerja.
Para peneliti MIT membangun kerangka teori berbasis grafik untuk mengeksplorasi bagaimana pilihan pemodelan ini, topeng perhatian dan pengkodean posisi, dapat memengaruhi bias posisi.
“Semuanya digabungkan dan kusut dalam mekanisme perhatian, sehingga sangat sulit untuk dipelajari. Grafik adalah bahasa yang fleksibel untuk menggambarkan hubungan yang tergantung di antara kata -kata dalam mekanisme perhatian dan melacaknya di berbagai lapisan,” kata Wu.
Analisis teoritis mereka menunjukkan bahwa masking kausal memberikan model bias yang melekat pada awal input, bahkan ketika bias itu tidak ada dalam data.
Jika kata -kata sebelumnya relatif tidak penting untuk makna kalimat, masking kausal dapat menyebabkan transformator lebih memperhatikan permulaannya.
“Meskipun sering benar bahwa kata -kata sebelumnya dan kata -kata yang lebih baru dalam sebuah kalimat lebih penting, jika LLM digunakan pada tugas yang bukan generasi bahasa alami, seperti peringkat atau pengambilan informasi, bias ini bisa sangat berbahaya,” kata Wu.
Seiring bertambahnya model, dengan lapisan tambahan mekanisme perhatian, bias ini diperkuat karena bagian input sebelumnya lebih sering digunakan dalam proses penalaran model.
Mereka juga menemukan bahwa menggunakan pengkodean posisi untuk menghubungkan kata -kata lebih kuat dengan kata -kata di dekatnya dapat mengurangi bias posisi. Teknik ini memfokuskan kembali perhatian model di tempat yang tepat, tetapi efeknya dapat diencerkan dalam model dengan lebih banyak lapisan perhatian.
Dan pilihan desain ini hanyalah salah satu penyebab bias posisi – beberapa dapat berasal dari data pelatihan yang digunakan model untuk mempelajari cara memprioritaskan kata -kata dalam urutan.
“Jika Anda tahu data Anda bias dengan cara tertentu, maka Anda juga harus memperbaiki model Anda di atas menyesuaikan pilihan pemodelan Anda,” kata Wu.
Tersesat di tengah
Setelah mereka menetapkan kerangka teori, para peneliti melakukan eksperimen di mana mereka secara sistematis memvariasikan posisi jawaban yang benar dalam urutan teks untuk tugas pengambilan informasi.
Eksperimen menunjukkan fenomena “hilang-dalam-tengah”, di mana akurasi pengambilan mengikuti pola berbentuk-U. Model berkinerja paling baik jika jawaban yang tepat terletak di awal urutan. Kinerja menurun semakin dekat ke tengah sebelum pulih sedikit jika jawaban yang benar sudah mendekati akhir.
Pada akhirnya, pekerjaan mereka menunjukkan bahwa menggunakan teknik masking yang berbeda, menghapus lapisan tambahan dari mekanisme perhatian, atau secara strategis menggunakan pengkodean posisi dapat mengurangi bias posisi dan meningkatkan akurasi model.
“Dengan melakukan kombinasi teori dan eksperimen, kami dapat melihat konsekuensi dari pilihan desain model yang tidak jelas pada saat itu. Jika Anda ingin menggunakan model dalam aplikasi berisiko tinggi, Anda harus tahu kapan itu akan berhasil, kapan itu tidak, dan mengapa,” kata Jadbabaie.
Di masa depan, para peneliti ingin mengeksplorasi lebih lanjut efek pengkodean posisi dan mempelajari bagaimana bias posisi dapat dieksploitasi secara strategis dalam aplikasi tertentu.
“Para peneliti ini menawarkan lensa teoretis yang langka ke dalam mekanisme perhatian di jantung model Transformer. Mereka memberikan analisis yang menarik yang mengklarifikasi keanehan yang sudah lama ada dalam perilaku transformator, menunjukkan bahwa mekanisme perhatian, terutama dengan topeng kausal, secara inheren model bias yang berpasangan dengan awal yang dipasangkan dengan ke-semua yang dipasangkan dengan nada yang dipasangkan dengan ke-kedua dunia yang dipasangkan dengan ke dalam duniawi yang dipasangkan dengan nak. dan Direktur Stanford University Center for Computational Market Design, yang tidak terlibat dengan pekerjaan ini.
Penelitian ini didukung, sebagian, oleh Kantor Penelitian Angkatan Laut AS, National Science Foundation, dan profesor Alexander von Humboldt.
