Daerah anotasi yang menarik dalam gambar medis, suatu proses yang dikenal sebagai segmentasi, sering kali merupakan salah satu langkah pertama yang diambil oleh peneliti klinis ketika menjalankan studi baru yang melibatkan gambar biomedis.
Misalnya, untuk menentukan bagaimana ukuran hippocampus otak berubah seiring bertambahnya usia pasien, ilmuwan pertama -tama menguraikan setiap hippocampus dalam serangkaian pemindaian otak. Untuk banyak struktur dan jenis gambar, ini sering merupakan proses manual yang bisa sangat memakan waktu, terutama jika daerah yang dipelajari menantang untuk digambarkan.
Untuk merampingkan proses, peneliti MIT mengembangkan sistem berbasis kecerdasan buatan yang memungkinkan peneliti untuk dengan cepat segmen kumpulan data pencitraan biomedis baru dengan mengklik, menulis, dan menggambar kotak pada gambar. Model AI baru ini menggunakan interaksi ini untuk memprediksi segmentasi.
Karena pengguna menandai gambar tambahan, jumlah interaksi yang mereka butuhkan untuk melakukan penurunan, akhirnya turun ke nol. Model kemudian dapat membagi setiap gambar baru secara akurat tanpa input pengguna.
Ini dapat melakukan ini karena arsitektur model telah dirancang khusus untuk menggunakan informasi dari gambar yang telah disegmentasi untuk membuat prediksi baru.
Tidak seperti model segmentasi gambar medis lainnya, sistem ini memungkinkan pengguna untuk segmen seluruh dataset tanpa mengulangi pekerjaan mereka untuk setiap gambar.
Selain itu, alat interaktif tidak memerlukan dataset gambar yang ditentukan untuk pelatihan, sehingga pengguna tidak memerlukan keahlian pembelajaran mesin atau sumber daya komputasi yang luas. Mereka dapat menggunakan sistem untuk tugas segmentasi baru tanpa melatih kembali model.
Dalam jangka panjang, alat ini dapat mempercepat studi metode perawatan baru dan mengurangi biaya uji klinis dan penelitian medis. Ini juga dapat digunakan oleh dokter untuk meningkatkan efisiensi aplikasi klinis, seperti perencanaan perawatan radiasi.
“Banyak ilmuwan mungkin hanya memiliki waktu untuk melakukan segmen beberapa gambar per hari untuk penelitian mereka karena segmentasi citra manual sangat memakan waktu. Harapan kami adalah bahwa sistem ini akan memungkinkan sains baru dengan memungkinkan para peneliti klinis untuk melakukan studi yang mereka dilarang melakukan sebelumnya karena kurangnya alat yang efisien,” kata Paper Wong, seorang teknik listrik dan sains sains komputer ini.
Dia bergabung di atas kertas oleh Jose Javier Gonzalez Ortiz PhD ’24; John Guttag, Profesor Ilmu Komputer dan Teknik Listrik Dugald C. Jackson; dan penulis senior Adrian Dalca, asisten profesor di Harvard Medical School dan MGH, dan seorang ilmuwan riset di MIT Computer Science dan Laboratorium Kecerdasan Buatan (CSAIL). Penelitian akan dipresentasikan pada Konferensi Internasional tentang Visi Komputer.
Merampingkan segmentasi
Ada terutama dua metode yang digunakan peneliti untuk segmen set baru dari gambar medis. Dengan segmentasi interaktif, mereka memasukkan gambar ke dalam sistem AI dan menggunakan antarmuka untuk menandai bidang yang diminati. Model memprediksi segmentasi berdasarkan interaksi tersebut.
Alat yang sebelumnya dikembangkan oleh para peneliti MIT, ScribbibblePromppt, memungkinkan pengguna untuk melakukan ini, tetapi mereka harus mengulangi proses untuk setiap gambar baru.
Pendekatan lain adalah mengembangkan model AI khusus tugas untuk secara otomatis membagi gambar. Pendekatan ini mengharuskan pengguna untuk secara manual segmen ratusan gambar untuk membuat dataset, dan kemudian melatih model pembelajaran mesin. Model itu memprediksi segmentasi untuk gambar baru. Tetapi pengguna harus memulai proses yang kompleks, berbasis pembelajaran mesin dari awal untuk setiap tugas baru, dan tidak ada cara untuk memperbaiki model jika itu membuat kesalahan.
Sistem baru ini, Multiverseg, menggabungkan yang terbaik dari setiap pendekatan. Ini memprediksi segmentasi untuk gambar baru berdasarkan interaksi pengguna, seperti coretan, tetapi juga menjaga setiap gambar tersegmentasi dalam konteks yang dirujuk nanti.
Ketika pengguna mengunggah gambar baru dan menandai bidang yang diminati, model menggambar pada contoh -contoh dalam konteksnya yang diatur untuk membuat prediksi yang lebih akurat, dengan lebih sedikit input pengguna.
Para peneliti merancang arsitektur model untuk menggunakan serangkaian konteks dengan ukuran apa pun, sehingga pengguna tidak perlu memiliki sejumlah gambar. Ini memberi Multiverseg fleksibilitas untuk digunakan dalam berbagai aplikasi.
“Pada titik tertentu, untuk banyak tugas, Anda tidak perlu memberikan interaksi apa pun. Jika Anda memiliki cukup contoh dalam set konteks, model dapat secara akurat memprediksi segmentasi sendiri,” kata Wong.
Para peneliti dengan hati -hati merekayasa dan melatih model pada beragam kumpulan data pencitraan biomedis untuk memastikan ia memiliki kemampuan untuk secara bertahap meningkatkan prediksi berdasarkan input pengguna.
Pengguna tidak perlu melatih kembali atau menyesuaikan model untuk data mereka. Untuk menggunakan Multiverseg untuk tugas baru, orang dapat mengunggah gambar medis baru dan mulai menandainya.
Ketika para peneliti membandingkan multiverseg dengan alat canggih untuk segmentasi gambar dalam konteks dan interaktif, ia mengungguli setiap garis dasar.
Lebih sedikit klik, hasil yang lebih baik
Tidak seperti alat -alat lain ini, Multiverseg membutuhkan lebih sedikit input pengguna dengan setiap gambar. Dengan gambar baru kesembilan, hanya membutuhkan dua klik dari pengguna untuk menghasilkan segmentasi yang lebih akurat daripada model yang dirancang khusus untuk tugas tersebut.
Untuk beberapa jenis gambar, seperti sinar-X, pengguna mungkin hanya perlu segmen satu atau dua gambar secara manual sebelum model menjadi cukup akurat untuk membuat prediksi sendiri.
Interaktivitas alat ini juga memungkinkan pengguna untuk melakukan koreksi pada prediksi model, iterasi sampai mencapai tingkat akurasi yang diinginkan. Dibandingkan dengan sistem peneliti sebelumnya, multiverseg mencapai akurasi 90 persen dengan sekitar 2/3 jumlah coretan dan 3/4 jumlah klik.
“Dengan multiverseg, pengguna selalu dapat memberikan lebih banyak interaksi untuk memperbaiki prediksi AI. Ini masih secara dramatis mempercepat proses karena biasanya lebih cepat untuk memperbaiki sesuatu yang ada daripada memulai dari awal,” kata Wong.
Ke depan, para peneliti ingin menguji alat ini dalam situasi dunia nyata dengan kolaborator klinis dan memperbaikinya berdasarkan umpan balik pengguna. Mereka juga ingin mengaktifkan multiverseg untuk segmen gambar biomedis 3D.
Pekerjaan ini didukung, sebagian, oleh Quanta Computer, Inc. dan National Institutes of Health, dengan dukungan perangkat keras dari Massachusetts Life Sciences Center.
