Sistem desain berbantuan komputer (CAD) adalah alat teruji dan benar yang digunakan untuk merancang banyak objek fisik yang kita gunakan setiap hari. Namun perangkat lunak CAD membutuhkan keahlian yang luas untuk dikuasai, dan banyak alat yang memiliki tingkat detail yang tinggi sehingga tidak dapat dilakukan brainstorming atau pembuatan prototipe cepat.
Dalam upaya membuat desain lebih cepat dan lebih mudah diakses oleh non-ahli, para peneliti dari MIT dan tempat lain mengembangkan sistem perakitan robot berbasis AI yang memungkinkan orang membuat objek fisik hanya dengan mendeskripsikannya dengan kata-kata.
Sistem mereka menggunakan model AI generatif untuk membangun representasi 3D geometri objek berdasarkan perintah pengguna. Kemudian, model AI generatif kedua memikirkan objek yang diinginkan dan mencari tahu ke mana berbagai komponen harus ditempatkan, sesuai dengan fungsi dan geometri objek.
Sistem dapat secara otomatis membangun objek dari sekumpulan komponen prefabrikasi menggunakan perakitan robot. Itu juga dapat mengulangi desain berdasarkan umpan balik dari pengguna.
Para peneliti menggunakan sistem end-to-end ini untuk membuat furnitur, termasuk kursi dan rak, dari dua jenis komponen yang sudah jadi. Komponen dapat dibongkar dan dipasang kembali sesuai keinginan, sehingga mengurangi jumlah limbah yang dihasilkan melalui proses fabrikasi.
Mereka mengevaluasi desain ini melalui studi pengguna dan menemukan bahwa lebih dari 90 persen peserta lebih menyukai objek yang dibuat dengan sistem berbasis AI, dibandingkan dengan pendekatan lain.
Meskipun pekerjaan ini merupakan demonstrasi awal, kerangka kerja ini bisa sangat berguna untuk membuat prototipe objek kompleks dengan cepat seperti komponen ruang angkasa dan objek arsitektur. Dalam jangka panjang, bahan ini dapat digunakan di rumah-rumah untuk membuat furnitur atau benda lain secara lokal, tanpa perlu mengirimkan produk dalam jumlah besar dari fasilitas pusat.
“Cepat atau lambat, kita ingin bisa berkomunikasi dan berbicara dengan robot dan sistem AI dengan cara yang sama seperti kita berbicara satu sama lain untuk membuat sesuatu bersama-sama. Sistem kami adalah langkah pertama untuk mewujudkan masa depan tersebut,” kata penulis utama Alex Kyaw, seorang mahasiswa pascasarjana di departemen Teknik Elektro dan Ilmu Komputer (EECS) dan Arsitektur MIT.
Kyaw bergabung dalam makalah ini dengan Richa Gupta, seorang mahasiswa pascasarjana arsitektur MIT; Faez Ahmed, profesor teknik mesin; Lawrence Sass, profesor dan ketua Kelompok Komputasi di Departemen Arsitektur; penulis senior Randall Davis, seorang profesor EECS dan anggota Laboratorium Ilmu Komputer dan Kecerdasan Buatan (CSAIL); serta lainnya di Google Deepmind dan Autodesk Research. Makalah ini baru-baru ini dipresentasikan pada Konferensi Sistem Pemrosesan Informasi Neural.
Menghasilkan desain multikomponen
Meskipun model AI generatif pandai menghasilkan representasi 3D, yang dikenal sebagai jerat, dari perintah teks, sebagian besar model tersebut tidak menghasilkan representasi seragam dari geometri objek yang memiliki detail tingkat komponen yang diperlukan untuk perakitan robot.
Memisahkan jerat ini menjadi beberapa komponen merupakan tantangan bagi sebuah model karena penetapan komponen bergantung pada geometri dan fungsionalitas objek dan bagian-bagiannya.
Para peneliti mengatasi tantangan ini menggunakan model bahasa visi (VLM), yaitu model AI generatif canggih yang telah dilatih sebelumnya untuk memahami gambar dan teks. Mereka menugaskan VLM untuk mencari tahu bagaimana dua jenis bagian prefabrikasi, komponen struktural dan komponen panel, harus cocok untuk membentuk sebuah objek.
“Ada banyak cara untuk memasang panel pada objek fisik, namun robot perlu melihat geometri dan mempertimbangkan geometri tersebut untuk mengambil keputusan. Dengan berfungsi sebagai mata dan otak robot, VLM memungkinkan robot melakukan hal ini,” kata Kyaw.
Seorang pengguna meminta sistem dengan teks, mungkin dengan mengetik “buatkan saya kursi,” dan memberinya gambar kursi yang dihasilkan AI untuk memulai.
Kemudian, VLM memberikan alasan tentang kursi dan menentukan di mana letak komponen panel di atas komponen struktural, berdasarkan fungsionalitas dari banyak contoh objek yang telah dilihat sebelumnya. Misalnya, model dapat menentukan bahwa tempat duduk dan sandaran harus memiliki panel agar memiliki permukaan untuk seseorang yang duduk dan bersandar pada kursi.
Ini menampilkan informasi ini sebagai teks, seperti “kursi” atau “sandaran.” Setiap permukaan kursi kemudian diberi label dengan nomor, dan informasinya diumpankan kembali ke VLM.
Kemudian VLM memilih label yang sesuai dengan bagian geometris kursi yang harus menerima panel pada jaring 3D untuk melengkapi desain.
Desain bersama manusia-AI
Pengguna tetap mengikuti perkembangan selama proses ini dan dapat menyempurnakan desain dengan memberikan perintah baru kepada model, seperti “hanya gunakan panel di sandaran, bukan di kursi”.
“Ruang desain sangat besar, jadi kami mempersempitnya berdasarkan masukan dari pengguna. Kami yakin ini adalah cara terbaik untuk melakukannya karena setiap orang memiliki preferensi yang berbeda, dan mustahil untuk membangun model yang ideal untuk semua orang,” kata Kyaw.
“Proses human‑in‑the‑loop memungkinkan pengguna untuk mengarahkan desain yang dihasilkan AI dan memiliki rasa kepemilikan terhadap hasil akhirnya,” tambah Gupta.
Setelah jaring 3D diselesaikan, sistem perakitan robotik membangun objek menggunakan komponen prefabrikasi. Bagian-bagian yang dapat digunakan kembali ini dapat dibongkar dan dipasang kembali ke dalam konfigurasi yang berbeda.
Para peneliti membandingkan hasil metode mereka dengan algoritma yang menempatkan panel pada semua permukaan horizontal yang menghadap ke atas, dan algoritma yang menempatkan panel secara acak. Dalam studi pengguna, lebih dari 90 persen individu menyukai desain yang dibuat oleh sistem mereka.
Mereka juga meminta VLM menjelaskan mengapa mereka memilih memasang panel di area tersebut.
“Kami belajar bahwa model bahasa visi mampu memahami aspek fungsional kursi, seperti bersandar dan duduk, untuk memahami mengapa model tersebut menempatkan panel pada kursi dan sandaran. Model ini tidak hanya memberikan tugas-tugas ini secara acak,” kata Kyaw.
Di masa depan, para peneliti ingin meningkatkan sistem mereka untuk menangani perintah pengguna yang lebih kompleks dan bernuansa, seperti meja yang terbuat dari kaca dan logam. Selain itu, mereka ingin memasukkan komponen prefabrikasi tambahan, seperti roda gigi, engsel, atau bagian bergerak lainnya, sehingga objek dapat memiliki lebih banyak fungsi.
“Harapan kami adalah untuk secara drastis menurunkan hambatan akses terhadap alat desain. Kami telah menunjukkan bahwa kami dapat menggunakan AI generatif dan robotika untuk mengubah ide menjadi objek fisik dengan cara yang cepat, mudah diakses, dan berkelanjutan,” kata Davis.
