Di sebuah kantor di Laboratorium Komputer dan Laboratorium Intelijen Buatan MIT (CSAIL), tangan robot yang lembut dengan hati -hati meringkuk jari -jarinya untuk memahami benda kecil. Bagian yang menarik bukanlah desain mekanis atau sensor tertanam – pada kenyataannya, tangan tidak mengandung. Sebaliknya, seluruh sistem bergantung pada satu kamera yang menonton gerakan robot dan menggunakan data visual itu untuk mengendalikannya.
Kemampuan ini berasal dari sistem baru yang dikembangkan oleh para ilmuwan CSAIL, menawarkan perspektif yang berbeda tentang kontrol robot. Daripada menggunakan model yang dirancang dengan tangan atau array sensor yang kompleks, ini memungkinkan robot untuk mempelajari bagaimana tubuh mereka merespons perintah kontrol, semata-mata melalui penglihatan. Pendekatan, yang disebut Neural Jacobian Fields (NJF), memberikan robot semacam kesadaran diri tubuh. Makalah akses terbuka tentang karya itu diterbitkan diAlam pada 25 Juni.
“Pekerjaan ini menunjuk ke pergeseran dari robot pemrograman ke robot pengajaran,” kata Sizhe Lester Li, mahasiswa MIT PhD di bidang teknik listrik dan ilmu komputer, afiliasi CSAIL, dan peneliti utama dalam pekerjaan tersebut. “Hari ini, banyak tugas robotik membutuhkan rekayasa dan pengkodean yang luas. Di masa depan, kami membayangkan menunjukkan robot apa yang harus dilakukan, dan membiarkannya belajar bagaimana mencapai tujuan secara mandiri.”
Motivasi ini berasal dari pembingkaian ulang yang sederhana namun kuat: penghalang utama untuk robotika yang terjangkau dan fleksibel bukanlah perangkat keras – itu adalah kontrol kemampuan, yang dapat dicapai dalam berbagai cara. Robot tradisional dibangun untuk menjadi kaku dan kaya sensor, membuatnya lebih mudah untuk membangun kembar digital, replika matematika yang tepat yang digunakan untuk kontrol. Tetapi ketika robot lembut, dapat dideformasi, atau berbentuk tidak teratur, asumsi -asumsi itu berantakan. Daripada memaksa robot untuk mencocokkan model kami, NJF membalik skrip – memberikan robot kemampuan untuk mempelajari model internal mereka sendiri dari pengamatan.
Lihat dan belajar
Decoupling desain pemodelan dan perangkat keras ini dapat secara signifikan memperluas ruang desain untuk robotika. Dalam robot yang lembut dan terinspirasi bio, desainer sering menanamkan sensor atau memperkuat bagian struktur hanya untuk membuat pemodelan layak. NJF mengangkat kendala itu. Sistem tidak memerlukan sensor onboard atau tweak desain untuk memungkinkan kontrol. Desainer lebih bebas untuk mengeksplorasi morfologi yang tidak konvensional dan tidak dibatasi tanpa khawatir apakah mereka akan dapat memodelkan atau mengendalikannya nanti.
“Pikirkan tentang bagaimana Anda belajar mengendalikan jari -jari Anda: Anda menggoyangkan, Anda mengamati, Anda beradaptasi,” kata Li. “Itulah yang dilakukan sistem kami. Ini bereksperimen dengan tindakan acak dan mencari tahu yang mengontrol bagian mana dari robot.”
Sistem ini terbukti kuat di berbagai jenis robot. Tim menguji NJF pada tangan robot lunak pneumatik yang mampu mencubit dan menggenggam, tangan allegro yang kaku, lengan robot yang dicetak 3D, dan bahkan platform berputar tanpa sensor tertanam. Dalam setiap kasus, sistem mempelajari bentuk robot dan bagaimana meresponsnya terhadap sinyal kontrol, hanya dari penglihatan dan gerakan acak.
Para peneliti melihat potensi jauh di luar lab. Robot yang dilengkapi dengan NJF suatu hari nanti dapat melakukan tugas-tugas pertanian dengan akurasi lokalisasi tingkat sentimeter, beroperasi di lokasi konstruksi tanpa array sensor yang rumit, atau menavigasi lingkungan dinamis di mana metode tradisional rusak.
Inti dari NJF adalah jaringan saraf yang menangkap dua aspek yang saling terkait dari perwujudan robot: geometri tiga dimensi dan sensitivitasnya untuk mengendalikan input. Sistem ini dibangun di atas bidang pancaran saraf (NERF), sebuah teknik yang merekonstruksi adegan 3D dari gambar dengan memetakan koordinat spasial ke nilai warna dan kepadatan. NJF memperluas pendekatan ini dengan mempelajari tidak hanya bentuk robot, tetapi juga bidang Jacobian, fungsi yang memprediksi bagaimana titik mana pun pada tubuh robot bergerak sebagai respons terhadap perintah motorik.
Untuk melatih model, robot melakukan gerakan acak sementara beberapa kamera merekam hasilnya. Tidak ada pengawasan manusia atau pengetahuan sebelumnya tentang struktur robot yang diperlukan – sistem hanya menyimpulkan hubungan antara sinyal kontrol dan gerakan dengan menonton.
Setelah pelatihan selesai, robot hanya membutuhkan kamera monokular tunggal untuk kontrol loop tertutup real-time, berjalan di sekitar 12 Hertz. Ini memungkinkannya untuk terus -menerus mengamati dirinya sendiri, merencanakan, dan bertindak secara responsif. Kecepatan itu membuat NJF lebih layak daripada banyak simulator berbasis fisika untuk robot lunak, yang seringkali terlalu intensif secara komputasi untuk penggunaan waktu nyata.
Dalam simulasi awal, bahkan jari -jari 2D sederhana dan slider dapat mempelajari pemetaan ini hanya menggunakan beberapa contoh. Dengan memodelkan bagaimana titik spesifik deformasi atau bergeser sebagai respons terhadap tindakan, NJF membangun peta kemampuan kontrol yang padat. Model internal itu memungkinkannya untuk menggeneralisasi gerakan melintasi tubuh robot, bahkan ketika data berisik atau tidak lengkap.
“Yang benar -benar menarik adalah bahwa sistem ini mencari sendiri motor mana yang mengontrol bagian robot mana,” kata Li. “Ini tidak diprogram – itu muncul secara alami melalui pembelajaran, seperti halnya orang yang menemukan tombol pada perangkat baru.”
Masa depan lembut
Selama beberapa dekade, robotika lebih menyukai mesin yang kaku dan mudah dimodelkan – seperti lengan industri yang ditemukan di pabrik – karena sifat -sifatnya menyederhanakan kontrol. Tetapi lapangan telah bergerak menuju robot lembut yang terinspirasi bio yang dapat beradaptasi dengan dunia nyata dengan lebih lancar. Trade-off? Robot ini lebih sulit untuk dimodelkan.
“Robotika saat ini sering terasa di luar jangkauan karena sensor yang mahal dan pemrograman yang kompleks. Tujuan kami dengan bidang saraf Jacobian adalah untuk menurunkan penghalang, membuat robotika terjangkau, mudah beradaptasi, dan dapat diakses oleh lebih banyak orang. Visi adalah sensor yang tangguh dan dapat diandalkan,” kata penulis senior. “Ini membuka pintu ke robot yang dapat beroperasi di lingkungan yang berantakan dan tidak terstruktur, dari pertanian ke lokasi konstruksi, tanpa infrastruktur yang mahal.”
“Visi saja dapat memberikan isyarat yang diperlukan untuk pelokalan dan kontrol-menghilangkan kebutuhan akan GPS, sistem pelacakan eksternal, atau sensor onboard yang kompleks. Ini membuka pintu menuju perilaku adaptif yang kuat di lingkungan yang tidak terstruktur, dari drone yang menavigasi di dalam atau bahkan di bawah tanah, kombinasi yang tidak dikelilingi oleh koordin yang bekerja di rumah, dan bahkan limbah yang bekerja di rumah, dan bahkan limbah yang bekerja di rumah, dan bahkan legal yang bekerja di rumah, dan bahkan kovigen yang bekerja di rumah, dan bahkan kovigen yang bekerja di rumah, dan bahkan kovigen yang bekerja di rumah, dan bahkan lego. MIT Profesor Teknik Listrik dan Ilmu Komputer dan Direktur CSAIL. “Dengan belajar dari umpan balik visual, sistem ini mengembangkan model internal dari gerakan dan dinamika mereka sendiri, memungkinkan operasi yang fleksibel dan swadaya di mana metode lokalisasi tradisional akan gagal.”
Sementara pelatihan NJF saat ini membutuhkan banyak kamera dan harus diperbaiki untuk setiap robot, para peneliti sudah membayangkan versi yang lebih mudah diakses. Di masa depan, penggemar dapat merekam gerakan acak robot dengan ponsel mereka, seperti Anda akan mengambil video mobil sewaan sebelum pergi, dan menggunakan rekaman itu untuk membuat model kontrol, tanpa pengetahuan atau peralatan khusus sebelumnya diperlukan.
Sistem ini belum menggeneralisasi di berbagai robot, dan tidak memiliki kekuatan atau penginderaan taktil, membatasi efektivitasnya pada tugas yang kaya kontak. Tetapi tim sedang mengeksplorasi cara -cara baru untuk mengatasi keterbatasan ini: meningkatkan generalisasi, menangani oklusi, dan memperluas kemampuan model untuk beralasan di cakrawala spasial dan temporal yang lebih lama.
“Sama seperti manusia mengembangkan pemahaman intuitif tentang bagaimana tubuh mereka bergerak dan menanggapi perintah, NJF memberikan robot semacam itu yang mewujudkan kesadaran diri melalui visi saja,” kata Li. “Pemahaman ini adalah dasar untuk manipulasi dan kontrol yang fleksibel di lingkungan dunia nyata. Pekerjaan kami, pada dasarnya, mencerminkan tren yang lebih luas dalam robotika: menjauh dari pemrograman secara manual model terperinci menuju pengajaran robot melalui pengamatan dan interaksi.”
Makalah ini menyatukan visi komputer dan pekerjaan belajar yang di-swadaya dari Sitzmann Lab dan keahlian dalam robot lunak dari RUS Lab. Li, Sitzmann, dan Rus ikut menulis makalah dengan afiliasi CSAIL Annan Zhang SM ’22, seorang mahasiswa PhD dalam Teknik Listrik dan Ilmu Komputer (EECS); Boyuan Chen, seorang mahasiswa PhD di EECS; Hanna Matusik, seorang peneliti sarjana di bidang teknik mesin; dan Chao Liu, postdoc di laboratorium kota yang bisa di MIT.
Penelitian ini didukung oleh Dana Penelitian Solomon Buchsbaum melalui Komite Dukungan Penelitian MIT, MIT Presidential Fellowship, National Science Foundation, dan Gwangju Institute of Science and Technology.
