Ilmuwan lingkungan semakin menggunakan model kecerdasan buatan yang sangat besar untuk membuat prediksi tentang perubahan cuaca dan iklim, tetapi studi baru oleh peneliti MIT menunjukkan bahwa model yang lebih besar tidak selalu lebih baik.
Tim menunjukkan bahwa, dalam skenario iklim tertentu, model berbasis fisika yang lebih sederhana dapat menghasilkan prediksi yang lebih akurat daripada model pembelajaran dalam yang canggih.
Analisis mereka juga mengungkapkan bahwa teknik benchmarking yang biasa digunakan untuk mengevaluasi teknik pembelajaran mesin untuk prediksi iklim dapat didistorsi oleh variasi alami dalam data, seperti fluktuasi pola cuaca. Ini dapat membuat seseorang percaya bahwa model belajar yang dalam membuat prediksi yang lebih akurat ketika bukan itu masalahnya.
Para peneliti mengembangkan cara yang lebih kuat untuk mengevaluasi teknik-teknik ini, yang menunjukkan bahwa, sementara model sederhana lebih akurat ketika memperkirakan suhu permukaan regional, pendekatan pembelajaran dalam dapat menjadi pilihan terbaik untuk memperkirakan curah hujan lokal.
Mereka menggunakan hasil ini untuk meningkatkan alat simulasi yang dikenal sebagai emulator iklim, yang dapat dengan cepat mensimulasikan efek aktivitas manusia ke iklim di masa depan.
Para peneliti melihat pekerjaan mereka sebagai “kisah peringatan” tentang risiko menggunakan model AI besar untuk ilmu iklim. Sementara model pembelajaran dalam telah menunjukkan keberhasilan luar biasa dalam domain seperti bahasa alami, ilmu iklim berisi serangkaian hukum dan perkiraan fisik yang terbukti, dan tantangannya menjadi bagaimana memasukkannya ke dalam model AI.
Kami mencoba mengembangkan model yang akan bermanfaat dan relevan untuk hal-hal yang dibutuhkan pembuat keputusan ke depan ketika membuat pilihan kebijakan iklim. Meskipun mungkin menarik untuk menggunakan model pembelajaran mesin-mesin yang lebih baru, dalam masalah-sistem yang ditunjukkan oleh para penulis, “kata studi, Noel, dan benar-benar mengutam-angkanya, MOUTER SOMING, A Noel, dan benar-benar mengutam-angkanya, The Studies,” SOUTHER SOMENSI, “kata Studi Noel, Noel, Noel. (IDSS) dan Departemen Ilmu Bumi, Atmosfer dan Planet (EAP), dan Direktur Pusat Ilmu dan Strategi Keberlanjutan.
Rekan penulis Selin adalah penulis utama Björn Lütjens, mantan postdoc Eaps yang sekarang menjadi ilmuwan riset di IBM Research; penulis senior Raffaele Ferrari, Profesor Oseanografi Cecil dan Ida Green di EAPS dan co-direktur Lorenz Center; dan Duncan Watson-Parris, asisten profesor di University of California di San Diego. Selin dan Ferrari juga merupakan co-principal peneliti yang membawa perhitungan ke proyek Tantangan Iklim, yang darinya penelitian ini muncul. Kertas muncul hari ini di Jurnal Kemajuan dalam Pemodelan Sistem Bumi.
Membandingkan emulator
Karena iklim Bumi sangat kompleks, menjalankan model iklim yang canggih untuk memprediksi bagaimana tingkat polusi akan memengaruhi faktor lingkungan seperti suhu dapat memakan waktu berminggu-minggu pada superkomputer paling kuat di dunia.
Para ilmuwan sering membuat emulator iklim, perkiraan yang lebih sederhana dari model iklim yang canggih, yang lebih cepat dan lebih mudah diakses. Seorang pembuat kebijakan dapat menggunakan emulator iklim untuk melihat bagaimana asumsi alternatif pada emisi gas rumah kaca akan mempengaruhi suhu di masa depan, membantu mereka mengembangkan peraturan.
Tetapi emulator tidak terlalu berguna jika itu membuat prediksi yang tidak akurat tentang dampak lokal dari perubahan iklim. Sementara pembelajaran yang mendalam telah menjadi semakin populer untuk emulasi, beberapa penelitian telah mengeksplorasi apakah model-model ini berkinerja lebih baik daripada pendekatan yang dicoba dan benar.
Para peneliti MIT melakukan penelitian seperti itu. Mereka membandingkan teknik tradisional yang disebut Linear Pattern Scaling (LPS) dengan model pembelajaran dalam menggunakan dataset tolok ukur umum untuk mengevaluasi emulator iklim.
Hasil mereka menunjukkan bahwa LPS mengungguli model belajar dalam pada memprediksi hampir semua parameter yang mereka uji, termasuk suhu dan curah hujan.
“Metode AI besar sangat menarik bagi para ilmuwan, tetapi mereka jarang memecahkan masalah yang sama sekali baru, jadi menerapkan solusi yang ada terlebih dahulu diperlukan untuk mengetahui apakah pendekatan pembelajaran mesin yang kompleks benar-benar membaik di atasnya,” kata Lütjens.
Beberapa hasil awal tampaknya terbang dalam menghadapi pengetahuan domain para peneliti. Model pembelajaran dalam yang kuat seharusnya lebih akurat ketika membuat prediksi tentang presipitasi, karena data tersebut tidak mengikuti pola linier.
Mereka menemukan bahwa tingginya jumlah variabilitas alami dalam model iklim dapat menyebabkan model pembelajaran yang mendalam berkinerja buruk pada osilasi jangka panjang yang tidak terduga, seperti El Niño/La Niña. Ini memiringkan skor pembandingan yang mendukung LPS, yang rata -rata mengeluarkan osilasi tersebut.
Membangun evaluasi baru
Dari sana, para peneliti membangun evaluasi baru dengan lebih banyak data yang membahas variabilitas iklim alami. Dengan evaluasi baru ini, model pembelajaran dalam yang dilakukan sedikit lebih baik daripada LPS untuk presipitasi lokal, tetapi LPS masih lebih akurat untuk prediksi suhu.
“Penting untuk menggunakan alat pemodelan yang tepat untuk masalah ini, tetapi untuk melakukannya, Anda juga harus mengatur masalah dengan cara yang benar di tempat pertama,” kata Selin.
Berdasarkan hasil ini, para peneliti memasukkan LPS ke dalam platform emulasi iklim untuk memprediksi perubahan suhu lokal dalam skenario emisi yang berbeda.
“Kami tidak menganjurkan bahwa LPS harus selalu menjadi tujuan. Itu masih memiliki keterbatasan. Misalnya, LPS tidak memprediksi variabilitas atau peristiwa cuaca ekstrem,” tambah Ferrari.
Sebaliknya, mereka berharap hasil mereka menekankan perlunya mengembangkan teknik pembandingan yang lebih baik, yang dapat memberikan gambaran yang lebih lengkap tentang teknik emulasi iklim mana yang paling cocok untuk situasi tertentu.
“Dengan tolok ukur emulasi iklim yang lebih baik, kami dapat menggunakan metode pembelajaran mesin yang lebih kompleks untuk mengeksplorasi masalah yang saat ini sangat sulit untuk diatasi, seperti dampak aerosol atau estimasi curah hujan ekstrem,” kata Lütjens.
Pada akhirnya, teknik pembandingan yang lebih akurat akan membantu memastikan para pembuat kebijakan membuat keputusan berdasarkan informasi terbaik yang tersedia.
Para peneliti berharap orang lain membangun analisis mereka, mungkin dengan mempelajari perbaikan tambahan pada metode emulasi iklim dan tolok ukur. Penelitian semacam itu dapat mengeksplorasi metrik berorientasi dampak seperti indikator kekeringan dan risiko kebakaran, atau variabel baru seperti kecepatan angin regional.
Penelitian ini didanai, sebagian, oleh Schmidt Sciences, LLC, dan merupakan bagian dari tim MIT Climate Grand Challenges untuk “membawa perhitungan ke tantangan iklim.”
