Sebuah studi baru “membandingkan seberapa baik kinerja sistem AI dan pekerja manusia dalam ratusan tugas kerja nyata,” lapor Washington Post. Mereka menambahkan bahwa setidaknya satu contoh “menggambarkan terputusnya hubungan tiga tahun setelah peluncuran ChatGPT yang berdampak pada perekonomian secara keseluruhan.” AI dapat menyelesaikan banyak tugas mengesankan yang melibatkan kode komputer, dokumen, atau gambar. Hal ini memicu prediksi bahwa berbagai jenis pekerjaan manusia akan segera dilakukan oleh komputer saja. Universitas Bentley dan Gallup ditemukan dalam sebuah survei [PDF] tahun lalu sekitar tiga perempat warga Amerika memperkirakan AI akan mengurangi jumlah pekerjaan di Amerika pada dekade berikutnya. Namun data ekonomi menunjukkan sebagian besar teknologi belum menggantikan pekerja. Untuk memahami pekerjaan apa yang dapat dilakukan AI saat ini, para peneliti mengumpulkan ratusan contoh proyek yang diposting di platform lepas yang dibayar oleh manusia untuk diselesaikan. Tugas-tugas tersebut mencakup tugas-tugas seperti membuat animasi produk 3D, menyalin musik, mengkode video game web, dan memformat makalah penelitian untuk dipublikasikan. Tim peneliti kemudian memberikan setiap tugas ke sistem AI seperti ChatGPT OpenAI, Gemini Google, dan Claude Anthropic. Sistem AI dengan kinerja terbaik hanya berhasil menyelesaikan 2,5 persen proyek, menurut tim peneliti dari Scale AI, sebuah perusahaan rintisan yang menyediakan data untuk pengembang AI, dan Center for AI Safety, sebuah organisasi nirlaba yang berupaya memahami risiko dari AI. “Model yang ada saat ini masih belum bisa mengotomatiskan pekerjaan nyata dalam perekonomian,” kata Jason Hausenloy, salah satu peneliti studi Indeks Tenaga Kerja Jarak Jauh… Hasilnya, yang menunjukkan kegagalan sistem AI, menantang prediksi bahwa teknologi tersebut siap untuk segera menggantikan sebagian besar tenaga kerja… Sistem AI gagal pada hampir separuh proyek Indeks Tenaga Kerja Jarak Jauh karena menghasilkan pekerjaan berkualitas buruk, dan menyebabkan lebih dari sepertiganya tidak terselesaikan. Hampir 1 dari 5 orang memiliki masalah teknis dasar seperti menghasilkan file yang rusak, demikian temuan para peneliti. Salah satu pengujiannya melibatkan pembuatan dasbor interaktif untuk data dari Laporan Kebahagiaan Dunia, menurut artikel tersebut. “Pada pandangan pertama, hasil AI terlihat memadai. Namun pemeriksaan lebih dekat menunjukkan adanya kesalahan, seperti negara-negara kehilangan data yang tidak dapat dijelaskan, teks dan legenda yang tumpang tindih yang menggunakan warna yang salah – atau tidak ada warna sama sekali.” Para peneliti mengatakan sistem AI terhambat karena kurangnya memori, dan juga lemah dalam pemahaman “visual”.
Baca lebih lanjut cerita ini di Slashdot.