“Pada penugasan baru-baru ini untuk menguji pertahanan, Dave Brauchler dari perusahaan cybersecurity NCC Group menipu asisten penulisan program AI klien untuk mengeksekusi program yang membayar basis data perusahaan dan repositori kode,” lapor The Washington Post. “Kami tidak pernah menjadi orang bodoh dengan keamanan ini,” kata Brauchler … demonstrasi pada konferensi keamanan topi hitam bulan lalu di Las Vegas termasuk sarana yang menarik perhatian lainnya untuk mengeksploitasi kecerdasan buatan. Dalam satu, penyerang yang dibayangkan mengirim dokumen melalui email dengan instruksi tersembunyi yang ditujukan untuk chatgpt atau pesaing. Jika pengguna meminta ringkasan atau satu dibuat secara otomatis, program akan menjalankan instruksi, bahkan menemukan kata sandi digital dan mengirimnya keluar dari jaringan. Serangan serupa pada Gemini Google bahkan tidak membutuhkan lampiran, hanya email dengan arahan tersembunyi. Ringkasan AI secara keliru memberi tahu target bahwa sebuah akun telah dikompromikan dan bahwa mereka harus memanggil nomor penyerang, meniru penipuan phishing yang sukses. Ancaman menjadi lebih memprihatinkan dengan munculnya AI agen, yang memberdayakan browser dan alat lain untuk melakukan transaksi dan membuat keputusan lain tanpa pengawasan manusia. Sudah, perusahaan keamanan Guardio telah menipu penambahan browser komet agen dari kebingungan agar membeli arloji dari toko online palsu dan untuk mengikuti instruksi dari email perbankan palsu … Program AI lanjutan juga mulai digunakan untuk menemukan cacat keamanan yang belum ditemukan sebelumnya, yang disebut Configured Plates dan peretas yang sangat dihargai dan mengeksploitasi untuk mendapatkan entri yang dikonfigurasi dengan baik. Tujuh tim peretas yang mengembangkan “sistem penalaran cyber” otonom untuk kontes yang diadakan bulan lalu oleh Pentagon’s Defense Advanced Research Projects Agency dapat menemukan total 18 hari nol dalam 54 juta baris kode sumber terbuka. Mereka bekerja untuk menambal kerentanan itu, tetapi para pejabat mengatakan peretas di seluruh dunia sedang mengembangkan upaya serupa untuk menemukan dan mengeksploitasi mereka. Beberapa pembela keamanan lama memprediksi dasbor sekali seumur hidup, di seluruh dunia untuk menggunakan teknologi untuk menemukan kelemahan baru dan mengeksploitasi mereka, meninggalkan pintu belakang yang dapat mereka kembalikan ke waktu luang. Skenario mimpi buruk yang sebenarnya adalah ketika dunia ini bertabrakan, dan AI penyerang menemukan jalan masuk dan kemudian mulai berkomunikasi dengan AI korban, bekerja dalam kemitraan – “memiliki AI orang jahat berkolaborasi dengan AI Good Guy,” sebagai Sentinelone’s [threat researcher Alex] Delamotte meletakkannya. “Tahun depan,” kata Adam Meyers, wakil presiden senior di Crowdstrike, “AI akan menjadi ancaman orang dalam yang baru.” Pada bulan Agustus, lebih dari 1.000 orang kehilangan data ke program NX yang dimodifikasi (diunduh ratusan ribu kali) yang menggunakan alat pengkodean yang telah diinstal dari Google/Antropik/dll. Menurut artikel tersebut, malware “menginstruksikan program -program tersebut untuk membasmi” data sensitif (termasuk kata sandi atau dompet cryptocurrency) dan mengirimkannya kembali ke penyerang. “Semakin banyak otonomi dan akses ke lingkungan produksi alat seperti itu, semakin banyak kekacauan yang dapat mereka keluarkan,” artikel ini menunjukkan – termasuk kutipan dari peneliti ancaman Sentinelone Alex Delamotte. “Agak tidak adil bahwa kita memiliki AI mendorong kita di setiap produk ketika memperkenalkan risiko baru.”
Baca lebih lanjut dari cerita ini di SlashDot.
