Bagaimana X menjadi toko serba ada untuk pelecehan deepfake

Apa yang terjadi jika Anda menggabungkan media sosial paling beracun di dunia dengan chatbot AI yang paling bebas, tanpa hambatan, dan sengaja dibuat “pedas”?

Ini sangat mirip dengan apa yang kita lihat terjadi di X saat ini. Pengguna telah memasukkan gambar ke dalam chatbot Grok xAI, yang menawarkan generator gambar dan video yang kuat dan sebagian besar tanpa sensor, untuk membuat konten eksplisit, termasuk konten orang biasa. Perkembangan pornografi deepfake di platform ini menjadi sangat ekstrem sehingga saat ini, chatbot Grok xAI mengeluarkan sekitar satu gambar seksual non-konsensual setiap menitnya. Selama beberapa minggu terakhir, ribuan pengguna telah mengikuti tren aneh menggunakan Grok untuk menanggalkan sebagian besar pakaian perempuan dan anak-anak – ya, anak-anak – tanpa persetujuan mereka melalui solusi yang cukup jelas.

Untuk lebih jelasnya, Anda tidak dapat meminta Grok – atau sebagian besar AI arus utama – untuk telanjang. Namun Anda dapat meminta Grok untuk “menanggalkan pakaian” gambar yang diposting seseorang di X, atau jika tidak berhasil, minta Grok untuk mengenakan bikini kecil yang tidak terlihat. AS mempunyai undang-undang yang melarang penyalahgunaan semacam ini, namun tim di xAI hampir… bosan dengan hal tersebut. Pertanyaan dari beberapa jurnalis kepada perusahaan tentang masalah ini menerima pesan otomatis “Kebohongan media lama” sebagai tanggapannya. CEO xAI Elon Musk, yang baru saja berhasil mengumpulkan dana sebesar $20 miliar untuk perusahaannya, hingga saat ini membagikan foto bikini deepfake (peringatan konten) dirinya.

Meskipun Musk pada tanggal 4 Januari memperingatkan bahwa pengguna akan “menderita konsekuensi” jika mereka menggunakan Grok untuk membuat “gambar ilegal,” xAI tidak memberikan indikasi bahwa mereka akan menghapus atau mengatasi fitur inti yang memungkinkan pengguna membuat konten tersebut, meskipun beberapa postingan yang paling memberatkan telah dihapus. xAI belum menanggapi permintaan komentar Vox pada Jumat pagi.

Tidak ada yang perlu terkejut di sini. Hanya masalah waktu sebelum lumpur beracun yang berasal dari situs web yang sebelumnya dikenal sebagai Twitter dikombinasikan dengan Grok xAI – yang secara eksplisit dipasarkan karena kemampuan NSFW-nya – menciptakan bentuk baru kekerasan seksual. Perusahaan Musk pada dasarnya telah menciptakan mesin porno deepfake yang membuat pembuatan gambar realistis dan ofensif dari siapa pun semudah menulis balasan dalam bahasa X. Lebih buruk lagi, gambar-gambar tersebut dimasukkan ke dalam jaringan sosial yang berisi ratusan juta orang, yang tidak hanya menyebarkannya lebih jauh namun juga secara implisit memberi penghargaan kepada pembuat poster dengan lebih banyak pengikut dan lebih banyak perhatian.

Anda mungkin bertanya-tanya, karena menurut saya kita semua melakukannya beberapa kali sehari sekarang: Bagaimana semua ini legal? Untuk lebih jelasnya, itu tidak. Namun para advokat dan pakar hukum mengatakan bahwa undang-undang yang ada saat ini masih belum memberikan perlindungan yang dibutuhkan para korban, dan banyaknya deepfake yang dibuat pada platform seperti X membuat perlindungan yang ada sangat sulit untuk ditegakkan.

“Perintah yang diperbolehkan atau tidak diperbolehkan” menggunakan chatbot seperti Grok “adalah hasil dari pilihan yang disengaja dan disengaja oleh perusahaan teknologi yang menerapkan model tersebut,” kata Sandi Johnson, penasihat kebijakan legislatif senior di Jaringan Nasional Pemerkosaan, Penyalahgunaan, dan Incest.

“Dalam konteks lain, ketika seseorang menutup mata terhadap kerugian yang mereka kontribusikan secara aktif, merekalah yang bertanggung jawab,” katanya. “Perusahaan teknologi tidak boleh menerapkan standar yang berbeda.”

Munculnya deepfake

Pertama, mari kita bicara tentang bagaimana kita sampai di sini.

“Pelaku yang menggunakan teknologi untuk pelecehan seksual bukanlah hal baru,” kata Johnson. “Mereka telah melakukan hal itu selamanya.”

Namun AI memperkuat jenis kekerasan seksual baru melalui maraknya deepfake.

Porno deepfake yang menampilkan selebritas wanita – dibuat dengan kemiripan dengan mereka, namun tanpa persetujuan mereka, menggunakan alat AI yang lebih primitif – telah beredar di internet selama bertahun-tahun, jauh sebelum ChatGPT menjadi populer.

Namun baru-baru ini, aplikasi dan situs web yang disebut nudify telah mempermudah pengguna, beberapa di antaranya remaja, untuk mengubah foto teman, teman sekelas, dan guru yang tidak berbahaya menjadi konten eksplisit palsu tanpa persetujuan subjek.

Situasinya menjadi sangat buruk sehingga tahun lalu, para advokat seperti Johnson meyakinkan Kongres untuk mengesahkan Take It Down Act, yang mengkriminalisasi pornografi deepfake non-konsensual dan mengamanatkan agar perusahaan menghapus materi tersebut dari platform mereka dalam waktu 48 jam setelah ditandai atau berpotensi dikenakan denda dan perintah pengadilan. Ketentuan tersebut mulai berlaku pada Mei ini.

Bagi banyak korban, bahkan jika perusahaan seperti X mulai menindak penegakan hukum pada saat itu, sudah terlambat bagi para korban yang tidak perlu menunggu berbulan-bulan – atau berhari-hari – untuk menghapus postingan tersebut.

“Bagi perusahaan-perusahaan teknologi ini, hal itu selalu seperti ‘menghancurkan sesuatu, dan memperbaikinya nanti,’” kata Johnson. “Anda harus ingat itu segera setelah single [deepfake] gambar dihasilkan, ini adalah kerusakan yang tidak dapat diperbaiki.”

X mengubah deepfake menjadi sebuah fitur

Sebagian besar media sosial dan platform AI besar telah sebisa mungkin mematuhi peraturan negara bagian dan federal seputar pornografi deepfake dan khususnya, materi pelecehan seksual terhadap anak-anak.

Bukan hanya karena bahan-bahan tersebut “terang-terangan ilegal secara radioaktif,” kata Riana Pfefferkorn, peneliti kebijakan di Institut Stanford untuk Kecerdasan Buatan yang Berpusat pada Manusia, “tetapi juga karena bahan tersebut menjijikkan dan sebagian besar perusahaan tidak ingin mengaitkan merek mereka sebagai one-stop shop untuk produk tersebut.”

Namun xAI Musk tampaknya merupakan pengecualian.

Sejak perusahaan tersebut meluncurkan kemampuan pembuatan video “mode pedas” pada X tahun lalu, para pengamat telah meningkatkan kewaspadaan tentang apa yang pada dasarnya menjadi alat pornografi deepfake yang “terintegrasi secara vertikal”, kata Pfefferkorn.

Kebanyakan aplikasi “nudify” mengharuskan pengguna mengunduh foto terlebih dahulu, mungkin dari Instagram atau Facebook, lalu mengunggahnya ke platform apa pun yang mereka gunakan. Jika mereka ingin membagikan deepfake, mereka perlu mengunduhnya dari aplikasi dan mengirimkannya melalui platform perpesanan lain, seperti Snapchat.

Berbagai titik gesekan ini memberi regulator peluang penting untuk mencegat konten non-konsensual, dengan semacam sistem pertahanan ala Swiss. Mungkin mereka tidak bisa menghentikan semuanya, tapi mereka bisa saja membuat beberapa aplikasi “nudify” dilarang di toko aplikasi. Mereka berhasil membuat Meta menindak iklan yang menjajakan aplikasi tersebut kepada remaja.

Namun di X, pembuatan deepfake non-konsensual menggunakan Grok hampir sepenuhnya mudah, memungkinkan pengguna mengambil foto, meminta deepfake, dan membagikan semuanya sekaligus.

“Hal ini tidak akan menjadi masalah jika ini adalah komunitas media sosial untuk para biarawati, namun ini adalah komunitas media sosial untuk Nazi,” kata Pfefferkorn, mengacu pada poros sayap kanan X dalam beberapa tahun terakhir. Hasilnya adalah krisis deepfake non-konsensual yang tampaknya semakin tidak terkendali.

Dalam beberapa hari terakhir, pengguna telah membuat deepfake seksual sebanyak X per jam 84 kali lebih banyak dibandingkan gabungan lima situs deepfake teratas lainnya, menurut peneliti deepfake independen dan media sosial Genevieve Oh. Dan gambar-gambar tersebut dapat dibagikan jauh lebih cepat dan luas dibandingkan di mana pun. “Cedera emosional dan reputasi terhadap orang yang digambarkan sekarang jauh lebih besar” dibandingkan dengan situs deepfake lainnya, kata Wayne Unger, asisten profesor hukum yang berspesialisasi dalam teknologi baru di Quinnipiac University, “karena X memiliki ratusan juta pengguna yang semuanya dapat melihat gambar tersebut.”

Hampir tidak mungkin bagi X untuk memoderasi setiap gambar atau video non-konsensual satu per satu, bahkan jika mereka menginginkannya – atau bahkan jika perusahaan tersebut belum memecat sebagian besar moderatornya ketika Musk mengambil alih pada tahun 2022.

Apakah X akan bertanggung jawab atas semua ini?

Jika gambar kriminal serupa muncul di majalah atau publikasi online, maka perusahaan tersebut dapat dimintai pertanggungjawaban, dengan dikenakan denda yang besar dan kemungkinan tuntutan pidana.

Platform media sosial seperti X tidak menghadapi konsekuensi yang sama karena Pasal 230 Undang-Undang Kepatutan Komunikasi tahun 1996 melindungi platform internet dari tanggung jawab atas sebagian besar tindakan atau ucapan pengguna di platform mereka – meskipun dengan beberapa pengecualian, termasuk pornografi anak. Klausul ini telah menjadi pilar bagi kebebasan berpendapat di internet – sebuah dunia di mana platform-platform dianggap bertanggung jawab atas segala sesuatu yang ada di dalamnya akan jauh lebih dibatasi – namun Johnson mengatakan bahwa klausul tersebut juga telah menjadi “perisai finansial” bagi perusahaan-perusahaan yang tidak mau memoderasi platform mereka.

Namun, dengan munculnya AI, perisai tersebut mungkin akhirnya mulai retak, kata Unger. Ia percaya bahwa perusahaan seperti xAI tidak boleh tercakup dalam Pasal 230 karena mereka tidak lagi hanya menjadi tuan rumah bagi konten yang penuh kebencian atau ilegal, namun, melalui chatbot mereka sendiri, mereka pada dasarnya adalah pencipta konten tersebut.

“X telah membuat keputusan desain yang memungkinkan Grok menghasilkan gambar seksual eksplisit orang dewasa dan anak-anak,” katanya. “Pengguna mungkin telah meminta Grok untuk membuatnya,” namun perusahaan “membuat keputusan untuk merilis produk yang dapat memproduksinya.”

Unger tidak berharap bahwa xAI – atau kelompok industri seperti NetChoice – akan mundur tanpa perlawanan hukum terhadap segala upaya untuk mengatur lebih lanjut moderasi konten atau mengatur alat yang mudah disalahgunakan seperti Grok. “Mungkin mereka akan mengakui sebagian kecilnya,” karena hukumlah yang berlaku [child pornography] sangat kuat, katanya, tapi “setidaknya mereka akan berpendapat bahwa Grok harus mampu melakukannya untuk orang dewasa.”

Apa pun kasusnya, kemarahan publik dalam menanggapi pornografi deepfake Grokpocalypse mungkin akhirnya memaksa kita untuk memperhitungkan masalah yang sudah lama tersembunyi. Di seluruh dunia, negara-negara seperti India, Perancis, dan Malaysia telah memulai penyelidikan terhadap gambar-gambar seksual yang membanjiri X. Akhirnya, Musk memposting di X bahwa mereka yang membuat konten ilegal akan menghadapi konsekuensi, tetapi hal ini lebih dari sekadar penggunanya sendiri.

“Ini bukanlah komputer yang melakukan hal ini,” kata Johnson. “Ini adalah keputusan yang disengaja yang dibuat oleh orang-orang yang menjalankan perusahaan ini, dan mereka harus bertanggung jawab.”