Pria di Korea Selatan Dipenjara Gara-Gara Buat Gambar Seksual Anak-Anak Pakai AI

Banyak platform yang melarang konten deepfake yang manipulatif dan berbahaya. Pada awal pekan ini, aplikasi untuk membuat video “DeepFake FaceSwap” meluncurkan lebih dari 230 iklan di layanan Meta, termasuk Facebook, Instagram, dan Messenger, menurut ulasan perpustakaan iklan Meta.

Beberapa iklan menunjukkan apa yang tampak seperti permulaan video porno dengan suara terkenal dari lagu intro platform porno Pornhub. Beberapa detik kemudian, wajah para perempuan ditukar dengan wajah aktor terkenal.

Dari iklan Meta, 127 menampilkan kemiripan Emma Watson. 74 lainnya menampilkan wajah aktor Scarlett Johansson yang ditukar dengan wajah perempuan dalam video provokatif serupa.

“Ganti wajah dengan siapa pun,” bunyi keterangan di 80 iklan itu. “Nikmati diri Anda dengan teknologi AI swap face.”

Pada Selasa, setelah NBC News meminta komentar dari Meta, semua iklan aplikasi dihapus dari layanan Meta. Meskipun tidak ada tindakan seksual yang ditampilkan dalam video tersebut, sifat sugestifnya menggambarkan bagaimana aplikasi berpotensi digunakan untuk menghasilkan konten seksual palsu.

Aplikasi ini memungkinkan pengguna mengunggah video untuk dimanipulasi dan juga menyertakan lusinan template video, banyak di antaranya tampaknya diambil dari TikTok dan platform media sosial serupa. Kategori preset termasuk Fashion”, “Bride”, “For Men”, “For Women”, dan “TikTok”, sedangkan kategori dengan opsi terbanyak disebut “Hot”.

Ini menampilkan video perempuandan pria berpakaian minim menari dan berpose. Setelah memilih template video atau mengunggahnya sendiri, pengguna dapat memasukkan satu foto wajah siapa pun, dan menerima versi video yang bertukar wajah dalam hitungan detik.