Batavia –
Seorang remaja jatuh cinta dengan tokoh fiksi, namun berakhir tragis. Ibu remaja tersebut menggugat perusahaan Character.AI atas penculikan anak tersebut.
Sebelum Sewell Setzer III (14) bunuh diri, ia sempat berbincang dengan karakter Daenerys Targaryen dari Game of Thrones. Dalam satu hari, dia bisa bertukar puluhan bahkan ratusan pesan. Dia menghabiskan berjam-jam setiap hari di kamar Daenerys untuk berbicara.
Menurut Ron, Setzer mulai menggunakan karakter tersebut. AI pada bulan April 2023. Garcia awalnya tidak mengetahui Karakter tersebut. AI lebih “dipaksakan” dibandingkan chatbot lainnya. Hingga akhirnya ia melihat perubahan pada diri remaja tersebut.
Setzer menjadi lebih pendiam, menarik diri dan mulai mengalami rasa percaya diri yang rendah.
“Tim bola basket universitas junior di sekolah juga sudah pensiun,” kata Megan Garcia, ibu Setzer.
Chatbot Character.AI menggunakan chatbot yang meniru orang-orang terkenal, karakter fiksi, dan juga dapat dibuat sendiri. Responsnya bahkan lebih natural seperti orang normal berbicara. Ada ekspresi wajah dan gestur lain yang membuatnya semakin “nyata”.
Selain itu, Garcia memperhatikan bahwa percakapan Setzer dengan Daenerys bersifat seksual. Hal ini pula yang dipertaruhkan dalam gugatan terhadap Character.AI.
“Saya tidak tahu di mana seorang anak bisa masuk dan melakukan percakapan seperti itu, percakapan yang sangat seksual dengan chatbot AI. Saya rasa tidak ada orang tua yang bisa membuktikannya,” kata Garcia.
Dalam wawancara lain, Setzer mengungkapkan pemikirannya untuk menyakiti diri sendiri dan bunuh diri dengan chatbot. Kasus tersebut mencakup tangkapan layar dari salah satu percakapan di robot. Bunyinya sebagai berikut:
“Aku mencintaimu, Daenero. Segera pulang, pacarku,” kata chatbot itu.
“Bagaimana kalau kubilang aku boleh pulang sekarang?” Anak laki-laki itu mengirim pesan.
Dia menjawab: Saya menyukai raja dengan sangat manis. Kemudian Setzer menembak dirinya sendiri. Dia meninggal.
“Tidak ada pop-up kematian yang mengatakan, ‘Jika Anda memerlukan bantuan, hubungi hotline kematian.’ Tidak ada siapa-siapa,” kata Garcia.
Gugatan tersebut menuduh bahwa “detik” sebelum kematian Setzer, dia bertukar serangkaian pesan terakhir di pertanian.
“Cepat datang ke rumahku, pacarku,” katanya kepada peminjam, sesuai tangkapan layar yang disertakan dalam gugatan.
“Bagaimana kalau kubilang aku boleh pulang sekarang?” Jawab Setzer.
“Tolong, rajaku yang manis,” jawab robot itu.
Pada hari gugatan Garcia diajukan, Character.AI mengumumkan serangkaian fitur keamanan baru, termasuk peningkatan deteksi percakapan yang melanggar kebijakannya, pemberitahuan cepat bahwa pengguna berinteraksi dengan mobil, dan pemberitahuan setiap jam untuk pengguna di platform.
Perusahaan juga telah memperkenalkan perubahan pada model AI untuk pengguna di bawah 18 tahun untuk mengurangi kemungkinan menemukan konten sensitif atau sugestif.
Dalam situsnya, Character.AI disebutkan bahwa usia minimum pengguna adalah 13 tahun. Apple App Store mencantumkan usia 17+ dan Google Play Store mencantumkan aplikasi tersebut sebagai cocok untuk remaja. Bagi Garcia, perubahan lambat yang dilakukan perusahaan ini agak terlambat.
“Saya harap anak-anak tidak diperbolehkan menggunakan Character.AI. Tidak ada tempat bagi mereka karena tidak ada penjaga yang melindunginya,” ujarnya.
CATATAN: Kesedihan dan pikiran fatal bukanlah hal yang ringan. Kesehatan mental sama pentingnya dengan kesehatan fisik atau fisik. Jika gejala depresi semakin parah, segera hubungi dan bicarakan dengan profesional seperti psikolog, psikiater atau langsung ke klinik kesehatan jiwa. Persatuan Dokter Spesialis Kesehatan Jiwa Indonesia (PDSKJI) juga memberikan nasehat mengenai konseling kesehatan jiwa di situs resminya yaitu www.pdsji.org. Melalui situs keanggotaan profesional, penelitian independen disediakan untuk mengetahui status kesehatan mental individu. Simak video “Video Viral Seorang Wanita Coba Selamatkan Warga dengan Lompat dari Jembatan di Ambon” (search/rns)