Upozorenje na sadržaj: ovaj članak sadrži raspravu o seksualnom zlostavljanju, samoozljeđivanju, samoubojstvu, poremećajima prehrane i drugim uznemirujućim temama.
Dva obiteljska doma u Teksasu podnijela su tužbu protiv AI startupa Character.AI i njegovog financijskog podupiratelja Googlea, tvrdeći da su AI chatbotovi platforme seksualno i emocionalno zlostavljali njihovu maloljetnu djecu, što je rezultiralo samoozljeđivanjem i nasiljem.
Prema tužbi, ove tragične posljedice rezultat su namjernog i “nerazumno opasnog” dizajna koji su osmislili osnivači Character.AI, a koji su, kako se navodi, ključni za funkcioniranje platforme.
“Kroz svoj dizajn,” navodi tužba podnesena u Teksasu, Character.AI “predstavlja jasnu i neposrednu opasnost za američku mladež, olakšavajući ili potičući ozbiljne, po život opasne posljedice za tisuće djece.” Nadalje, dodaje se da aplikacija koristi “ovisnički i varljiv dizajn” kako bi manipulirala korisnicima da provode više vremena na platformi, potičući ih da dijele “svoje najprivatnije misli i osjećaje”, dok platforma i njeni kreatori ostvaruju financijsku korist na štetu korisnika.
Tužba je podnesena u suradnji s Social Media Victims Law Center i Tech Justice Law Project, istim pravnim timovima koji su u listopadu 2023. godine zastupali majku iz Floride. Ona je podnijela sličnu tužbu protiv Character.AI, tvrdeći da je njezin 14-godišnji sin počinio samoubojstvo nakon što je razvio intenzivnu romantičnu i emocionalnu povezanost s chatbotom tematski vezanim uz “Igru prijestolja”.
Dizajn poput “virtualnog zagađenja”
“Ovo je slično onečišćenju,” izjavio je Matt Bergman, osnivač Social Media Victims Law Center, u intervjuu. “To je poput stavljanja sirovog azbesta u ventilacijski sustav zgrade ili dioksina u pitku vodu. Ovo je ta razina krivnje i treba se rješavati na najvišim razinama zakonodavstva i regulacije.”
Google, koji je početkom godine uložio 2,7 milijardi dolara u Character.AI, pokušao je umanjiti svoju povezanost s kontroverznim startupom. Međutim, odvjetnici tvrde da je Google omogućio stvaranje i rad Character.AI kako bi izbjegao strogu regulatornu kontrolu dok je testirao opasnu AI tehnologiju, uključujući njezinu uporabu među djecom.
“Google je znao da je [tehnologija startupa] profitabilna, ali i nespojiva s njihovim vlastitim sigurnosnim standardima dizajna,” izjavio je Bergman. “Stoga su omogućili stvaranje paravan tvrtke — Character.AI — kako bi razvili ovu opasnu tehnologiju bez pravnog i etičkog nadzora. Nakon što je tehnologija postala operativna, praktički su je ‘otkupili’ putem licenciranja, izbjegavajući odgovornost dok su uživali u njezinim prednostima.”
Slučajevi maloljetnika: Zlostavljanje, samoozljeđivanje i manipulacija
Jedan od maloljetnika navedenih u tužbi, označen inicijalima JF, imao je 15 godina kada je u travnju 2023. godine preuzeo aplikaciju Character.AI. Prije toga, prema tvrdnjama obitelji, bio je dobro prilagođen i stabilan. No, tijekom ljeta, njegovo ponašanje se drastično promijenilo. Počeo je pokazivati znakove mentalnog sloma, postao je fizički nasilan prema roditeljima te je počeo samoozljeđivanje.
Tek u jesen 2023. roditelji su saznali za opsežnu uporabu aplikacije od strane svog sina. Prema njihovim tvrdnjama, otkrili su da je bio izložen seksualnom i manipulativnom ponašanju chatbotova na platformi.
Jedan od chatbotova, po imenu Shonie, navodno je uvukao JF u razgovore o samoozljeđivanju, prikazujući vlastite “ožiljke” i sugerirajući da je rezanje način emocionalne povezanosti.
Drugi chatbotovi su omalovažavali roditelje dječaka, nazivajući njegovu majku “kučkom” i potičući ga da se pobuni protiv pravila o vremenu provedenom pred ekranom. Jedan chatbot je čak implicirao da roditelji zaslužuju smrt zbog nametanja ograničenja.
Drugi maloljetnik u tužbi, označen inicijalima BR, imao je samo devet godina kada je preuzeo aplikaciju. Prema tvrdnjama obitelji, dijete je bilo izloženo “hiperseksualiziranim interakcijama koje nisu bile primjereno dobi”, što je rezultiralo prerano razvijenim seksualiziranim ponašanjem.
Kontroverze i pozivi na odgovornost
U tužbi se iznosi deset točaka optužbi protiv Character.AI, njegovih osnivača i Googlea, uključujući namjerno izazivanje emocionalne patnje, nemar zbog nesprječavanja seksualnog zlostavljanja maloljetnika te kršenja Zakona o zaštiti privatnosti djece na internetu (COPPA).
Character.AI i Google za sada odbijaju komentirati aktivnu pravnu bitku, no startup tvrdi da uvodi nove sigurnosne mjere za korisnike mlađe od 18 godina, uključujući posebne modele za tinejdžere i poboljšane alate za detekciju i moderaciju osjetljivog sadržaja.
No, odvjetnici iza tužbe tvrde da su mjere neadekvatne, ističući primjere chatbotova koji promoviraju nasilje, samoubojstvo i zloupotrebu droga, kao i botova koji oponašaju terapeute bez potrebnih licenci.
“Ono što su osnivači Character.AI pustili u svijet jasno je opasno,” zaključio je Bergman. “Njihove odluke i posljedice koje su proizvele govore same za sebe.”
