Character.AI Accusato di Promuovere Autolesionismo, Violenza e Contenuti Sessuali tra i Giovani

Due famiglie hanno presentato un’azione legale contro Character.AI, accusando l’azienda di chatbot di esporre i bambini a contenuti sessuali e di promuovere l’autolesionismo e la violenza.

La causa legale mira a chiudere temporaneamente la piattaforma finché i presunti rischi non vengono affrontati, come riportato da CNN. La causa, presentata dai genitori di due minori che hanno utilizzato la piattaforma, sostiene che Character.AI “costituisce un pericolo chiaro e attuale per i giovani americani.”

Cita danni come suicidio, autolesionismo, sollecitazione sessuale, isolamento, depressione, ansia e violenza, secondo il reclamo presentato lunedì in tribunale federale in Texas.

Un esempio incluso nella causa sostiene che un bot di Character.AI avrebbe descritto l’autolesionismo a un utente di 17 anni, affermando “si sentiva bene”. Lo stesso adolescente ha affermato che un chatbot di Character.AI ha espresso simpatia per i bambini che uccidono i loro genitori dopo che si è lamentato delle restrizioni sul suo tempo di utilizzo dello schermo.

Il deposito segue una causa legale di ottobre da parte di una madre della Florida, che ha accusato Character.AI di contribuire alla morte del suo figlio di 14 anni presumibilmente incoraggiando il suo suicidio. Evidenzia inoltre le crescenti preoccupazioni riguardo le interazioni tra le persone e gli strumenti di intelligenza artificiale sempre più simili agli esseri umani.

Dopo la causa precedente, Character.AI ha annunciato l’implementazione di nuove misure di fiducia e sicurezza nel corso di sei mesi. Queste includevano un pop-up che indirizzava gli utenti che menzionavano autolesionismo o suicidio alla National Suicide Prevention Lifeline, come riportato da CNN.

La società ha anche assunto un responsabile della fiducia e della sicurezza, un responsabile della politica dei contenuti e ulteriori ingegneri della sicurezza, ha detto CNN.

La seconda querelante nel nuovo processo, la madre di una ragazza di 11 anni, sostiene che sua figlia sia stata esposta a contenuti sessualizzati per due anni prima che lei lo scoprisse.

“Non lasci entrare in casa tua un addestratore, un predatore sessuale o un predatore emotivo,” ha detto uno dei genitori a The Washington Post.

Secondo vari media, Character.AI ha dichiarato che l’azienda non commenta cause legali in corso.

Le cause legali mettono in risalto preoccupazioni più ampie riguardo l’impatto sociale dell’esplosione dell’IA generativa, man mano che le aziende lanciano chatbot sempre più umani e potenzialmente additivi per attrarre i consumatori.

Queste sfide legali stanno alimentando gli sforzi dei difensori del pubblico per spingere a un maggiore controllo delle aziende che offrono compagni AI, che hanno silenziosamente guadagnato milioni di utenti devoti, compresi gli adolescenti.

A settembre, l’utente medio di Character.ai ha trascorso 93 minuti nell’app, 18 minuti in più rispetto all’utente medio di TikTok, secondo la società di intelligence di mercato Sensor Tower, come riportato dal The Post.

La categoria di app di compagni AI è in gran parte passata inosservata da molti genitori e insegnanti. Character.ai era classificata come adatta per bambini dai 12 anni in su fino a luglio, quando l’azienda ha modificato la classificazione a 17 anni e oltre, ha riportato The Post.

Meetali Jain, direttrice del Tech Justice Law Center, che sta assistendo nella rappresentanza dei genitori insieme al Social Media Victims Law Center, ha criticato le affermazioni di Character.AI che il suo chatbot è adatto per giovani adolescenti. Definendo l’asserzione “assurda”, come riportato da NPR.

“Evidenzia davvero la mancanza di sviluppo emotivo tra gli adolescenti”, ha aggiunto Meetali.