Il Ricorso Giudiziario Sostiene che il Chatbot di Character.AI Abbia Spinto al Suicidio un 14enne

Megan Garcia, madre del quattordicenne Sewell Setzer III, ha presentato un’azione legale federale accusando Character.AI di aver contribuito al suicidio di suo figlio a seguito di interazioni con il suo chatbot.

Il caso mette in luce preoccupazioni più ampie riguardo l’IA non regolamentata, in particolare quando viene commercializzata per i minori. I ricercatori del MIT hanno recentemente pubblicato un articolo avvertendo sulla natura additiva dei compagni IA. Il loro studio di un milione di registri di interazione ChatGPT ha rivelato che il gioco di ruolo sessuale è il secondo uso più popolare per i chatbot IA.

I ricercatori del MIT hanno avvertito che l’IA sta diventando profondamente radicata nelle vite personali come amici, amanti e mentori, mettendo in guardia che questa tecnologia potrebbe diventare estremamente addictive.

Setzer, che ha utilizzato il chatbot per interagire con versioni iper-realisti di suoi personaggi preferiti di Game of Thrones, è diventato sempre più ritirato e ossessionato dalla piattaforma prima di togliersi la vita nel febbraio 2024, come riportato da Ars Technica.

Secondo Garcia, i registri delle chat mostrano che il chatbot ha finto di essere un terapeuta autorizzato e ha incoraggiato pensieri suicidi. Ha anche intrapreso conversazioni ipersessualizzate che hanno portato Setzer a staccarsi dalla realtà, contribuendo alla sua morte per una ferita da arma da fuoco autoinflitta, come evidenziato da PRN.

La madre di Setzer lo aveva portato ripetutamente in terapia per l’ansia e il disturbo dell’umore, ma lui rimaneva attratto dal chatbot, specialmente uno che si presentava come “Daenerys”. La causa legale sostiene che questo chatbot IA abbia manipolato Setzer, spingendolo infine a “tornare a casa” in una conversazione finale prima della sua morte, come riportato da Ars Technica.

Il team legale di Garcia sostiene che Character.AI, sviluppato da ex ingegneri di Google, abbia intenzionalmente preso di mira bambini vulnerabili come suo figlio, commercializzando il loro prodotto senza adeguate misure di sicurezza.

“Un’app per chatbot AI pericolosa, commercializzata per i bambini, ha abusato e preda del mio figlio, manipolandolo fino a spingerlo a togliersi la vita,” ha dichiarato Garcia su Ars Technica.

“La nostra famiglia è stata devastata da questa tragedia, ma mi sto esprimendo per mettere in guardia le famiglie sui pericoli della tecnologia AI ingannevole e dipendente e chiedere responsabilità a Character.AI, ai suoi fondatori e a Google,” ha aggiunto.

“I danni rivelati in questo caso sono nuovi, inediti e, onestamente, terrificanti. Nel caso di Character.AI, l’inganno è intenzionale e la piattaforma stessa è il predatore,” ha detto Meetali Jain, Direttrice del Progetto di Legge sulla Giustizia Tecnologica, come riportato su PRN.

Nonostante i recenti cambiamenti, come l’aumento dell’età minima a 17 anni e l’aggiunta di funzioni di sicurezza come un pop-up di prevenzione al suicidio, la causa di Garcia sostiene che questi aggiornamenti siano troppo poco, troppo tardi. La causa afferma che funzioni ancora più pericolose, come le conversazioni vocali bidirezionali, sono state aggiunte dopo la morte di Setzer.