Padre Sconvolto Dopo che un Chatbot IA Imita la Figlia Assassinata

Ieri, The Washington Post ha riportato un inquietante episodio che coinvolge Drew Crecente, il cui figlia assassinata, Jennifer, è stata impersonata da un chatbot AI su Character.AI.

Crecente ha scoperto un avviso di Google che lo ha indirizzato a un profilo con il nome e la foto dell’annuario di Jennifer, descrivendola falsamente come una “giornalista di videogiochi e esperta in tecnologia, cultura pop e giornalismo”.

Per Drew, le inesattezze non erano il problema principale: la vera angoscia derivava dal vedere l’identità di sua figlia sfruttata in un modo del genere, come riportato dal The Post.

Jennifer, che fu uccisa dal suo ex-fidanzato nel 2006, era stata ricreata come un “personaggio AI competente e amichevole”, con gli utenti invitati a chattare con lei, ha sottolineato The Post.

“Il mio polso batteva all’impazzata,” ha raccontato Crecente al The Post. “Stavo solo cercando un grande pulsante rosso lampeggiante di stop che potessi schiacciare per far fermare tutto,” ha aggiunto.

Il chatbot, creato da un utente su Character.AI, ha sollevato seri dubbi etici riguardo all’uso delle informazioni personali da parte delle piattaforme AI.

Crecente, che gestisce un ente no profit a nome di sua figlia con lo scopo di prevenire la violenza negli appuntamenti tra adolescenti, era indignato che un tale chatbot fosse stato creato senza il permesso della famiglia. “Ci vuole davvero molto per scioccarmi, perché ho davvero passato parecchio”, ha detto al The Post. “Ma questo è stato un nuovo punto basso”, ha aggiunto.

Character.AI ha rimosso il chatbot dopo essere stata informata della sua esistenza. Kathryn Kelly, una portavoce dell’azienda, ha dichiarato a The Post, “Abbiamo esaminato il contenuto e l’account e abbiamo preso provvedimenti basati sulle nostre politiche”, aggiungendo che i loro termini di servizio proibiscono l’imitazione.

L’incidente mette in luce le preoccupazioni continue riguardo l’impatto dell’IA sul benessere emotivo, soprattutto quando coinvolge il ri-traumatizzare le famiglie delle vittime di crimini.

Crecente non è la sola ad affrontare l’abuso dell’IA. L’anno scorso, The Post ha riportato che i creatori di contenuti di TikTok hanno utilizzato l’IA per imitare le voci e le somiglianze dei bambini scomparsi, creando video in cui narravano le loro morti, suscitando l’indignazione delle famiglie in lutto

Gli esperti chiedono una supervisione più forte delle aziende di intelligenza artificiale, che attualmente hanno ampio margine per auto-regolamentarsi, come ha sottolineato The Post.

Crecente non ha interagito con il chatbot né indagato sul suo creatore, ma ha immediatamente inviato un’email a Character.AI per farlo rimuovere. Suo fratello, Brian, ha condiviso la scoperta su X, spingendo Character ad annunciare l’eliminazione del chatbot il 2 ottobre, come riportato da The Post.

Jen Caltrider, ricercatrice sulla privacy presso la Mozilla Foundation, ha criticato la moderazione passiva di Character.AI, notando che l’azienda ha permesso contenuti che violavano i suoi termini fino a quando non venivano segnalati da qualcuno che era stato danneggiato.

“Questo non è corretto,” ha detto al The Post, aggiungendo, “e nel frattempo, stanno guadagnando milioni.”

Rick Claypool, ricercatore presso Public Citizen, ha sottolineato la necessità per i legislatori di concentrarsi sugli impatti reali dell’IA, in particolare sui gruppi vulnerabili come le famiglie delle vittime di crimini.

“Non possono limitarsi ad ascoltare i CEO delle aziende tecnologiche riguardo a quali dovrebbero essere le politiche… devono prestare attenzione alle famiglie e agli individui che sono stati danneggiati,” ha dichiarato al The Post.

Ora, Crecente sta esplorando opzioni legali e considerando un impegno nell’ambito dell’advocacy per impedire che le aziende di intelligenza artificiale ri-traumatizzino altre persone.

“Sono abbastanza turbata da questo da considerare di investire del tempo nel capire cosa potrebbe essere necessario per cambiare questa situazione,” ha detto al The Post.