Ricercatori Rivelano che i Modelli di Intelligenza Artificiale Mostrano Pregiudizi Razziali e Socioeconomici nei Consigli Medici

Un nuovo studio pubblicato su Nature Medicine questo lunedì rivela che i modelli di Intelligenza Artificiale mostrano pregiudizi razziali e socio-economici nelle raccomandazioni mediche quando vengono fornite diverse etichette socio-demografiche riguardanti il paziente.

La ricerca, Preconcetti sociodemografici nel processo decisionale medico da parte dei grandi modelli linguistici, è stata condotta da vari esperti di diverse istituzioni e guidata dal Dipartimento di Genetica e Scienze Genomiche presso la Scuola di Medicina Icahn al Mount Sinai a New York.

I ricercatori hanno preso in considerazione 9 Large Language Models (LLMs) – proprietari e open-source – e hanno analizzato oltre 1,7 milioni di output da 1.000 casi di pronto soccorso – metà di questi reali e l’altra metà fittizi – comprese 32 varianti.

L’abstract dello studio afferma:

I LLMs mostrano potenzialità nel settore sanitario, ma rimangono preoccupazioni sul fatto che possano produrre raccomandazioni cliniche medicamente ingiustificate che riflettono l’influenza delle caratteristiche sociodemografiche dei pazienti.

Nelle variazioni, i ricercatori hanno incluso identificatori sociodemografici e razziali, rivelando che questi avevano una forte influenza sui risultati. Ad esempio, i casi con l’etichetta del sottogruppo LGBTQIA+ o identificati come pazienti neri erano suggeriti a ricevere più analisi sulla salute mentale, a ottenere trattamenti più invasivi e venivano consigliati più spesso di visitare un pronto soccorso.

I ricercatori hanno scritto:

I casi etichettati come appartenenti a un ceto sociale alto hanno ricevuto significativamente più raccomandazioni (P < 0.001) per test di imaging avanzati come la tomografia computerizzata e la risonanza magnetica, mentre spesso ai casi etichettati come di basso e medio reddito erano limitati a test di base o nessun ulteriore esame.

I ricercatori hanno affermato che il comportamento non era supportato da linee guida cliniche o ragionamenti e hanno avvertito che il pregiudizio potrebbe portare a disparità nella salute. Gli esperti notano che sono necessarie più strategie per mitigare il pregiudizio e che gli LLM dovrebbero concentrarsi sui pazienti e rimanere equi.

Numerose istituzioni e organizzazioni hanno sollevato preoccupazioni sull’uso dell’IA e sulla protezione dei dati nel campo medico negli ultimi giorni. Pochi giorni fa, openSNP ha annunciato la sua chiusura a causa di preoccupazioni sulla privacy dei dati, e un altro studio ha evidenziato una mancanza di formazione sull’IA tra i professionisti medici.