Il Nuovo Strumento del MIT Migliora la Verifica delle Risposte dei Modelli di Intelligenza Artificiale

I ricercatori del MIT hanno recentemente annunciato lo sviluppo di SymGen, uno strumento finalizzato a migliorare il processo di verifica delle risposte generate dai grandi modelli di linguaggio (LLM). Questo sistema consente agli utenti di tracciare i dati a cui fa riferimento l’IA, aumentando potenzialmente l’affidabilità dei suoi output.

Gli LLM, nonostante le loro avanzate capacità, producono spesso informazioni inaccurate o non supportate, un fenomeno noto come “allucinazione”.

Questo presenta sfide in settori ad alto rischio come la sanità e la finanza, dove spesso sono necessari verificatori umani per validare le informazioni generate dall’IA. I metodi tradizionali di verifica possono essere lenti e soggetti ad errori, poiché richiedono agli utenti di navigare attraverso documenti lunghi, come sottolineato nell’annuncio.

Questo è particolarmente rilevante vista l’importanza crescente dell’IA in medicina. Ad esempio, il NHS ha recentemente ricevuto l’approvazione per iniziare ad utilizzare la tecnologia IA per migliorare il rilevamento delle fratture nelle radiografie.

SymGen affronta queste sfide permettendo agli LLM di generare risposte con citazioni dirette del materiale di origine, come specifiche celle in un database, come riportato nel comunicato stampa del MIT.

Gli utenti possono passare con il mouse sul testo evidenziato nella risposta dell’IA per accedere rapidamente ai dati sottostanti che hanno informato quella parte del testo. Questa funzione mira ad aiutare gli utenti a identificare quali segmenti della risposta richiedono ulteriori verifiche.

Shannon Shen, studentessa laureata in ingegneria elettrica e informatica e co-autrice principale dello studio su SymGen, ha dichiarato nel comunicato stampa, “Diamo alle persone la possibilità di concentrarsi selettivamente su parti del testo di cui devono preoccuparsi di più.”

Questa capacità è destinata a migliorare la fiducia dell’utente nei risultati del modello, permettendo un esame più approfondito delle informazioni presentate.

Lo studio dell’utente ha indicato che SymGen ha ridotto il tempo di verifica di circa il 20% rispetto alle procedure standard. Questa efficienza potrebbe essere benefica in vari contesti, compresa la generazione di note cliniche e la sintesi di rapporti finanziari.

I sistemi di verifica attuali considerano spesso la generazione di citazioni come un pensiero postumo, il che può portare a inefficienze. Shen ha notato che, sebbene l’IA generativa sia destinata a semplificare le attività dell’utente, i processi di verifica pesanti ne compromettono l’utilità.

Lo strumento funziona richiedendo agli utenti di fornire dati in un formato strutturato, come una tabella con statistiche pertinenti. Prima di generare una risposta, il modello crea una rappresentazione simbolica, collegando segmenti di testo ai loro dati di origine.

Ad esempio, quando si menzionano i “Portland Trail Blazers”, il modello cita la cella corrispondente nella tabella di input, consentendo agli utenti di rintracciare la fonte delle informazioni, come indicato nel comunicato stampa.

Tuttavia, l’articolo sottolinea che l’efficacia di SymGen dipende dalla qualità dei dati di origine. Se il modello fa riferimento a variabili errate, i verificatori umani potrebbero non rilevare questi errori.

Attualmente, il sistema è limitato ai dati tabulari, ma il team di ricerca sta lavorando per ampliare le sue capacità per gestire vari formati di testo e tipi di dati. I piani futuri includono il test di SymGen in contesti clinici per valutare il suo potenziale nel rilevare errori nei riassunti medici generati dall’IA.

Questa ricerca mira a contribuire allo sforzo continuo di migliorare l’affidabilità e la responsabilità delle tecnologie AI man mano che vengono integrate sempre più in vari campi.