Ricercatori del MIT Sviluppano “ContextCite” per Verificare i Contenuti Generati dall’IA

Ricercatori del Laboratorio di Informatica e Intelligenza Artificiale del MIT (CSAIL) hanno annunciato ContextCite, uno strumento volto a migliorare l’affidabilità dei contenuti generati dall’IA.

Tracciando le fonti su cui si basano i sistemi di AI e identificando le origini degli errori potenziali, ContextCite offre un nuovo modo per valutare l’affidabilità dei grandi modelli linguistici (LLM).

I sistemi AI generano spesso risposte utilizzando fonti esterne, ma possono anche produrre errori o inventare completamente delle informazioni. ContextCite affronta questo problema evidenziando le parti esatte di una fonte che hanno influenzato la risposta di un AI.

Ad esempio, se un assistente afferma in modo impreciso che un modello ha 1 trilione di parametri basandosi su un contesto interpretato erroneamente, ContextCite aiuta a identificare la frase specifica che ha contribuito all’errore.

Ben Cohen-Wang, studente di dottorato al MIT e ricercatore principale, spiega nel comunicato stampa del MIT: “Gli assistenti AI possono essere molto utili per sintetizzare le informazioni, ma commettono ancora errori.”

“Gli attuali assistenti AI forniscono spesso collegamenti alle fonti, ma gli utenti dovrebbero revisionare noiosamente l’articolo da soli per individuare eventuali errori. ContextCite può aiutare a trovare direttamente la frase specifica utilizzata da un modello, facilitando la verifica delle affermazioni e il rilevamento degli errori”, ha aggiunto.

Lo strumento utilizza le “ablazioni di contesto”, un metodo in cui parti del contesto esterno vengono sistematicamente rimosse per determinare quali sezioni erano fondamentali per la risposta dell’IA. Questo approccio permette ai ricercatori di identificare in modo efficiente il materiale di origine più rilevante senza un’analisi esaustiva.

ContextCite ha applicazioni più ampie, inclusa l’ottimizzazione dell’accuratezza delle risposte eliminando informazioni irrilevanti e rilevando gli “attacchi di avvelenamento”. Questi attacchi implicano l’inserimento di dichiarazioni fuorvianti in fonti che sembrano affidabili per manipolare i risultati dell’IA.

Lo strumento può risalire alle origini delle risposte errate, mitigando potenzialmente la diffusione di informazioni errate.

Nonostante il suo potenziale, i ricercatori affermano che ContextCite ha delle limitazioni. L’attuale sistema richiede molteplici passaggi inferenziali, che possono rallentare la sua applicazione. Inoltre, l’interdipendenza delle frasi nei testi complessi può rendere difficile isolare specifiche influenze.

I ricercatori stanno lavorando per perfezionare lo strumento per affrontare queste sfide e semplificare i suoi processi.

Harrison Chase, CEO di LangChain, vede lo strumento come significativo per gli sviluppatori che costruiscono applicazioni LLM. Ha sottolineato che verificare se i risultati sono realmente basati sui dati è un compito critico ma che richiede molte risorse, e strumenti come ContextCite potrebbero semplificare questo processo.

Aleksander Madry, investigatore principale di CSAIL, ha sottolineato l’importanza dei sistemi di intelligenza artificiale affidabili. ContextCite rappresenta un approccio per affrontare questa necessità, in particolare mentre l’intelligenza artificiale continua a svolgere un ruolo centrale nell’elaborazione e nella sintesi delle informazioni.