Il MIT Rivela Che Gli LLMs Potrebbero Sviluppare La Loro Propria Comprensione Della Realtà

I ricercatori del MIT hanno scoperto che i grandi modelli linguistici (LLM) possono creare le proprie rappresentazioni interne della realtà. L’addestramento di un LLM su puzzle ha rivelato che il modello ha sviluppato una comprensione dell’ambiente del puzzle autonomamente, senza istruzioni esplicite. La ricerca è stata riportata ieri da MIT News.

Per testare ciò, i ricercatori hanno utilizzato i puzzle di Karel—compiti che implicano dare istruzioni a un robot in un ambiente simulato. Dopo aver addestrato il modello su oltre 1 milione di tali puzzle, hanno scoperto che l’LLM non solo migliorava nel generare istruzioni corrette, ma sembrava anche sviluppare una simulazione interna dell’ambiente del puzzle.

Charles Jin, l’autore principale dello studio, ha spiegato: “All’inizio di questi esperimenti, il modello linguistico generava istruzioni casuali che non funzionavano. Al termine dell’addestramento, il nostro modello linguistico generava istruzioni corrette con un tasso del 92,4 percento.”

Questo modello interno, scoperto utilizzando una tecnica di apprendimento automatico chiamata “probing”, ha rivelato un modello interno di come il robot rispondeva alle istruzioni, suggerendo una forma di comprensione che va oltre la sintassi.

La sonda è stata progettata semplicemente per “guardare dentro il cervello di un LLM,” come dice Jin, ma c’era la possibilità che potesse aver influenzato il pensiero del modello.

Jin spiega, “La sonda è come un analista forense: tu gli consegna questo mucchio di dati e gli dici, ‘Ecco come si muove il robot, ora cerca di trovare i movimenti del robot nel mucchio di dati.’ L’analista poi ti dice che sa cosa sta succedendo con il robot nel mucchio di dati.’’

Jin aggiunge: “Ma se il mucchio di dati codifica semplicemente le istruzioni grezze, e l’analista ha trovato un modo ingegnoso per estrarre le istruzioni e seguirle di conseguenza? Allora il modello linguistico non ha realmente imparato cosa significano le istruzioni.”

Per verificare ciò, i ricercatori hanno condotto un esperimento “Mondo Bizzarro”, in cui i significati delle istruzioni sono stati invertiti. In questo scenario, la sonda ha avuto difficoltà nell’interpretare le istruzioni modificate, suggerendo che l’LLM aveva sviluppato una propria comprensione semantica delle istruzioni originali.

Questi risultati sfidano l’opinione dominante secondo cui gli LLM sono meramente macchine sofisticate di corrispondenza di modelli. Al contrario, suggeriscono che questi modelli potrebbero sviluppare una comprensione più profonda e sfumata della lingua e del mondo che essa rappresenta.

Uno studio dell’Università di Bath all’inizio di questa settimana ha indicato che gli LLM eccellono nel trattamento del linguaggio, ma faticano nell’acquisizione di competenze indipendenti. Questo ha rafforzato l’idea della prevedibilità degli LLM. Tuttavia, la ricerca del MIT offre una prospettiva contrastante.

Anche se i risultati del MIT sembrano promettenti, i ricercatori evidenziano alcune limitazioni. In particolare, Jin ammette che hanno utilizzato un linguaggio di programmazione molto semplice e un modello relativamente piccolo per ottenere le loro intuizioni.

In conclusione, mentre i risultati del MIT sono incoraggianti, i ricercatori avvertono che è necessaria ulteriore ricerca per comprendere appieno le implicazioni.