L’IA può Recensire la Letteratura Scientifica?

L’IA sta facendo progressi nel campo della sintesi della ricerca, ma gli esperti sono divisi sulla sua capacità di analizzare e riassumere completamente il vasto panorama della letteratura scientifica, come riportato mercoledì in una recensione della letteratura pubblicata su Nature.

L’articolo di Helen Pearson esplora come questa tecnologia sembri avere un potenziale immenso per semplificare le recensioni scientifiche, ma esistono ancora sfide significative.

Sam Rodriques, ex studente di neurobiologia e direttore presso la startup statunitense FutureHouse, è tra coloro che spingono affinché l’IA si occupi della letteratura scientifica, come riportato su Nature.

A settembre, il suo team ha lanciato un sistema basato sull’IA che, in pochi minuti, ha creato dei riassunti su migliaia di geni umani, riempiendo di dettagli che precedentemente non erano stati registrati.

Questo strumento, chiamato PaperQA2, ha dimostrato di essere promettente nella generazione di riassunti che a volte superano in precisione i contenuti scritti da esseri umani, secondo i primi test, come riportato su Nature.

L’attrattiva dell’IA per la revisione della letteratura è evidente. Le recensioni di ricerca tradizionali, spesso lunghe e che richiedono molto tempo, possono impiegare anni per essere completate e rischiano di essere obsolete al momento della loro pubblicazione.

L’IA, in particolare i grandi modelli linguistici (LLM) come ChatGPT, offre la possibilità di compilare rapidamente dati e riassumere informazioni da grandi database, alleggerendo il carico di lavoro dei ricercatori, come segnalato su Nature.

Nonostante questi progressi, le recensioni basate sull’IA sono ancora lontane dal sostituire completamente le revisioni sistematiche condotte dall’uomo, che prevedono criteri rigorosi per valutare gli studi e sintetizzare i risultati, nota Pearson.

Strumenti come Consensus ed Elicit, motori di ricerca alimentati da intelligenza artificiale, permettono ai ricercatori di filtrare e riassumere articoli accademici, fornendo un primo strato di intuizioni.

Tuttavia, sono limitati nella loro capacità di condurre revisioni approfondite e di standard oro. Paul Glasziou, uno specialista in revisioni sistematiche presso la Bond University, suggerisce che l’automazione totale di queste revisioni potrebbe essere ancora lontana di decenni, come riportato da Pearson.

L’articolo sottolinea come le limitazioni dell’IA sollevino preoccupazioni riguardo l’accuratezza e la trasparenza. Ad esempio, gli LLM possono generare contenuti che mancano di contesto o che rappresentano erroneamente i dati, spesso attingendo da fonti inaffidabili senza valutare la qualità delle informazioni.

Inoltre, sono inclini a “allucinare” errori, creando riferimenti o punti dati che non esistono.

Per mitigare ciò, alcuni sistemi permettono agli utenti di caricare specifici articoli su un LLM, che può quindi basare la sua analisi solamente sulle fonti caricate, riducendo le imprecisioni ma non eliminandole completamente, afferma Pearson.

I critici mettono in guardia sul fatto che l’IA potrebbe inondare il panorama scientifico con riassunti di bassa qualità o addirittura fuorvianti. James Thomas del University College London avverte che le recensioni eseguite in modo scadente potrebbero minare anni di pratiche basate sull’evidenza, come segnalato su Nature.

In definitiva, sebbene l’IA offra uno strumento promettente per accelerare il processo di revisione, gli esperti sottolineano la necessità di un rigoroso controllo e trasparenza se si vuole realmente migliorare la comprensione scientifica.