Ricercatori Scoprono Falle di Sicurezza nei Modelli Open-Source di AI e ML

Una recente indagine ha scoperto oltre 30 falle di sicurezza nei modelli di intelligenza artificiale (AI) e apprendimento automatico (ML) open source, sollevando preoccupazioni riguardo potenziali furti di dati e esecuzioni di codice non autorizzate, come riportato da The Hacker News (THN).

Queste vulnerabilità sono state riscontrate in strumenti ampiamente utilizzati, tra cui ChuanhuChatGPT, Lunary e LocalAI, e sono state segnalate tramite la piattaforma di bug bounty di Protect AI, Huntr, che incentiva gli sviluppatori a identificare e divulgare problemi di sicurezza.

Tra le vulnerabilità più gravi identificate, due difetti principali riguardano Lunary, un toolkit progettato per gestire grandi modelli linguistici (LLM) in ambienti di produzione.

Il primo difetto, CVE-2024-7474, è classificato come una vulnerabilità di riferimento diretto a oggetti non sicuri (IDOR). Consente a un utente con privilegi di accesso di visualizzare o eliminare i dati di altri utenti senza autorizzazione, potenzialmente portando a violazioni dei dati e perdita di dati non autorizzata.

Il secondo problema critico, CVE-2024-7475, è una vulnerabilità di controllo di accesso improprio che consente a un aggressore di aggiornare la configurazione SAML (Security Assertion Markup Language) del sistema.

Sfruttando questa lacuna, gli aggressori possono eludere la sicurezza del login per ottenere accesso non autorizzato ai dati personali, creando rischi significativi per qualsiasi organizzazione che si affida a Lunary per la gestione degli LLM.

Un’altra debolezza di sicurezza identificata in Lunary, CVE-2024-7473, coinvolge anche una vulnerabilità IDOR che permette agli aggressori di aggiornare i prompt inviati da altri utenti. Questo è possibile manipolando un parametro controllato dall’utente, rendendo possibile interferire con le interazioni altrui nel sistema.

In ChuanhuChatGPT, una vulnerabilità critica (CVE-2024-5982) permette a un aggressore di sfruttare un difetto di percorso di attraversamento nella funzione di caricamento dell’utente, come segnalato da THN.

Questo difetto può portare all’esecuzione arbitraria di codice, alla creazione di directory e all’esposizione di dati sensibili, presentando un alto rischio per i sistemi che si affidano a questo strumento. LocalAI, un’altra piattaforma open-source che permette agli utenti di eseguire LLM auto-ospitati, ha due gravi difetti che comportano rischi di sicurezza simili, ha detto THN.

Il primo difetto, CVE-2024-6983, consente l’esecuzione di codice maligno permettendo agli aggressori di caricare un file di configurazione dannoso. Il secondo, CVE-2024-7010, consente ai hacker di dedurre le chiavi API misurando i tempi di risposta del server, utilizzando un metodo di attacco temporizzato per dedurre gradualmente ogni carattere della chiave, ha notato THN.

In risposta a questi risultati, Protect AI ha introdotto un nuovo strumento chiamato Vulnhuntr, un analizzatore di codice statico Python open-source che utilizza modelli di linguaggio di grandi dimensioni per rilevare vulnerabilità nei codebase Python, ha detto THN.

Vulnhuntr suddivide il codice in parti più piccole per identificare difetti di sicurezza all’interno dei limiti di una finestra di contesto del modello di linguaggio. Scansiona i file del progetto per rilevare e tracciare potenziali debolezze dall’input dell’utente all’output del server, migliorando la sicurezza per gli sviluppatori che lavorano con il codice AI.

Queste scoperte evidenziano l’importanza critica dell’analisi di vulnerabilità continua e degli aggiornamenti di sicurezza nei sistemi di AI e ML per proteggersi dalle minacce emergenti nel panorama in continua evoluzione della tecnologia AI.