Gli Appaltatori Avvertono che le Nuove Linee Guida di Google Potrebbero Influire sull’Accuratezza di Gemini su Argomenti Sensibili

Un recente cambiamento nelle linee guida interne di Google ha suscitato preoccupazioni riguardo all’accuratezza della sua intelligenza artificiale Gemini, in particolare per quanto riguarda la gestione di argomenti sensibili o altamente specializzati.

I contractor che lavorano sul progetto Gemini, incaricati di valutare l’accuratezza delle risposte generate dall’IA, non possono più saltare le richieste al di fuori del loro campo di competenza. Questo cambiamento, riportato per la prima volta da TechCrunch, potrebbe potenzialmente influire sulla affidabilità delle informazioni fornite dall’IA su argomenti come l’assistenza sanitaria, dove una conoscenza precisa è fondamentale.

TechCrunch segnala che in precedenza, i collaboratori di GlobalLogic, una società di outsourcing di proprietà di Hitachi, avevano il compito di valutare le risposte dell’IA sulla base di fattori come la “veridicità” e avevano la possibilità di bypassare le domande al di fuori della loro competenza.

Ad esempio, se veniva chiesta una valutazione su una questione tecnica riguardante la cardiologia, un collaboratore senza background scientifico poteva evitarla.

Tuttavia, secondo le nuove linee guida, ai contractor ora viene richiesto di valutare le risposte a tutti i prompt, inclusi quelli che richiedono conoscenze specializzate, e di segnalare eventuali aree in cui manca l’esperienza, come riportato da TechCrunch.

La nuova regola ha suscitato preoccupazioni riguardo alla qualità dei voti forniti per argomenti complessi. I contractor, spesso senza il background necessario, sono ora incaricati di giudicare le risposte dell’IA su questioni come le malattie rare o la matematica avanzata.

Un appaltatore ha espresso a TechCrunch la sua frustrazione nella corrispondenza interna, mettendo in dubbio la logica dietro l’eliminazione dell’opzione di salto: “Pensavo che lo scopo del salto fosse aumentare la precisione, passandolo a qualcuno più abile?”

TechCrunch riporta che le nuove linee guida consentono agli appaltatori di saltare i prompt solo in due casi: se il prompt o la risposta è incompleto o contiene contenuti dannosi che richiedono un consenso speciale per la valutazione.

Questo limite ha suscitato allarmi tra coloro che lavorano su Gemini, i quali temono che l’IA possa produrre informazioni inaccurate o fuorvianti in aree altamente sensibili.

TechCrunch riporta che Google non ha fornito una risposta dettagliata alle preoccupazioni sollevate dai collaboratori.

Tuttavia, un portavoce ha sottolineato a TechCrunch che l’azienda è “costantemente al lavoro per migliorare l’accuratezza fattuale in Gemini”. Hanno inoltre precisato che, sebbene i valutatori forniscono un feedback prezioso su diversi fattori, le loro valutazioni non influenzano direttamente gli algoritmi, ma vengono utilizzate per valutare le prestazioni complessive del sistema.

Mashable ha notato che il rapporto mette in discussione il rigore e gli standard che Google afferma di applicare durante i test di Gemini per l’accuratezza.

Nella sezione “Costruzione responsabile” dell’annuncio di Gemini 2.0, Google ha dichiarato che sta “lavorando con tester di fiducia ed esperti esterni, svolgendo valutazioni approfondite dei rischi e verifiche di sicurezza e affidabilità.”

Sebbene ci sia un’attenzione ragionevole nel valutare le risposte per contenuti sensibili e dannosi, sembra che meno attenzione venga data alle risposte che, pur non essendo dannose, sono semplicemente inaccurate, come notato da Mashable.