Le bugie dell’intelligenza artificiale: sempre più grandi, sempre più frequenti

I Chatbot di Intelligenza Artificiale: più grandi, ma anche più sbagliati

Un recente studio pubblicato su Nature ha portato alla luce una problematica rilevante legata all'uso crescente dei chatbot di intelligenza artificiale (AI).

Nonostante i progressi tecnologici, questi modelli, più grandi e sofisticati, tendono a fornire risposte sbagliate con maggiore frequenza rispetto al passato, a causa della loro riluttanza a dichiarare di non sapere la risposta a una domanda.

Il team di ricercatori guidato da José Hernández-Orallo dell'Istituto di Ricerca per l'Intelligenza Artificiale di Valencia ha analizzato le performance di tre famiglie di modelli di linguaggio avanzati: GPT di OpenAI, LLaMA di Meta e BLOOM di BigScience.

Lo studio ha rivelato che, sebbene le versioni più recenti e raffinate di questi modelli siano più accurate, la loro affidabilità è diminuita. In particolare, si è osservato che la frazione di risposte errate tra quelle che i modelli avrebbero dovuto evitare è aumentata in modo significativo, superando in alcuni casi il 60%.

Questo incremento di risposte sbagliate è particolarmente preoccupante perché gli utenti non sono sempre in grado di distinguere tra una risposta corretta e una errata.

Secondo lo studio, le persone classificano erroneamente le risposte inaccurate come corrette con una frequenza che varia dal 10% al 40%, sia per domande facili che difficili. Questo dato sottolinea la difficoltà degli utenti nel supervisionare efficacemente questi modelli di AI.

La ricerca suggerisce che i chatbot stanno diventando sempre più propensi a rispondere a tutte le domande, anche a quelle per le quali non hanno una conoscenza adeguata. Questo comportamento può portare a un sovrastimare le capacità dei chatbot da parte degli utenti, creando un pericoloso senso di fiducia nelle loro risposte.

Hernández-Orallo propone che gli sviluppatori dovrebbero migliorare le performance dell'intelligenza artificiale nelle domande semplici e incoraggiare i chatbot a rifiutarsi di rispondere a quelle più difficili. Questo approccio permetterebbe agli utenti di avere una migliore comprensione di quando possono fidarsi delle risposte fornite dai chatbot e quando invece sarebbe meglio non farlo.

Questa ricerca deve far comprendere che questi strumenti primordiali di intelligenza artificiale siano si utili, ma debbano essere utilizzati con grande attenzione e, soprattutto, facendo sempre un’attività di verifica delle fonti.

Fonti:

“Larger and more instructable language models become less reliable”, Lexin Zhou, Wout Schellaert, Fernando Martínez-Plumed, Yael Moros-Daval, Cèsar Ferri & José Hernández-Orallo

Nicola Jones, "Bigger AI chatbots more inclined to spew nonsense — and people don't always realize", Nature, 25 settembre 2023.*