Intelligenza artificiale, quando l’etica non basta: il caso Amsterdam

Negli ultimi anni, l’Europa si è imposta come paladina di un’intelligenza artificiale “responsabile”, promuovendo norme e linee guida che puntano su trasparenza, inclusione e mitigazione dei rischi.

Con l’approvazione dell’AI Act, l’Unione Europea ha infatti varato nel 2024 il primo regolamento completo al mondo sull’intelligenza artificiale.

Il testo distingue i sistemi AI in base al rischio e prevede obblighi stringenti per quelli “ad alto rischio”, come quelli utilizzati nei servizi pubblici. Inclusi nel mirino: gli algoritmi per l’erogazione di welfare, che dovranno garantire trasparenza, tracciabilità, supervisione umana e assenza di discriminazioni.

Ma cosa succede quando un’amministrazione pubblica prova ad applicare questi principi a un sistema concreto che incide sulla vita di migliaia di cittadini fragili?

Il caso del progetto “Smart Check” ad Amsterdam, raccontato da Eileen Guo in un approfondimento pubblicato su MIT Technology Review (“Amsterdam tried to build a fair algorithm. It failed.”, 13 giugno 2025), rappresenta un esperimento emblematico—andato male.

La fonte: l’inchiesta di MIT Technology Review

Secondo l’articolo di Eileen Guo, frutto di un’indagine realizzata con Lighthouse Reports e il quotidiano olandese Trouw, Amsterdam ha avviato un test su un algoritmo volto a identificare in modo “giusto ed efficace” potenziali frodi nel sistema dei sussidi. Il sistema, chiamato Smart Check, è stato costruito seguendo meticolosamente il manuale dell’AI etica: «consulting external experts, running bias tests, implementing technical safeguards, and seeking stakeholder feedback».

Eppure, il progetto è finito al centro di una tempesta.

Il consiglio dei beneficiari (Participation Council), composto da 15 membri, ha espresso con chiarezza la sua contrarietà: «They simply didn’t want the program».

Le ragioni? Il rischio di discriminazioni e un impatto sproporzionato su categorie vulnerabili, dato che solo il 3% delle richieste risulta effettivamente fraudolento.

Algoritmi giusti per problemi sbagliati?

Il nodo centrale dell’inchiesta non è tanto se Smart Check fosse tecnicamente valido, ma se fosse legittimo dal punto di vista sociale e politico.

La città ha sì rimosso alcune variabili potenzialmente discriminatorie, come l’età, ma ha ignorato la richiesta più forte: interrompere del tutto il progetto.

Come ha dichiarato Harry Bodaar, policy advisor per la città, il sistema di welfare è «held together by rubber bands and staples»—una struttura fragile che crolla sulle persone più deboli.

E allora il vero problema diventa un altro: l’algoritmo cerca frodi tra chi chiede aiuto, ma non aiuta chi avrebbe diritto e non lo sa. «Why doesn’t the municipality build an algorithm that searches for people who do not apply for social assistance but are entitled to it?» si chiede provocatoriamente Hans De Zwart, attivista per i diritti digitali.

Una questione filosofica prima che tecnica

Il caso Smart Check rivela i limiti di una visione ingegneristica dell’etica.

Come sottolinea Guo, l’amministrazione trattava concetti come “bias” e “fairness” come problemi matematici risolvibili con pesi e coefficienti, ignorando che sono concetti politici, culturali, relazionali.

Come ha affermato Suresh Venkatasubramanian, co-autore dell’ormai abrogato AI Bill of Rights statunitense, «We need participation early on from communities […] and a willingness to reframe the intervention based on what people actually want».

👉 Anche un algoritmo etico può fallire se ignora i bisogni reali delle persone.

Conclusione: l’AI come strumento, non fine

L’algoritmo non ha fallito solo per limiti tecnici, ma perché ha dimenticato di chiedere alle persone cosa desiderano davvero da un sistema pubblico.

Il paradosso è che, anche seguendo tutte le regole dell’AI responsabile, si possono creare sistemi “fundamentally flawed”.

La domanda che serve non è come rendere giusto un algoritmo, ma perché usarlo in primo luogo.

Questa vicenda dovrebbe servire da lezione per tutte le amministrazioni, italiane ed europee, che pensano di risolvere problemi sociali complessi con formule predittive.

Prima di scrivere righe di codice, bisognerebbe riscrivere le domande.