Sorveglianza tramite Intelligenza Artificiale sulle prestazioni di welfare sotto processo nei Paesi Bassi

Autore :

 

I tribunali hanno tenuto udienze su una causa di un certo numero di gruppi interessati al sistema draconiano olandese alla fine di ottobre, con una decisione attesa a gennaio.

I Paesi Bassi sono  costantemente classificati  come una delle democrazie più forti del mondo. Potresti essere sorpreso di apprendere che ospita anche uno dei sistemi di sorveglianza più invadenti che automatizza il tracciamento e la profilazione dei poveri.

Il 29 ottobre il tribunale distrettuale dell’Aia ha  tenuto udienze  sulla legalità del  Systeem Risico Indicatie  (SyRI), il sistema automatizzato del governo olandese per rilevare le frodi assistenziali. La causa, intentata da una coalizione di gruppi e attivisti della società civile,  sostiene  che il sistema viola le leggi sulla protezione dei dati e gli standard sui diritti umani.

SyRI è un  modello di calcolo del rischio  sviluppato dal Ministero degli Affari Sociali e dell’Occupazione per prevedere la probabilità di un individuo di impegnarsi in benefici, frode fiscale e violazioni delle leggi sul lavoro. I calcoli di SyRI attingono  a  vasti pool di dati personali e sensibili raccolti da varie agenzie governative, dai registri del lavoro alle informazioni sui sussidi, dai rapporti sui debiti personali all’istruzione e alla storia abitativa.

Quando il sistema profila un individuo come un rischio di frode, lo notifica all’agenzia governativa competente, che ha  fino a due anni  per aprire un’indagine.

Il lancio selettivo del SyRI nei quartieri prevalentemente a basso reddito ha creato un regime di sorveglianza che prende di mira in modo sproporzionato i cittadini più poveri per un controllo più invadente. Finora, il ministero ha collaborato con le autorità municipali per  implementare  SyRI a Rotterdam, la seconda città più grande dei Paesi Bassi, che ha il  più alto tasso di povertà  del paese, così come Eindhoven e Haarlem. Durante l’audizione, il governo ha  ammesso  che il SyRI è stato preso di mira nei quartieri con un numero maggiore di residenti in assistenza sociale, nonostante la mancanza di prove che questi quartieri siano responsabili di tassi più elevati di frode sui benefici.

Ma SyRI non ha solo effetti discriminatori sulla privacy dei beneficiari del welfare. Potrebbe anche facilitare le violazioni del loro diritto alla sicurezza sociale. Poiché SyRI è avvolto dal segreto, i beneficiari del welfare non hanno modo significativo di sapere quando o come i calcoli del sistema vengono presi in considerazione nelle decisioni per tagliarli fuori dai benefici salvavita.

Il governo ha rifiutato di rivelare come funziona SyRI, per paura che spiegare i suoi algoritmi di calcolo del rischio consentirà ai truffatori di ingannare il sistema. Ma ha rivelato che il sistema  genera “falsi positivi”  – casi in cui il sistema segnala erroneamente le persone come rischio di frode.

Senza spiegazioni più trasparenti, è impossibile sapere se tali errori abbiano portato ad indagini improprie nei confronti dei beneficiari di welfare o all’ingiusta sospensione dei loro benefici.

Il governo afferma di utilizzare questi “falsi positivi” per correggere i difetti nel suo modello di calcolo del rischio, ma non c’è nemmeno modo di testare questa affermazione. In effetti, nessuno può indovinare se il sistema mantenga un tasso di accuratezza sufficientemente alto da giustificare valutazioni del rischio che tengono le persone sospette per un massimo di due anni.

SyRI fa parte di una  più ampia tendenza globale volta  a integrare l’Intelligenza Artificiale e altre tecnologie basate sui dati nell’amministrazione di prestazioni sociali e altri servizi essenziali. Ma queste tecnologie sono spesso implementate  senza una consultazione significativa  con i beneficiari del welfare o il pubblico in generale.

Nel caso di SyRI, il sistema è stato autorizzato dal Parlamento nell’ambito di un pacchetto di riforme del  welfare  varato nel 2014. Tuttavia, il governo ha  sperimentato  iniziative di rilevamento delle frodi ad alta tecnologia per quasi un decennio prima di cedere al controllo legislativo. I gruppi locali si sono  anche lamentati  dell’inadeguatezza dell’iter legislativo. Secondo la  causa , il Parlamento non ha affrontato in modo significativo le preoccupazioni sulla privacy e sulla protezione dei dati sollevate dal proprio consiglio consultivo legislativo e dall’organismo di controllo della protezione dei dati del governo.

Il tribunale emetterà la sua decisione a gennaio. Staremo a guardare per vedere se protegge i diritti delle persone più povere e vulnerabili dai capricci dell’automazione.