Autore :
I tribunali hanno tenuto udienze su una causa di un certo numero di gruppi interessati al sistema draconiano olandese alla fine di ottobre, con una decisione attesa a gennaio.
I Paesi Bassi sono costantemente classificati come una delle democrazie più forti del mondo. Potresti essere sorpreso di apprendere che ospita anche uno dei sistemi di sorveglianza più invadenti che automatizza il tracciamento e la profilazione dei poveri.
Il 29 ottobre il tribunale distrettuale dell’Aia ha tenuto udienze sulla legalità del Systeem Risico Indicatie (SyRI), il sistema automatizzato del governo olandese per rilevare le frodi assistenziali. La causa, intentata da una coalizione di gruppi e attivisti della società civile, sostiene che il sistema viola le leggi sulla protezione dei dati e gli standard sui diritti umani.
SyRI è un modello di calcolo del rischio sviluppato dal Ministero degli Affari Sociali e dell’Occupazione per prevedere la probabilità di un individuo di impegnarsi in benefici, frode fiscale e violazioni delle leggi sul lavoro. I calcoli di SyRI attingono a vasti pool di dati personali e sensibili raccolti da varie agenzie governative, dai registri del lavoro alle informazioni sui sussidi, dai rapporti sui debiti personali all’istruzione e alla storia abitativa.
Quando il sistema profila un individuo come un rischio di frode, lo notifica all’agenzia governativa competente, che ha fino a due anni per aprire un’indagine.
Il lancio selettivo del SyRI nei quartieri prevalentemente a basso reddito ha creato un regime di sorveglianza che prende di mira in modo sproporzionato i cittadini più poveri per un controllo più invadente. Finora, il ministero ha collaborato con le autorità municipali per implementare SyRI a Rotterdam, la seconda città più grande dei Paesi Bassi, che ha il più alto tasso di povertà del paese, così come Eindhoven e Haarlem. Durante l’audizione, il governo ha ammesso che il SyRI è stato preso di mira nei quartieri con un numero maggiore di residenti in assistenza sociale, nonostante la mancanza di prove che questi quartieri siano responsabili di tassi più elevati di frode sui benefici.
Ma SyRI non ha solo effetti discriminatori sulla privacy dei beneficiari del welfare. Potrebbe anche facilitare le violazioni del loro diritto alla sicurezza sociale. Poiché SyRI è avvolto dal segreto, i beneficiari del welfare non hanno modo significativo di sapere quando o come i calcoli del sistema vengono presi in considerazione nelle decisioni per tagliarli fuori dai benefici salvavita.
Il governo ha rifiutato di rivelare come funziona SyRI, per paura che spiegare i suoi algoritmi di calcolo del rischio consentirà ai truffatori di ingannare il sistema. Ma ha rivelato che il sistema genera “falsi positivi” – casi in cui il sistema segnala erroneamente le persone come rischio di frode.
Senza spiegazioni più trasparenti, è impossibile sapere se tali errori abbiano portato ad indagini improprie nei confronti dei beneficiari di welfare o all’ingiusta sospensione dei loro benefici.
Il governo afferma di utilizzare questi “falsi positivi” per correggere i difetti nel suo modello di calcolo del rischio, ma non c’è nemmeno modo di testare questa affermazione. In effetti, nessuno può indovinare se il sistema mantenga un tasso di accuratezza sufficientemente alto da giustificare valutazioni del rischio che tengono le persone sospette per un massimo di due anni.
SyRI fa parte di una più ampia tendenza globale volta a integrare l’Intelligenza Artificiale e altre tecnologie basate sui dati nell’amministrazione di prestazioni sociali e altri servizi essenziali. Ma queste tecnologie sono spesso implementate senza una consultazione significativa con i beneficiari del welfare o il pubblico in generale.
Nel caso di SyRI, il sistema è stato autorizzato dal Parlamento nell’ambito di un pacchetto di riforme del welfare varato nel 2014. Tuttavia, il governo ha sperimentato iniziative di rilevamento delle frodi ad alta tecnologia per quasi un decennio prima di cedere al controllo legislativo. I gruppi locali si sono anche lamentati dell’inadeguatezza dell’iter legislativo. Secondo la causa , il Parlamento non ha affrontato in modo significativo le preoccupazioni sulla privacy e sulla protezione dei dati sollevate dal proprio consiglio consultivo legislativo e dall’organismo di controllo della protezione dei dati del governo.
Il tribunale emetterà la sua decisione a gennaio. Staremo a guardare per vedere se protegge i diritti delle persone più povere e vulnerabili dai capricci dell’automazione.