IA applicata alla sorveglianza dei cittadini

La Grecia sta progettando un sistema di sorveglianza automatizzato da 40 milioni di euro ai confini con la Macedonia del Nord e l’Albania

di

 

Fonte Algorithmwatch

 

 

 

 

La Commissione europea vuole che la Grecia costruisca un muro automatizzato per impedire ad alcune persone di lasciare il Paese. La gente del posto non è entusiasta, ma la loro opinione conta poco.

Molte persone con passaporto siriano, afghano, somalo, bengalese o pakistano che cercano asilo nell’Unione europea lasciano la Grecia quando hanno la sensazione che la loro situazione amministrativa non migliorerà lì. Il percorso verso altri paesi dell’UE attraverso i Balcani inizia nel nord della Grecia, prosegue verso la Macedonia del Nord o l’Albania. La polizia greca, si dice, è piuttosto rilassata nei confronti delle persone che lasciano il paese.

“Molte persone che passano dalla nostra zona vogliono andare in Europa”, dice Konstantinos Sionidis, sindaco di Paionia, un comune operaio di 30.000 abitanti al confine settentrionale della Grecia. “Non è una situazione piacevole per noi”, aggiunge.

Una mappa della Grecia settentrionale con evidenziata la posizione del comune di Paionia.

Ma uscire da via Paionia si fa sempre più difficile. Nel maggio 2023, le guardie Frontex hanno iniziato a pattugliare il confine con la Macedonia del Nord. Vicino all’autostrada, una giovane donna della Sierra Leone ha detto che lei e la sua amica hanno tentato di andarsene quattro volte nell’ultimo mese. Una volta arrivarono fino al confine serbo. Le altre volte sono stati arrestati immediatamente di notte nella Macedonia del Nord, mentre uscivano dalla foresta, da agenti di Frontex che chiedevano “Vuoi andare in Germania?” (No.) “Non ci vogliono qui [in Grecia]”, dice. “Andiamo!”

Tuttavia, la Commissione europea ha in programma di rendere più difficile per le persone viaggiare attraverso la Macedonia del Nord (e altre parti della rotta dei Balcani occidentali). Secondo un documento di programmazione nazionale per il finanziamento UE della “gestione delle frontiere” per le autorità greche nel periodo 2021-2027, sono stanziati 47 milioni di euro per costruire un “sistema automatizzato di sorveglianza delle frontiere” ai confini della Grecia con la Macedonia del Nord e l’Albania. Il nuovo sistema sarà esplicitamente modellato su quello già implementato al confine terrestre con la Turchia, lungo il fiume Evros.

Il muro di confine virtuale

Evros è descritta come un “banco di prova” di sorveglianza. All’inizio degli anni 2000, la polizia utilizzava termocamere e binocoli per individuare le persone che tentavano di attraversare il confine. Mentre la Grecia e altri Stati membri aumentavano i loro sforzi per tenere le persone fuori dall’UE, sono arrivati ​​più finanziamenti per droni, rilevatori di battito cardiaco, più guardie di frontiera – e per un “sistema automatizzato di sorveglianza delle frontiere”.

Nel 2021, il governo greco ha inaugurato decine di torri di sorveglianza, dotate di telecamere, radar e sensori di calore. I funzionari hanno affermato che questi sarebbero in grado di allertare le stazioni di polizia regionali nel caso in cui rilevassero persone che si avvicinano al confine. All’epoca, i media erano entusiasti di questo “scudo elettronico” 24 ore su 24 che avrebbe “sigillato” Evros con telecamere in grado di vedere “fino a 15 km” in Türkiye.

Leggi tutto

Come definire i rischi sistemici delle piattaforme per la democrazia

di

Dare un senso alla legge sui servizi digitali

Non è chiaro come le piattaforme e i motori di ricerca più grandi dovrebbero identificare i “rischi sistemici” per conformarsi al DSA. AlgorithmWatch delinea una metodologia che servirà da punto di riferimento per il modo in cui noi, in quanto osservatori della società civile, giudicheremo le valutazioni del rischio che stiamo conducendo proprio in questo momento.

Autore Michele Loi 

Fonte Algorithm Watch

È difficile negare che i servizi Internet dominanti forniscano beni di consumo essenziali per gran parte del mondo. Dover passare una settimana, tanto meno un giorno, senza ricerche Google efficienti, o perdere la capacità di interagire con gli altri tramite una piattaforma di social media come Instagram, sconvolgerebbe sicuramente la vita personale e professionale di molte persone. Nonostante i loro vantaggi, tuttavia, questi e altri potenti servizi Internet stanno radicalmente trasformando la nostra società capitalista, potenzialmente , nella sua versione peggiore. In tal modo, l’economia delle piattaforme genera una miriade di rischi che possono avere un impatto negativo sugli individui e sulla democrazia stessa.

Valutazione dei rischi

I legislatori dell’Unione Europea sono convinti che le piattaforme possano comportare tali rischi e hanno quindi promulgato il Digital Services Act (DSA), una legge che impone alle cosiddette piattaforme online molto grandi (VLOP) e ai motori di ricerca online molto grandi (VLOSE) di “identificare, analizzare e valutare diligentemente qualsiasi rischio sistemico nell’Unione derivante dalla progettazione o dal funzionamento del loro servizio e dei relativi sistemi, inclusi i sistemi algoritmici, o dall’uso che viene fatto dei loro servizi”. Tali rischi includono, ma non sono limitati a, la diffusione di contenuti illegali attraverso i servizi di piattaforme e motori di ricerca; eventuali effetti negativi attuali o prevedibili per l’esercizio dei diritti fondamentali; sul discorso civico e sui processi elettorali e sulla pubblica sicurezza; in materia di violenza di genere, tutela della salute pubblica e minori; e gravi conseguenze negative per il benessere fisico e psichico della persona. Quando tali rischi vengono identificati,

Manca la guida

Mentre la legge fornisce un lungo elenco di possibili misure per mitigare i rischi – ad esempio “adattare il design, le caratteristiche o il funzionamento dei loro servizi, comprese le loro interfacce online” – è notevolmente  silenzioso su come VLOP e VLOSE dovrebbero condurre una valutazione del rischio e cosa i legislatori aspettarsi da loro. La legge precisa che VLOP e VLOSE devono tenere conto dei modi in cui determinati fattori possono influenzare i rischi sistemici, compresa la progettazione di sistemi di raccomandazione e qualsiasi altro sistema algoritmico pertinente, sistemi di moderazione dei contenuti, termini e condizioni applicabili e la loro applicazione, sistemi per selezionare e presentare annunci pubblicitari e pratiche relative ai dati del fornitore.

Non vi è, tuttavia, alcuna menzione di una procedura che delinei come identificare un rischio sistemico nella pratica. Inoltre, la Commissione europea non ha pubblicato alcuna guida per queste società. Ciò significa che in questo momento non è molto chiaro come VLOP e VLOSE debbano valutare i rischi per conformarsi ai requisiti del DSA . I VLOP e i VLOSE sono tenuti a consegnare le loro prime valutazioni del rischio alla Commissione europea fino all’agosto del 2023 – va detto, tuttavia, che è improbabile che rendano queste valutazioni disponibili al pubblico. Inoltre, non è chiaro cosa rilascerà la Commissione sui loro contenuti e quando.

Tracciare un percorso in avanti

Questo è il contesto del nostro articolo. Non cercheremo di fornire una valutazione olistica dei vantaggi e dei mali della società digitale modellata dai servizi Internet attualmente dominanti. Il nostro obiettivo è piuttosto più ristretto e più specifico. Lo scopo del lavoro è determinare se alcuni elementi di rischio che un servizio Internet genera per la libertà di parola e il pluralismo dei media sono identificabili. La nostra speranza è che con questo contributo, forniamo un punto di partenza tangibile per la discussione su ciò che le diverse parti interessate possono e devono aspettarsi da una valutazione del rischio, e come potrebbe essere fatto in pratica.

 Scarica come PDF
Michele Loi, Ph.D., è Marie Sklowdoska-Curie Individual Fellow presso il Dipartimento di Matematica del Politecnico di Milano con un progetto di ricerca su Fair Predictions in Health. È anche co-principal investigator del progetto interdisciplinare Socially Acceptable and Fair Algorithms, finanziato dal Fondo Nazionale Svizzero per la Ricerca Scientifica, ed è stato Principal Investigator del progetto “Algorithmic Fairness: Sviluppo di una metodologia per il controllo e la minimizzazione del bias algoritmico nei dati basati processo decisionale”, finanziato dall’Agenzia svizzera per l’innovazione.

Piattaforme che opprimono la ricerca di interesse pubblico: la Commissione europea risponde alla domanda dell’eurodeputato Breyer su AlgorithmWatch

di

Fonte AlgoritmWatch

 

 

 

Dopo che Facebook ha costretto AlgorithmWatch a chiudere il nostro progetto di monitoraggio di Instagram, l’eurodeputato Patrick Breyer ha presentato una domanda scritta alla Commissione europea chiedendo come proteggere la ricerca di interesse pubblico dall’essere oppressa dalle grandi piattaforme tecnologiche. Ora la Commissione ha risposto.

Nell’ottobre 2021, dopo che Facebook ha costretto AlgorithmWatch a chiudere il nostro progetto di donazione di dati sull’algoritmo di Instagram, l’eurodeputato Patrick Breyer ha presentato una domanda scritta alla Commissione europea sulle piattaforme che opprimono la ricerca di interesse pubblico, l’accesso ai dati e l’articolo 31 della proposta di legge sui servizi digitali ( DSA).

Tra le questioni sollevate dall’onorevole Breyer c’era la domanda sulle soluzioni proposte dalla Commissione per le organizzazioni della società civile ei giornalisti che desiderano accedere ai dati della piattaforma. L’articolo 31, paragrafo 4, del progetto di DSA prevede tale accesso solo per i “ricercatori controllati” con affiliazioni accademiche, quindi il signor Breyer ha chiesto specificamente se questo articolo debba essere modificato per estendere l’accesso ai dati per i ricercatori controllati al di fuori del mondo accademico.

Ora, il commissario UE Thierry Breton ha scritto una risposta a nome della Commissione . Quando si tratta di disinformazione, affermano che le piattaforme dovrebbero garantire un “livello sufficiente di accesso ai dati” alle parti interessate come le organizzazioni della società civile e i giornalisti investigativi. Ma quando si parla di art. 31(4), la Commissione ribadisce il linguaggio del progetto di DSA affermando che i “ricercatori controllati” che cercano di accedere ai dati della piattaforma devono avere affiliazioni accademiche.

AlgorithmWatch crede fermamente che tale definizione di “ricercatori controllati” sia troppo limitata e che la modifica dell’articolo 31 sia fondamentale per garantire una maggiore trasparenza e responsabilità per le grandi piattaforme tecnologiche. Questa convinzione è stata ripresa da dozzine di organizzazioni e ricercatori della società civile, nonché da oltre 6.000 persone che hanno firmato le nostre lettere aperte ai legislatori europei chiedendo che il DSA autorizzi la ricerca controllata di interesse pubblico a regnare sui rischi della piattaforma per la sfera pubblica.

Abbiamo già compiuto importanti passi avanti su questo fronte, poiché le nostre richieste si sono riflesse nel testo finale del DSA approvato dalla commissione per il mercato interno e la protezione dei consumatori (IMCO) del Parlamento europeo. A metà gennaio, la plenaria del Parlamento voterà su questo testo, auspicabilmente confermando la sua posizione sull’accesso ai dati. In linea con i progressi compiuti dall’IMCO, esortiamo vivamente la Commissione europea ad accogliere le nostre richieste nei negoziati a tre che ci attendono e ad ampliare la definizione di “ricercatori controllati” nel DSA per includere la società civile.

Per valutare in che modo le piattaforme influenzano la nostra sfera pubblica, dobbiamo proteggere e potenziare la ricerca di interesse pubblico. Solo allora possiamo avere un dibattito basato sull’evidenza sulla questione e solo allora possiamo tenere conto delle piattaforme.

All’interno dell’app “selfie” casalinga della Polonia

di

di Konrad Szczygieł

Fonte algorithmwatch.org

 

L’app obbligatoria del governo polacco “Home Quarantine” avrebbe dovuto sostituire le visite della polizia a domicilio. Gli utenti dicono che è uno scherzo.

 

Su un treno per la città di Breslavia durante le prime settimane caotiche in cui la Polonia era sotto blocco nell’aprile 2020, Sławomir Gadek ha scritto il suo numero di telefono su un modulo. Poco dopo, ha ricevuto una telefonata che gli diceva di mettersi in quarantena e ha prontamente scaricato la nuovissima app “Home Quarantine” del governo polacco, che era stata appena resa obbligatoria per chiunque fosse potenzialmente infetto dal coronavirus.  

Qui, Gadek avrebbe 20 minuti per fare un selfie per l’app dopo aver ricevuto un messaggio di testo. Il sistema di localizzazione utilizzerà quindi i dati sulla posizione GPS del suo smartphone per connettersi a un database nazionale per le persone in quarantena per verificare che si trovasse all’indirizzo che aveva fornito alle autorità sanitarie. Se l’app non riconosceva il suo volto o la sua posizione in tempo, avviserebbe automaticamente la polizia di andare a casa sua per controllarlo.

Quando il governo polacco ha introdotto la sua app “Home Quarantine” (la prima del suo genere in Europa) nel marzo 2020, il Ministero degli Affari Digitali si è vantato che la Polonia è stata un pioniere nello sviluppo di nuove tecnologie nella lotta contro il Covid-19. Ma da allora, l’app è diventata uno scherzo: le persone hanno condiviso suggerimenti su come ingannare l’app manipolando le impostazioni di posizione sui loro telefoni e hanno creato meme di se stessi che scattano selfie all’aperto mentre tengono ritagli di cartone delle loro stanze.

Al suo arrivo a casa nell’aprile 2020, Gadek ha utilizzato l’app per una settimana. Gli era stato promosso come, nelle sue parole, “un modo più conveniente per confermare alle autorità che sono davvero in quarantena ed evitare le visite della polizia”. Ma questa era una promessa vuota. 

Riceveva tre notifiche al giorno e ogni volta rispondeva prontamente con un selfie e i dettagli della sua posizione. Ma due agenti di polizia venivano comunque nel suo appartamento una volta al giorno. Lo chiamavano ogni volta utilizzando un numero di cellulare diverso e gli chiedevano di uscire sul balcone e salutarli. “Non so perché usano sempre numeri diversi”, ha detto Gadek. (Come membro del partito di opposizione di sinistra Razem, ha spesso contatti con gli agenti di polizia, l’ultimo quando ha contribuito a organizzare una protesta nella città occidentale di Lubin, dopo che un uomo è stato ucciso in custodia di polizia lo scorso agosto.) 

“Certo, questi erano i primi giorni”, dice Gadek.

Avanti veloce di venti mesi e gli utenti continuano a segnalare gli stessi problemi con l’app “Home Quarantine”. Gli utenti di GooglePlay e AppStore affermano ancora che l’app non funziona correttamente: delle oltre 20.000 recensioni, la stragrande maggioranza era negativa. Un utente, Pawel Fuchs, ha scritto: “È una specie di fallimento, i primi due giorni ha funzionato e poi non ha più funzionato e la polizia mi dà fastidio perché presumibilmente non svolgo i miei compiti. Non lo faccio, perché Non li capisco”.

Preoccupazioni relative alla privacy

Mentre alcuni utenti fanno meme sull’evasione dell’app, altri si lamentano con l’Ufficio polacco per la protezione dei dati personali.

“La maggior parte dei denuncianti ha espresso preoccupazione per la sicurezza dei dati elaborati nell’app, l’obbligo di installare l’app al ritorno dall’estero o le questioni relative alla fornitura del consenso per il trattamento dei dati personali”, afferma Adam Sanocki, portavoce Ufficio per la protezione dei dati personali. 

Al contrario, Sanocki ha affermato che il suo ufficio ha ricevuto solo due reclami per indicare che l’app non funzionava correttamente. Uno di loro non è stato in grado di registrarsi nell’applicazione e un altro ha ricevuto messaggi di testo che ricordavano loro di installarlo anche se la quarantena non si applicava.  

La mia esperienza di “quarantena domestica”.

Posso testimoniare io stesso i problemi dell’app: nell’aprile 2021, un anno dopo che l’app è diventata obbligatoria in Polonia, ho dovuto mettere in quarantena mentre aspettavo i risultati di un test Covid. Ho ricevuto un messaggio di testo: “Sei in quarantena. Hai l’obbligo legale di utilizzare l’app Home Quarantine” e ho scaricato l’app. Mi ha chiesto il mio numero di telefono, ha richiesto l’accesso alla fotocamera e alla posizione del mio telefono e mi ha chiesto di caricare un selfie. 

L’app mi ha informato che, durante i prossimi 10 giorni di quarantena, a qualsiasi ora del giorno e della notte, potevo aspettarmi istruzioni per fare un selfie entro 20 minuti per confermare che mi trovavo nello stesso posto. Il mancato completamento del compito, mi è stato detto, avrebbe portato una pattuglia di polizia a verificare che stessi seguendo le regole di quarantena. A differenza di Sławomir Gadek, l’app non mi ha inviato alcuna notifica durante la mia quarantena. Inoltre non ho ricevuto telefonate o visite da parte della polizia. 

I termini di servizio dell’app affermano inoltre che le foto degli utenti e le foto scattate dagli utenti e i loro dati vengono archiviati ed elaborati solo su server governativi solo mentre rimangono in quarantena.  

Tuttavia, alcuni mesi dopo la mia quarantena, quando ho reinstallato l’app per fare ricerche per questo articolo, sono stato turbato nello scoprire che potevo ancora accedervi. Ha anche mostrato la data sbagliata del mio rilascio dalla quarantena. Ai sensi dell’articolo 15 del GDPR, ho chiesto ripetutamente al responsabile della protezione dei dati del Dipartimento per gli affari digitali che tipo di dati sono ancora archiviati sulla mia quarantena. Non ho ricevuto risposta. 

Con così tanta intrusione nella privacy dei cittadini, l’app è anche efficace? Secondo i dati forniti dalla polizia, dall’inizio della pandemia la polizia ha visitato le persone in quarantena più di 82,5 milioni di volte.

Teatro della sicurezza

Quando Gadek ha scaricato l’app “Home Quarantine” nell’aprile 2020, alcuni dei suoi conoscenti erano diffidenti nei confronti del “tracciamento non necessario tramite app governative sui loro telefoni”, afferma. All’epoca, Gadek afferma: “Non mi aspettavo che il nostro governo fosse così avanzato nell’utilizzo degli strumenti di sorveglianza per rintracciare i cittadini immediatamente all’inizio della pandemia”. 

Venti mesi dopo, afferma: “Non è un’app avanzata. La mia ipotesi è che questo sia principalmente teatro, come una ricerca eccessiva all’aeroporto. Le persone sentono di essere osservate, quindi si comportano bene”. A questo punto della nostra conversazione su Skype, ha catturato lo sguardo della sua ragazza fuori campo e ha riso: “No, non avevo intenzione di dire “panopticon”.” 

Sorveglianza tramite Intelligenza Artificiale sulle prestazioni di welfare sotto processo nei Paesi Bassi

di

Autore :

Amos Toh

Amos Toh

Fonte Human Rights Watch che ringraziamo 

Ricercatore senior, Intelligenza artificiale e diritti umani

 

I tribunali hanno tenuto udienze su una causa di un certo numero di gruppi interessati al sistema draconiano olandese alla fine di ottobre, con una decisione attesa a gennaio.

I Paesi Bassi sono  costantemente classificati  come una delle democrazie più forti del mondo. Potresti essere sorpreso di apprendere che ospita anche uno dei sistemi di sorveglianza più invadenti che automatizza il tracciamento e la profilazione dei poveri.

Il 29 ottobre il tribunale distrettuale dell’Aia ha  tenuto udienze  sulla legalità del  Systeem Risico Indicatie  (SyRI), il sistema automatizzato del governo olandese per rilevare le frodi assistenziali. La causa, intentata da una coalizione di gruppi e attivisti della società civile,  sostiene  che il sistema viola le leggi sulla protezione dei dati e gli standard sui diritti umani.

SyRI è un  modello di calcolo del rischio  sviluppato dal Ministero degli Affari Sociali e dell’Occupazione per prevedere la probabilità di un individuo di impegnarsi in benefici, frode fiscale e violazioni delle leggi sul lavoro. I calcoli di SyRI attingono  a  vasti pool di dati personali e sensibili raccolti da varie agenzie governative, dai registri del lavoro alle informazioni sui sussidi, dai rapporti sui debiti personali all’istruzione e alla storia abitativa.

Quando il sistema profila un individuo come un rischio di frode, lo notifica all’agenzia governativa competente, che ha  fino a due anni  per aprire un’indagine.

Il lancio selettivo del SyRI nei quartieri prevalentemente a basso reddito ha creato un regime di sorveglianza che prende di mira in modo sproporzionato i cittadini più poveri per un controllo più invadente. Finora, il ministero ha collaborato con le autorità municipali per  implementare  SyRI a Rotterdam, la seconda città più grande dei Paesi Bassi, che ha il  più alto tasso di povertà  del paese, così come Eindhoven e Haarlem. Durante l’audizione, il governo ha  ammesso  che il SyRI è stato preso di mira nei quartieri con un numero maggiore di residenti in assistenza sociale, nonostante la mancanza di prove che questi quartieri siano responsabili di tassi più elevati di frode sui benefici.

Ma SyRI non ha solo effetti discriminatori sulla privacy dei beneficiari del welfare. Potrebbe anche facilitare le violazioni del loro diritto alla sicurezza sociale. Poiché SyRI è avvolto dal segreto, i beneficiari del welfare non hanno modo significativo di sapere quando o come i calcoli del sistema vengono presi in considerazione nelle decisioni per tagliarli fuori dai benefici salvavita.

Il governo ha rifiutato di rivelare come funziona SyRI, per paura che spiegare i suoi algoritmi di calcolo del rischio consentirà ai truffatori di ingannare il sistema. Ma ha rivelato che il sistema  genera “falsi positivi”  – casi in cui il sistema segnala erroneamente le persone come rischio di frode.

Senza spiegazioni più trasparenti, è impossibile sapere se tali errori abbiano portato ad indagini improprie nei confronti dei beneficiari di welfare o all’ingiusta sospensione dei loro benefici.

Il governo afferma di utilizzare questi “falsi positivi” per correggere i difetti nel suo modello di calcolo del rischio, ma non c’è nemmeno modo di testare questa affermazione. In effetti, nessuno può indovinare se il sistema mantenga un tasso di accuratezza sufficientemente alto da giustificare valutazioni del rischio che tengono le persone sospette per un massimo di due anni.

SyRI fa parte di una  più ampia tendenza globale volta  a integrare l’Intelligenza Artificiale e altre tecnologie basate sui dati nell’amministrazione di prestazioni sociali e altri servizi essenziali. Ma queste tecnologie sono spesso implementate  senza una consultazione significativa  con i beneficiari del welfare o il pubblico in generale.

Nel caso di SyRI, il sistema è stato autorizzato dal Parlamento nell’ambito di un pacchetto di riforme del  welfare  varato nel 2014. Tuttavia, il governo ha  sperimentato  iniziative di rilevamento delle frodi ad alta tecnologia per quasi un decennio prima di cedere al controllo legislativo. I gruppi locali si sono  anche lamentati  dell’inadeguatezza dell’iter legislativo. Secondo la  causa , il Parlamento non ha affrontato in modo significativo le preoccupazioni sulla privacy e sulla protezione dei dati sollevate dal proprio consiglio consultivo legislativo e dall’organismo di controllo della protezione dei dati del governo.

Il tribunale emetterà la sua decisione a gennaio. Staremo a guardare per vedere se protegge i diritti delle persone più povere e vulnerabili dai capricci dell’automazione.