AI e divieto di social scoring nelle Linee guida della Commissione Europea

di Michele Di Salvo

La Commissione europea ha approvato, il 4 febbraio scorso, importanti Linee Guida per favorire la compliance all’articolo 5 del Regolamento AI ACT. La norma enumera quali sono le pratiche vietate nell’utilizzo di sistemi di intelligenza artificiale.

In questo articolo analizziamo il divieto di social scoring stabilito dall’articolo 5 paragrafo 1 lettera (c) dell’AI Act. Il social scoring, ossia la immissione sul mercato-la messa in servizio e l’uso di sistemi di AI di social scoring, viene vietato quando comporta un trattamento discriminatorio o sproporzionato basato su caratteristiche personali o comportamenti sociali.

Va sempre evidenziato che le Linee guida non sono vincolanti soprattutto con riguardo alla futura interpretazione da parte della Corte di Giustizia UE.

Il social scoring è definito come un sistema AI che valuta o classifica persone in base al comportamento sociale, caratteristiche personali o tratti della personalità, anche solo inferite, per un certo periodo di tempo.

L’assegnazione del punteggio sociale è vietato se porta a trattamenti sfavorevoli o dannosi in contesti non correlati; oppure a trattamenti sproporzionati rispetto alla gravità del comportamento.

Nelle linee guida viene portato come esempio del primo caso la esclusione da servizi pubblici di una persona con basso punteggio di affidabilità nel credito; come esempio del secondo caso la limitazione nell’accesso a trasporti pubblici in caso di una multa per attraversamento pedonale irregolare.

Elementi chiave del divieto sono 

a) la valutazione o la classificazione su base sociale o personale, ossia l’utilizzo dati personali, comportamentali o psicologici per creare un punteggio, 

b) la produzione di effetti dannosi in contesti non correlati (se il punteggio sociale porta a conseguenze in ambiti diversi (es. scuola, lavoro, sanità); 

c) l’uso da parte di enti pubblici o privati e anche dei governi.

Perché scatti il divieto devono ricorrere diverse condizioni cumulative: 

a) le azioni di  “immissione sul mercato”, la “messa in servizio” o l’“uso” di un sistema di intelligenza artificiale; 

b) lo scopo di valutazione o classificazione di persone fisiche o gruppi di persone in un determinato periodo di tempo in base al loro comportamento sociale; o a caratteristiche personali o della personalità conosciute, dedotte o previste;

c) il rapporto di causalità tra il punteggio sociale creato con l’ausilio del sistema di intelligenza artificiale e un trattamento dannoso o sfavorevole di persone o gruppi all’interno di uno stesso o più dei seguenti scenari: in contesti sociali estranei a quelli in cui i dati si trovavano originariamente generati o raccolti; e/o trattamenti ingiustificati o sproporzionati rispetto al loro comportamento sociale o la sua gravità.

Il divieto presuppone che la valutazione o la classificazione siano sulla base di dati che abbracciano “un certo periodo di tempo”. Questo, secondo quanto riportato dalle Linee guida, suggerisce che la valutazione non dovrebbe essere una tantum o immediata. Allo stesso tempo, è importante che tale condizione venga valutata tenendo conto di tutte le circostanze del caso per evitare elusione della portata del divieto.

L’esempio potrebbe essere quello di un’autorità per l’immigrazione e l’asilo che metta in atto un sistema parzialmente automatizzato, costruito su una serie di infrastrutture comprese telecamere e sensori di movimento per la sorveglianza nei campi profughi.

Se i dati analizzati abbracciano un periodo di tempo e vengono valutati individui specifici (come i migranti), ad esempio per accertare se corrono il rischio di tentare la fuga, allora si qualificherebbe come “per un certo periodo di tempo” e il divieto di cui all’articolo 5, paragrafo 1, lettera c), della legge sull’AI può applicarsi se sussistono tutte le altre condizioni soddisfatto.

Le linee guida evidenziano che mentre la “valutazione” implica (implicherebbe!) il coinvolgimento di una qualche forma di giudizio su una persona o un gruppo di persone, la semplice classificazione di persone o gruppi di persone basati su caratteristiche quali età, sesso e altezza è concetto più ampio e può coprire anche altri tipi di classificazioni o categorizzazioni di persone fisiche o gruppi di persone anche in assenza di valutazione.

Il termine «valutazione» si riferisce anche al concetto di «profilazione», disciplinato dalla normativa dell’Unione sulla protezione dei dati e costituisce una forma specifica di valutazione. Secondo le linee guida, anche la profilazione può essere inclusa nel divieto (pur senza che l’AI Act richiami esplicitamente il GDPR su questo aspetto) qualora la valutazione avvenga in modo automatizzato con un sistema di IA basato sui dati personali.

Per profilazione si intende l’utilizzo di informazioni su un individuo (o un gruppo di individui) e valutazione di caratteristiche o di comportamento per collocarlo in una determinata categoria o gruppo, in particolare per analizzarlo e/o fare previsioni circa, ad esempio, la sua capacità di svolgere un compito; i suoi interessi; o comportamento probabile.

Secondo l’interpretazione delle Linee guida sarebbe esplicitamente vietato (o meglio non consentito) un sistema di punteggio governativo basato sul comportamento sociale. 

Sarebbe il caso di un governo che assegnasse un punteggio ai cittadini basandosi su comportamenti pubblici e abitudini quotidiane (es. multe stradali, post sui social media), per limitare l’accesso a servizi pubblici o benefici statali.

Sarebbe anche esplicitamente non consentito un sistema di punteggio privato che influenza l’accesso a beni e servizi. Per esempio una banca che rifiuta prestiti a chi ha un basso “punteggio sociale” basato su abitudini di consumo e relazioni online. In questo caso l’uso di dati non legati al comportamento finanziario porta a una discriminazione ingiustificata.

Sarebbe poi vietata una classificazione delle persone in base alla loro “affidabilità” sociale. Per esempio un datore di lavoro che escludesse candidati in base a un punteggio sociale calcolato tramite dati online e social media. In questo caso il sistema penalizzerebbe individui senza criteri oggettivi e fuori dal contesto lavorativo.

Sarebbe invece consentito secondo le Linee guida un sistema di social scoring per effettuare valutazioni basate su criteri specifici e giustificabili. Un sistema di credito che valuta solo lo storico finanziario e capacità di rimborso sarebbe permesso, perché i criteri sono direttamente collegati alla decisione finanziaria.

Altrettanto sarebbero consentiti sistemi di reputazione per piattaforme digitali. Le recensioni degli utenti su app di trasporto o e-commerce (es. valutazione di autisti o venditori) sono permesse. In questo caso il punteggio è contestualizzato e non ha effetti negativi sproporzionati.

In concreto è escluso il divieto di sistemi di rating per beni e servizi (es. valutazioni su siti turistici o di ecommerce); sistemi di controllo del credito basati su dati finanziari reali; classificazioni basate su criteri professionali oggettivi (es. valutazione dei dipendenti basata sulle performance lavorative).

L’AI Act vieta le pratiche di social scoring sia che provengano da governi e le autorità pubbliche, sia che provengano da aziende private e altre entità.

I governi hanno poteri significativi su servizi essenziali (sanità, istruzione, assistenza sociale). L’uso del punteggio sociale da parte dello Stato potrebbe portare a esclusione da servizi pubblici (es. assistenza sanitaria, trasporti); discriminazione sistematica (es. punteggi assegnati sulla base di attività sociali o politiche); e anche sorveglianza massiva (es. monitoraggio del comportamento online per influenzare opportunità lavorative).

Le aziende private sono anch’esse pericolose perché potrebbero implementare sistemi AI che classificano i clienti o i lavoratori su basi discriminatorie. Esempi classici sono compagnie assicurative che raccolgono dati sui consumi personali di un cliente per decidere se rifiutare un contratto o aumentare il premio; agenzie di credito che valutano la solvibilità in base a caratteristiche personali; o datori di lavoro che classificano i candidati in base a informazioni personali senza relazione diretta con la posizione lavorativa.

Responsabili del rispetto dei criteri della norma sono i Fornitori di AI: devono dimostrare che i loro sistemi non generano punteggi discriminatori e i deployer devono garantire che i dati utilizzati siano giustificati e proporzionati al contesto.

I punti di vulnerabilità di queste linee guida, in questi casi specifici, sono molteplici.

Innanzitutto affrontiamo l’ambito pubblico.

È risaputo che quando un apparato dello Stato – con mille difficoltà – viene colto a violare una norma di questo tipo, beneficia di una posizione scriminante unica: l’interesse pubblico da tutelare.

Ciò può essere declinato sia nella forma apicale dell’interesse si difesa nazionale e di pubblica sicurezza, sia in quello di tutela del patrimonio pubblico. 

In questi casi – in con reto – il cittadino che si ritiene leso nei propri diritti dovrebbe “scalare la montagna” di dimostrazioni in concreto per cui non solo tale interesse superiore non sussiste, ma che lo stesso potrebbe essere raggiunto diversamente senza ledere il proprio diritto.

È il caso – già verificatosi – dell’intelligenza artificiale adoperata nel Regno Unito dove il AI che rileva le frodi sui sussidi è risultato discriminante: il programma di apprendimento automatico utilizzato per esaminare le richieste di pagamento del credito universale seleziona in modo errato le persone di alcuni gruppi più di altri.

In pratica, il sistema sfavorisce specifici gruppi razziali nelle indagini per presunti abusi del sistema di welfare.

Nel Regno Unito si contano 55 strumenti automatizzati utilizzati dalle autorità pubbliche, potenzialmente in grado di influenzare decisioni che riguardano milioni di persone, nonostante il registro governativo ne contempli solo 9.

Negli ultimi anni i dipartimenti governativi, tra cui il Ministero dell’Interno, sono stati riluttanti a rilasciare informazioni sull’impiego dell’intelligenza artificiale, giustificando la chiusura nella preoccupazione che più notizie potrebbero consentire a malintenzionati di manipolare i sistemi.

Il caso inglese è emerso grazie a un accesso agli atti specifico, ma non sappiamo quanto la pratica sia diffusa in tutte le pubbliche amministrazioni di tutti i paesi europei.

Almeno – tuttavia – per quanto riguarda i governi esiste un “obbligo minimo a contrarre” (pensiamo ai livelli minimi di assistenza sanitaria) e un diritto di accesso che consente alcune verifiche.

Passando ai soggetti privati la situazione è migliore, non essendo presente il muro dell’interesse superiore pubblico o della sicurezza, ma è anche peggiore, venendo meno sia il diritto di accesso sia l’obbligo di contrarre.

Vi è in questo caso la questione di base: difficilmente il dipendente privato, anche in sede di verifica “umana/analogica” del dato emergente dalla Ai si discosterà da tale segnalazione.

Se non altro per incorrere in seri rischi di violazione delle policy: in questo caso anche la previsione di una supervisione umana, quando c’è, viene elusa o resa addirittura nulla rispetto al criterio di “adeguarsi in via prudenziale”.

I Fornitori di AI e i developer (privati o pubblica amministrazione) devono dimostrare che i loro sistemi non generano punteggi discriminatori e garantire che i dati utilizzati siano giustificati e proporzionati al contesto.

Nessuno spiega come ciò debba avvenire in concreto, e di come sia verificabile, rendendo di fatto le linee guida prive di efficacia, se non di valore.