Anche l’AI può avere pregiudizi: perché e come evitarli

L’intelligenza artificiale non può prescindere in qualche modo da chi l’ha creata e da chi si occupa di costruire questo mondo attraverso algoritmi e set di dati. Ogni essere umano, infatti, è determinato nei ragionamenti e nelle congetture da una serie di elementi legati alla cultura, alla società, ai pregiudizi nei quali è immerso. Questo provoca una distorsione cognitiva che a sua volta causa previsioni e scelte errate. Anche l’intelligenza artificiale risente di queste distorsioni.

Intelligenza artificiale è ormai una parola di uso comune, che riguarda le vite di tutti e che è presente trasversalmente in ogni campo: dalla sanità all’economia, passando per l’entertainment e la domotica. La parola artificiale può far suppore che si tratti di un sistema asettico, privo di emozioni, e quindi anche scevro di idee preconcette, pregiudizi, capacità di discriminare. E invece, purtroppo, la discriminazione – e i pregiudizi che la causano – li abbiamo portati con noi mentre progettavamo questa creatura tecnologica e simbolo di progresso: l’intelligenza artificiale.

Prima di spiegare meglio cosa intendiamo con pregiudizi e discriminazioni – bias cognitivi, per la precisione – facciamo un breve ripasso di cos’è l’intelligenza artificiale e come funziona.

Intelligenza artificiale

Con il termine intelligenza artificiale si intende un insieme di tecnologie che includono hardware, software, algoritmi capaci di riprodurre quello che fa la mente umana ovvero la macchina è in grado di apprendere, creare, ragionare, analizzare e pianificare. Per esempio, con l’intelligenza artificiale possiamo analizzare set di dati molto grandi in volume – i cosiddetti Big Data – e interrogarli per trovare delle risposte a un problema o una situazione specifica, per stabilire una relazione di causa/effetto, per ottenere dei pattern all’interno di esperimenti scientifici.

Per poter svolgere queste e altre operazioni – come per esempio scrivere un articolo, creare un’immagine grafica, consigliare un film su Netflix in base ai gusti dell’utente, stabilire una serie di passaggi diagnostici e terapeutici per un paziente – la macchina apprende automaticamente a partire da dati e algoritmi.

Algoritmi, machine learning e dati

Gli algoritmi sono le istruzioni o i passaggi logici necessari per risolvere un problema o eseguire una specifica operazione. Un algoritmo è uno schema con cui la mente umana rielabora e codifica i dati a disposizione. Si tratta del cuore pulsante o ancora meglio del cervello dell’intelligenza artificiale e dei computer più in generale, ed è alla base di moltissime attività quotidiane.

Gli algoritmi, a loro volta, sono i pilastri fondamentali del Machine Learning, che si suddivide principalmente in due categorie: supervisionato e non supervisionato. Il primo richiede il coinvolgimento di un data scientist che fornisce delle istruzioni specifiche tramite uno specifico set di dati etichettato. Il secondo, invece, si basa su dati non etichettati. Per machine learning intendiamo la parte dell’intelligenza artificiale che si occupa di apprendere, proprio tramite i dati.

Bias Cognitivi nell'Intelligenza Artificiale

Quello che accade è molto semplice: quando un team di data scientist, ingegneri, scienziati di vario tipo lavora per istruire la macchina, lo fa creando algoritmi e fornendo un set di dati. Sia algoritmo sia set di dati possono riflettere i bias cognitivi dell’essere umano e di conseguenza discriminare, per esempio per etnia, colore della pelle, genere, età, provenienza geografica.

Il bias sono le cosiddette percezioni errate: una distorsione della realtà data da automatismi mentali e pregiudizi che portano quindi a un errore nelle valutazioni, nelle decisioni e nelle capacità cognitive.

Uno dei bias più comuni è quello di genere, derivante dal pregiudizio secondo il quale un genere è migliore di un altro e che porta di conseguenza a favorire un genere anziché un altro. Il bias nell’intelligenza artificiale determina un risultato discriminatorio e compromette l’obiettività e l’affidabilità dei risultati ottenuti. Quando si crea un algoritmo ma soprattutto quando si forniscono i set di dati è importante assicurarsi che questi siano privi di eventuali pregiudizi, distorsioni, e che non contengano sottorappresentazioni di popolazioni per determinate caratteristiche.

Alcuni esempi serviranno a chiarire il concetto:

Il sistema di selezione del personale di Amazon, utilizzato a partire dal 2014, utilizzava un software in grado di analizzare i CV dei candidati e selezionarli in una prima fase in modo automatico. Quello che è emerso, tuttavia, è che le donne erano discriminate, soprattutto per posizioni legate alla tecnologia: questo avveniva poiché per costruire il sistema di analisi dei CV era stato utilizzato un set di dati che conteneva i curriculum ricevuti dall’azienda nei dieci anni precedenti (2004-2014), per lo più di uomini, soprattutto nel settore tech. Il pattern favoriva i candidati maschi: un bias, un errore causato da una società nella quale il pregiudizio di genere è presente e influenza la vita di tutti. Il software, ovviamente e per fortuna, è stato dismesso.
Negli ospedali degli Stati Uniti è stato utilizzato un sistema teoricamente in grado di prevedere quali pazienti avrebbero necessitato di cure mediche ulteriori. In questo caso, basandosi sulla spesa sanitaria e poiché i pazienti neri sostenevano spese sanitarie inferiori rispetto ai bianchi nelle stesse condizioni di salute, si è generata una discriminazione etnica, a causa della quale venivano selezionati per lo più pazienti bianchi. Questo errore è stato rilevato rimarcando l’importanza di individuare e correggere i bias.
Il software COMPAS, utilizzato negli Stati Uniti per stabilire la pena da assegnare ai condannati, ha mostrato un bias nei confronti delle persone afroamericane che avevano il doppio delle probabilità rispetto ai bianchi di essere considerate ad alto rischio. Questo è accaduto poiché l’algoritmo utilizzato incorporava dei pregiudizi.

I bias possono essere di diverso tipo: di genere e di etnia, legati alle caratteristiche socioeconomiche delle persone, di età, culturali o legati alla salute mentale e possono esprimersi in software utilizzati per il reclutamento di personale, nelle realtà ospedaliere, nei sistemi giudiziari e nell’accesso al credito.

I bias nel sistema sanitario

Anche nel contesto medico, scientifico e sanitario esistono i cosiddetti bias, vere e proprie distorsioni che non riguardano solo i dati e i risultati dei trial clinici – per esempio quando si scelgono specifiche popolazioni che discriminano per età, sesso o etnia, basti ricordare che è da relativamente poco tempo che si eseguono trial per tollerabilità ed efficacia dei farmaci senza considerare come standard il maschio bianco di 70 kg di peso -, ma che vengono replicati anche nell’intelligenza artificiale e nelle applicazioni sanitarie.

Le discriminazioni operate dai software in campo sanitario possono quindi agire escludendo per esempio gruppi vulnerabili, minoranze, pazienti anziani, condizioni socioeconomiche di difficoltà, etnie e colore della pelle. Per citare qualche esempio:

In ambito dermatologico, sono state registrate disuguaglianze di diagnosi e trattamento – anche con esiti potenzialmente infausti e gravi – in caso di lesioni cancerose della pelle, sottostimate in caso di pazienti con pelle nera o non bianche, a causa del data set utilizzato. Un episodio simile è accaduto nell’utilizzo di saturimetri per la misurazione del livello di ossigeno nel sangue: le letture eseguite su pazienti di pelle scura portavano a valutazioni errate e quindi a ritardi nella diagnosi e nel trattamento.
Nella diagnosi e nella cura delle malattie cardiovascolari, per esempio, sono possibili bias di genere a causa delle differenze di rischio tra uomo e donna a età diverse, spesso non prese in considerazione nei set di dati.
Nei trial clinici, come già accennato, spesso i partecipanti sono maschi, giovani e provenienti da un simile contesto etnico: il set di dati a disposizione perpetuerà tale bias nell’utilizzo di sistemi di intelligenza artificiale. Lo stesso accade in studi preclinici (qualora si selezionino animali di sesso maschile).
Negli algoritmi per la previsione del comportamento dei pazienti si possono perpetuare disuguaglianze socioeconomiche basate su dati pregressi, come la mancata presenza ai controlli medici, influenzata da fattori come il trasporto e l'assistenza familiare, spesso correlati al reddito.

Cosa fare per combattere i pregiudizi dell’AI

Affrontare i bias dell’essere umano è complesso: per questo non sarà facile risolvere quelli dell’intelligenza artificiale sia in generale sia nell’area sanitaria. È tuttavia essenziale agire per non perpetuare e peggiorare discriminazioni sociali e per garantire decisioni imparziali ed etiche nel settore sanitario e in tutti i campi di applicazione.

Alcune strategie chiave per mitigare i bias includono:

Raccolta e Selezione dei Dati
Assicurarsi che i dati utilizzati per addestrare i modelli di IA siano rappresentativi e privi di bias. Questo può richiedere la raccolta di dati diversificati e bilanciati, provenienti da più fonti.
Controllo preliminare
Prima di utilizzare i dati per addestrare i modelli di IA, potrebbe essere utile eseguire una sorta di controllo per identificare e rimuovere eventuali bias presenti nei dati stessi.
Monitoraggio
Monitorare costantemente i modelli di IA per individuare eventuali comportamenti discriminatori o indesiderati. Aggiornare regolarmente i modelli per correggere i bias identificati. Coinvolgere soggetti esterni per le verifiche e il controllo degli algoritmi e dei set di dati e dei risultati nell’utilizzo del software.
Diversità e inclusione nel team di sviluppo
Spesso i bias sono dovuti al fatto che i team di sviluppo portano con sé gli stessi pregiudizi e discriminazioni: spesso, infatti, chi lavora a questi progetti è maschio e bianco, giovane e con uno status socioeconomico culturale elevato. Coinvolgere una varietà di prospettive e competenze nelle fasi di sviluppo e addestramento dei modelli può contribuire a identificare e mitigare i bias in modo più efficace.

AI ACT

Lo scorso 13 marzo, il Parlamento Europeo ha approvato la legge sull'intelligenza artificiale (IA). Il regolamento ha ottenuto 523 voti favorevoli, 46 contrari e 49 astensioni. Le norme, in particolare, vietano l’utilizzo dell’intelligenza artificiale in contesti per possono ledere i diritti dei cittadini, per esempio l’utilizzo di immagini facciali da internet, di sistemi biometrici basati su caratteristiche sensibili, il riconoscimento di emozioni sul luogo di lavoro, le applicazioni predittive di profilazione utilizzate in polizia, tranne in casi particolari. In contesti pubblici e ad alto rischio è prevista una valutazione obbligatoria dell’utilizzo dell’AI, affinché sia conforme e sicura.

Se la società e l’essere umano presentano pregiudizi, capacità discriminatorie e percezioni errate e distorte che originano errori e comportamenti sbagliati, anche l’intelligenza artificiale, che prende le mosse da dati e algoritmi “umani”, non può che rispecchiare tale contesto. È possibile agire soprattutto riducendo bias e discriminazioni nella società, nelle persone e nei team di lavoro e di conseguenza anche nei dati e negli algoritmi. Sarà necessario agire sempre di più a livello normativo per tutelare i gruppi vulnerabili, le minoranze, e chi viene discriminato in base a sesso ed etnia.