L’integrazione di sistemi di Intelligenza Artificiale nei processi decisionali in settori che vanno dalle risorse umane alla finanza ha sollevato alcuni interrogativi relativi alla garanzia di risultati equi e non discriminatori. In risposta a queste preoccupazioni etiche e sociali, il principio di supervisione umana (human oversight) è stato formalmente introdotto come elemento di controllo nelle recenti normative sull’IA, tra cui l’AI Act dell’Unione Europea.

L’assunto fondamentale è che la presenza di un decisore umano all’interno del ciclo operativo possa mitigare o correggere i pregiudizi intrinseci negli algoritmi o nei dati di addestramento. Supervisione umana, la ricerca Il Joint Research Centre (JRC) della Commissione Europea ha affrontato direttamente la validità di questa premessa attraverso una ricerca su larga scala, il cui esito è confluito nel rapporto intitolato «The Impact of Human-AI Interaction on Discrimination».

L’obiettivo precipuo dello studio era valutare empiricamente l’efficacia della supervisione umana nel prevenire la discriminazione all’interno di sistemi di supporto alle decisioni basati sull’IA, specificamente in contesti di assunzione e di concessione di prestiti. La metodologia adottata dal JRC è stata concepita per ottenere una visione completa del fenomeno, combinando un esperimento quantitativo con un’analisi qualitativa.

La fase quantitativa ha coinvolto un campione significativo di 1.411 professionisti del settore bancario e delle risorse umane in Germania e Italia. Ai partecipanti è stato richiesto di prendere decisioni, come l’assunzione di candidati o l’approvazione di prestiti, assistiti da raccomandazioni generate da due diversi modelli di IA.

Il primo modello, definito IA generica, era un sistema ottimizzato per la sola accuratezza predittiva, e che i ricercatori avevano valutato essere intrinsecamente discriminatorio. Il secondo era un modello di IA equo, appositamente ingegnerizzato per ridurre al minimo i pregiudizi legati al genere e alla nazionalità, e che dimostrava una migliore performance in termini di equità.

I ricercatori hanno tracciato i risultati delle decisioni prese sotto l’influenza di questi due diversi sistemi di IA, dando ai partecipanti la possibilità di discostarsi dalla raccomandazione algoritmica. Successivamente, la fase qualitativa ha previsto interviste e workshop di approfondimento con i partecipanti all’esperimento, esperti di IA etica e responsabili politici, al fine di contestualizzare e comprendere le motivazioni e le dinamiche che hanno determinato i risultati osservati.

I risultati emersi dall’esperimento quantitativo hanno messo in discussione l’efficacia della supervisione umana come correttivo automatico della discriminazione algoritmica. In particolare, si è osservato che i supervisori umani hanno manifestato una propensione pressoché identica a seguire le raccomandazioni, indipendentemente dal fatto che il modello di IA fosse quello discriminatorio o quello equo.

Questa elevata adesione all’algoritmo suggerisce che l’autorità o l’efficienza percepita del sistema di IA ha spesso prevalso sull’analisi critica del risultato da parte del decisore umano. Insomma, quando è stato utilizzato il modello di IA generica e discriminatoria, la presenza del supervisore umano non è riuscita a controbilanciare il pregiudizio sistemico.

In quel contesto, l’IA aveva introdotto una chiara distorsione contro le donne e una discriminazione nei confronti dei candidati italiani, e il decisore umano, in media, ha convalidato tali esiti iniqui. Questo dato indica che il semplice inserimento di un essere umano nel processo decisionale non è sufficiente a garantire l’equità, se l’algoritmo di base è già viziato.

Il rapporto consente in tal senso di evidenziare una dinamica di particolare interesse nel campo dell’etica dell’IA: l’intersezione tra pregiudizi umani e algoritmici. Contrariamente all’aspettativa secondo cui i bias umani possano bilanciare o annullare i bias algoritmici, la ricerca ha infatti suggerito che possono, in determinate circostanze, interagire in modi complessi e inaspettati.

Per esempio, lo studio ha rivelato che, quando l’IA discriminatoria favoriva gli uomini, i decisori maschi hanno modificato i loro pattern di scelta. Se, infatti, prima dell’introduzione dell’IA questi mostravano un lieve pregiudizio contro gli uomini, la raccomandazione algoritmica ha indotto in loro un cambiamento, portandoli a manifestare, nelle scelte finali, un effettivo pregiudizio contro le donne.

Questo fenomeno suggerisce che l’algoritmo non si limita a proporre una decisione, ma può influenzare e rimodellare attivamente i pregiudizi cognitivi del supervisore, fornendo una forma di legittimazione o razionalizzazione per decisioni che altrimenti sarebbero percepite come discriminatorie. La fase qualitativa dello studio ha permesso poi di identificare i fattori sottostanti che hanno ostacolato l’efficacia della supervisione.

Dalle interviste è emerso che i professionisti tendono a dare priorità agli obiettivi aziendali tangibili, come l’accuratezza e la massimizzazione del profitto, rispetto a un valore astratto come quello dell’equità. Un elemento di criticità che emerge dal report è la mancanza di orientamento esplicito su quando e come il decisore debba scavalcare la raccomandazione del sistema di IA.

Senza linee guida chiare che autorizzino e proteggano il supervisore nel prendere una decisione che potrebbe sembrare inefficiente ma è eticamente corretta, la tendenza è quella di aderire all’indicazione algoritmica per motivi di responsabilità organizzativa. Un altro fattore importante è l’assenza di meccanismi di feedback adeguati I partecipanti hanno espresso l’esigenza di sapere se le loro decisioni finali, o quelle del sistema, fossero state effettivamente le scelte migliori o più eque nel lungo termine.

Senza un feedback continuo sui risultati reali, ai supervisori manca la capacità di calibrare la loro fiducia nell’IA e di apprendere a riconoscere e correggere i risultati discriminatori. Le conclusioni del JRC suggeriscono che l’approccio al “human-in-the-loop”, inteso come un semplice inserimento dell’essere umano nei processi decisionali, è insufficiente per garantire la responsabilità e l’equità nell’IA.

L’efficacia della supervisione non dipende solo dalla buona volontà del singolo decisore, ma è intrinsecamente legata al contesto socio-tecnico e organizzativo in cui l’IA è implementata. In un’ottica normativa, il rapporto rafforza l’idea che la responsabilità etica non possa essere delegata unicamente all’individuo.

Per rendere la supervisione umana un baluardo efficace contro la discriminazione, è necessario un approccio sistemico. Questo implica la necessità di politiche e procedure che vadano oltre la pura trasparenza algoritmica, concentrandosi sull’integrazione di strumenti di supporto per il decisore.

Le raccomandazioni politiche che ne derivano sottolineano l’urgenza di definire protocolli di veto chiari e strutturati, che guidino i professionisti su quando esercitare il proprio giudizio etico. Inoltre, è fondamentale implementare un monitoraggio dei risultati ex-post, in modo che i pregiudizi non vengano solo prevenuti, ma attivamente identificati e misurati dopo l’intervento umano.

In ultimo, la creazione di circuiti di feedback continuo consentirebbe di trasformare la supervisione da un atto di ratifica passiva a un processo di apprendimento dinamico, essenziale per la costruzione di sistemi di IA che siano non solo accurati, ma anche socialmente responsabili. Il rapporto JRC, in sostanza, sposta il focus dal se includere l’essere umano, al come strutturare l’interazione persona-macchina in modo che sia eticamente efficace.

The post L’efficacia della supervisione umana nei sistemi di supporto alle decisioni basati sull’IA: il rapporto JRC appeared first on ReWriters.