Informazioni personali e algoritmi “razzisti”

Brutta cosa le discriminazioni: anche in quest’estate così tormentata da incendi, attentati, tensioni internazionali e altre amenità, hanno trovato spazio notizie a volte preoccupanti, altre quasi folkloristiche, relative a scuole che “dissuadono” i diversamente abili, datori di lavoro che scartano candidati neri, alberghi che impongono pratiche igieniche “ad hoc” agli ebrei, manifestazioni di suprematisti bianchi, violenze o altre discriminazioni ai danni di cittadini neri, eccetera. Ben di rado abbiamo il tempo e la voglia di informarci a fondo per capire se dietro un certo titolo ci sia davvero una discriminazione razzista, etnica, religiosa, o se si tratti di un’ennesima bufala alimentata dall’opportunismo e dal pressappochismo dei nostri organi di informazione (ne ha scritto Bezzicante pochi giorni fa): rimane in noi la consapevolezza delle diffidenze e delle ostilità alimentate dalla frammentazione sociale e dalla precarietà della convivenza di gruppi attraversati dalle più varie divisioni, da quelle “tradizionali” a quelle create dalle dinamiche “liquide” dei nostri giorni.

Eppure c’è un particolare tipo di discriminazione silenziosa, non annunciata da cartelli o bandiere, che si sta lentamente facendo largo senza che ce ne accorgiamo, perché non è opera di nostalgici o di xenofobi ma di asettici algoritmi. Si tratta di un rischio ancora in embrione, forse, ma ha il potenziale per crescere a velocità tale da diventare difficilmente governabile, anche perché è già complicato capire di che si tratti. Proverò quindi innanzitutto a spiegarlo, già sapendo di rischiare di apparire catastrofista agli occhi degli addetti ai lavori.

Il primo dato di fatto da considerare è che sempre più decisioni sono prese da algoritmi automatici. Che ci piaccia o no, questa è una tendenza che appare inarrestabile: la complessità del nostro mondo è ormai tale che un singolo “esperto” umano è sempre meno in grado di valutare tutti i fattori di un problema; inoltre, la velocità e varietà delle mille interazioni che abbiamo (con singole persone, con aziende, con la pubblica amministrazione) è tale che, ad esempio, per un’azienda è sempre meno accettabile esaminare tramite una procedura “umana” una domanda di sottoscrizione a un servizio. Ci vuole troppo tempo: bisogna rispondere subito, non si può più dire “prenderemo in esame la sua richiesta e le faremo sapere”; e una risposta veloce spesso equivale a dire una risposta automatica. In un altro ambito, abbiamo già discusso il tema degli algoritmi che dovrebbero decidere il comportamento delle automobili a guida automatica.

Un secondo fattore decisivo è il diffondersi di algoritmi non predeterminati. Algoritmi deterministici e pre-programmati da esperti umani in fondo non fanno altro che applicare molto più rapidamente più o meno gli stessi passi decisionali che seguirebbe un essere umano. Automatizzare questo tipo di procedure non comporta in fondo alcun problema, e anzi riduce la probabilità di errori o arbitrarietà tipicamente umani. Però l’attuale generazione di “automi intelligenti” è basata molto spesso su algoritmi “che apprendono” (le cosiddette tecniche di machine learning) man mano che elaborano casi reali, un po’ come facciamo noi umani. In fondo, se chiediamo a un esperto per quale motivo abbia preso una certa decisione, spesso ci sentiamo rispondere “perché casi simili ne ho visti tanti e so come vanno a finire”. Il problema con gli algoritmi che apprendono è che non seguono una regola predefinita, e in genere neanche una regola costruita a posteriori: quando un automa che usa il machine learning decide che A è meglio di B, spesso è impossibile stabilire perché. È meglio perché lo dice lui, e tanto basti.

Il terzo elemento che interviene nell’equazione è l’espansione esplosiva della varietà e quantità di dati che potenzialmente possono essere presi in considerazione dagli algoritmi automatici. Nell’era dei (spesso malintesi) Big Data, ogni informazione su una persona è potenzialmente utilizzabile per profilarla, e quindi per prendere decisioni che la riguardano. Oggi la maggioranza di queste decisioni sono di tipo commerciale, come la pubblicità personalizzata, ma in linea di principio il nostro profilo comportamentale può essere rilevante per qualsiasi cosa. Dal momento che oggi ciascuno di noi lascia dietro di sé tracce digitali cospicue (avete cercato un albergo a Malta con Booking? Avete comprato un costume da bagno su Amazon? Avete pubblicato delle foto georeferenziate su Facebook, o scritto un messaggio con WhatsApp a un amico spagnolo? Ahi ahi ahi…), è pressoché impossibile prevedere quali di queste informazioni saranno determinanti, che so, per la decisione di concedervi un prestito personale o di assumervi in una posizione dì responsabilità. Se già oggi gli addetti alla selezione del personale visitano i profili Facebook e Twitter dei candidati, cosa avverrà quando un selezionatore “robot” sarà incaricato di trovare un candidato valido per una posizione lavorativa?

Insomma, la congiunzione delle tendenze a un forte incremento dell’automazione anche sostitutiva degli “esperti” umani, a un incremento della complessità e dell’ “opacità” degli algoritmi, e a un’estensione dei dati “rilevanti” per ciascuna decisione porta a una semplice domanda: in questo scenario, avrà ancora senso chiedersi se una certa decisione sarà equa e non discriminatoria? Oggi, se un selezionatore di personale bocciasse tutti i candidati neri sarebbe certamente accusato di discriminazione, e dovrebbe spiegare molto bene i motivi delle sue scelte. Domani, se un robot ripetesse lo stesso tipo di selezione sarebbe possibile accusarlo di razzismo? Certo, un robot potrebbe essere programmato per essere razzista, ma questo è in un certo senso il caso più semplice da riconoscere e correggere; il problema è che il robot potrebbe comportarsi in modo imprevedibile anche per i suoi programmatori, e qualora scartasse tutti i candidati neri sarebbe impossibile ottenere quelle giustificazioni che esigeremmo da un essere umano. E allora? Disattiveremmo il robot? Le sue decisioni sarebbero il frutto di pregiudizi discriminatori diffusi e “infiltratisi” all’interno dei suoi algoritmi decisionali insieme a tutti gli altri dati, oppure effettivamente quelle scelte sarebbero le più utili, anche se “diseguali”?

Qualcuno, ovviamente in USA, ha cominciato a preoccuparsi seriamente di questo problema. Cathy O’ Neil, una matematica che ha lavorato come data scientist in gestori di fondi d’investimento speculativi, ha scritto un libro intitolato Weapons of Math Destruction (letteralmente “Armi di distruzione matematica”, non credo ne esista una traduzione italiana), il cui sottotitolo suona eloquentemente “come i Big Data aumentano la disuguaglianza e minacciano la democrazia”. La O’ Neil ha scritto anche numerosi articoli per sottolineare i rischi di discriminazione associati all’uso di algoritmi “intelligenti” nell’ambito della prevenzione dei crimini, della selezione del personale, della valutazione degli insegnanti, eccetera (nell’ambito scolastico, anche noi italiani abbiamo avuto un caso un po’ artigianale per la controversa destinazione degli insegnanti).

Cosa si può, o si dovrebbe, fare? Forse nulla, accettando l’idea che le future intelligenze artificiali prenderanno le loro decisioni spassionatamente ma senza tentare di compensare gli squilibri presenti in vista di benefici aleatori e contando sul fatto che queste scelte daranno i migliori risultati a vantaggio della collettività intera anche se potranno scontentare qualcuno nel breve termine. Un differente punto di vista è sostenuto da coloro che ritengono invece che sia necessario vigilare e contrastare i probabili effetti distorsivi degli algoritmi “intelligenti”. Nel luglio scorso, al MIT si è svolto il simposio annuale dell’associazione AI Now, nata appunto per questo scopo. Il simposio si è articolato su quattro argomenti principali: Bias and InclusionLabor and AutomationRights and LibertiesEthics and Governance e alcuni contenuti possono essere trovati al link qui sopra. In coincidenza col simposio, la rivista MIT Technology Review ha pubblicato un articolo dall’eloquente titolo Gli algoritmi distorsivi sono ovunque, e pare non importi a nessuno.
E in Italia? Qui possiamo attenderci, almeno per un po’, che le discriminazioni di origine umana siano ancora ampiamente prevalenti su quelle operate dalle intelligenze artificiali; tuttavia, è importante tener presente che delegare decisioni a sistemi automatici sarà inevitabile anche per noi, e che dato che non siamo all’avanguardia tecnologica ci ritroveremo probabilmente a recepire soluzioni e prodotti già confezionati e sperimentati in altri mercati. Se ignoriamo il problema, ci limiteremo a importare quello che i paesi più avanzati del nostro avranno giudicato accettabile, e speriamo che sia accettabile davvero.

One comment

  • Il fatto e’ che le intelligenze artificiali per forza di cose funzionano come il cervello umano: a colpi di script, a suon di euristiche, e a passo di pregiudizi.
    E le euristiche cognitive non possono essere razziste, o almeno non a livello cosciente (sempre se si possa parlare di coscienza applicata alle macchine), in quanto sono grosso modo formulate sull’osservazione continuata del medesimo fenomeno.
    Forse lasciare le intelligenze artificiali libere di farsi le proprie euristiche puo’ fornire degli spunti essenziali al raggiungimento di una certa eterodossia nell’ambito degli studi di genere o della giustizia sociale, magari possono spingerci ad approfondire le cause dietro le discriminazioni anziche’ correre ai ripari con delle affirmative action che talvolta possono risultare forzate, ideologiche e irrazionali.
    Non che le cause delle discriminazioni e delle iniquita’ non vengano investigate, ma di questi tempi e’ diventato abbastanza arduo non farsi prendere la mano con le ideologie e i bias, soprattutto negli USA.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...