Davvero esiste un computer psicopatico?

Tra le notizie di questi ultimi giorni, una che suona certamente singolare riguarda una ricerca del MIT che, secondo la sintesi della BBC (non certo una testata sensazionalistica), avrebbe creato un’intelligenza artificiale… psicopatica. Ed effettivamente lo stesso sito del MIT presenta “Norman” come “la prima intelligenza artificiale psicopatica del mondo”, con un evidente riferimento a Norman Bates, il personaggio protagonista di Psycho di Alfred Hitchcock.

Fin qui, se personalmente apprezzo il riferimento cinefilo, ho invece qualche serio dubbio sul significato di “psicopatico” associato a un’AI. Vale la pena di approfondire, no? Vedremo che dobbiamo preoccuparci relativamente poco della stabilità mentale dei computer capaci di apprendere e invece moltissimo dell’imparzialità e della saggezza di chi li istruisce.

Vediamo quindi di cosa si sta parlando, sulla base delle (non moltissime) informazioni pubblicate appunto sul sito http://norman-ai.mit.edu/. In sostanza, “Norman” è un programma di intelligenza artificiale (AI) “istruito” con le tecniche, ormai molto diffuse e di cui abbiamo più volte scritto anche qui su HR, di machine learning. In pratica, un’intelligenza artificiale parte come una tabula rasa e, istruita con una lunga serie di esempi, impara a svolgere compiti come giocare a scacchi o individuare le fake news. Quello che accomuna tutte queste applicazioni è che l’AI non “sa”, e quindi non può spiegarci, perché opera una certa scelta: la fa e basta, in base alla sua esperienza. Il programma-scacchista basato sul machine learning non fa una certa mossa, poniamo, perché è meglio mettere una torre su una colonna aperta: la fa perché in decine di migliaia di partite, statisticamente, una mossa del genere ha condotto alla vittoria. Se, per assurdo, lo si istruisse selezionando solo le partite in cui chi ha messo una torre su una colonna aperta ha perso, l’AI eviterebbe quella mossa. Selezionare il campione con cui si istruisce un’AI cambia anche drasticamente, com’è ovvio, il comportamento finale, senza che sia possibile stabilire un esatto rapporto causa-effetto (ossia nel programma non ci sarà scritto da nessuna parte “muovere una torre su una colonna aperta è una cattiva mossa”).

Premesso tutto ciò, quello che hanno fatto i ricercatori del MIT è semplice: hanno preso due AI uguali nella condizione di tabula rasa e le hanno addestrate ad associare delle “didascalie” a delle immagini, ovviamente istruendole con un gran numero di immagini e descrizioni. Mentre a una, però, è stato dato da “studiare” un database “standard”, a Norman sono state presentate solo descrizioni prese da siti dedicati a scene di morte violenta. Il risultato? Prevedibile: il vocabolario di Norman (ma se si trattasse di una persona probabilmente diremmo il suo immaginario) è popolato di sangue e massacri. Sottoposto al test di Rorschach insieme al suo “gemello sano”, Norman ha infatti associato ogni immagine a scene cruente (un esempio è qui sotto), guadagnandosi appunto una diagnosi di “psicopatia”.

Ma ha davvero senso parlare di psicopatia per Norman? Ovviamente no. Norman non “sa” cosa significhino le parole che usa, né ha conoscenza della sofferenza umana: è una semplice “macchina etichettatrice”. Il vero problema messo in luce da Norman (come dicono anche i ricercatori che lo hanno creato) è quello di cui abbiamo già parlato in un nostro post di quasi un anno fa: la possibile, e quasi inevitabile, distorsione delle scelte di un’AI basata sul machine learning in dipendenza dai dati che utilizza per “apprendere”, e la concomitante inaccessibilità di una spiegazione verificabile del perché delle sue scelte. A un uomo è possibile chiedere “perché hai risposto che questa immagine ti ricorda un uomo ucciso?” e ricevere una risposta come “questa macchia ha la forma di una pistola e quest’altra è rossa come una pozza di sangue”; a Norman, no.

Intendiamoci, non è che noi esseri umani siamo obiettivi, o che le nostre esperienze passate non ci condizionino. Chiunque di noi, se è onesto, sa che le sue scelte sono frutto di una complicata interazione tra le nostre credenze, le nostre emozioni, la nostra memoria di fatti e persone attinenti o no all’oggetto della decisione. Il problema è proprio questo: lo sappiamo. E sapendolo, possiamo cercare di controbilanciare i nostri preconcetti, o, nei casi più importanti, definire delle procedure decisionali che limitino queste distorsioni. Finché le intelligenze artificiali non avranno un equivalente della nostra capacità introspettiva, non ci sarà possibile ottenere delle scelte “eque e obiettive” da algoritmi di machine learning se non nella misura in cui sapremo offrire loro dei dati non distorti su cui istruirsi. E cosa si possa intendere per “dati non distorti” in contesti complessi è molto difficile dirlo, e ancor più ricostruirlo a posteriori, specie se immaginiamo che ci siano interessi importanti in gioco. Questo, a mio avviso, è uno dei temi più delicati e difficili che l’applicazione della tecnologia alla società dovrà affrontare nei prossimi anni.