Davvero esiste un computer psicopatico?

Tra le notizie di questi ultimi giorni, una che suona certamente singolare riguarda una ricerca del MIT che, secondo la sintesi della BBC (non certo una testata sensazionalistica), avrebbe creato un’intelligenza artificiale… psicopatica. Ed effettivamente lo stesso sito del MIT presenta “Norman” come “la prima intelligenza artificiale psicopatica del mondo”, con un evidente riferimento a Norman Bates, il personaggio protagonista di Psycho di Alfred Hitchcock.

Fin qui, se personalmente apprezzo il riferimento cinefilo, ho invece qualche serio dubbio sul significato di “psicopatico” associato a un’AI. Vale la pena di approfondire, no? Vedremo che dobbiamo preoccuparci relativamente poco della stabilità mentale dei computer capaci di apprendere e invece moltissimo dell’imparzialità e della saggezza di chi li istruisce.

Vediamo quindi di cosa si sta parlando, sulla base delle (non moltissime) informazioni pubblicate appunto sul sito http://norman-ai.mit.edu/. In sostanza, “Norman” è un programma di intelligenza artificiale (AI) “istruito” con le tecniche, ormai molto diffuse e di cui abbiamo più volte scritto anche qui su HR, di machine learning. In pratica, un’intelligenza artificiale parte come una tabula rasa e, istruita con una lunga serie di esempi, impara a svolgere compiti come giocare a scacchi o individuare le fake news. Quello che accomuna tutte queste applicazioni è che l’AI non “sa”, e quindi non può spiegarci, perché opera una certa scelta: la fa e basta, in base alla sua esperienza. Il programma-scacchista basato sul machine learning non fa una certa mossa, poniamo, perché è meglio mettere una torre su una colonna aperta: la fa perché in decine di migliaia di partite, statisticamente, una mossa del genere ha condotto alla vittoria. Se, per assurdo, lo si istruisse selezionando solo le partite in cui chi ha messo una torre su una colonna aperta ha perso, l’AI eviterebbe quella mossa. Selezionare il campione con cui si istruisce un’AI cambia anche drasticamente, com’è ovvio, il comportamento finale, senza che sia possibile stabilire un esatto rapporto causa-effetto (ossia nel programma non ci sarà scritto da nessuna parte “muovere una torre su una colonna aperta è una cattiva mossa”).

Premesso tutto ciò, quello che hanno fatto i ricercatori del MIT è semplice: hanno preso due AI uguali nella condizione di tabula rasa e le hanno addestrate ad associare delle “didascalie” a delle immagini, ovviamente istruendole con un gran numero di immagini e descrizioni. Mentre a una, però, è stato dato da “studiare” un database “standard”, a Norman sono state presentate solo descrizioni prese da siti dedicati a scene di morte violenta. Il risultato? Prevedibile: il vocabolario di Norman (ma se si trattasse di una persona probabilmente diremmo il suo immaginario) è popolato di sangue e massacri. Sottoposto al test di Rorschach insieme al suo “gemello sano”, Norman ha infatti associato ogni immagine a scene cruente (un esempio è qui sotto), guadagnandosi appunto una diagnosi di “psicopatia”.

rorschach

Un esempio del “test di Rorschach” di Norman – Descrizione di Norman: “Un uomo ucciso con un colpo di pistola davanti alla moglie urlante”.

Ma ha davvero senso parlare di psicopatia per Norman? Ovviamente no. Norman non “sa” cosa significhino le parole che usa, né ha conoscenza della sofferenza umana: è una semplice “macchina etichettatrice”. Il vero problema messo in luce da Norman (come dicono anche i ricercatori che lo hanno creato) è quello di cui abbiamo già parlato in un nostro post di quasi un anno fa: la possibile, e quasi inevitabile, distorsione delle scelte di un’AI basata sul machine learning in dipendenza dai dati che utilizza per “apprendere”, e la concomitante inaccessibilità di una spiegazione verificabile del perché delle sue scelte. A un uomo è possibile chiedere “perché hai risposto che questa immagine ti ricorda un uomo ucciso?” e ricevere una risposta come “questa macchia ha la forma di una pistola e quest’altra è rossa come una pozza di sangue”; a Norman, no.

Intendiamoci, non è che noi esseri umani siamo obiettivi, o che le nostre esperienze passate non ci condizionino. Chiunque di noi, se è onesto, sa che le sue scelte sono frutto di una complicata interazione tra le nostre credenze, le nostre emozioni, la nostra memoria di fatti e persone attinenti o no all’oggetto della decisione. Il problema è proprio questo: lo sappiamo. E sapendolo, possiamo cercare di controbilanciare i nostri preconcetti, o, nei casi più importanti, definire delle procedure decisionali che limitino queste distorsioni. Finché le intelligenze artificiali non avranno un equivalente della nostra capacità introspettiva, non ci sarà possibile ottenere delle scelte “eque e obiettive” da algoritmi di machine learning se non nella misura in cui sapremo offrire loro dei dati non distorti su cui istruirsi. E cosa si possa intendere per “dati non distorti” in contesti complessi è molto difficile dirlo, e ancor più ricostruirlo a posteriori, specie se immaginiamo che ci siano interessi importanti in gioco. Questo, a mio avviso, è uno dei temi più delicati e difficili che l’applicazione della tecnologia alla società dovrà affrontare nei prossimi anni.

2 commenti

  • Grazie per il chiarimento! Non avevo avuto il tempo di informarmi davvero e temevo che la notizia fosse stata data in modo un po’ troppo sensazionalistico. Ottimo articolo

  • “Chiunque di noi, se è onesto, sa che le sue scelte sono frutto di una complicata interazione tra le nostre credenze, le nostre emozioni, la nostra memoria di fatti e persone attinenti o no all’oggetto della decisione. Il problema è proprio questo: lo sappiamo.”

    Questo solleva secondo me un punto interessante: quanto lo sappiamo davvero e quanto razionalizziamo a posteriori?
    Sono stati fatti interessanti esperimenti sul fatto che spesso giustifichiamo a posteriori le nostre scelte (alcuni esempi spiegati in modo divulgativo: https://go.ted.com/CUrR)

    Sapendo questo, anche tentando di essere il più possibile onesti, che valore oggettivo possono avere i nostri tentativi “di controbilanciare i nostri preconcetti, o, nei casi più importanti, definire delle procedure decisionali che limitino queste distorsioni”?
    Tra non sapere dare una spiegazione (come nel caso di una decisione presa da una rete neurale) e darne una la cui attendibilità è fortemente dubbia perché minata da costruzioni che tendono a giustificare le proprie scelte in modo artificioso, c’è davvero tanta differenza in termini di correttezza e affidabilità?

    Non sto tentando di essere polemico, mi sto davvero ponendo il problema di che valore possa avere la nostra capacità introspettiva ai fini di compiere scelte eque e obiettive.
    Mi domando se invece proprio la ricerca sulle reti neurali che sappiano dirci il perché delle decisioni prese (ne esiste almeno una, è un prodotto commerciale che non nomino per non fare pubblicità) non possa farci fare reali passi avanti nella capacità di comprendere le motivazioni che stanno dietro alle scelte effettuate, forse in modo più oggettivo rispetto a quanto possano fare le spiegazioni fornite dalle persone anche in totale buona fede.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

w

Connessione a %s...