Scienza e Tecnologia
di ottonieri

AI “spiegabile”: e se la soluzione fosse in noi stessi?

Questo articolo è il terzo e ultimo di una serie che include:
Vogliamo davvero un’Intelligenza Artificiale “spiegabile”?, nel quale ho provato a impostare il problema: sempre di più, i sistemi di Intelligenza Artificiale prenderanno decisioni importanti per le nostre vite. Dato che alcune delle tecnologie di AI sono delle black box imperscrutabili, rischiamo di trovarci davanti a decisioni di cui non conosciamo neanche la motivazione.
AI “spiegabile”: la legge oggi, domani, dopodomani, nel quale ho riepilogato la situazione della normativa esistente e di quella in preparazione, per capire se possiamo aspettarci che ai cittadini venga riconosciuta una qualche forma di “diritto alla spiegazione”.

In questo articolo, che chiude la riflessione lungo la quale vi ho chiesto di accompagnarmi, vorrei cercare una mia, personale e quindi opinabilissima, risposta al problema dell’AI “spiegabile”. Pur riconoscendo il valore delle ipotesi attualmente sul tavolo, e di cui ho dato conto negli articoli precedenti, temo infatti di non condividerle, per una serie di motivi che cercherò di spiegare.

Cominciamo col dire che le obiezioni che abbiamo precedentemente visto contro i sistemi di AI black box sono assolutamente comprensibili. Se utilizzo un sistema automatico per, ad esempio, decidere a quale paziente debba essere assegnato un organo per un trapianto salvavita, posso permettermi di non sapere, e di non poter spiegare, i motivi della sua scelta? Se in una complessa causa penale un imputato viene condannato all’ergastolo, è accettabile non conoscere le motivazioni della sentenza? E se le motivazioni non sono note, come fa l’imputato a presentare un appello? Come si vede, sono tutte questioni valide.

Come abbiamo visto, la risposta che sta prendendo forma da un punto di vista giuridico è l’affermazione del diritto alla spiegazione. Questo diritto, in concreto, può tradursi in una delle seguenti alternative:

  • La legge impone che i sistemi AI siano spiegabili, ossia che, anche se fossero delle black box, debba esistere una “rilettura” ex post dei loro risultati, tipicamente a sua volta prodotta da un modello interpretativo basato su tecnologia AI, che fornisca elementi sufficienti a capire in linea di massima il perché della decisione.
  • La legge impone che i sistemi AI siano interpretabili, ossia restringe l’elenco degli algoritmi che possono essere impiegati per realizzare un sistema AI a quelli per cui la logica di elaborazione è “comprensibile” (ad esempio, un sistema a punteggio è tipicamente interpretabile: sei stato condannato perché il sistema assegna 100 punti alle prove materiali biologiche e il tuo DNA è stato ritrovato sul luogo del delitto).

Vediamo ora perché nessuna di queste due ipotesi è particolarmente attraente, e, poi, perché a mio avviso è proprio il diritto alla spiegazione, per quanto intuitivamente persuasivo, a essere difficilmente sostenibile.

L’idea di usare sistemi AI spiegabili presenta numerosi e ovvi svantaggi. Il primo è che a “spiegare” i risultati del sistema AI è per forza di cose …un altro sistema AI (se i risultati potessero essere spiegati da un essere umano saremmo nel caso di sistemi interpretabili), con tutto ciò che ne consegue. Poi, sempre per definizione di sistema AI black box, la spiegazione non può essere completa, né sempre accurata, perché altrimenti il sistema AI “che spiega” avrebbe le stesse capacità del sistema “da spiegare”, e allora non ci sarebbe bisogno di un sistema black box. Infine, proprio i limiti della spiegazione comporterebbero anche dei limiti sull’utilizzabilità della spiegazione: sarebbe davvero possibile presentare un appello in tribunale basandosi su una “spiegazione” solo indicativa dei motivi della decisione di un sistema AI? Supponiamo che la spiegazione consista ad esempio in «il giudice robotico ha considerato decisiva la prova del DNA»: come ci si potrebbe appellare contro la sentenza? Sostenere che la prova del DNA sia controbilanciata da, poniamo, un parziale alibi dell’imputato sarebbe poco efficace, perché evidentemente il sistema di AI ha considerato la prova del DNA prevalente sull’alibi, e la difesa dell’imputato non saprebbe comunque perché. Solo un giudice umano che sconfessasse in radice la decisione del sistema di AI potrebbe accogliere un appello, visto che sarebbe praticamente impossibile per la difesa confutare le conclusioni del “giudice” di prima istanza sulla base di un ragionamento alternativo, perché la spiegazione non riuscirebbe comunque a ricostruire un ragionamento analitico, ma si limiterebbe, per i motivi spiegati, solo a indicarne alcuni tratti particolarmente evidenti.

Questi e altri motivi sono alla base dell’idea di usare solo sistemi di AI interpretabili. Anche qui, tuttavia, si nascondono difficoltà a mio avviso insormontabili. In primo luogo, imporre limitazioni stringenti sugli algoritmi che possono essere impiegati, escludendo quelli black box, non può che comportare che i sistemi di AI risultino meno efficaci: il motivo per cui esistono i sistemi black box è proprio che quelli interpretabili non davano risultati pienamente soddisfacenti. Quindi, dato che il diritto alla spiegazione si dovrebbe applicare in particolare agli ambiti più cruciali per gli interessi delle persone in gioco (Sanità, Giustizia, ecc.), è inevitabile chiedersi: è lecito preferire un sistema interpretabile che sbagli più spesso a uno black box che sbagli meno spesso? Onestamente, mi pare difficile rispondere di sì solo per rendere psicologicamente più accettabile affidare la decisione a un’Intelligenza Artificiale. Personalmente, preferirei un medico imperscrutabile ma infallibile a uno che mi spiega tutto ma ogni tanto sbaglia.

Un secondo limite del concetto di interpretabilità è: interpretabile, ma da chi? La logica decisionale di un sistema di AI basato su algoritmi interpretabili ha ottime probabilità di essere comunque, in generale, troppo complessa per un non specialista, ossia praticamente per chiunque. Il comune cittadino avrebbe verosimilmente bisogno di un data scientist che gli “traduca l’interpretazione”, o di un sistema automatico collaterale al primo che faccia la stessa cosa, e in entrambi i casi è difficile garantire che la “vera” logica del sistema non finisca “lost in translation”, con svantaggi analoghi a quelli descritti per i sistemi spiegabili.

Infine, l’intera nozione di interpretabilità cela l’assunto per cui la mente umana sia comunque in grado di riprodurre e giudicare la validità del ragionamento di un sistema di AI. Se, come prima o poi accadrà certamente, i sistemi di AI, interpretabili o meno, saranno in grado di esprimere giudizi che un essere umano non potrebbe formulare, come potremo pretendere che un esperto possa supervisionare il funzionamento di un sistema intelligente? Se, di fronte ai dati di una risonanza magnetica cento volte più dettagliata di quelle attuali, un robot radiologo individuasse un’anomalia impossibile da rilevare da un essere umano, cosa potremmo mai pretendere che ci “spiegasse”? Se, raccogliendo ed elaborando enormi quantità di dati un sistema automatico ci informasse che un certo ponte deve essere sottoposto a lavori di consolidamento, la cui necessità nessun ingegnere saprebbe identificare con altrettanto anticipo, quale interpretabilità potrebbe avere quella valutazione?
Noi, in ultima analisi, costruiamo delle macchine non già per far realizzare loro le cose che siamo in grado di fare, ma quelle che non siamo in grado di fare; e ove quel fare consista nel ricavare una valutazione o una previsione dai fatti noti, è difficile pretendere che ciò che non siamo in grado di elaborare con la nostra mente debba da essa necessariamente essere “supervisionabile”. Il fatto che oggi le prestazioni dei sistemi di AI siano comparabili con quelle di esperti umani, e comunque siano almeno comprensibili da esperti umani, non significa che questo sarà vero domani. Come un’automobile è in grado di spostarsi con una velocità irraggiungibile a un uomo che corra, senza per questo replicare la meccanica della corsa umana, i sistemi di AI potranno superare le prestazioni degli esseri umani, senza necessariamente replicare la logica del ragionamento umano. Possiamo realisticamente esigere che prestazioni cognitive superiori a quelle a noi raggiungibili siano ex lege da noi interpretabili? Io direi di no.

Dobbiamo allora rassegnarci a essere di fatto governati da robot intelligenti, che progressivamente ci subentrino anche nelle attività più cruciali per il nostro benessere, senza neanche poter pretendere di capire perché fanno quel che fanno ed eventualmente opporcisi? La risposta a questa domanda evidentemente è per ora più affidata alle opere di fantascienza che al dibattito pubblico; la mia personale opinione è che una possibile soluzione a questo dilemma possa essere fornita da un’analogia con il modo, tutto umano, in cui ciascuno di noi spiega le proprie decisioni. Infatti a me pare francamente difficile sostenere che i nostri processi decisionali siano pienamente interpretabili, foss’anche da noi stessi. Perché ho scelto una certa facoltà universitaria? Perché, quella volta, ho deciso di infilarmi in un certo vicolo dove poi mi hanno rapinato? Perché, pur sapendo che il cioccolato non mi fa bene, continuo a mangiarne? Perché ho scelto un’auto anziché un’altra? Tutte queste decisioni, a volte seguite da un esito positivo, a volte da uno negativo, non sono il frutto di un processo interamente razionale, analitico, spiegabile; anche nei confronti di me stesso, io sono parzialmente una black box. Persino nello svolgere la mia professione, e anche se io fossi un medico o un giudice, le mie valutazioni non sono, e non sarebbero, interamente razionali e riconducibili a un “algoritmo” esplicitabile. Di solito, esse sono razionalizzabili, che è una cosa diversa: una volta che ho preso una decisione, se essa è importante, posso sottoporla a una verifica razionale a posteriori, cercando di ricondurla a dei principi, a delle linee guida, a delle priorità in cui mi riconosco. Non posso dirlo con certezza, ma sospetto che anche un medico o un giudice compiano le loro valutazioni combinando elementi razionali con quello che di solito chiamiamo intuito, e arrivando a una conclusione che contiene un quanto di indiscernibile. Quello che io, e presumo anche essi, faccio è poi verificare che quella decisione sia, o mi appaia, per grandi linee, coerente con gli obiettivi e i valori a cui è funzionale. Se devo comprare un’auto nuova, sceglierò un certo modello magari anche per istinto, ma poi verificherò che i suoi consumi, la sua sicurezza, il suo ingombro, siano orientativamente compatibili con le mie priorità che, poniamo, erano di contenere i rischi e i costi di utilizzo. Se qualcuno mi chiederà come mai ho scelto proprio quell’autovettura, potrò rispondere qualcosa come «Beh, consuma poco, ha il punteggio massimo nei crash-test, entra bene nel mio box… e poi mi piace!».

Ecco, alla fine di questa riflessione lunga tre articoli, concluderei dicendo che la “soluzione” al problema della spiegabilità delle decisioni dei sistemi di AI potrebbe alla fine consistere in una sorta di razionalizzazione introspettiva, non dissimile da quella che noi stessi adottiamo abitualmente, e che potrebbe effettivamente costituire un’evoluzione del concetto di spiegabilità: anziché tentare di ricostruire un procedimento logico-algoritmico che comunque con ogni probabilità sarebbe al di là della nostra capacità di comprensione, il sistema potrebbe verificare, e comunicare a noi umani, una razionalità di massima della sua decisione, senza necessariamente ripercorrerne la genesi. In fondo, nessuno di noi pretende di comprendere fino in fondo i processi mentali dei suoi simili, quindi perché pretendere di comprendere quelli di un sistema di AI, che da noi è oltretutto dissimile?