Fin dai tempi della famosa poesia di Trilussa sulla “media del pollo”, sulla Statistica aleggia lo scetticismo di chi pensa che affidandosi al buon senso e all’intuito si possano valutare correttamente realtà complesse, e che la Statistica sia invece un modo che usano gli “esperti” per propinare bugie al pubblico. Le prudenti procedure scientifiche, molte delle quali usano la Statistica come un costituente fondamentale, sono faticose e poco attraenti, e spesso indigeste anche per chi, per professione, dovrebbe informarsi ed informare. In questi ultimi mesi ci sono stati diversi casi (cito ad esempio quello, ampiamente dibattuto, del “metodo Stamina”) in cui i giornalisti (e non solo, ahimè) hanno fatto moltissimo battage, ma pochissima analisi seria dell’argomento.
Dato che non condivido affatto il pregiudizio di Mark Twain, io credo che la comunicazione corretta in questi casi consista innanzitutto nello spiegare cosa è scientifico e cosa no, e perché solo certe procedure adottate in ambito scientifico possano dare indicazioni attendibili. Invece si legge di “imparzialità” e di “opinioni” a favore o contro, come se l’imparzialità fosse sinonimo di competenza e le questioni scientifiche fossero risolvibili con le opinioni. Anche i commenti contro l’ipotetica efficacia del “metodo Stamina” sono spesso affetti dagli stessi difetti: ricorso a dati privi di significatività, aneddotica, opinioni in libertà. In un mondo fatto di sistemi sempre più complessi, e in cui al contempo è frequente il cortocircuito in stile Social Network per cui la voce del “pubblico” viene amplificata quanto quella degli esperti, è facilissimo trovarsi di fronte a interpretazioni fuorvianti dei dati numerici, laddove essere rigorosi è invece indispensabile non solo per gli specialisti ma anche per la formazione di un’opinione degna di questo nome. Altrimenti, e non è certo vergogna, piuttosto che pretendere di dire la propria è opportuno affidarsi a chi per ruolo e preparazione ha la responsabilità di certe decisioni. Dato che per la mia forma mentis tenderò, nello scrivere per questo blog, a ricorrere spesso ad analisi di dati quantitativi e a statistiche, vorrei quindi cominciare mettendo in guardia dall’uso superficiale di dati quantitativi che è alla base, appunto, della dubbia reputazione che affligge la Statistica. Queste insidie sono spesso accentuate da, e a loro volta accentuano i, nostri bias cognitivi, che ci spingono a credere ciò che spesso vogliamo (o qualcuno vuole farci) credere.
Per esemplificare il mio pensiero, ricorrerò a un tema meno “sensibile” della salute o della politica: l’astrologia. Molti leggono oroscopi e profili astrologici, eppure credo di non sorprendere nessuno se dico di credere che l’astrologia sia un’evidente bufala. Ciò non toglie che potrei sbagliare: questa affermazione così drastica potrebbe essere contraddetta dai fatti, se ci fossero evidenze serie che l’astrologia funziona. In genere, ovviamente, gli astrologi rifuggono da simili verifiche, mentre per altri l’astrologia è così poco plausibile che preferiscono spendere il tempo a occuparsi di cose più “sensate”. C’è tuttavia chi ha tentato di analizzare gli influssi astrologici appunto con metodi statistici, e, senza voler fare una rassegna di questi studi (anche perché non li conosco certo tutti), voglio citarne uno che dimostra come un approccio “naif” alla statistica possa condurre a conclusioni completamente errate (o almeno ingiustificate). Un noto personaggio del jet-set, Gunther Sachs, un giorno decise di realizzare uno studio statisticamente serio dell’astrologia. Utilizzò un ampio volume di dati relativi a crimini, matrimoni, professioni, cause di morte e così via, prelevandoli dagli archivi pubblici svizzeri, e vi applicò delle tecniche di analisi statistica (o magari ingaggiò qualcuno per fare i calcoli, non so) evidenziando quelle che a suo giudizio erano correlazioni incontestabilmente significative e non casuali. Peccato che la procedura adottata da Sachs facesse acqua, come evidenzia un articolo (di ricercatori “professionisti”) che ne mette in luce gli errori. Per farla breve, un errore piuttosto tipico in questi casi è prendere in esame (ad esempio) tutte le combinazioni possibili tra segni zodiacali e crimini commessi, e poi “scoprire” che qualcuna di esse è molto più frequente della media. Il punto è che non si dice mai prima quali dovrebbero essere, secondo l’astrologia, le combinazioni più frequenti: lo si osserva a posteriori. In questo modo, ovviamente, è abbastanza naturale che venga fuori qualche apparente anomalia, che in realtà, se si applicano correttamente i metodi statistici, si vede che anomalia non è. Di questo effetto potenzialmente ingannevole devono tener conto anche gli scienziati nei loro esperimenti, e alcuni lo chiamano effetto Look Elsewhere. Errori di questo tipo (ne trovate una scherzosa presa in giro a fumetti su http://xkcd.com/882/) sono presenti in altri “studi” che ho visto sulle correlazioni tra segni zodiacali ed eventi della vita delle persone, oltre che in innumerevoli altri “studi” su moltissimi argomenti diversi.
Insomma: la Statistica dice la verità (probabilisticamente parlando), ma solo se la si usa correttamente, altrimenti si rischia di prendere fischi per fiaschi; e il lavoro pubblicato da Sachs è solo un esempio relativamente innocuo, si leggono assurdità anche in campi ben più vitali. Come possiamo difenderci da queste distorsioni, volontarie o involontarie che siano? Qui cercheremo, ovviamente, di evitarle; in generale è necessaria come minimo l’umiltà di leggere con attenzione i dati rinunciando a “scorciatoie” e semplificazioni.
Conclusioni? Quelli che volevo sottolineare sono alcuni fatti forse ovvi, ma non sempre tenuti nella debita considerazione:
- Se, nello studio della realtà, si sceglie la strada dei fatti misurabili, qualsiasi affermazione deve essere sostenuta da uno studio statistico metodologicamente serio (non evidenze aneddotiche, ma neanche semplicemente il valore medio di qualche parametro). Se non lo è, non vale assolutamente nulla, e questo purtroppo è spesso vero.
- La statistica è una disciplina insidiosa. È facile lasciarsi fuorviare da una sua applicazione imprecisa, e l’ “intuito” in questo campo non serve, anzi è spesso dannoso, e il risultato peggiore che se non si usassero affatto gli strumenti statistici.
- Citare episodi ed esempi singoli come se dimostrassero qualcosa è inutile e fuorviante, perché per qualunque tesi, per quanto sballata, si troveranno esempi che la avvalorino. Solo uno studio condotto con professionalità su un campione rappresentativo può dare dei risultati che meritino di essere presi in considerazione, se si intende trarne una conclusione generalizzabile.
- L’evidenza statistica non è un fatto di opinioni, ma di dati e di tecniche di calcolo. Le opinioni hanno spazio per le interpretazioni “dopo” che la statistica abbia portato alla luce dati significativi. Oppure, magari per problemi di altra natura, si ricorre ad altri approcci ugualmente scientifici e seri ma con finalità di interpretazione dei fenomeni e non con lo scopo di fornire un “risultato” generalizzabile (ad es. «la tale terapia “funziona”»). Per chiarezza, a questi approcci interpretativi non quantitativi non si applica nulla di quanto scritto in questo post.
- Chi vuole dimostrare qualcosa di statisticamente significativo, dovrebbe prima dire cosa si aspetta di trovare, e poi effettuare un’analisi statistica su un appropriato campione. A volte si può dover procedere in ordine inverso, ma allora bisogna fare estrema attenzione a evitare errori come quelli di Sachs che citavo.
- La statistica non è un optional. Se non si capisce di statistica, è meglio non cercare neanche di valutare i risultati quantitativi di processi e fenomeni complessi, e lasciar campo agli specialisti… a patto di fidarsene.
Quando leggiamo o ascoltiamo dibattiti su mille argomenti diversi, raccomanderei a tutti di chiedersi se chi parla abbia seguito queste semplici regole. Se no, forse non val la pena di ascoltarlo.
[Una prima versione di questo testo è già apparsa su MenteCritica il 12 dicembre 2013. Col permesso di MenteCritica]
[Le vignette sono estratte dal divertente sito http://xkcd.com]
Hic Rhodus 