Media e Social
di Claudio Bezzi

Piccolo manuale di autodifesa sondaggista

Sono assolutamente convinto: ormai diffidiamo tutti dei sondaggi politici ma ci attraggono un po’ come gli oroscopi: sono cumuli di sciocche futilità ma… la Luna consiglia di aprire i vostri cuori! Io vi propongo di aprire le menti e passare dalla passiva accettazione dei sondaggi alla comprensione puntuale del perché siano da evitare o, quantomeno, trattare con grande cautela e un po’ di diffidenza.

Premessa molto importante: il tema è necessariamente molto tecnico e io ho scelto di scrivere un post divulgativo che renda comprensibile a livelli generali le principali ragioni della necessaria fuga dai sondaggi. Nelle consuete Risorse a fine post segnalo alcuni testi, sempre divulgativi ma più approfonditi.

Problemi relativi al campione di intervistati: per ragioni legate ai costi altrimenti insostenibili, le agenzie di sondaggi devono intervistare telefonicamente un campione di popolazione. Con “campione”, come probabilmente sapete, si intende un piccolo numero di persone in grado di rappresentare compiutamente l’intera popolazione; vale a dire che se in Italia, per esempio, ci sono 52 donne ogni 100 persone e il 15% di laureati, anche il nostro campione, per potersi dire “rappresentativo” (ovvero: rispecchia perfettamente le caratteristiche di tutti gli italiani) e quindi generalizzabile (ovvero: quel che ci ha risposto il campione possiamo dire che rifletta quel che ci direbbero tutti gli italiani) deve avere il 52% di donne e il 15% di laureati. Ma queste sono solo due variabili, ovviamente; bisogna che il campione rispecchi, con analoga fedeltà, anche la distribuzione per età, quella territoriale, quella professionale… e un bel po’ di altre che potremmo ritenere importanti per garantire che i dati che ci vengono comunicati riflettano veramente il pensiero di tutti gli italiani (o di tutti gli elettori, e comunque non solo quello degli intervistati). Anche se non siete esperti capirete che non è possibile contemplare tutte le variabili, e neppure molte, ma solo poche ed essenziali, assumendo che SE sesso, età e poco altro sono ben rappresentate, sperabilmente anche tutto il resto segue. Naturalmente non è così ma, come state per vedere, non sono neppure questi i problemi maggiori.

  • Si continua con interviste telefoniche quando ormai la geografia delle utenze è cambiata, sempre più persone rinunciano al telefono fisso e gli istituti demoscopici non sono in grado di fare adeguati campionamenti che includano anche la telefonia mobile;
  • sempre meno persone rispondono a questi sondaggi costringendo a svariate sostituzioni nel campione originario riducendo, contemporaneamente, l’affidabilità complessiva del sondaggio; questo punto apre a una questione tecnica importante che dovrò semplificare di molto. Ammesso che il campione sia costruito bene, se a non avere risposto è una donna anziana laureata di Roma, gli operatori devono cercare un’altra donna anziana laureata di Roma, e non la possono sostituire con chi capita, per esempio un giovane con la sola scuola dell’obbligo di Pordenone. Una cautela così estrema (ma necessaria) costerebbe moltissimo e poche volte viene praticata;
  • una conseguenza indiretta dei punti precedenti riguarda il “margine d’errore” ammesso (o ”errore ammesso”),un importante indicatore dell’affidabilità dei sondaggi. Si tratta di una stima statistica sulla relazione fra la distribuzione delle variabili nella popolazione (inclusa la distribuzione delle opinioni) e il dato rilevabile con un campionamento; poiché quest’ultimo non può replicare esattamente la vera distribuzione della popolazione, si accetta che ci sia (potenzialmente) un piccolo scostamento che deve essere dichiarato. Più è basso il margine d’errore più i dati sono ritenuti fedeli; un margine d’errore inferiore al 3% viene considerato buono, se inizia ad essere molto sopra questo valore è scadente (i principali sondaggi sostengono di basarsi su margine d’errore attorno al 3%, poco più o poco meno). Tenete presente che i partiti piccoli, che si aggirano sulle poche unità percentuali, rischiano di subire pesantemente le differenze reali occultate da margini d’errore più grandi di loro. E capite anche come riempire un talk show discutendo dello scostamento dello 0,1 rispetto alla precedente rilevazione sia ridicolo, a fronte di un errore ammesso, appunto, del 3% o più.

'My opinion? Are you sure I'm supposed to have one?'Problemi relativi agli intervistati: dobbiamo capire che al di là di qualunque bellissimo campionamento la gente non sempre (anzi sempre più raramente) ha voglia di rispondere al telefono a un intervistatore, se risponde non è detto che abbia voglia di dire la verità (questo fenomeno è abbastanza recente e qualcuno l’interpreta come un atteggiamento di ribellione anti-sistema) e, se anche fosse disponibilissimo, non è detto che abbia le competenze per rispondere sensatamente. Quest’ultimo punto non deve stupire: il sondaggio su qualunque argomento (non solo politico) consiste in un insieme di domande standardizzate fatte a una moltitudine di persone diversissime per cultura, formazione, interessi ed esperienze. A domanda, generalmente, si risponde, ma la risposta potrebbe essere il frutto di un’improvvisazione subitanea, per non far brutta figura, e non di una lunga e meditata elaborazione personale. Per farvi capire: se un intervistatore vi chiedesse “Cosa ne pensa lei dell’eventuale introduzione della pena di morte in Italia?” avreste indubbiamente una qualche risposta che, ci scommetto, non sarebbe il frutto di lunghe pregresse analisi della giurisprudenza internazionale ma piuttosto di una conoscenza tacita e frammentata, unita ad umoralità e “buon senso”. Questo accade anche per le domande politiche, specie se riguardano elementi particolari e tecnici (“Cosa ne pensa della proposta di Cancellierato alla tedesca?”).

Il problema del non voto: a cavallo fra i due punti precedenti c’è l’annosa questione degli indecisi e di coloro che dichiarano di non volere votare. In generale costoro si aggirano sul 40% e i risultati delle intenzioni di voto sono dichiarati dagli istituti di rilevazione al lordo di questo dato, come se quel 40% fosse una delle opzioni, come PD, M5S etc. Ma non è così; quella massa enorme di indecisi o di (presunti) non votanti include:

  • persone che semplicemente non si vogliono dichiarare pur avendo un’idea precisa;
  • persone che decideranno di votare, alla fine, secondo consuetudine;
  • persone che vivono con disagio il clima politico (dichiarazione di non voto come delusione dalla politica) e che alla fine andranno invece a votare un partito di protesta, antagonista (vedi il boom del M5S non rilevato da alcun Istituto demoscopico alle scorse elezioni politiche).

Queste consistenti percentuali di non dichiarati che, alla fine, invece voteranno, non si distribuiranno uniformemente fra i vari partiti, ma in maniera molto diversa cambiando fortemente i risultati. Invece gli irriducibili che davvero non voteranno contribuiscono a far saltare completamente l’affidabilità del sondaggio riducendo i presunti 1.000 intervistati (o quanti sono) a poche centinaia (con crollo dell’affidabilità).

Problemi relativi al consenso che si vuole creare: molti osservatori hanno notato come i sondaggi sembrano riflettere l’orientamento politico di chi li commissiona. Per spiegarvi questa fondamentale questione mi baserò su sondaggi molto vecchi, così il tema è scollegato dalle miserie contingenti e nessuno se ne avrà a male; le informazioni che seguono sono tratte dal sito istituzionale che archivia tutti i sondaggi: http://www.sondaggipoliticoelettorali.it/.

In questa pagina trovate quelli dal 20 Giugno 2012 ad oggi (per un totale, al momento in cui scrivo, di oltre 1.200) ma nel vecchio sito ne trovate altri 3.340, dal 25 Ottobre 2000 al 19 Giugno 2012. Sono sondaggi apparsi su quotidiani e settimanali, in trasmissioni televisive, o commissionati da comitati e gruppi politici anche locali. Per ciascun sondaggio potrete vedere numerosità del campione (solitamente scarsa), numerosità delle sostituzioni (generalmente moltissime, indice di difficoltà a costruire un campione decente) e margine d’errore ammesso (dichiarato solitamente attorno al 3%).

Io vi propongo prima di tutto quelli relativi a una polemichetta di qualche anno fa relativa all’eventuale intitolazione di una strada milanese a Bettino Craxi. Nel sito in questione ho trovato questi:

  1. Sondaggio Ispo per Corriere della Sera dell’11 Gennaio 2010 (800 casi);
  2. Sondaggio Ferrari Nasi per Panorama dell’8 Gennaio (800 casi);

Le domande sono formulate in maniera differente, naturalmente, ma nel sondaggio Ispo – sull’opportunità di intitolare una strada a Craxi – il 39% dice “No perché la sua reputazione è stata inquinata da più di una questione” mentre solo il 9% dichiara “Non saprei perché non so bene cosa ha fatto Craxi” (i rimanenti per ora non ci interessano); Ma nel sondaggio Ferrari Nasi alla generica richiesta di un giudizio sull’uomo lo dà negativo il 30,7% e si ripara nel “Non so” ben il 42,6% degli intervistati. Insomma: mentre per i sondaggisti pro Corriere c’è un giudizio maggiormente negativo (la differenza è di più di otto punti) di quelli pro Panorama, per questi ultimi c’è una marea di “non so” (bastante a buttare nel cestino il sondaggio) a differenza dei precedenti, assolutamente molto ma molto più sicuri di quello che dicono. Eppure entrambi i sondaggi sono stati eseguiti con lo stesso criterio, la stessa ricerca di rappresentatività e lo stesso campione (apparentemente).

Questa grande differenza in due sondaggi simili, fatti nello stesso periodo con identici criteri campionari come può essere spiegata? Andiamo a spulciare ancora in questo sito:

  • il 21 Dicembre 2009 IPR, in un sondaggio per il quotidiano la Repubblica, ci informa che il 48% degli italiani ha molta/abbastanza fiducia in Berlusconi, contro il 49% che ne avrebbe poca/nessuna (1% senza opinione);
  • lo stesso giorno Ispo, per Corriere della sera, ci dice che il giudizio positivo sul premier ammonta al 55,9%.

Che dite? Fra il 48% appreso dai lettori di Repubblica (un punticino solo sotto il giudizio negativo, ma comunque sotto rimane, e in quel periodo Berlusconi, saldamente in sella, era fortemente l’avversario da battere) e il quasi 56% letto da quelli del Corriere, non pensate che ci sia una bella differenza, probabilmente più in termini politici che meramente statistici?

Prendiamo un altro tema caldo: il vecchio rapporto conflittuale fra Fini e Berlusconi, quando il primo era ancora nel Popolo della Libertà:

  • il 19 Novembre 2009 un sondaggio SpinCon per Notapolitica.it ci informa che fra gli elettori di centro destra l’80,2% si schiera con Berlusconi e il 19,8% con Fini (bel colpo, nessuno senza opinione!);
  • il 23 Novembre SWG per la trasmissione Annozero fa salire a 31% i finiani, scendere al 65% i berlusconiani, con un residuo 4% di altre risposte (tecnica e campioni diversi, e non si capisce se la domanda ha riguardato solo gli elettori di centrodestra).

Dovrebbe essere abbastanza evidente che certi spostamenti nei numeri sono singolarmente in linea con le culture politiche dei committenti, e che comunque ci sono discrepanze non ben comprensibili. Occorre notare, ma lo dico al volo, che le modalità operative dell’indagine, per esempio formulazione della domanda, ordine in cui le domande sono poste, modalità del contatto fra intervistato e intervistatore e così via influenzano moltissimo la risposta, un fatto ben noto ma troppo poco sottolineato.

Adesso andate voi sul sito segnalato sopra, prendete qualche argomento più attuale (per esempio: il M5S sta veramente andando bene nei sondaggi o sta veramente andando male?) e divertitevi da voi.

Insomma: i sondaggi sembrano strumenti di “costruzione dell’opinione pubblica”, piuttosto che di mera sua descrizione. In questi giorni il renzismo sta contagiando un po’ tutti e i sondaggi sulla fiducia che il premier ispira, e quelli sulle intenzioni di voto del suo partito, vanno ogni giorno meglio. E probabilmente è proprio così. Ma il continuo insistere, sondaggio dopo sondaggio, sull’onda di vittoria del PD, contribuisce a costruire quella che viene chiamata “profezia che si autoavvera”: diventa cioè così indiscutibile che molti si accodano, si uniformano, si convincono che sia giusto votarlo (o rinunciare a votare tanto ha già vinto…) e tutto questo va a scapito della democrazia dialogica che pone dubbi, discute, si confronta liberamente (non condizionata dai sondaggi) costruisce un’opinione pubblica informata e quindi va a votare senza pregiudizi.

Infine: la risibile soluzione di Sky. Qualche tempo fa la brava direttrice di SkyTG24 Sarah Varetto ha annunciato che la sua testata non avrebbe fatto sondaggi in vista delle Europee, alla luce del disastro già ricordato di qualche mese fa. Applausi. Però, come dicevo proprio all’inizio, il sondaggismo è come l’oroscopo, come il gratta-e-vinci, come la Nutella, ed è difficile smettere sul serio. Cosa fa quindi Sky? Un quotidiano servizio che chiama “bussola dei sondaggi” basato sulla media dei risultati dei sondaggi altrui. Questa non è statistica sofisticata, ma matematica elementare: non si possono fare medie di campioni numericamente diversi, estratti con metodi diversi, in cui sono state somministrate a volte domande diverse. Non si può proprio fare.

Risorse: