Un sondaggio pubblicato il 3 gennaio 2021, sul Corriere della Sera rivela una volta ancora, in maniera incontrovertibile, che:

• i sondaggi politici sono fatti alla carlona;
• al netto degli errori sistematici, dicono cose ovvie che già si sapevano;
• hanno una funzione retorica, e quindi ideologica, e in conclusione manipolatrice.

Poiché il problema non è solo dei sondaggi politici, ma di tutto un uso retorico dei dati numerici, vale la pena approfondire per trarne indicazioni di natura generale, utili anche agli scienziati sociali e ai valutatori di politiche.

Andiamo con ordine.

I sondaggi politici sono fatti alla carlona

Questo pubblicato dal Corriere in particolare - rivela una notina in fondo all’articolo - è basato su 33.000 interviste ricavate da 183.700 contatti. Una semplice divisione ci rivela quindi che ogni intervista è il frutto di 5/6 telefonate (in media); qualcuno non risponde, qualcuno manda subito l’intervistatore a quel paese… Anche se non siete esperti statistici comprendete bene che quello che viene chiamato “campione rappresentativo” non è mai il gruppo di persone sapientemente selezionato per rappresentare l’intera popolazione, ma sempre e solo il fondo del barile, quelli che accettano, alla fine, di rispondere, dopo numerosi tentativi non andati a buon fine. È facile comprendere come certe categorie di persone siano meno inclini a rispondere (per esempio professionisti) e quindi in quei casi non si saranno fatti 5 o 6 tentativi ma, probabilmente, dozzine. Occorre quindi chiedersi: quelli che alla fine rispondono, hanno davvero le medesime caratteristiche sociali, culturali, psicologiche, dei tanti che hanno attaccato il telefono in faccia al disturbatore? Ovviamente no. Non possiamo sapere in cosa differiscono ma è evidente che una differenza, socialmente apprezzabile, esiste, e tale differenza distorce, modifica, inquina la natura delle risposte di costoro, che si pretenderebbero “rappresentative”.

Sempre la notina ci informa che le interviste sono state fatte tramite “mixed mode (CATI/CAMI/CAWI)”, cose oscure che significano che i 33.000 sono in parte stati raggiunti via telefono (CATI - Computer Assisted Telephone Interviewing): quindi c’è un intervistatore/trice davanti a un computer, c’è una selezione automatica dei numeri, se all’altro capo qualcuno risponde l’intervistatore imputa le dichiarazioni, solitamente tramite codici. CAMI è quasi la stessa cosa, ma l’intervista è stata indirizzata a telefoni cellulari. Questa scelta è dovuta ai diversi pubblici delle due telefonie; ormai molte persone abbandonano il telefono domestico e usano solo lo smartphone, e anche queste differenze hanno a che fare con stili di vita e modelli culturali sociologicamente correlati a età, classe sociale e altro, e bisogna avere dei dati molto approfonditi per campionare le due categorie di cittadini in maniera adeguata. Ma poi c’è anche il CAWI (Computer Assisted Web Interviewing) che funziona più o meno così: il questionario è sul Web; i potenziali intervistati sono invitati ad accedere sul sito e compilare il form in autonomia. Qui ovviamente occorre chiedersi (oltre alle differenze fra utenti Web e telefonici che - come sopra - rinvia a tratti socio-culturali differenti) chi siano esattamente costoro; la risposta, generalmente, è questa: sono un elenco affidabile (per l’azienda intervistatrice) di mercenari delle risposte, di habitué, in alcuni casi pagati, generalmente consapevoli di “cosa fare e come farlo”. Questo guazzabuglio viene nascosto nel termine mixed mode che - lo sanno i più esperti - rimanda lessicalmente a un’indirizzo metodologico assai più arduo e nobile, chiamato mixed method, col quale non ha proprio nulla a che fare.

Ma non è finita, perché quella valanga di tentativi di interviste, dalla quale si è estratto il gruppo (definirlo ‘campione’, a questo punto, è arduo), sono state realizzate fra il 10 settembre e il 16 dicembre; tre mesi! Tre mesi in cui, per esempio, si è passati dall’esuberanza estiva rispetto al virus alle preoccupazioni della seconda ondata e alla promessa vaccinale, con tutte le ricadute politiche del caso; con le elezioni americane e i sui riflessi culturali e ideologici anche in Italia, e via via tutte le questioni che hanno certamente influito, in maniera differente, nel far mutare parere politico agli intervistati, così che chi era simpatizzante di un partito a inizio indagine poteva non esserlo più alla fine, con nuove distorsioni e fattori di errore nei risultati finali.

E questo è quanto si può inferire da quel poco che viene dichiarato (per obbligo di legge) nella menzionata notina, che gli “aggiustamenti” fatti per far quadrare i conti sono noti solo a chi queste indagini le fa, e da quello che trapela - a mezza voce - negli ambienti specializzati. Se desiderate saperne di più su quanto male siano fatti i sondaggi, rinvio a un mio vecchio post sul blog Hic Rhodus.

I sondaggi (ma in generale tutte le ricerche di questo tipo) ci dicono cose che sapevamo già

Una cosa poco avvertita dal fruitore medio di statistiche (in questo caso lettori del Corriere, ma in altri casi funzionari pubblici che devono valutare una politica, decisori, tecnici…) è che in generale dicono cose che già sapevamo.

Nel caso del sondaggio che sto utilizzando come esempio, apprendiamo che in generale due terzi, o più, di coloro che alle Europee 2019 hanno votato un determinato partito, oggi lo rivoterebbe. E che il terzo scarso che cambierebbe lista lo farebbe per lo più a favore di liste affini, o quanto meno della stessa area (destra vs. sinistra). Stiamo imparando qualcosa? Questo risultato è forse inatteso? No, evidentemente. Si potrebbe cavillare che sì, in generale il risultato era noto e atteso, ma se ne ignoravano le esatte proporzioni, le percentuali esatte! A questa obiezione posso facilmente opporre le seguenti argomentazioni: i) sondaggi fatti alla carlona, come detto, non danno nessunissima garanzia sulla qualità dei dati e la validità dei numeri, quindi dobbiamo prenderli come informazioni “in generale”, e non come cifre esatte; ii) al netto del punto precedente (e quindi con validità generale anche per ricerche, analisi e valutazioni ottimamente realizzate) quei numeri sono il frutto di dichiarazioni spontanee di individui con idee variabili, motivazioni cangianti, momenti dell’intervista incontrollabili, e sempre sotto l’egida del “postulato del mal di pancia”; vale a dire che le risposte dipendono sì dalla propria più o meno radicata idea politica (nel caso dei sondaggi) o opinione sull’oggetto della domanda, ma può mutare in base a una quantità di fattori anche personali (sentirsi a disagio, avere da poco litigato col coniuge, avere appunto un attacco di mal di pancia) in virtù della complessità della domanda posta, un elemento questo che chi segue il sondaggismo, specie nei talk show, non può non avere percepito; iii) infine, anche al netto del punto precedente e approdando a questioni di natura più epistemologica, dobbiamo chiederci quale significato reale abbiano queste informazioni; nel sondaggio in questione, per esempio, apprendiamo che il 74,2% degli intervistati che votarono Forza Italia alle Europee, oggi rivoterebbero lo stesso partito. Chiediamoci: se anziché 74,2% il risultato fosse stato 71,6 o 76,1%, avremmo reagito differentemente? No, ovviamente, perché per note ragioni relative al funzionamento del nostro cervello noi ancoriamo il risultato approssimativamente al settimo decile (in modo da concepirlo meglio) e tralasciamo i dettagli che costituiscono semplicemente una sorta di nebbia, di rumore entro il quale il dato è inserito. Quindi, lo spreco di tempo e risorse, per dirci cose già intuibili (sulla base di teorie sociologiche, psicologiche, politologiche), dalle quali tratteniamo solo l’idea all’ingrosso, non è in alcun modo giustificata.

A meno che…

A meno che i dati rilevati (rilevandoli bene) non siano informazioni su proprietà continue, di natura fisica (e poche altre) dove valori differenti rimandano a reali stati differenti sulla proprietà indagata: il dato esatto della pressione di una caldaia può fare la differenza fra una caldaia funzionante e una che scoppia; il dato esatto sulla glicemia può fare la differenza fra un individuo sano, uno malato e uno morto; il dato esatto sulle spese nell’ambito di un Fondo strutturale fa la differenza, non solo contabile, su quanto realizzato, quanto potenzialmente ancora realizzabile e in alcuni casi, induttivamente, sulla capacità di ben spendere delle Regioni. Sì, i dati servono e sono importanti, se ben costruiti. Ma questi casi sono molto particolari: l’ingegneria, la medicina, la fisica e la chimica, hanno bisogno di dati.

Ma la sociologia, l’economia (che finge di essere rigorosa), l’amministrazione pubblica, la valutazione delle politiche e, certo, anche il sondaggismo, cercano di copiare l’esattezza di altre scienze e di altre pratiche, sfornando statistiche con tanto di decimali, con una inutilità esasperante, perché i numeri funzionano sul piano lessicale, mentre le culture, le opinioni, le valutazioni, le ideologie, le visioni del mondo, funzionano sui piani semantico e pragmatico. Un discorso molto lungo e complesso che non si può approfondire qui, ma che i lettori avranno ritrovato anche in precedenti note su questo blog della Centrale, per esempio questa.

La funzione retorica e manipolatrice dei dati

In conclusione occorre fare una riflessione sul significato di questa marea di informazioni che la stampa ci sforna quotidianamente. I sondaggi, sempreverdi; ma anche le classifiche (delle città dove si vive meglio, dei paesi più felici, delle università migliori…) e altre discutibili proposte informative che condividono, tutte, nessuna esclusa, queste caratteristiche: i) una metodologia discutibile, o comunque debole; ii) delle inferenze logiche (dai dati proposti alle conclusioni che se ne traggono) infarcite da fallacie, iii) un carattere assertivo, al limite del dogmatico, proprio in virtù del fatto che sono sostenute da dati, da numeri e quindi - nella vulgata collettiva - certi, validi, infine veri.

Per ragioni che credo abbiamo chiaramente mostrato, questi “dati” si prestano a un uso demagogico, strumentale: volete fare una campagna politica contro una categoria di individui? State pur certi che si possono trovare dei dati che mostrano come costoro siano delinquenti, o fannulloni, o qualcos’altro capace di ispirare sentimenti negativi verso quel gruppo sociale. Desiderate uscire dall’Euro? Facilissimo mostrare dati che illustrano come l’Euro ci abbia impoveriti a scapito dei famelici banchieri tedeschi. Siete contrari al vaccini? Si trovano tantissimi dati sulla loro pericolosità, a sostegno delle vostre tesi!

Qui non sto parlando di dolo, che pure negli esempi citati sono frequenti, ma di sapiente scelta dei dati più opportuni al fine di sostenere una tesi anziché un’altra. Questo ha a che fare con quanto sopra chiamavamo piano “lessicale” dei dati. I dati - intesi come numeri - sono come le parole del dizionario; dicono poco, e male, rispetto ai concetti complessi che vogliamo esprimere nella nostra socialità; i demagoghi, i mestatori, gli azzeccagarbugli della nostra articolata e complessa società, usano indifferentemente parole (nella forma di slogan, di asserti) e numeri per indirizzare l’opinione pubblica, per sollevare dubbi strumentali, per contribuire a far modificare la visione della politica.

Nel campo tecnico, come nel caso della valutazione delle politiche, questi pericoli non sono affatto scongiurati, ma presenti esattamente allo stesso modo. Tutta la ricerca sociale, e la valutazione delle politiche che ne è parte, viene realizzata da individui con interessi, motivazioni, debolezze, soggetti a lusinghe e ricatti, capaci e sovente meno capaci tecnicamente… molto spesso ignari delle problematiche epistemologiche relative alla natura del dato, sua costruzione e implicazioni di questo processo. La ricerca valutativa, poi, è così inserita in un contesto amministrativo e politico, a volte frustrante, a volte oppressivo per il valutatore, dove una errata cultura del dato porta a scivolare nel piano inclinato che - nel nostro ambiente - può essere rappresentato dalla battuta “dobbiamo costruire mezza dozzina di indicatori per l’assessore”. E alzi la mano chi non si è mai trovato in questa situazione.

CB