1. Perché un buon questionario ha bisogno di bravi intervistatori

Parliamo - per ragioni che saranno chiare a breve - della scomparsa degli intervistatori.

Un buon questionario, ottimamente concepito dopo un lungo e accurato percorso di concettualizzazione, redatto con ogni possibile cura, testato, somministrato a uno splendido campione estratto con perizia… non può funzionare senza intervistatore per il semplice motivo che è uno strumento eminentemente sintattico, e quindi con altissimi margini di interpretabilità da parte di intervistati diversi per età, istruzione, stili di vita e moltissimo altro, inclusa l’eventualità di essere intervistati durante un feroce mal di testa, all’indomani del licenziamento o dopo un litigio per il parcheggio. Il problema dell’interpretazione, tipico di tutti gli approcci sintattici, è plasticamente rappresentato dal questionario, con la sua necessaria standardizzazione, il testo scritto, le scale e via discorrendo; il testo del questionario esprime la sintassi del ricercatore, con la sua semantica sottostante; poi quella medesima sintassi viene letta dall’/all’intervistato, da lui “tradotta” dalla/nella propria semantica; l’intervistato, a partire dalla sua semantica e pragmatica risponde, la risposta viene resa in forma sintattica identica a quella della domanda (p.es. in lingua italiana) che il ricercatore considera come se esprimesse una semantica coerente con la sua.

Ho provato a rappresentare la questione nella figura 1:

Fig. 1 Semantica e pragmatica nel questionario senza mediazione dell’intervistatore

Esiste una sterminata letteratura linguistica sull’argomento, solitamente ignorata dai costruttori seriali di questionari e spesso sottovalutata anche da ricercatori più esperti, se non altro perché prendere in seria considerazione il problema linguistico significa mettere in discussione la validità stessa di molti impianti di ricerca sociale.

Gli intervistatori (bravi, motivati, ben pagati, ça va sans dire) sono l’unica strategia di somministrazione che permette di contrastare (non eliminare) il vulnus insito nel questionario (figura 2).

Fig. 2 Semantica e pragmatica nel questionario con la mediazione dell’intervistatore

È del tutto evidente che l’intervistatore, ponendosi come facilitatore e mediatore della comprensione della domanda (della sua semantica o - più raro ma possibile - della sua pragmatica) entra nel contesto dell’intervista perturbandolo.

Per quanto mi riguarda, le paturnie cosiste, positiviste, comportamentiste non mi turbano punto. Se non è chiaro che la ricerca sociale interviene sempre e comunque nel contesto indagato, meglio darsi alla chimica… Ciò detto, occorre scegliere entro un dualismo assolutamente chiaro: o si insegue la purezza immaginaria di un pensiero mitico dell’intervistato, latente da qualche parte nel suo cervello e solo da estrarre da parte di un bravo ricercatore (questa immagine può essere traslata anche fuori dal contesto del questionario, adattandola ad altre pratiche di ricerca), oppure la ricerca sociale smette di inseguire la verità (qualunque cosa intendiate con tale termine, reale, simbolico, aforistico…) e approda alla sua reale vocazione: costruire domande, comporre scenari, allestire ipotesi probabilistiche, e quindi co-costruire tali domande, scenari e ipotesi con gli attori sociali che si muovono nella complessità contemporanea, allo scopo di produrre conoscenza.

In questa visione costruttivista, fenomenologica, della sociologia e della ricerca sociale, il ruolo dell’intervistatore diventa fondamentale per aiutare gli intervistati a superare le rigidità della sintassi (e dello scontro fra le differenti grammatiche in gioco) approdando quanto meno al livello della semantica.

La questione, in termini generali, si può quindi così riassumere: tutta la ricerca sociale tratta di relazioni umane, e quindi di semantica e pragmatica; se le trattiamo solo sotto il profilo sintattico avremo gruppi di lavoro (focus group, nominal group technique e molte altre) ridicolmente concordi o comunque appiattiti sulla volontà del ricercatore, e questionati destinati a “scoprire” sempre e solo l’ovvio, perché interamente già inscritto nella sintassi del ricercatore. Tutta la ricerca sociale è opera di avvicinamento di mondi e quindi deve essere realizzata dal ricercatore che diventa, sempre, anche mediatore e facilitatore. La peculiarità del questionario impone solitamente una “moltiplicazione dei ricercatori” sotto forma di intervistatori, a meno che il ricercatore non abbia tempo, pazienza e tigna per far tutto da solo o quasi, il che si scontra col LSRS (liberismo selvaggio della ricerca sociale) di cui parlerò poco più avanti.

Quindi, per quanto riguarda il nostro quesito principale: il ricercatore fa tutte le cose per bene come scritto sopra; l’intervistatore adatta la domanda all’intervistato (semmai in seconda battuta), lo aiuta a comprendere cosa esattamente voglia il ricercatore e a formulare bene la sua risposta; quindi - se il questionario è strutturato - sceglie fra le risposte disponibili quella che meglio si attaglia a quanto detto, liberamente, dall’intervistato (o scrive la risposta nel caso di domanda aperta, pone annotazioni, etc.).

Senza intervistatore cade la possibilità di questa facilitazione, e tutti i meccanismi relativi alla comprensione-risposta sono lasciati alla casualità. Anche il cattivo utilizzo degli intervistatori può indurre un analogo errore. Occorre segnalare che agendo sul piano linguistico (e quindi dei valori veicolati dal linguaggio), questa distorsione non è stimabile e correggibile, ex post, da qualche sapiente statistico possessore di qualche favoloso strumento correttivo.

2. La scomparsa degli intervistatori coincide con la scomparsa dei questionari

Ormai misuro in decenni il tempo trascorso dall’ultima ricerca da me fatta o letta con questionari-intervistatori. Sono certo che questo autentico reperto archeologico, come la Lettera 32 e le collezioni di francobolli, sopravviva in qualche ateneo, oltre che nella pratica di qualche consapevole ricercatore che si trova nelle condizioni esterne di poterle fare (ci sto per tornare). Fuori da questi eccellenti, nobili e rarissimi esempi, la ricerca sociale ha prima scotomizzato i ricercatori e poi l’essenza dei questionari, che sopravvivono nella forma deteriore e miserevole che descriverò a breve. Per realizzare infatti i questionari come indicati sopra, non solo occorrono soldi, tempi ed energie assolutamente incompatibili con le esigenze pratiche contemporanee, ma occorre, prima di tutto (prima ancora di domandarsi se si hanno i soldi) una concezione costruttivista della ricerca sociale o, quanto meno, una concezione lontana dal cosismo positivista.

Il punto cruciale da comprendere è che la scomparsa di tale concezione, e le conseguenze sui questionari, non riguarda semplicemente qualche esoterico cambio di paradigma degli scienziati sociali, ma un più prosaico ed essoterico stile “pratico” della comunità dei fruitori dei prodotti sociali: politici ed amministratori pubblici principalmente, poi manager, valutatori (ed altri ricercatori operativi) comunicatori (questi ultimi hanno circa l’82,3% delle responsabilità complessive).

Il problema è che costruire domande, scenari, ipotesi come scritto sopra, riguarda una società aperta, che accoglie la complessità, che cerca il confronto attraverso l’argomentazione di tesi, che impara dall’esperienza. Tutto questo è stato appannaggio di élite, cenacoli, scuole di pensiero minoritarie. E per un periodo breve e felice, quello del liberalismo scientifico: impariamo, condividiamo, cresciamo!

Oggi una serie di diverse circostanze induce a cercare, al contrario, risposte, brevi, semplici, dirette. Possibilmente stereotipate e a ben guardare già note, così rassicurano.

La ricca eterogenesi che ha prodotto questo risultato è composta eminentemente dalle tecnologie del click, dalle risposte a tutti i quesiti più uno dell’Internet 2.0, dal permanere di un apparato amministrativo arretrato, da un’accademia troppo spesso accondiscendente (un esempio per tutti: la canea accademica che ha santificato il focus group, rendendolo “scientifico”, e i disastri immani che ciò ha provocato). E dalla caduta del muro di Berlino, naturalmente. Vale a dire: come tale caduta ha fatto sparire i Bresnev sostituendoli coi Putin, così il pensiero sociologico degli ultimi decenni ha fatto sparire il positivismo classico sostituendolo col peggior praticume approssimativo.

Questa è l’epoca del liberismo selvaggio della ricerca sociale (LSRS): sbrigatevi, siate retorici, non sollevate problemi, raccontateci ciò che vogliamo sentirci dire, fatturate.

I questionari, fra l’altro, costano troppo, sono troppo lenti e - se fatti bene - rendono evidente la complessità e impossibile il suo camuffamento.

Se fatti male, invece, producono tonnellate di dati totalmente inutili ma accontentano tutti, soddisfano la comunicazione e sono servili. E come si fa, male, un questionario? Ovviamente ipersemplificando la sua costruzione, appiattita su luoghi comuni e sulla sintassi più banale e - necessariamente - escludendo i facilitatori, i mediatori, ovvero gli intervistatori. E poiché sono disponibili dozzine di strumenti on line per allestire [pseudo]questionari e diffonderli erga omnes (la cultura del click), ecco fatto! Facciamo un questionario? Chiediamo questo e anche quest’altro, buttiamolo sulla piattaforma e facciamolo circolare fra qualcuno, e sempre viva l’SPSS!

3. La morte dei questionari indica la sconfitta della ricerca sociale

Andando ora fuori tema vorrei segnalare che l’evidente morte del questionario riguarda, assai più in generale, la sconfitta atroce della ricerca sociale nel mondo contemporaneo. Oggi non si fa più ricerca ma inchieste, sondaggi, robette di facile fruizione sulla Rete, semmai gestite da colossi internazionali. Chi per lavoro o curiosità compulsa la Rete trova dozzine di “dati”, “risultati”, “evidenze” sugli argomenti più stravaganti, indici di Qualchecosa, indicatori di Qualchecosaltro, per riempire le zone basse dei quotidiani on line in cerca di click. La politica si fa attraverso i sondaggi; la valutazione si fa principalmente con risibili focus group e pseudo-questionari; la rubrica astrologica è quasi più seria…

Gli illustri professori che leggeranno questa nota possono naturalmente dissentire alla luce delle loro bellissime ricerche di ateneo, di quelle dei loro dottorandi, di qualche collega. Mi permetto di dir loro che si illudono, non certo sulla qualità del loro lavoro quanto sulla loro funzione sociale. La frattura culturale, oltre che sociale e tecnologica, del Terzo Millennio, ha escluso dal mondo reale, fra le altre cose, la figura dell’intellettuale che argomenta e dubita, a favore dei comunicatori che asseriscono e forniscono certezze. Oggi ha vinto il LSRS, e chi fa cultura, ricerca, chi propone argomentazioni, chi solleva domande, chi indica “il metodo” può essere tollerato finché resta in un polveroso ateneo, ma è comunque sconfitto appena cerca di dare conseguenze pratiche al proprio lavoro. Ho discusso a lungo altrove le ragioni e i meccanismi di questa frattura e non è il caso di riprendere qui quei pensieri.

Il fatto è che nessuno, ma proprio nessuno, è disponibile a mettere sul tavolo 50-100.000 Euro per una bella ricerca, con un questionario (o altro) fatto bene, con delle pagine da leggere (!!) che poi non danno neppure le risposte cercate, per le quali si aveva così generosamente pagato e pretendono, al contrario, di suscitare PENSIERI!

Claudio Bezzi,

12 marzo 2021

Un sondaggio pubblicato il 3 gennaio 2021, sul Corriere della Sera rivela una volta ancora, in maniera incontrovertibile, che:

• i sondaggi politici sono fatti alla carlona;
• al netto degli errori sistematici, dicono cose ovvie che già si sapevano;
• hanno una funzione retorica, e quindi ideologica, e in conclusione manipolatrice.

Poiché il problema non è solo dei sondaggi politici, ma di tutto un uso retorico dei dati numerici, vale la pena approfondire per trarne indicazioni di natura generale, utili anche agli scienziati sociali e ai valutatori di politiche.

Andiamo con ordine.

I sondaggi politici sono fatti alla carlona

Questo pubblicato dal Corriere in particolare - rivela una notina in fondo all’articolo - è basato su 33.000 interviste ricavate da 183.700 contatti. Una semplice divisione ci rivela quindi che ogni intervista è il frutto di 5/6 telefonate (in media); qualcuno non risponde, qualcuno manda subito l’intervistatore a quel paese… Anche se non siete esperti statistici comprendete bene che quello che viene chiamato “campione rappresentativo” non è mai il gruppo di persone sapientemente selezionato per rappresentare l’intera popolazione, ma sempre e solo il fondo del barile, quelli che accettano, alla fine, di rispondere, dopo numerosi tentativi non andati a buon fine. È facile comprendere come certe categorie di persone siano meno inclini a rispondere (per esempio professionisti) e quindi in quei casi non si saranno fatti 5 o 6 tentativi ma, probabilmente, dozzine. Occorre quindi chiedersi: quelli che alla fine rispondono, hanno davvero le medesime caratteristiche sociali, culturali, psicologiche, dei tanti che hanno attaccato il telefono in faccia al disturbatore? Ovviamente no. Non possiamo sapere in cosa differiscono ma è evidente che una differenza, socialmente apprezzabile, esiste, e tale differenza distorce, modifica, inquina la natura delle risposte di costoro, che si pretenderebbero “rappresentative”.

Sempre la notina ci informa che le interviste sono state fatte tramite “mixed mode (CATI/CAMI/CAWI)”, cose oscure che significano che i 33.000 sono in parte stati raggiunti via telefono (CATI - Computer Assisted Telephone Interviewing): quindi c’è un intervistatore/trice davanti a un computer, c’è una selezione automatica dei numeri, se all’altro capo qualcuno risponde l’intervistatore imputa le dichiarazioni, solitamente tramite codici. CAMI è quasi la stessa cosa, ma l’intervista è stata indirizzata a telefoni cellulari. Questa scelta è dovuta ai diversi pubblici delle due telefonie; ormai molte persone abbandonano il telefono domestico e usano solo lo smartphone, e anche queste differenze hanno a che fare con stili di vita e modelli culturali sociologicamente correlati a età, classe sociale e altro, e bisogna avere dei dati molto approfonditi per campionare le due categorie di cittadini in maniera adeguata. Ma poi c’è anche il CAWI (Computer Assisted Web Interviewing) che funziona più o meno così: il questionario è sul Web; i potenziali intervistati sono invitati ad accedere sul sito e compilare il form in autonomia. Qui ovviamente occorre chiedersi (oltre alle differenze fra utenti Web e telefonici che - come sopra - rinvia a tratti socio-culturali differenti) chi siano esattamente costoro; la risposta, generalmente, è questa: sono un elenco affidabile (per l’azienda intervistatrice) di mercenari delle risposte, di habitué, in alcuni casi pagati, generalmente consapevoli di “cosa fare e come farlo”. Questo guazzabuglio viene nascosto nel termine mixed mode che - lo sanno i più esperti - rimanda lessicalmente a un’indirizzo metodologico assai più arduo e nobile, chiamato mixed method, col quale non ha proprio nulla a che fare.

Ma non è finita, perché quella valanga di tentativi di interviste, dalla quale si è estratto il gruppo (definirlo ‘campione’, a questo punto, è arduo), sono state realizzate fra il 10 settembre e il 16 dicembre; tre mesi! Tre mesi in cui, per esempio, si è passati dall’esuberanza estiva rispetto al virus alle preoccupazioni della seconda ondata e alla promessa vaccinale, con tutte le ricadute politiche del caso; con le elezioni americane e i sui riflessi culturali e ideologici anche in Italia, e via via tutte le questioni che hanno certamente influito, in maniera differente, nel far mutare parere politico agli intervistati, così che chi era simpatizzante di un partito a inizio indagine poteva non esserlo più alla fine, con nuove distorsioni e fattori di errore nei risultati finali.

E questo è quanto si può inferire da quel poco che viene dichiarato (per obbligo di legge) nella menzionata notina, che gli “aggiustamenti” fatti per far quadrare i conti sono noti solo a chi queste indagini le fa, e da quello che trapela - a mezza voce - negli ambienti specializzati. Se desiderate saperne di più su quanto male siano fatti i sondaggi, rinvio a un mio vecchio post sul blog Hic Rhodus.

I sondaggi (ma in generale tutte le ricerche di questo tipo) ci dicono cose che sapevamo già

Una cosa poco avvertita dal fruitore medio di statistiche (in questo caso lettori del Corriere, ma in altri casi funzionari pubblici che devono valutare una politica, decisori, tecnici…) è che in generale dicono cose che già sapevamo.

Nel caso del sondaggio che sto utilizzando come esempio, apprendiamo che in generale due terzi, o più, di coloro che alle Europee 2019 hanno votato un determinato partito, oggi lo rivoterebbe. E che il terzo scarso che cambierebbe lista lo farebbe per lo più a favore di liste affini, o quanto meno della stessa area (destra vs. sinistra). Stiamo imparando qualcosa? Questo risultato è forse inatteso? No, evidentemente. Si potrebbe cavillare che sì, in generale il risultato era noto e atteso, ma se ne ignoravano le esatte proporzioni, le percentuali esatte! A questa obiezione posso facilmente opporre le seguenti argomentazioni: i) sondaggi fatti alla carlona, come detto, non danno nessunissima garanzia sulla qualità dei dati e la validità dei numeri, quindi dobbiamo prenderli come informazioni “in generale”, e non come cifre esatte; ii) al netto del punto precedente (e quindi con validità generale anche per ricerche, analisi e valutazioni ottimamente realizzate) quei numeri sono il frutto di dichiarazioni spontanee di individui con idee variabili, motivazioni cangianti, momenti dell’intervista incontrollabili, e sempre sotto l’egida del “postulato del mal di pancia”; vale a dire che le risposte dipendono sì dalla propria più o meno radicata idea politica (nel caso dei sondaggi) o opinione sull’oggetto della domanda, ma può mutare in base a una quantità di fattori anche personali (sentirsi a disagio, avere da poco litigato col coniuge, avere appunto un attacco di mal di pancia) in virtù della complessità della domanda posta, un elemento questo che chi segue il sondaggismo, specie nei talk show, non può non avere percepito; iii) infine, anche al netto del punto precedente e approdando a questioni di natura più epistemologica, dobbiamo chiederci quale significato reale abbiano queste informazioni; nel sondaggio in questione, per esempio, apprendiamo che il 74,2% degli intervistati che votarono Forza Italia alle Europee, oggi rivoterebbero lo stesso partito. Chiediamoci: se anziché 74,2% il risultato fosse stato 71,6 o 76,1%, avremmo reagito differentemente? No, ovviamente, perché per note ragioni relative al funzionamento del nostro cervello noi ancoriamo il risultato approssimativamente al settimo decile (in modo da concepirlo meglio) e tralasciamo i dettagli che costituiscono semplicemente una sorta di nebbia, di rumore entro il quale il dato è inserito. Quindi, lo spreco di tempo e risorse, per dirci cose già intuibili (sulla base di teorie sociologiche, psicologiche, politologiche), dalle quali tratteniamo solo l’idea all’ingrosso, non è in alcun modo giustificata.

A meno che…

A meno che i dati rilevati (rilevandoli bene) non siano informazioni su proprietà continue, di natura fisica (e poche altre) dove valori differenti rimandano a reali stati differenti sulla proprietà indagata: il dato esatto della pressione di una caldaia può fare la differenza fra una caldaia funzionante e una che scoppia; il dato esatto sulla glicemia può fare la differenza fra un individuo sano, uno malato e uno morto; il dato esatto sulle spese nell’ambito di un Fondo strutturale fa la differenza, non solo contabile, su quanto realizzato, quanto potenzialmente ancora realizzabile e in alcuni casi, induttivamente, sulla capacità di ben spendere delle Regioni. Sì, i dati servono e sono importanti, se ben costruiti. Ma questi casi sono molto particolari: l’ingegneria, la medicina, la fisica e la chimica, hanno bisogno di dati.

Ma la sociologia, l’economia (che finge di essere rigorosa), l’amministrazione pubblica, la valutazione delle politiche e, certo, anche il sondaggismo, cercano di copiare l’esattezza di altre scienze e di altre pratiche, sfornando statistiche con tanto di decimali, con una inutilità esasperante, perché i numeri funzionano sul piano lessicale, mentre le culture, le opinioni, le valutazioni, le ideologie, le visioni del mondo, funzionano sui piani semantico e pragmatico. Un discorso molto lungo e complesso che non si può approfondire qui, ma che i lettori avranno ritrovato anche in precedenti note su questo blog della Centrale, per esempio questa.

La funzione retorica e manipolatrice dei dati

In conclusione occorre fare una riflessione sul significato di questa marea di informazioni che la stampa ci sforna quotidianamente. I sondaggi, sempreverdi; ma anche le classifiche (delle città dove si vive meglio, dei paesi più felici, delle università migliori…) e altre discutibili proposte informative che condividono, tutte, nessuna esclusa, queste caratteristiche: i) una metodologia discutibile, o comunque debole; ii) delle inferenze logiche (dai dati proposti alle conclusioni che se ne traggono) infarcite da fallacie, iii) un carattere assertivo, al limite del dogmatico, proprio in virtù del fatto che sono sostenute da dati, da numeri e quindi - nella vulgata collettiva - certi, validi, infine veri.

Per ragioni che credo abbiamo chiaramente mostrato, questi “dati” si prestano a un uso demagogico, strumentale: volete fare una campagna politica contro una categoria di individui? State pur certi che si possono trovare dei dati che mostrano come costoro siano delinquenti, o fannulloni, o qualcos’altro capace di ispirare sentimenti negativi verso quel gruppo sociale. Desiderate uscire dall’Euro? Facilissimo mostrare dati che illustrano come l’Euro ci abbia impoveriti a scapito dei famelici banchieri tedeschi. Siete contrari al vaccini? Si trovano tantissimi dati sulla loro pericolosità, a sostegno delle vostre tesi!

Qui non sto parlando di dolo, che pure negli esempi citati sono frequenti, ma di sapiente scelta dei dati più opportuni al fine di sostenere una tesi anziché un’altra. Questo ha a che fare con quanto sopra chiamavamo piano “lessicale” dei dati. I dati - intesi come numeri - sono come le parole del dizionario; dicono poco, e male, rispetto ai concetti complessi che vogliamo esprimere nella nostra socialità; i demagoghi, i mestatori, gli azzeccagarbugli della nostra articolata e complessa società, usano indifferentemente parole (nella forma di slogan, di asserti) e numeri per indirizzare l’opinione pubblica, per sollevare dubbi strumentali, per contribuire a far modificare la visione della politica.

Nel campo tecnico, come nel caso della valutazione delle politiche, questi pericoli non sono affatto scongiurati, ma presenti esattamente allo stesso modo. Tutta la ricerca sociale, e la valutazione delle politiche che ne è parte, viene realizzata da individui con interessi, motivazioni, debolezze, soggetti a lusinghe e ricatti, capaci e sovente meno capaci tecnicamente… molto spesso ignari delle problematiche epistemologiche relative alla natura del dato, sua costruzione e implicazioni di questo processo. La ricerca valutativa, poi, è così inserita in un contesto amministrativo e politico, a volte frustrante, a volte oppressivo per il valutatore, dove una errata cultura del dato porta a scivolare nel piano inclinato che - nel nostro ambiente - può essere rappresentato dalla battuta “dobbiamo costruire mezza dozzina di indicatori per l’assessore”. E alzi la mano chi non si è mai trovato in questa situazione.

CB

Per finalità storiografiche qualcuno ci descrive le “generazioni” valutative, o le “ondate”, “fasi” o altro; i meno raffinati si limitano a menzionare un generico passato positivista (i valutatori usano anche il termine ‘realista’) e un presente costruttivista, intendendoli comunque in maniera progressiva (il povero e ottuso positivismo e il rampante e promettente costruttivismo) ma i conti, in realtà, non tornano mai bene, nel senso che non riesce mai a cogliere - in queste rappresentazioni schematiche - il “dove siamo” nella mappa valutativa. Il problema sta nelle etichette, che si capisce - anche senza sforzi sociologici - che obbligano a semplificazioni buone per piccoli esercizi didattici, non per rappresentare la varietà e la ricchezza teorica e metodologica delle scienze sociali e della valutazione. Né i percorsi che ha fatto negli anni.
Noto che gli autori e le autrici delle “ondate” sono bravi narratori di mitologie poco al dentro della questione essenziale, che è il paradigma del metodo. Se guardiamo questo, se lo guardiamo veramente, comprendiamo una cosa piuttosto semplice. Fra positivisti e costruttivisti del secolo scorso, e primi anni di questo, sono cambiati gli approcci e gli accenti, ma non la natura del loro pensiero scientifico. Almeno, non in maniera dirimente.
Certo, i positivisti ingenui, cartesiani, della prima metà dello scorso secolo credevano possibile standardizzare la ricerca per cogliere una verità ultima, rappresentabile con dati certi e incontrovertibili. Questo monismo scientifico è stato abbastanza chiaramente superato dal dualismo costruttivista da quando si è reso evidente il fallimento del mandato monista nello studio delle relazioni sociali. Le differenze etniche, sociali, psicologiche e molteplici altre, la variabilità del comportamento per mille e mille elementi cangianti e imponderabili, hanno alla fine convinto a volgere lo sguardo verso l’impossibilità della standardizzazione, e ancor più la sua totale inutilità.
Ciò non di meno, la maggior parte degli autori schierati nel caucus costruttivista continuano a produrre lo stesso tipo di dati prodotti dai loro avi positivisti; anche se lo fanno camuffandoli. La cosa funziona più o meno così: devo valutare l’efficacia di una politica sociale (è un esempio a caso, mettete voi la politica o programma che preferite); poiché so (io che sono un costruttivista), che non posso misurare quell’efficacia, cerco altre strade, indirette, per potere soddisfare la domanda valutativa (e poter fatturare a chi quella domanda ha posto); faccio dei questionari, organizzo dei focus group, mi invento qualche giravolta e, se ho anche qualche decente base statistica, costruisco un bell’algoritmo per mettere insieme tutti questi risultati e dire poi al committente che, in una scala centesimale, la sua politica “vale” 87/100.
Il lettore capisce, ovviamente, che sto esagerando. Ma se fa parte di questa comunità di pratiche, di ricercatori sociali e valutatori, ha certamente esperienza di questo: nove volte su dieci il committente chiede - e il professionista offre - dei numeri: indicatori (intesi come numeri), percentuali, tabelle, valori. Realizzare una ricerca valutativa con soli quattro o cinque focus group, per rilasciare poi un rapporto puramente descrittivo di quanto detto in quelle riunioni, può andare bene per il professionista sottopagato che fa una micro ricerca sul servizio sociale di una cooperativa di provincia, ma non certo per la valutazione di un programma o di una politica. E quindi numeri, accidenti! L’inutile customer satisfaction sopravvive alla propria banalità perché produce numeri: gli utenti (cittadini, clienti) hanno detto, al 47,3%, che… Gli sterili indicatori sociali, che pure avrebbero nobili avi, sono ridotti alla prostituzione del numero perché lasciano intendere di essere oggettivi, comparabili, asettici. E i costruttivisti ci stanno dentro con tutti e due i piedi. Semmai fanno precedere qualche intervista alla customer satisfaction, o seguire qualche tecnica di gruppo alla costruzione degli indicatori. Ma fanno questo.
È - quello descritto - il paradigma della costruzione del dato intesa come misurazione o - per i meno sprovveduti fra i costruttivisti - conteggi, ordinamenti e quasi-misurazioni ottenute con scale cardinali (molto amate dai costruttivisti perché sembrano essere l’alibi inattaccabile per il delitto perfetto). Poiché sono un costruttivista, e so che non posso “misurare” i tuoi pareri e comportamenti, ti somministro delle scale; oppure ti lascio libero di parlare e poi sottopongo il trascritto di quanto mi hai raccontato a un bel software che farà l’analisi testuale; oppure ancora, in epoca di social media, faccio una sentiment analysis su Facebook. C’è questa idea di evitare il grezzo positivismo a livello di premessa e promessa, per poi cercare soluzioni esattamente positiviste (se preferite: post-positiviste). E poi ci sono sempre le scappatoie, come le presunte tecniche miste (mixed method) che nessuno sa cosa siano ma sono - proprio per questo - una figata pazzesca e forniscono un alibi perfetto: faccio cinque focus group (inutili ma qualitativi e tanto costruttivisti) per impostare un bel questionario (standardizzato e tanto realista).
Fortunatamente comincia ad apparire un nuovo paradigma. Un nuovo paradigma vero, non solo una nuova etichetta al paradigma vecchio. Il nuovo paradigma parte dalla vera, autentica, convinta considerazione che la verità cartesiana, molto semplicemente, non vale per le relazioni sociali (che è ciò di cui si occupano gli scienziati sociali e quindi i valutatori). Non è “per colpa” di queste scienze, da sempre considerate “deboli”; molto banalmente le relazioni sociali non sono l’oggetto della verità cartesiana, non lo possono essere. Ignoro, e non voglio discutere qui, se tale verità esiste nell’Universo; forse sì, non è il mio campo; forse esiste una sola verità fisica, le stelle, e le galassie e i buchi neri sono - forse - descrivibili in maniera univoca (quando avremo imparato a farlo) ed esisteranno secondo quella verità, in eterno. Ma non è così per gli esseri umani e le loro relazioni sociali. Se capiamo questo, se lo capiamo veramente e non astrattamente, avremo una piccola ma intensa epifania di questo genere: ma cosa me ne importa se quella politica sociale è “buona” per 87/100? E cosa diavolo significherebbe, poi, “buona”? E che ridicolaggine è 87/100? E quel 47,3% che avrebbe risposto in un determinato modo, alla domanda del mio questionario, mamma mia che assurdità!
Il nuovo paradigma che vedo emergere riguarda la costruzione del dato come costruzione di senso. Il nuovo paradigma sa che non c’è una verità, e che qualunque percentuale di risposta, qualunque misurazione statistica avrebbe altri valori se rifatta, se riproposta appena appena diversamente, se gli intervistati cambiano, se l’ora dell’intervista cambia, se qualche partecipante al mio focus group ha il mal di pancia… Rincorrere il dato inteso come misurazione assomiglia allo sforzo di un bambino che costruisce la sua piccola diga di sabbia contro le onde del mare.
Il nuovo paradigma riguarda il senso delle cose. Riguarda quindi la semantica e la pragmatica assai più della mera sintassi (sintassi = risposta a un questionario; numeri e indici; …); riguarda l’induzione e l’abduzione assai più della lineare e troppo controllabile deduzione. Riguarda modelli di ricerca e disegni di valutazione che non si pongono come risposta di verità (ti dico come stanno le cose, se hai fatto bene o male) ma come costruzione di domande assennate, quelle domande che aiutano tutti gli utilizzatori del nostro lavoro a capire il mondo (quel pezzetto di mondo nel quale operano). Porsi le domande giuste significa sapere dare un senso alle cose.
C’è una considerazione che vado facendo da un po’ di tempo: salvo casi drammaticamente perversi di cui non ho conoscenza, qualunque politica funziona. Una nuova politica del lavoro, un nuovo servizio sociale, un nuovo programma di sostegno alle imprese, non può che impiegare energie e risorse risolvendo alcuni aspetti, almeno, del problema cui intendeva rispondere. Può farlo benissimo, benino o malino, certo, ma solo se chiariamo - con esercizi faticosissimi e sempre discutibili, cosa significhino “veramente” questi aggettivi; per chi significano quelle cose; con che limiti; fino a quando… Quelle politiche possono funzionare meglio o peggio di altre, certo, ma solo se chiariamo - con approssimazioni mastodontiche di cui dovremo fingere di ignorare la portata - con quali criteri realizziamo il confronto, essendo i suoi oggetti assolutamente differenti fra di loro.
Voglio dire: qualunque artificio intendiamo utilizzare, noi non sapremo mai quanto veramente sia buona una politica (o programma), ma siamo legittimati a pensare che quelle energie profuse, quel tempo investito, quei capitali impegnati, siano serviti, almeno un po’, a migliorare qualcosa per qualcuno. Quel miglioramento non ci sarebbe stato senza quella politica. La valutazione dell’efficacia di una politica quindi, ha sempre due soli valori: 0 (zero) o 1, dove 0 significa “nessuna politica” e 1 significa “un qualche beneficio per qualcuno”.
Cercare di trovare un valore intrinseco migliore di 1, con strategie di ricerca aderenti al vecchio paradigma, è sterile, inutile, sostanzialmente falso.
Questa riflessione retrocede fino alle domande valutative. La domanda valutativa “Quanto è stata efficace la mia politica?” è sbagliata; o, quanto meno, la risposta è sempre e solo questa: “Fra 0 e 1, la tua politica è stata efficace 1, e non poteva essere altrimenti”.
La corretta domanda valutativa deve invece essere: “Che senso ha avuto questa politica?” Ovviamente questa macro domanda iper generica si sostanzierà in domande specifiche quali: “Chi ha vinto e chi ha perso in questa politica?”; “Quali elementi implementativi hanno rallentato il dispiegamento dei risultati?”; “Quali attori hanno operato delle frizioni negative sul programma? Perché?”; “Quali elementi di contesto hanno favorito od ostacolato il dispiegarsi dei meccanismi che hanno condotto al risultato finale?”; “Che ruolo hanno giocato gli operatori?”. Eccetera.
Cogliere il senso della politica (e non pretendere di misurarne gli effetti) è il solo e unico modo per imparare dalla valutazione e con la valutazione.
Sì, lo so: trovare un committente che accetti di fare queste domande valutative è decisamente difficile. Capita, ma raramente. Il mercato della valutazione, almeno in Italia, vive nel loop di committenti ingenui che fanno domande sbagliate e professionisti mediocri che danno loro risposte inutili; l’uno rinforza l’altro.
Ugualmente, il bravo professionista preme, spinge, insiste per far avanzare il livello della sua prestazione; incalza il committente affinché capisca il significato dell’analisi delle politiche e gli spiega come non cadere nello sciocchezzario di moda al momento (l’analisi controfattuale; la valutazione di impatto sociale…). Poi, ovviamente, tutti noi dovremo fare i quattro indicatori, redigere il maledetto questionario, fornire una bella regressione statistica… Facciamolo, ma sapendo e capendo quello che facciamo (e migliorando grandemente quegli indicatori, strutturando al meglio quel questionario, inserendo quella regressione in un disegno di ricerca intelligente).

CB

Naturalmente c’è la valutazione ex ante, quella in itinere e quella ex post che sono diversissime, lo dice la parola stessa, e chi ha fatto il liceo conosce quantomeno la consecutio temporum. Che poi, a volere essere pignoli, c’è pure una differenza fra valutazione intermedia e valutazione a medio termine… Poi - andando su vette più elevate - c’è la famosa zuppa di Stake che ci insegna simpaticamente a distinguere fra valutazione sommativa e formativa, che ancorché fuorvianti traduzioni dall’inglese sommative e formative, che vogliono dire altro, restano comunque una suddivisione fondamentale nella Grande Teoria Della Valutazione. E attenzione! Perché se è vero che ogni valutazione è un po’ formativa e un po’ sommativa (si tratta di una zuppa, tutto sommato, no?) resta il fatto che se siete compresi da un’ottica sommativa siete più temuti e andate al sodo della validità dei programmi, mentre se siete formativi siete simpatici e inclusivi e alla fine, diciamolo, chi se ne importa se il programma ha fatto schifo, l’importante e che abbiamo imparato qualcosa. Qualunque cosa. E questo ci porta alla grande famiglia delle valutazioni democratiche e capacitanti, a partire dall’Empowerment evaluation sulla quale Fetterman ha costruito una brillante e solida carriera. E se l’ha costruita una ragione ci sarà, non vi pare? D’altronde bisogna anche conoscere la Realistic evaluation di Pawson, che ha avuto una ventata di grande rinomanza anche in Italia, alcuni anni fa, grazie alla commendabile iniziativa di alcuni padri e madri della valutazione italiana che l’hanno introdotta nella nostra accogliente comunità, la quale nel frattempo aveva - giustamente, diciamolo - dimenticato la “Quarta generazione valutativa” di Guba e Lincoln, roba vecchia… E della Program-Theory Evaluation vogliamo parlare?

Ma se la Grande Teoria Della Valutazione vi fa un po’ girare la testa, e preferite lasciarla ai Grandi Teorizzatori Della Valutazione, quanto meno non potete, assolutamente non potete, esimervi dal conoscere le differenze fra risultati e impatti, e conseguentemente organizzare le analisi valutative differentemente, come Valutazione dei risultati oppure come Valutazione degli impatti; un po’ frigidi i primi ma così eccitanti i secondi! Talmente eccitanti che se ne parla con voce tremula, la si annuncia nei bandi valutativi, spesso a sproposito, la si brama, la si reclama! Diciamolo: cosa può valere di più di una buona valutazione degli impatti? E non venite ora a cavillare su cosa siano esattamente “gli impatti”, cercateveli su Google!

E ho taciuto della valutazione di processo contrapposta a quella di risultato, della valutazione distinta dal monitoraggio (mancanza imperdonabile!) della valutazione controfattuale distinta dai buchi neri e ho taciuto di molte altre dozzine di distinzioni, classificazioni, suddivisioni tutte più o meno note a seconda di come i proponenti abbiano saputo o meno far la loro fortuna cavalcando quelle che sono, e che restano, invenzioni linguistiche la cui importanza è assolutamente pari a zero.

La empowerment evaluation non esisterebbe senza Fetterman, ma Fetterman non esisterebbe senza la sua cavatina; Stake non sarebbe noto ai più senza la sua zuppa, Guba e Lincoln senza l’inutile quarta generazione, e così via. Solo gli autori di più spessore (Patton, Pawson…) hanno avuto anche altro da dire, oltre all’utilizzabilità valutativa il primo e al realismo il secondo. E quello di altro che hanno avuto da dire, e che li rende autori di spessore, è ciò che attraversa tutte, assolutamente tutte, le proposte e suddivisioni valutative qui citate: il metodo.

L’empowerment, la realistic, la sommative, la ex ante come la ex post, la democratica (diomio, come si fa a pensare, definire e teorizzare una “valutazione democratica”?) e tutte le altre quisquilie di cui si occupa la Grande Teoria Della Valutazione evaporano nella loro insignificanza appena si evoca il metodo.

C’è bisogno di spiegarsi?

La valutazione - a volere essere semanticamente pignoli - è l’esito di un processo di ricerca valutativa. Altrimenti è mero asserire da Bar Sport. La ricerca “valutativa” è una forma particolare, applicata, di ricerca sociale, e le differenze sono secondarie, operative, e non interessano il fondamento che le accomuna, che è il metodo della ricerca sociale, che ha un senso nell’alveo del generale metodo della ricerca scientifica contemporanea.

Quindi: l’empowerment, il realismo, la teoria del programma, l’ex ante, l’ex post, l’attenzione sui risultati o sugli impatti, le differenze col monitoraggio e ogni e ciascuna specificazione che volete proporre, evaporano di fronte all’unica riflessione che rende la valutazione un ambito professionale, tecnico e scientifico degno di essere discusso: il metodo della ricerca sociale. E, effettivamente, molte di queste proposte risultano totalmente inconsistenti proprio sotto questo profilo; e quindi inutili, anzi dannose, perché distraggono l’attenzione verso altri luoghi, verso altri concetti, verso altre pratiche che - essendo aliene al metodo - non sono ricerca valutativa, e di conseguenza non possono produrre dati validi e informazioni affidabili e pertinenti, non possono essere utili alla programmazione e alla decisione (che è ciò che caratterizza la valutazione, senza la quale diventa inutile), inquinano l’ambiente (professionale, culturale, politico, decisionale…) con aria fritta.

Diverse sono le (in realtà pochissime) distinzioni e classificazioni nell’ambito del metodo (le uniche che ci possono interessare). In pratica esiste una principale distinzione che ha un fondamento epistemologico e riguarda la ricerca (valutativa e non) controfattuale rispetto a tutte le altre forme di ricerca. Sorvoliamo qui sul fatto che nella grande famiglia controfattuale le proposte realmente costitutive di una episteme coerente, differente da quella non controfattuale, sono pochissime, e che nella realtà pratica moltissime proposte valutative si propongono controfattuali senza esserlo, con una di quelle faticose (per chi le subisce) concessioni a mode che nella nostra comunità di pratiche hanno solitamente la durata di un lustro circa (prima c’è stata la valutazione basata sulla qualità percepita, poi il realismo, poi la teoria del programma, poi il controfattuale e oggi la valutazione d’impatto - elementi spuri, certo). Messa da parte la scelta controfattuale (raramente possibile in pratica), si può discutere su approcci partecipati oppure no solo se la differenza discende direttamente da questioni di metodo, e non da ridicole presunzioni ideologiche (ne abbiamo parlato in un post precedente); si possono distinguere approcci standard e non standard, includendo nella discussione anche gli approcci misti (mixed method), e direi poche altre questioni realmente utili in una distinzioni fra approcci metodologici.

Questa terminologia, queste distinzioni metodologiche, hanno a che fare con l’epistemologia, ovvero la natura delle tecniche di fronte alla realtà fattuale da analizzare; è un problema altissimo, riguarda il modo in cui affrontiamo il mondo per capirlo, e se abbiamo voglia di alzare ancor più lo sguardo potremmo interrogarci sulla possibilità stessa di conoscerlo, quel mondo. Tornando bruscamente a terra, possiamo lasciare ai metodologi e agli epistemologi il compito di raggiungere quelle vette supreme, ma al contempo dobbiamo restare ancorati al metodo: ciò che ci deve interessare come scienziati sociali, come valutatori, come professionisti dell’analisi delle politiche inizia col metodo e finisce col metodo. Parliamo di mandato valutativo, per esempio, perché ha strettamente a che fare col metodo; parliamo di eventuale partecipazione se e in quanto incide su scelte di metodo; porgiamo attenzione agli approcci standard e non standard perché incidono pesantemente sui risultati del nostro metodo. E non ci deve interessare nulla - a meno che si debba presentare una relazione a un Convegno titolato - se la nostra valutazione è formativa o sommativa, di risultati o di impatti, realista o basata sulla teoria del programma o della quarta o della quinta generazione.

La valutazione che chiamiamo pragmatica, che viene considerata positivamente nell’ambito della Centrale Valutativa, è una riflessione metodologica. Non si contrappone né all’empowerment di Fetterman, né al realismo di Pawson né alla zuppa di Stake. È un approccio di ricerca, con una sua riflessione epistemologica, una sua coerenza metodologica, delle sue definizioni operative.

E non è di moda, il che la rende una gran cosa, davvero interessante.

Claudio Bezzi 

Il mio mestiere è la valutazione [dell’efficacia, dell’efficienza…] delle politiche pubbliche [programmi, progetti, pubblici o di ONG]. Mi chiamano perché dica, ai responsabili di una politica, se hanno fatto o stanno facendo bene, cosa non ha funzionato e perché. Qualche volta, anziché essere chiamato, partecipo a bandi. E questa era la premessa per contestualizzare.

Qualche giorno fa ero a Roma con i colleghi della Centrale per rispondere a due bandi particolari, con le seguenti prerogative:

• ampi, anzi: amplissimi come popolazione target e territorio coinvolto;
• oscuri, anzi proprio confusi, come accade quando per qualche motivo un Ente mette dei soldi non sa bene perché, per fare cose benemerite che non si sa affatto se funzioneranno;
• urgenti; come sempre ci siamo trovati pochi giorni a disposizione per scrivere.

L’ultimo punto è un mix di colpe amministrative dell’Ente appaltatore e ritardi cronici del soggetto proponente e non vale la pena parlarne. I primi due punti, invece, sono tipici dei programmi complessi che sono, di regola, programmi di intervento sociale (in senso lato: welfare, sanità, lavoro, formazione…), come nel caso che vi sto raccontando.

La figura (a sinistra) intende mostrare simbolicamente il problema: aree percepite e aree (che ci sono anche se non sono chiaramente percepite) che possono avere molta rilevanza; concetti sovrapposti e altri poco definibili; effetti intervenienti difficili da identificare.
La risposta del valutatore affronta quindi una duplice barriera:
•quella della complessità insita in ogni contesto sociale;
•quella dell’interpretazione che di quella complessità ha già dato l’Ente banditore, interpretazione che si evince dalle descrizione (più o meno buona) dell’oggetto di valutazione, dai vincoli e dalle indicazioni proposte, che non possono essere ignorate dal valutatore. 

Di fronte a questa [confusa] complessità, il valutatore deve dare - al contrario - una risposta organica, addirittura schematica, razionalista, causalista (dato il problema A con l’intervento B si otterrà la soluzione C). Insomma, qualcosa così. 

La risposta analitica
La figura (a destra) intende sottolineare un approccio analitico al problema della progettazione: si vedono tutti i pezzi indicati dal committente (e - se si ha un po’ di esperienza - anche altri), e ad ognuno di questi si dà una risposta specifica. Il macro-problema che ha generato il bando riceve delle risposte parcellizzate: un’indagine (per esempio) su un aspetto rilevante, un’altra fase di ricerca su un secondo aspetto rilevante e così via, a seconda delle richieste del bando, del budget disponibile e delle capacità ideative del proponente (il valutatore che scrive il progetto cercando di vincere il bando). 

Ammettendo subito di avere partecipato a molte gare con progetti scritti così, occorre dire che l’approccio analitico non è il massimo per questo motivi:
• essendo di tipo logico-razionalista è solitamente ripetitivo; questo pensiero tende a cristallizzarsi su determinati schemi, nel senso che “vede” sempre le stesse cose tendendo a dare le stesse risposte;
• i vari “pezzi” potrebbero non coprire [semanticamente] l’intero problema oggetto dell’intervento; anzi, non succede proprio, è impossibile, e nessuno può sapere il peso - nel complesso del problema - di quelle parti trascurate;
• è illusorio considerare la somma delle parti esplorate (anche se coprissero tutto il problema) come coincidente alla risposta globale, d’insieme. Tutto è parcellizzato; abbiamo risposte specifiche che potrebbero funzionare tutte nella distinzione, ma non funzionare come insieme.
Non si sta dicendo che il pensiero analitico sia errato, o anche semplicemente inferiore a quello sintetico. Questo è il tipico processo di problem solving, che riguarda, per esempio, anche il quadro logico e il paradigma lazasferdiano. 

La risposta sintetica
La risposta sintetica (a torto chiamata anche “intuitiva”, “convergente” e in altri modi) è ovviamente il contrario e si pone come sistemico, olistico, organico (concetti differenti, sia chiaro). Vale a dire che cerca di cogliere, al di là dei singoli elementi evidenti (sui quali è attratta la nostra attenzione, e quindi diventano confusivi) i fattori trasversali che li collegano e - si badi - che danno un senso unitario al progetto e quindi alla capacità di valutarlo e gestirlo nella sua unitarietà.
La figura che segue propone - sempre simbolicamente - il pensiero sintetico e i suoi principali risultati, assai meno significativi nell’aproccio analitico:
Il pensiero sintetico, a differenza di quello analitico, è meno “logico”, è più difficilmente oggetto di un apprendimento razionale. È abduttivo. È creativo. “Pesca” sulle conoscenze pregresse, anche tacite, e solitamente appare alla coscienza in modo subitaneo. Nel processo elaborativo di cui parlavo all’inizio questo è successo: leggere la proposta messa a bando, girarci con circospezione attorno, avere l’idea, quasi la visione, direi, per poi approfondirla con approccio analitico, per poi tornare alla visione d’insieme…
La qualità progettuale ne risente. Nel senso che diventa stupenda, sistemica, organica, capace di rivelare allo stesso committente elementi e aspetti sottotraccia e non pienamente chiari. La qualità progettuale diventa, paradossalmente, rischiosa, perché occorre un esaminatore capace di cogliere questa visione complessiva, e che voglia realizzare quindi una valutazione non banale.

È noto che il concetto di ‘valutazione’ è – come tanti in ambito scientifico e professionale – tendenzialmente ambiguo. È sia termine del linguaggio ordinario che tecnico, ma anche in questo secondo caso sconta il fatto che la valutazione è un ampio e diversificato campo di studio e intervento di recente costituzione al quale contribuiscono economisti, sociologi, statistici, pedagogisti, giuristi, esperti di amministrazione pubblica e vari altri.

Ciascuna categoria professionale, ciascuna comunità di pratiche e scientifica, ha “importato” il proprio linguaggio, le proprie consuetudini, la propria visione di contesto, e questo contribuisce a creare confusione malgrado il dibattito internazionale aiuti a limare le differenze più eclatanti e a sedimentare alcuni punti fermi. Anche se non senza oscillazioni di significato anche importanti, è per esempio ormai chiara a tutti, e sostanzialmente da tutti accettata, la differenza fra “valutazione” e “monitoraggio”, oppure fra “dati”, “informazioni” e “indicatori”, e chi utilizza in modo improprio questi termini deve renderne conto.

Uno dei concetti valutativi maggiormente utilizzati da un decennio a questa parte è quello di ‘partecipazione’, che compare assai spesso in ampia parte della letteratura valutativa (da oltre un ventennio in quella americana), che viene sovente evocata da professionisti ma che è anche oggetto di equivoci che possono avere pesanti riflessi nella pratica operativa. In modo generico possiamo intendere ‘partecipazione’ come il contributo che gli attori sociali rilevanti (stakeholder, ma abbiamo l’equivalente italiano ed è meglio usare quello) possono dare alla pratica valutativa. Vale a dire che il valutatore, in una logica partecipata, non è considerato come un solitario indagatore che costruisce i suoi metodi nel suo studio, li applica secondo criteri a lui solo noti, li analizza in segreto per poi rivelare, alla fine, il risultato della sua indagine. Questa idea di separazione del ricercatore dal contesto indagato, molto ottocentesca, di sapore positivista, funziona poco nelle scienze accademiche, figurarsi in valutazione che si caratterizza per il desiderio di praticità e utilità e che quindi deve, necessariamente, essere una pratica sporca, in cui si cerca il contatto con gli attori sociali, in cui ci si sporge inevitabilmente nella programmazione, formazione e consulenza.

L’idea di ‘partecipazione’ può però essere intesa in una grande varietà di significati. Alcuni, eccessivamente ristretti e ormai quasi più da nessuno invocati, riguardano la semplice necessità di reperire dati presso terzi (per esempio: con un questionario sull’efficacia di un determinato programma somministrato ai beneficiari), ma il filone principale che in valutazione propugna la partecipazione intende, ovviamente, qualcosa di più: partecipazione, per esempio, nella costruzione dello strumento valutativo; partecipazione nell’analisi dei risultati; partecipazione come condivisione del progetto valutativo e delle sue finalità. Assodato che sia questo secondo il concetto di ‘partecipazione’ di cui stiamo parlando occorre porsi la fondamentale domanda: perché mai sarebbe utile fare una cosa di questo genere, ovviamente più faticosa e costosa per il valutatore?

Non porsi questa domanda significa non padroneggiare il metodo valutativo. Come per qualunque altro aspetto della valutazione (il disegno valutativo, la scelta delle tecniche e la loro analisi…) anche l’eventuale approccio partecipato deve discendere da scelte precise, chiare, consapevoli ed esplicitabili dal valutatore. In caso contrario tali scelte sembrerebbero (e forse sarebbero) conseguenze di una moda, di un’adesione acritica a procedure non ben comprese, e quindi sarebbe lecito dubitare della bontà del disegno valutativo, dell’opportunità del metodo adottato e della validità dei risultati raccolti (e quindi dei giudizi valutativi conseguenti).

Nella letteratura valutativa una delle principali motivazioni alla valutazione partecipata è la sua intrinseca democraticità. Far partecipare gli attori sociali è un veicolo di empowerment, capacitazione, comprensione del contesto, formazione dei partecipanti e quindi, in sostanza, è una cosa buona in sé. Naturalmente, laddove fosse vero che un certo tipo di valutazione fosse collegabile all’incremento di democrazia ed empowerment, non potremmo che rallegrarci, ma al contempo appare evidente come non sia questo lo scopo della valutazione. I propugnatori della valutazione partecipata in quanto democratica (esiste anche una valutazione etichettata proprio come “valutazione democratica”, ovviamente partecipata) compiono un fondamentale errore in buona fede: sovrastimano un epifenomeno (il fatto che un certo tipo di approccio induca democraticità) e perdono di vista l’obiettivo fondamentale, che per la valutazione è costruire giudizi su programmi e politiche sulla base di argomentazioni sostenute da dati e informazioni. La valutazione nasce nel mondo occidentale per aiutare i decisori a disambiguare una realtà di sempre più difficile comprensione nella società complessa in cui siamo immersi. Prendere decisioni (politiche, amministrative, gestionali…) è difficile a causa dell’incremento delle interconnessioni fra individui, gruppi, eventi e contesti. Il valutatore si affianca al decisore per de-complessificare gli elementi sottoposti a decisione e giudizio, e per fare questo affronta un percorso di ricerca sociale in grado di produrre dati e informazioni chiare. Lo scopo della valutazione non è la democrazia, anche se un’ovvia conseguenza della valutazione è la trasparenza e la rendicontazione, elementi indubbiamente importanti per i processi democratici. Riassumendo: bene, anzi benissimo, se la valutazione correttamente esercitata e utilizzata favorisce democrazia ed empowerment, auto-riflessione e consapevolezza degli operatori, ma non è questo il suo scopo principale.

Se lo scopo principale della valutazione è produrre argomentazioni utili per la decisione pubblica, argomentazioni corroborate da dati e informazioni ricavati da rigorosi percorsi di ricerca sociale, quale ruolo spetta alla partecipazione? La risposta ovvia, a questo punto, risiede strettamente nel metodo. La partecipazione in valutazione è utile o non è utile se è funzionale al metodo, se contribuisce a corroborare le informazioni, se aiuta il valutatore a meglio argomentare i risultati che dovranno servire al decisore. I fautori della partecipazione che non si misurano col metodo in realtà non sanno perché tale approccio sia utile oppure no, e quindi producono valutazioni che forse saranno utili o forse no.

Ciò premesso sì, la valutazione partecipata ha un ruolo importante sotto il profilo del metodo per molteplici ragioni, la principale delle quali risiede nella corretta identificazione del vero oggetto dell’analisi valutativa, che non è mai “la politica” o “il programma” o “l’organizzazione” ma le persone che tale politica, programma, organizzazione, agiscono. Un POR per esempio (Programma Operativo Regionale, per esempio relativo a fondi strutturali quali Fesr o Fse) non è il documento “POR” disponibile come volume cartaceo o come file scaricabile dal sito regionale. Il POR non è le dichiarazioni, solitamente ambigue e contraddittorie, che si possono ricavare da una lettura del testo; e non è neppure l’analisi finanziaria dei suoi aspetti economici. Il POR (come qualunque politica e programma, come qualunque organizzazione o servizio) è invece il combinato disposto delle persone che agiscono quel Programma e dei loro contesti. “Persone” è però troppo generico: bisogna intendere certo anche il livello individuale (personologico) ma specialmente, in valutazione, i ruoli agiti, le culture professionali, politiche, istituzionali trasmesse, le relazioni e le diverse finalità di gruppi a volte contrapposti che in quel Programma agiscono. E anche “contesti” deve essere inteso in senso più socio-antropologico che non meramente geografico e amministrativo, e quindi espressione locale di bisogni, esperienze pregresse, senso di identità e molto altro. Un qualunque programma, quindi, non può essere valutato in relazione a un inesistente algoritmo (azioni intese ingegneristicamente, in tempi certi, con denari chiari, su beneficiari evidenti…) bensì alla luce dei meccanismi sociali che questa platea di attori in situazione produce, ovverossia alla luce di come tali attori interpretano il programma, come lo rendono operativo, come lo sostengono oppure come vi oppongono una qualche frizione, semmai inconsapevole. I programmi (le politiche, etc.) funzionano o non funzionano alla luce del risultato finale di una grande quantità di interpretazioni, di relazioni, di aggiustamenti. Il valutatore deve entrare in tale complessità sociale e cercare di capirla per poter dire qualcosa di più di “il programma ha funzionato / non ha funzionato”; se si vogliono capire i meccanismi che hanno consentito al programma di funzionare o meno, e adempiere alla finalità valutativa dell’apprendimento organizzativo, le politiche e i programmi non possono essere trattati come cose, semplicemente perché non lo sono. Le politiche e i programmi sono le persone che tali politiche e programmi hanno pensato e implementato, sono le loro visioni politiche e organizzative, le finalità e gli obiettivi, anche impliciti, che hanno creduto di perseguire, salvo accorgersi che sussistono obiettivi anche contraddittori e contrapposti. Le politiche e i programmi sono i meccanismi sociali, che li fanno ben funzionare oppure no, prodotti da molteplici interazioni e volontà, in molti casi pianificati e consapevoli e in altri casi no. E il valutatore deve entrare in tale agone non già col compasso, col metro e colla bilancia bensì con una capacità di osservazione e interpretazione che solo il reale coinvolgimento degli attori sociali può dargli.

Ecco allora il significato della valutazione partecipata alla luce del metodo: poiché gli effetti delle politiche e programmi sono il prodotto di meccanismi sociali per lo più impliciti, non chiaramente espressi, a volte contraddittori, è solo dall’adesione convinta degli attori sociali alla valutazione che si può sperare di cogliere la portata di tali meccanismi, il ruolo delle comunità di pratiche, il senso attribuito alle indicazioni programmatiche. Il valutatore desidera un approccio partecipato perché:
• solo così ottiene la profondità informativa che altrimenti non raggiungerebbe;
• crea un contesto di fiducia reciproco che consente di ottenere tali informazioni;
• crea i presupposti per un uso della valutazione e dei suoi risultati.

Ma c’è di più. Questo contesto fluido e sfaccettato che abbiamo descritto propone, ovviamente, molteplici verità. Esiste un’idea di Programma (delle sue finalità, dei suoi obiettivi, degli effetti attesi) del decisore che forse assomiglia a quella del programmatore, del burocrate che ha materialmente redatto il testo, o forse no; ma che probabilmente è diversa dall’idea che di quello stesso programma hanno coloro che dovranno materialmente implementarlo e condurlo negli anni, e probabilmente molto diversa dall’idea che se ne fanno i beneficiari, la popolazione in generale, gruppi di pressione e di interesse specifici e così via. È inevitabile che sia così. Questa molteplice rappresentazione dello stesso programma è un vulnus valutativo non trascurabile. Se il valutatore rimane troppo appiattito sull’idea del programmatore potrebbe essere a un certo punto rifiutato (nel lessico, nelle operazioni di analisi) dall’operatore di front office o dal beneficiario, ma se si allinea troppo a questi ultimi sarà il decisore o il programmatore a non capirlo più, a percepirlo come non utile alla decisione che si deve prendere. La valutazione partecipata consente di superare questa grave difficoltà perché con tecniche e procedure opportune mette in circolo le idee, obbliga al confronto, induce comprensione e condivisione del lessico. Una valutazione partecipata ben fatta non modifica, ovviamente, le diverse idee che gli attori hanno del programma ma, almeno, riesce a cristallizzarne una versione trasversalmente accettata sulla quale lavorare; fissa i punti chiave, precisa i confini entro i quali tutti concordano di operare; acquisisce il lessico locale (di quelle comunità di pratiche) come patrimonio comune anche al valutatore. Non si tratta, quindi, solo di avere più informazioni, o migliori, ma di avere quelle informazioni che gli stessi attori coinvolti giudicano pertinenti, averle col loro lessico (i problemi semantici e pragmatici sono rilevantissimi anche se non li tratteremo in questa nota), espresse entro il quadro culturale che agisce in quel contesto e che sarà responsabile dei meccanismi sociali già detti, responsabili del funzionamento o meno del programma.

Una valutazione siffatta richiede un disegno particolare; tecniche e procedure ad hoc; capacità specifiche del valutatore. Ma soprattutto richiede, a monte, la disponibilità del committente. Tale disponibilità è essenziale per avviare un approccio partecipato, deve essere pattuita a monte, durante la fase di costruzione del mandato valutativo, può essere rinegoziabile e adattabile in corso d’opera ma, occorre essere chiari, se non c’è, se per qualunque motivo il committente, il suo staff e i principali attori sociali si rendono indisponibili, allora non c’è nulla da fare e si deve ricorrere ad altri disegni, ad altre tecniche, con evidenti altri risultati.

È solo a questo punto, dopo una riflessione sul metodo, che c’è bisogno di una riflessione sulle tecniche. Le tecniche seguono la riflessione sul metodo, e sono selezionate dal valutatore sulla base di una giustificazione metodologica (occorre segnalare che questo elemento, anche se fondamentale, non è ben compreso dai molti che utilizzano determinate tecniche, e non altre, per ragioni non note, legate semmai a loro personali preferenze e competenze). Il ventaglio di tecniche utili in una valutazione partecipata è estremamente vasto ma, naturalmente, le tecniche basate su gruppi di esperti sono quelle elettivamente più utili (anche se sarebbe improprio una connessione in qualche modo vincolante fra partecipazione e tecniche di gruppo). In questa ampia famiglia di tecniche ne troviamo alcune che facilitano la discussione di gruppo (composto da quegli attori rilevanti di cui abbiamo parlato fin qui) e la decisione consensuale; altre non mirano alla consensualità ma all’identificazione delle diverse articolazioni della visioni del programma; alcune aiutano il gruppo a decidere, altre consentono la costruzione condivisa di indicatori; alcune forniscono testi che il valutatore dovrà ulteriormente elaborare e altre forniscono matrici numeriche in qualche modo già pronte all’uso. Sapere quali tecniche e procedure siano più adatte alla luce degli obiettivi valutativi (e delle “domande valutative”), e come far interagire tali tecniche con altre azioni valutative, semmai non partecipate (raccolta di basi di dati, indagini, etc.), è naturalmente parte integrante della professionalità del valutatore.

La Centrale Valutativa è consapevole dell’importanza della partecipazione in valutazione. Ne conosce potenzialità e limiti e cerca di proporla nei suoi disegni valutativi in un quadro multimetodo (mixed method, ovvero approcci quali-quantitativi supportati da tecniche diverse). Su questi temi la Centrale Valutativa è impegnata in una costante formazione del proprio gruppo di lavoro.