Per finalità storiografiche qualcuno ci descrive le “generazioni” valutative, o le “ondate”, “fasi” o altro; i meno raffinati si limitano a menzionare un generico passato positivista (i valutatori usano anche il termine ‘realista’) e un presente costruttivista, intendendoli comunque in maniera progressiva (il povero e ottuso positivismo e il rampante e promettente costruttivismo) ma i conti, in realtà, non tornano mai bene, nel senso che non riesce mai a cogliere - in queste rappresentazioni schematiche - il “dove siamo” nella mappa valutativa. Il problema sta nelle etichette, che si capisce - anche senza sforzi sociologici - che obbligano a semplificazioni buone per piccoli esercizi didattici, non per rappresentare la varietà e la ricchezza teorica e metodologica delle scienze sociali e della valutazione. Né i percorsi che ha fatto negli anni.
Noto che gli autori e le autrici delle “ondate” sono bravi narratori di mitologie poco al dentro della questione essenziale, che è il paradigma del metodo. Se guardiamo questo, se lo guardiamo veramente, comprendiamo una cosa piuttosto semplice. Fra positivisti e costruttivisti del secolo scorso, e primi anni di questo, sono cambiati gli approcci e gli accenti, ma non la natura del loro pensiero scientifico. Almeno, non in maniera dirimente.
Certo, i positivisti ingenui, cartesiani, della prima metà dello scorso secolo credevano possibile standardizzare la ricerca per cogliere una verità ultima, rappresentabile con dati certi e incontrovertibili. Questo monismo scientifico è stato abbastanza chiaramente superato dal dualismo costruttivista da quando si è reso evidente il fallimento del mandato monista nello studio delle relazioni sociali. Le differenze etniche, sociali, psicologiche e molteplici altre, la variabilità del comportamento per mille e mille elementi cangianti e imponderabili, hanno alla fine convinto a volgere lo sguardo verso l’impossibilità della standardizzazione, e ancor più la sua totale inutilità.
Ciò non di meno, la maggior parte degli autori schierati nel caucus costruttivista continuano a produrre lo stesso tipo di dati prodotti dai loro avi positivisti; anche se lo fanno camuffandoli. La cosa funziona più o meno così: devo valutare l’efficacia di una politica sociale (è un esempio a caso, mettete voi la politica o programma che preferite); poiché so (io che sono un costruttivista), che non posso misurare quell’efficacia, cerco altre strade, indirette, per potere soddisfare la domanda valutativa (e poter fatturare a chi quella domanda ha posto); faccio dei questionari, organizzo dei focus group, mi invento qualche giravolta e, se ho anche qualche decente base statistica, costruisco un bell’algoritmo per mettere insieme tutti questi risultati e dire poi al committente che, in una scala centesimale, la sua politica “vale” 87/100.
Il lettore capisce, ovviamente, che sto esagerando. Ma se fa parte di questa comunità di pratiche, di ricercatori sociali e valutatori, ha certamente esperienza di questo: nove volte su dieci il committente chiede - e il professionista offre - dei numeri: indicatori (intesi come numeri), percentuali, tabelle, valori. Realizzare una ricerca valutativa con soli quattro o cinque focus group, per rilasciare poi un rapporto puramente descrittivo di quanto detto in quelle riunioni, può andare bene per il professionista sottopagato che fa una micro ricerca sul servizio sociale di una cooperativa di provincia, ma non certo per la valutazione di un programma o di una politica. E quindi numeri, accidenti! L’inutile customer satisfaction sopravvive alla propria banalità perché produce numeri: gli utenti (cittadini, clienti) hanno detto, al 47,3%, che… Gli sterili indicatori sociali, che pure avrebbero nobili avi, sono ridotti alla prostituzione del numero perché lasciano intendere di essere oggettivi, comparabili, asettici. E i costruttivisti ci stanno dentro con tutti e due i piedi. Semmai fanno precedere qualche intervista alla customer satisfaction, o seguire qualche tecnica di gruppo alla costruzione degli indicatori. Ma fanno questo.
È - quello descritto - il paradigma della costruzione del dato intesa come misurazione o - per i meno sprovveduti fra i costruttivisti - conteggi, ordinamenti e quasi-misurazioni ottenute con scale cardinali (molto amate dai costruttivisti perché sembrano essere l’alibi inattaccabile per il delitto perfetto). Poiché sono un costruttivista, e so che non posso “misurare” i tuoi pareri e comportamenti, ti somministro delle scale; oppure ti lascio libero di parlare e poi sottopongo il trascritto di quanto mi hai raccontato a un bel software che farà l’analisi testuale; oppure ancora, in epoca di social media, faccio una sentiment analysis su Facebook. C’è questa idea di evitare il grezzo positivismo a livello di premessa e promessa, per poi cercare soluzioni esattamente positiviste (se preferite: post-positiviste). E poi ci sono sempre le scappatoie, come le presunte tecniche miste (mixed method) che nessuno sa cosa siano ma sono - proprio per questo - una figata pazzesca e forniscono un alibi perfetto: faccio cinque focus group (inutili ma qualitativi e tanto costruttivisti) per impostare un bel questionario (standardizzato e tanto realista).
Fortunatamente comincia ad apparire un nuovo paradigma. Un nuovo paradigma vero, non solo una nuova etichetta al paradigma vecchio. Il nuovo paradigma parte dalla vera, autentica, convinta considerazione che la verità cartesiana, molto semplicemente, non vale per le relazioni sociali (che è ciò di cui si occupano gli scienziati sociali e quindi i valutatori). Non è “per colpa” di queste scienze, da sempre considerate “deboli”; molto banalmente le relazioni sociali non sono l’oggetto della verità cartesiana, non lo possono essere. Ignoro, e non voglio discutere qui, se tale verità esiste nell’Universo; forse sì, non è il mio campo; forse esiste una sola verità fisica, le stelle, e le galassie e i buchi neri sono - forse - descrivibili in maniera univoca (quando avremo imparato a farlo) ed esisteranno secondo quella verità, in eterno. Ma non è così per gli esseri umani e le loro relazioni sociali. Se capiamo questo, se lo capiamo veramente e non astrattamente, avremo una piccola ma intensa epifania di questo genere: ma cosa me ne importa se quella politica sociale è “buona” per 87/100? E cosa diavolo significherebbe, poi, “buona”? E che ridicolaggine è 87/100? E quel 47,3% che avrebbe risposto in un determinato modo, alla domanda del mio questionario, mamma mia che assurdità!
Il nuovo paradigma che vedo emergere riguarda la costruzione del dato come costruzione di senso. Il nuovo paradigma sa che non c’è una verità, e che qualunque percentuale di risposta, qualunque misurazione statistica avrebbe altri valori se rifatta, se riproposta appena appena diversamente, se gli intervistati cambiano, se l’ora dell’intervista cambia, se qualche partecipante al mio focus group ha il mal di pancia… Rincorrere il dato inteso come misurazione assomiglia allo sforzo di un bambino che costruisce la sua piccola diga di sabbia contro le onde del mare.
Il nuovo paradigma riguarda il senso delle cose. Riguarda quindi la semantica e la pragmatica assai più della mera sintassi (sintassi = risposta a un questionario; numeri e indici; …); riguarda l’induzione e l’abduzione assai più della lineare e troppo controllabile deduzione. Riguarda modelli di ricerca e disegni di valutazione che non si pongono come risposta di verità (ti dico come stanno le cose, se hai fatto bene o male) ma come costruzione di domande assennate, quelle domande che aiutano tutti gli utilizzatori del nostro lavoro a capire il mondo (quel pezzetto di mondo nel quale operano). Porsi le domande giuste significa sapere dare un senso alle cose.
C’è una considerazione che vado facendo da un po’ di tempo: salvo casi drammaticamente perversi di cui non ho conoscenza, qualunque politica funziona. Una nuova politica del lavoro, un nuovo servizio sociale, un nuovo programma di sostegno alle imprese, non può che impiegare energie e risorse risolvendo alcuni aspetti, almeno, del problema cui intendeva rispondere. Può farlo benissimo, benino o malino, certo, ma solo se chiariamo - con esercizi faticosissimi e sempre discutibili, cosa significhino “veramente” questi aggettivi; per chi significano quelle cose; con che limiti; fino a quando… Quelle politiche possono funzionare meglio o peggio di altre, certo, ma solo se chiariamo - con approssimazioni mastodontiche di cui dovremo fingere di ignorare la portata - con quali criteri realizziamo il confronto, essendo i suoi oggetti assolutamente differenti fra di loro.
Voglio dire: qualunque artificio intendiamo utilizzare, noi non sapremo mai quanto veramente sia buona una politica (o programma), ma siamo legittimati a pensare che quelle energie profuse, quel tempo investito, quei capitali impegnati, siano serviti, almeno un po’, a migliorare qualcosa per qualcuno. Quel miglioramento non ci sarebbe stato senza quella politica. La valutazione dell’efficacia di una politica quindi, ha sempre due soli valori: 0 (zero) o 1, dove 0 significa “nessuna politica” e 1 significa “un qualche beneficio per qualcuno”.
Cercare di trovare un valore intrinseco migliore di 1, con strategie di ricerca aderenti al vecchio paradigma, è sterile, inutile, sostanzialmente falso.
Questa riflessione retrocede fino alle domande valutative. La domanda valutativa “Quanto è stata efficace la mia politica?” è sbagliata; o, quanto meno, la risposta è sempre e solo questa: “Fra 0 e 1, la tua politica è stata efficace 1, e non poteva essere altrimenti”.
La corretta domanda valutativa deve invece essere: “Che senso ha avuto questa politica?” Ovviamente questa macro domanda iper generica si sostanzierà in domande specifiche quali: “Chi ha vinto e chi ha perso in questa politica?”; “Quali elementi implementativi hanno rallentato il dispiegamento dei risultati?”; “Quali attori hanno operato delle frizioni negative sul programma? Perché?”; “Quali elementi di contesto hanno favorito od ostacolato il dispiegarsi dei meccanismi che hanno condotto al risultato finale?”; “Che ruolo hanno giocato gli operatori?”. Eccetera.
Cogliere il senso della politica (e non pretendere di misurarne gli effetti) è il solo e unico modo per imparare dalla valutazione e con la valutazione.
Sì, lo so: trovare un committente che accetti di fare queste domande valutative è decisamente difficile. Capita, ma raramente. Il mercato della valutazione, almeno in Italia, vive nel loop di committenti ingenui che fanno domande sbagliate e professionisti mediocri che danno loro risposte inutili; l’uno rinforza l’altro.
Ugualmente, il bravo professionista preme, spinge, insiste per far avanzare il livello della sua prestazione; incalza il committente affinché capisca il significato dell’analisi delle politiche e gli spiega come non cadere nello sciocchezzario di moda al momento (l’analisi controfattuale; la valutazione di impatto sociale…). Poi, ovviamente, tutti noi dovremo fare i quattro indicatori, redigere il maledetto questionario, fornire una bella regressione statistica… Facciamolo, ma sapendo e capendo quello che facciamo (e migliorando grandemente quegli indicatori, strutturando al meglio quel questionario, inserendo quella regressione in un disegno di ricerca intelligente).

CB