Centrale Valutativa è una realtà di ricerca sociale e valutativa che si sta affermando nel panorama italiano. Chi ha imparato a conoscerci sa che siamo attenti ai contesti, alle esigenze dei committenti e, specialmente, al rigore nel metodo. Basta dare un’occhiata al nostro blog, sul sito di Centrale, per capire che ogni nuovo lavoro per noi è una nuova sfida, che richiede nuove e originali riflessioni metodologiche. Per noi la qualità della riflessione metodologica è una costante ricerca che sedimenta il nostro studio costante, l’analisi dei lavori fatti, il confronto fra pari.
In questa declinazione professionale, dove il convincimento della qualità del metodo governa le scelte commerciali, abbiamo avuto modo, di recente, di pubblicare un volume sulla valutazione della comunicazione pubblica, presso l’editore Bonanno, a firma mia (amministratore unico di Centrale), del collega Walter Antonio Canu (valutatore e futuro socio di Centrale) e Claudio Bezzi (nostro “manutentore”).
A seguito di questa esperienza, l’editore Bonanno ci ha offerto di dirigere una nuova collana editoriale centrata sull’innovazione metodologica, sulla presentazione di pratiche e tecniche di ricerca sociale e valutativa originali, capaci di immaginare soluzioni efficaci, praticabili, alla complessità crescente del campo di ricerca. Sono pertanto molto lieto di comunicare che, assieme a Canu e Bezzi, stiamo organizzando questa collana che vedrà la pubblicazione dei primi volumi fra fine 2021 e i primi mesi del 2022.
Riporto, qui di seguito, le parti salienti del rationale che sta girando presso colleghi, valutatori, ricercatori professionali e accademici.

Non un’ennesima collana metodologica, ce ne sono già abbastanza, e tutte assai qualificate. Ma in generale queste collane propongono una sorta di “scolastica” procedurale; i questionari sono quella cosa lì e si fanno così; i focus group sono quell’altra cosa là e si fanno nel tale altro modo… I fruitori di questi libri sono generalmente indotti a credere che il metodo equivalga alle tecniche, e che queste abbiano un modo “giusto” in cui essere applicate. In questo modo si producono dati in un determinato “formato” indubbiamente noto ma poco riflettuto, poco considerato. L’ignoranza sul formato informativo dei dati prodotti si riflette in ricerche dai risultati piuttosto generici, piatti, sovente scontati; non conoscere il formato informativo dei dati prodotti non consente di disegnare correttamente la ricerca, di utilizzare procedure d’indagine utili, utilizzarne i dati nel modo dovuto, dispiegarne le potenzialità.
Il metodo della ricerca dovrebbe partire inizialmente da queste considerazioni, accompagnate e seguite da riflessioni sul mandato della ricerca, sul contesto e i suoi attori, sull’organizzazione possibile della ricerca, per concludersi con la scelta delle procedure di ricerca che costruiranno non già “dei dati”, ma quei dati necessari, utili, pertinenti, nel formato migliore per conseguire le finalità della ricerca.
Ciò significa che spesso, prima di costruire il dato, si devono ricostruire le tecniche. Forse il questionario canonico non è la risposta giusta, ma un questionario “diverso”, con domande e altri strumenti non usuali, potrebbe essere una scelta migliore; così per i focus group, per le interviste, o per soluzioni empiriche che ancora non hanno un nome. Il ricercatore attento al formato informativo dei dati che gli servono “inventa” tecniche, manipola procedure, adatta strumenti, perché conosce il formato informativo dei dati che intende costruire.
Perché alla fine quello che conta veramente è l’ampiezza e varietà delle inferenze che quei dati consentiranno di fare.

Fra i nostri amici, colleghi, partner, c’è qualche ricercatore, professionista, studioso interessato? This email address is being protected from spambots. You need JavaScript enabled to view it., e ne parliamo.

È noto che il concetto di ‘valutazione’ è – come tanti in ambito scientifico e professionale – tendenzialmente ambiguo. È sia termine del linguaggio ordinario che tecnico, ma anche in questo secondo caso sconta il fatto che la valutazione è un ampio e diversificato campo di studio e intervento di recente costituzione al quale contribuiscono economisti, sociologi, statistici, pedagogisti, giuristi, esperti di amministrazione pubblica e vari altri.

Ciascuna categoria professionale, ciascuna comunità di pratiche e scientifica, ha “importato” il proprio linguaggio, le proprie consuetudini, la propria visione di contesto, e questo contribuisce a creare confusione malgrado il dibattito internazionale aiuti a limare le differenze più eclatanti e a sedimentare alcuni punti fermi. Anche se non senza oscillazioni di significato anche importanti, è per esempio ormai chiara a tutti, e sostanzialmente da tutti accettata, la differenza fra “valutazione” e “monitoraggio”, oppure fra “dati”, “informazioni” e “indicatori”, e chi utilizza in modo improprio questi termini deve renderne conto.

Uno dei concetti valutativi maggiormente utilizzati da un decennio a questa parte è quello di ‘partecipazione’, che compare assai spesso in ampia parte della letteratura valutativa (da oltre un ventennio in quella americana), che viene sovente evocata da professionisti ma che è anche oggetto di equivoci che possono avere pesanti riflessi nella pratica operativa. In modo generico possiamo intendere ‘partecipazione’ come il contributo che gli attori sociali rilevanti (stakeholder, ma abbiamo l’equivalente italiano ed è meglio usare quello) possono dare alla pratica valutativa. Vale a dire che il valutatore, in una logica partecipata, non è considerato come un solitario indagatore che costruisce i suoi metodi nel suo studio, li applica secondo criteri a lui solo noti, li analizza in segreto per poi rivelare, alla fine, il risultato della sua indagine. Questa idea di separazione del ricercatore dal contesto indagato, molto ottocentesca, di sapore positivista, funziona poco nelle scienze accademiche, figurarsi in valutazione che si caratterizza per il desiderio di praticità e utilità e che quindi deve, necessariamente, essere una pratica sporca, in cui si cerca il contatto con gli attori sociali, in cui ci si sporge inevitabilmente nella programmazione, formazione e consulenza.

L’idea di ‘partecipazione’ può però essere intesa in una grande varietà di significati. Alcuni, eccessivamente ristretti e ormai quasi più da nessuno invocati, riguardano la semplice necessità di reperire dati presso terzi (per esempio: con un questionario sull’efficacia di un determinato programma somministrato ai beneficiari), ma il filone principale che in valutazione propugna la partecipazione intende, ovviamente, qualcosa di più: partecipazione, per esempio, nella costruzione dello strumento valutativo; partecipazione nell’analisi dei risultati; partecipazione come condivisione del progetto valutativo e delle sue finalità. Assodato che sia questo secondo il concetto di ‘partecipazione’ di cui stiamo parlando occorre porsi la fondamentale domanda: perché mai sarebbe utile fare una cosa di questo genere, ovviamente più faticosa e costosa per il valutatore?

Non porsi questa domanda significa non padroneggiare il metodo valutativo. Come per qualunque altro aspetto della valutazione (il disegno valutativo, la scelta delle tecniche e la loro analisi…) anche l’eventuale approccio partecipato deve discendere da scelte precise, chiare, consapevoli ed esplicitabili dal valutatore. In caso contrario tali scelte sembrerebbero (e forse sarebbero) conseguenze di una moda, di un’adesione acritica a procedure non ben comprese, e quindi sarebbe lecito dubitare della bontà del disegno valutativo, dell’opportunità del metodo adottato e della validità dei risultati raccolti (e quindi dei giudizi valutativi conseguenti).

Nella letteratura valutativa una delle principali motivazioni alla valutazione partecipata è la sua intrinseca democraticità. Far partecipare gli attori sociali è un veicolo di empowerment, capacitazione, comprensione del contesto, formazione dei partecipanti e quindi, in sostanza, è una cosa buona in sé. Naturalmente, laddove fosse vero che un certo tipo di valutazione fosse collegabile all’incremento di democrazia ed empowerment, non potremmo che rallegrarci, ma al contempo appare evidente come non sia questo lo scopo della valutazione. I propugnatori della valutazione partecipata in quanto democratica (esiste anche una valutazione etichettata proprio come “valutazione democratica”, ovviamente partecipata) compiono un fondamentale errore in buona fede: sovrastimano un epifenomeno (il fatto che un certo tipo di approccio induca democraticità) e perdono di vista l’obiettivo fondamentale, che per la valutazione è costruire giudizi su programmi e politiche sulla base di argomentazioni sostenute da dati e informazioni. La valutazione nasce nel mondo occidentale per aiutare i decisori a disambiguare una realtà di sempre più difficile comprensione nella società complessa in cui siamo immersi. Prendere decisioni (politiche, amministrative, gestionali…) è difficile a causa dell’incremento delle interconnessioni fra individui, gruppi, eventi e contesti. Il valutatore si affianca al decisore per de-complessificare gli elementi sottoposti a decisione e giudizio, e per fare questo affronta un percorso di ricerca sociale in grado di produrre dati e informazioni chiare. Lo scopo della valutazione non è la democrazia, anche se un’ovvia conseguenza della valutazione è la trasparenza e la rendicontazione, elementi indubbiamente importanti per i processi democratici. Riassumendo: bene, anzi benissimo, se la valutazione correttamente esercitata e utilizzata favorisce democrazia ed empowerment, auto-riflessione e consapevolezza degli operatori, ma non è questo il suo scopo principale.

Se lo scopo principale della valutazione è produrre argomentazioni utili per la decisione pubblica, argomentazioni corroborate da dati e informazioni ricavati da rigorosi percorsi di ricerca sociale, quale ruolo spetta alla partecipazione? La risposta ovvia, a questo punto, risiede strettamente nel metodo. La partecipazione in valutazione è utile o non è utile se è funzionale al metodo, se contribuisce a corroborare le informazioni, se aiuta il valutatore a meglio argomentare i risultati che dovranno servire al decisore. I fautori della partecipazione che non si misurano col metodo in realtà non sanno perché tale approccio sia utile oppure no, e quindi producono valutazioni che forse saranno utili o forse no.

Ciò premesso sì, la valutazione partecipata ha un ruolo importante sotto il profilo del metodo per molteplici ragioni, la principale delle quali risiede nella corretta identificazione del vero oggetto dell’analisi valutativa, che non è mai “la politica” o “il programma” o “l’organizzazione” ma le persone che tale politica, programma, organizzazione, agiscono. Un POR per esempio (Programma Operativo Regionale, per esempio relativo a fondi strutturali quali Fesr o Fse) non è il documento “POR” disponibile come volume cartaceo o come file scaricabile dal sito regionale. Il POR non è le dichiarazioni, solitamente ambigue e contraddittorie, che si possono ricavare da una lettura del testo; e non è neppure l’analisi finanziaria dei suoi aspetti economici. Il POR (come qualunque politica e programma, come qualunque organizzazione o servizio) è invece il combinato disposto delle persone che agiscono quel Programma e dei loro contesti. “Persone” è però troppo generico: bisogna intendere certo anche il livello individuale (personologico) ma specialmente, in valutazione, i ruoli agiti, le culture professionali, politiche, istituzionali trasmesse, le relazioni e le diverse finalità di gruppi a volte contrapposti che in quel Programma agiscono. E anche “contesti” deve essere inteso in senso più socio-antropologico che non meramente geografico e amministrativo, e quindi espressione locale di bisogni, esperienze pregresse, senso di identità e molto altro. Un qualunque programma, quindi, non può essere valutato in relazione a un inesistente algoritmo (azioni intese ingegneristicamente, in tempi certi, con denari chiari, su beneficiari evidenti…) bensì alla luce dei meccanismi sociali che questa platea di attori in situazione produce, ovverossia alla luce di come tali attori interpretano il programma, come lo rendono operativo, come lo sostengono oppure come vi oppongono una qualche frizione, semmai inconsapevole. I programmi (le politiche, etc.) funzionano o non funzionano alla luce del risultato finale di una grande quantità di interpretazioni, di relazioni, di aggiustamenti. Il valutatore deve entrare in tale complessità sociale e cercare di capirla per poter dire qualcosa di più di “il programma ha funzionato / non ha funzionato”; se si vogliono capire i meccanismi che hanno consentito al programma di funzionare o meno, e adempiere alla finalità valutativa dell’apprendimento organizzativo, le politiche e i programmi non possono essere trattati come cose, semplicemente perché non lo sono. Le politiche e i programmi sono le persone che tali politiche e programmi hanno pensato e implementato, sono le loro visioni politiche e organizzative, le finalità e gli obiettivi, anche impliciti, che hanno creduto di perseguire, salvo accorgersi che sussistono obiettivi anche contraddittori e contrapposti. Le politiche e i programmi sono i meccanismi sociali, che li fanno ben funzionare oppure no, prodotti da molteplici interazioni e volontà, in molti casi pianificati e consapevoli e in altri casi no. E il valutatore deve entrare in tale agone non già col compasso, col metro e colla bilancia bensì con una capacità di osservazione e interpretazione che solo il reale coinvolgimento degli attori sociali può dargli.

Ecco allora il significato della valutazione partecipata alla luce del metodo: poiché gli effetti delle politiche e programmi sono il prodotto di meccanismi sociali per lo più impliciti, non chiaramente espressi, a volte contraddittori, è solo dall’adesione convinta degli attori sociali alla valutazione che si può sperare di cogliere la portata di tali meccanismi, il ruolo delle comunità di pratiche, il senso attribuito alle indicazioni programmatiche. Il valutatore desidera un approccio partecipato perché:
• solo così ottiene la profondità informativa che altrimenti non raggiungerebbe;
• crea un contesto di fiducia reciproco che consente di ottenere tali informazioni;
• crea i presupposti per un uso della valutazione e dei suoi risultati.

Ma c’è di più. Questo contesto fluido e sfaccettato che abbiamo descritto propone, ovviamente, molteplici verità. Esiste un’idea di Programma (delle sue finalità, dei suoi obiettivi, degli effetti attesi) del decisore che forse assomiglia a quella del programmatore, del burocrate che ha materialmente redatto il testo, o forse no; ma che probabilmente è diversa dall’idea che di quello stesso programma hanno coloro che dovranno materialmente implementarlo e condurlo negli anni, e probabilmente molto diversa dall’idea che se ne fanno i beneficiari, la popolazione in generale, gruppi di pressione e di interesse specifici e così via. È inevitabile che sia così. Questa molteplice rappresentazione dello stesso programma è un vulnus valutativo non trascurabile. Se il valutatore rimane troppo appiattito sull’idea del programmatore potrebbe essere a un certo punto rifiutato (nel lessico, nelle operazioni di analisi) dall’operatore di front office o dal beneficiario, ma se si allinea troppo a questi ultimi sarà il decisore o il programmatore a non capirlo più, a percepirlo come non utile alla decisione che si deve prendere. La valutazione partecipata consente di superare questa grave difficoltà perché con tecniche e procedure opportune mette in circolo le idee, obbliga al confronto, induce comprensione e condivisione del lessico. Una valutazione partecipata ben fatta non modifica, ovviamente, le diverse idee che gli attori hanno del programma ma, almeno, riesce a cristallizzarne una versione trasversalmente accettata sulla quale lavorare; fissa i punti chiave, precisa i confini entro i quali tutti concordano di operare; acquisisce il lessico locale (di quelle comunità di pratiche) come patrimonio comune anche al valutatore. Non si tratta, quindi, solo di avere più informazioni, o migliori, ma di avere quelle informazioni che gli stessi attori coinvolti giudicano pertinenti, averle col loro lessico (i problemi semantici e pragmatici sono rilevantissimi anche se non li tratteremo in questa nota), espresse entro il quadro culturale che agisce in quel contesto e che sarà responsabile dei meccanismi sociali già detti, responsabili del funzionamento o meno del programma.

Una valutazione siffatta richiede un disegno particolare; tecniche e procedure ad hoc; capacità specifiche del valutatore. Ma soprattutto richiede, a monte, la disponibilità del committente. Tale disponibilità è essenziale per avviare un approccio partecipato, deve essere pattuita a monte, durante la fase di costruzione del mandato valutativo, può essere rinegoziabile e adattabile in corso d’opera ma, occorre essere chiari, se non c’è, se per qualunque motivo il committente, il suo staff e i principali attori sociali si rendono indisponibili, allora non c’è nulla da fare e si deve ricorrere ad altri disegni, ad altre tecniche, con evidenti altri risultati.

È solo a questo punto, dopo una riflessione sul metodo, che c’è bisogno di una riflessione sulle tecniche. Le tecniche seguono la riflessione sul metodo, e sono selezionate dal valutatore sulla base di una giustificazione metodologica (occorre segnalare che questo elemento, anche se fondamentale, non è ben compreso dai molti che utilizzano determinate tecniche, e non altre, per ragioni non note, legate semmai a loro personali preferenze e competenze). Il ventaglio di tecniche utili in una valutazione partecipata è estremamente vasto ma, naturalmente, le tecniche basate su gruppi di esperti sono quelle elettivamente più utili (anche se sarebbe improprio una connessione in qualche modo vincolante fra partecipazione e tecniche di gruppo). In questa ampia famiglia di tecniche ne troviamo alcune che facilitano la discussione di gruppo (composto da quegli attori rilevanti di cui abbiamo parlato fin qui) e la decisione consensuale; altre non mirano alla consensualità ma all’identificazione delle diverse articolazioni della visioni del programma; alcune aiutano il gruppo a decidere, altre consentono la costruzione condivisa di indicatori; alcune forniscono testi che il valutatore dovrà ulteriormente elaborare e altre forniscono matrici numeriche in qualche modo già pronte all’uso. Sapere quali tecniche e procedure siano più adatte alla luce degli obiettivi valutativi (e delle “domande valutative”), e come far interagire tali tecniche con altre azioni valutative, semmai non partecipate (raccolta di basi di dati, indagini, etc.), è naturalmente parte integrante della professionalità del valutatore.

La Centrale Valutativa è consapevole dell’importanza della partecipazione in valutazione. Ne conosce potenzialità e limiti e cerca di proporla nei suoi disegni valutativi in un quadro multimetodo (mixed method, ovvero approcci quali-quantitativi supportati da tecniche diverse). Su questi temi la Centrale Valutativa è impegnata in una costante formazione del proprio gruppo di lavoro.

Il libro che recensiamo è una guida alla valutazione di impatto preparata per committenti e manager della valutazione. Si tratta di una guida che semplifica il più corposo lavoro commissionato dal Dipartimento della cooperazione allo sviluppo (DFID) del Regno Unito ad un gruppo internazionale di valutatori coordinati da Elliot Stern. Nicoletta Stame ha curato l’edizione italiana della suddetta guida, che è pubblicata nella collana valutazione dell’Associazione Italiana di Valutazione edita da Franco Angeli. 
E’ un libro utile a fare chiarezza sulla valutazione, in un periodo storico nel quale la parola “valutazione” viene utilizzata strumentalmente per assegnare premi di produzione, per distribuire fondi, dalla ricerca all’educazione scolastica, sulla base di sistemi di “misurazione” spesso auto referenziali.
Per riuscire a realizzare una buona valutazione di impatto di una politica o di un programma è necessario che ci sia un (im) patto tra la committenza e il valutatore: metaforicamente questo (im) patto può configurarsi come uno spazio nel quale domanda (i committenti, gli stakeholders, i destinatari delle politiche) e offerta (il valutatore) di valutazione interagiscono creando i sistemi più idonei per comprendere gli effetti delle politiche indagate. Una buona valutazione nasce anche (e soprattutto) da una corretta aspettativa su cosa dalla valutazione potrà essere messo a fuoco e su come tale informazione potrà essere utilizzata per migliorare il futuro.
La guida vuole essere dunque uno strumento a disposizione di chi la valutazione la commissiona e la gestisce, è una rassegna ragionata e semplificata dei disegni di valutazione, dei metodi e delle metodologie più idonee per valutare gli impatti, capace di far comprendere al lettore la complessità della valutazione nella interpretazione del reale e dunque la sua irriducibilità metodologica all’interno di uno o più sistemi filosofico-metodologici rigidi e autarchici.
Note a margine: la guida è stata finanziata nel Regno Unito da un gruppo di finanziatori variegato, oltre al già citato DFID, c’è Bond, l’organo che riunisce le organizzazioni che operano nel campo della cooperazione allo sviluppo, Comic Relief, il maggior ente di beneficienza del Regno Unito e Big Lottery Fund (BIG) che eroga sovvenzioni utilizzando parte dei fondi raccolti dalla National Lottery. E’ un modello che vogliamo mutuare nella valutazione “senza committenza” della Centrale.