Centrale Valutativa sta lavorando al servizio di valutazione strategica e operativa del PSL "Punti, Superfici e Linee" del GAL Vegal. Piano finanziato dai fondi FEASR nella programmazione 2014-2020 dello sviluppo rurale della Regione Veneto.

Il servizio che si concluderà a dicembre 2022, prevede di accompagnare il GAL nella valutazione degli effetti della sua strategia nei territori della Venento Orientale.

Il budget previsto è pari a 15.737 euro    

Naturalmente c’è la valutazione ex ante, quella in itinere e quella ex post che sono diversissime, lo dice la parola stessa, e chi ha fatto il liceo conosce quantomeno la consecutio temporum. Che poi, a volere essere pignoli, c’è pure una differenza fra valutazione intermedia e valutazione a medio termine… Poi - andando su vette più elevate - c’è la famosa zuppa di Stake che ci insegna simpaticamente a distinguere fra valutazione sommativa e formativa, che ancorché fuorvianti traduzioni dall’inglese sommative e formative, che vogliono dire altro, restano comunque una suddivisione fondamentale nella Grande Teoria Della Valutazione. E attenzione! Perché se è vero che ogni valutazione è un po’ formativa e un po’ sommativa (si tratta di una zuppa, tutto sommato, no?) resta il fatto che se siete compresi da un’ottica sommativa siete più temuti e andate al sodo della validità dei programmi, mentre se siete formativi siete simpatici e inclusivi e alla fine, diciamolo, chi se ne importa se il programma ha fatto schifo, l’importante e che abbiamo imparato qualcosa. Qualunque cosa. E questo ci porta alla grande famiglia delle valutazioni democratiche e capacitanti, a partire dall’Empowerment evaluation sulla quale Fetterman ha costruito una brillante e solida carriera. E se l’ha costruita una ragione ci sarà, non vi pare? D’altronde bisogna anche conoscere la Realistic evaluation di Pawson, che ha avuto una ventata di grande rinomanza anche in Italia, alcuni anni fa, grazie alla commendabile iniziativa di alcuni padri e madri della valutazione italiana che l’hanno introdotta nella nostra accogliente comunità, la quale nel frattempo aveva - giustamente, diciamolo - dimenticato la “Quarta generazione valutativa” di Guba e Lincoln, roba vecchia… E della Program-Theory Evaluation vogliamo parlare?

Ma se la Grande Teoria Della Valutazione vi fa un po’ girare la testa, e preferite lasciarla ai Grandi Teorizzatori Della Valutazione, quanto meno non potete, assolutamente non potete, esimervi dal conoscere le differenze fra risultati e impatti, e conseguentemente organizzare le analisi valutative differentemente, come Valutazione dei risultati oppure come Valutazione degli impatti; un po’ frigidi i primi ma così eccitanti i secondi! Talmente eccitanti che se ne parla con voce tremula, la si annuncia nei bandi valutativi, spesso a sproposito, la si brama, la si reclama! Diciamolo: cosa può valere di più di una buona valutazione degli impatti? E non venite ora a cavillare su cosa siano esattamente “gli impatti”, cercateveli su Google!

E ho taciuto della valutazione di processo contrapposta a quella di risultato, della valutazione distinta dal monitoraggio (mancanza imperdonabile!) della valutazione controfattuale distinta dai buchi neri e ho taciuto di molte altre dozzine di distinzioni, classificazioni, suddivisioni tutte più o meno note a seconda di come i proponenti abbiano saputo o meno far la loro fortuna cavalcando quelle che sono, e che restano, invenzioni linguistiche la cui importanza è assolutamente pari a zero.

La empowerment evaluation non esisterebbe senza Fetterman, ma Fetterman non esisterebbe senza la sua cavatina; Stake non sarebbe noto ai più senza la sua zuppa, Guba e Lincoln senza l’inutile quarta generazione, e così via. Solo gli autori di più spessore (Patton, Pawson…) hanno avuto anche altro da dire, oltre all’utilizzabilità valutativa il primo e al realismo il secondo. E quello di altro che hanno avuto da dire, e che li rende autori di spessore, è ciò che attraversa tutte, assolutamente tutte, le proposte e suddivisioni valutative qui citate: il metodo.

L’empowerment, la realistic, la sommative, la ex ante come la ex post, la democratica (diomio, come si fa a pensare, definire e teorizzare una “valutazione democratica”?) e tutte le altre quisquilie di cui si occupa la Grande Teoria Della Valutazione evaporano nella loro insignificanza appena si evoca il metodo.

C’è bisogno di spiegarsi?

La valutazione - a volere essere semanticamente pignoli - è l’esito di un processo di ricerca valutativa. Altrimenti è mero asserire da Bar Sport. La ricerca “valutativa” è una forma particolare, applicata, di ricerca sociale, e le differenze sono secondarie, operative, e non interessano il fondamento che le accomuna, che è il metodo della ricerca sociale, che ha un senso nell’alveo del generale metodo della ricerca scientifica contemporanea.

Quindi: l’empowerment, il realismo, la teoria del programma, l’ex ante, l’ex post, l’attenzione sui risultati o sugli impatti, le differenze col monitoraggio e ogni e ciascuna specificazione che volete proporre, evaporano di fronte all’unica riflessione che rende la valutazione un ambito professionale, tecnico e scientifico degno di essere discusso: il metodo della ricerca sociale. E, effettivamente, molte di queste proposte risultano totalmente inconsistenti proprio sotto questo profilo; e quindi inutili, anzi dannose, perché distraggono l’attenzione verso altri luoghi, verso altri concetti, verso altre pratiche che - essendo aliene al metodo - non sono ricerca valutativa, e di conseguenza non possono produrre dati validi e informazioni affidabili e pertinenti, non possono essere utili alla programmazione e alla decisione (che è ciò che caratterizza la valutazione, senza la quale diventa inutile), inquinano l’ambiente (professionale, culturale, politico, decisionale…) con aria fritta.

Diverse sono le (in realtà pochissime) distinzioni e classificazioni nell’ambito del metodo (le uniche che ci possono interessare). In pratica esiste una principale distinzione che ha un fondamento epistemologico e riguarda la ricerca (valutativa e non) controfattuale rispetto a tutte le altre forme di ricerca. Sorvoliamo qui sul fatto che nella grande famiglia controfattuale le proposte realmente costitutive di una episteme coerente, differente da quella non controfattuale, sono pochissime, e che nella realtà pratica moltissime proposte valutative si propongono controfattuali senza esserlo, con una di quelle faticose (per chi le subisce) concessioni a mode che nella nostra comunità di pratiche hanno solitamente la durata di un lustro circa (prima c’è stata la valutazione basata sulla qualità percepita, poi il realismo, poi la teoria del programma, poi il controfattuale e oggi la valutazione d’impatto - elementi spuri, certo). Messa da parte la scelta controfattuale (raramente possibile in pratica), si può discutere su approcci partecipati oppure no solo se la differenza discende direttamente da questioni di metodo, e non da ridicole presunzioni ideologiche (ne abbiamo parlato in un post precedente); si possono distinguere approcci standard e non standard, includendo nella discussione anche gli approcci misti (mixed method), e direi poche altre questioni realmente utili in una distinzioni fra approcci metodologici.

Questa terminologia, queste distinzioni metodologiche, hanno a che fare con l’epistemologia, ovvero la natura delle tecniche di fronte alla realtà fattuale da analizzare; è un problema altissimo, riguarda il modo in cui affrontiamo il mondo per capirlo, e se abbiamo voglia di alzare ancor più lo sguardo potremmo interrogarci sulla possibilità stessa di conoscerlo, quel mondo. Tornando bruscamente a terra, possiamo lasciare ai metodologi e agli epistemologi il compito di raggiungere quelle vette supreme, ma al contempo dobbiamo restare ancorati al metodo: ciò che ci deve interessare come scienziati sociali, come valutatori, come professionisti dell’analisi delle politiche inizia col metodo e finisce col metodo. Parliamo di mandato valutativo, per esempio, perché ha strettamente a che fare col metodo; parliamo di eventuale partecipazione se e in quanto incide su scelte di metodo; porgiamo attenzione agli approcci standard e non standard perché incidono pesantemente sui risultati del nostro metodo. E non ci deve interessare nulla - a meno che si debba presentare una relazione a un Convegno titolato - se la nostra valutazione è formativa o sommativa, di risultati o di impatti, realista o basata sulla teoria del programma o della quarta o della quinta generazione.

La valutazione che chiamiamo pragmatica, che viene considerata positivamente nell’ambito della Centrale Valutativa, è una riflessione metodologica. Non si contrappone né all’empowerment di Fetterman, né al realismo di Pawson né alla zuppa di Stake. È un approccio di ricerca, con una sua riflessione epistemologica, una sua coerenza metodologica, delle sue definizioni operative.

E non è di moda, il che la rende una gran cosa, davvero interessante.

Claudio Bezzi 

Una nota massima della valutazione, scritta da Mauro Palumbo nel suo manuale del 2002 (p. 48), recita che «tutto ciò che è decidibile è valutabile. Intendo con ciò affermare che qualsiasi processo decisionale che miri intenzionalmente a produrre un effetto su soggetti terzi può essere sottoposto a valutazione».

La frase è un’autocitazione da un precedente libretto del 1998 curato da Palumbo e da me, quindi quest’affermazione comincia ad avvicinarsi ai vent’anni. Come tanti, credo, io ho fatta mia questa massima per lungo tempo e, nelle varie occasioni anche didattiche in cui ne ho parlato, la spiegavo più o meno così: la valutazione si occupa di processi intenzionali e razionali; un POR, per esempio; o un progetto di cooperazione; o un’organizzazione del lavoro; o una politica sociale. Tutti questi esempi, come mille altri, sono caratterizzati da intenzionalità e razionalità. Qualcuno ha deciso che un dato problema (economico, sociale, sanitario, industriale…) fosse almeno in parte risolvibile con un determinato intervento, durante n anni, con tot denari, implementato in un certo modo come da progetto operativo, da quadro logico, da Swot, da Pcm, Gantt, Pert, Smart, Wbs, Pmbox, Quark e Zut. Poi, visto che nulla funziona come da quadro logico, pcm, wbs, quark e zut, bisogna chiamare i valutatori per vedere cosa sia veramente successo e perché. Che ci sia, nel cielo valutativo sopra di noi, una costellazione fortemente positivista è innegabile; la valutazione nasce chiaramente con questa impronta cartesiana, causalista, tant’è vero che – trascurabili eccezioni a parte – la valutazione si occupa tradizionalmente della conformità fra obiettivi e risultati.

Soffermiamoci un attimo sulla valutazione basata sugli obiettivi. Così come siamo pervasi da una logica ingegneristica nella progettazione delle politiche, la valutazione difficilmente sfugge a un’analoga ingegnerizzazione del processo di ricerca e analisi. Si è progettato A, e si deve verificare E_A (sua realizzazione, sua efficacia, suoi effetti…). Generalmente è qui che si apre l’abisso. Il valutatore deve risolvere una sorta di funzione di questo genere:

 E_A= f(A)

Decisiva è quindi la conoscenza di A che, com’è noto, è invece spesso opaco, vago, contraddittorio. I documenti ufficiali (POR, Documento di programmazione, delibera istitutiva, scheda progettuale…) solo raramente, e per progetti semplici, possono essere chiari e completi; la letteratura su questo argomento è vasta come la conoscenza diffusa dei valutatori di questa realtà. Cosa fare? La Vecchia Scuola insegnava che non si poteva che “chiarire gli obiettivi”, cioè farsi spiegare dai committenti, dai decisori, dai progettisti, cosa diavolo volessero veramente programmare. Ma poiché costoro raramente sanno dare le spiegazioni dovute, sono nati approcci quali l’esplorazione del campo semantico valutativo (Bezzi), la valutazione basata sulla teoria del programma (Weiss), la valutazione realista (Pawson e Tilley) e vari approcci partecipativi che hanno la funzione di capire la logica del programma (di A) oltre il mero pronunciamento sintattico degli attori decisionali (ne ho parlato qui).

Questi approcci sono, tutti, sostanzialmente positivisti perché, di fronte all’opacità della politica e alla panoplia di opinioni, definizioni, “teorie” e realismi, il valutatore non ha che una soluzione: andare eventualmente oltre il livello sintattico (le parole dette per descrivere la politica o il programma) e approdare a quello semantico (capire il senso di ciò che viene detto). Qui si consuma un autoinganno. Il convergere delle dichiarazioni degli stakeholder verso un focus condiviso non è garanzia di reale condivisione (come si ostina ancora a dichiarare qualcuno). Che ci si fermi al livello sintattico delle mere dichiarazioni (qualcosa di estremamente rozzo, purtroppo assai diffuso) o che si cerchi di approcciare la semantica della visione programmatoria degli stakeholder, sempre il valutatore ha necessità di trovare un punto di equilibrio che possa definire, in un qualche modo, cosa sia la politica o il programma da valutare (di cosa sia composto, quali finalità abbia, che risultati sono attesi, entro quale teoria del cambiamento si situi). Ciò che scaturisce dal lavoro preliminare del valutatore per definire A, che lo faccia in forma partecipata o no, alla luce della teoria del programma o secondo altri approcci, il valutatore approda non già ad A, che in realtà non esiste se non in forma simbolica, ma ad A_i, che è solamente una delle tante possibilità date (A₁, A₂… A_n), ciascuna realistica, possibile, verosimile e in gran parte vera, per come può essere “vera” la rappresentazione parziale, contestuale, ri-costruita di un oggetto complesso. Il valutatore, quindi, opera con una funzione diversa (ma raramente esplicitata):

E_A  ≈ f^n!(A_i)

ciò che va a valutare (E_A = l’esito – per esempio in termini di efficacia – del programma A) è in funzione (approssimativa) di tutte le possibili combinazioni (n!) di concetti, teorie, linguaggi, conoscenze tacite, aspettative, eccetera degli attori implicati, sedimentata, o forse meglio cristallizzata, in una cornice decisa una volta per tutte, una fra le tante possibili (A_i) in ragione degli stakeholder coinvolti.

Fin qui la semplice descrizione di ciò che realmente fa la valutazione, che già basta per modificare la frase di Palumbo in: “Tutto ciò che è decidibile è approssimativamente valutabile attraverso un simulacro riconosciuto verosimile da chi ha l’autorità per farlo”. Adesso però facciamo un passo avanti critico.

Per definire l’oggetto della valutazione, simulacro o no, occorre che il valutatore abbia sufficientemente chiaro:

• ·     qual è il concetto da esplorare;
• ·     quali indicatori sono pertinenti a indicarlo.

Tutto qui.

Tutto qui? È un lavoro fondamentale che in molti conoscono anche se usano una terminologia diversa. Il concetto è ovviamente ciò che si valuta, per esempio: efficacia esterna della tale politica sociale; efficienza del tale programma di trasporti. Gli indicatori sono i diversi elementi di analisi che il valutatore intende raccogliere per spiegare (valutare) il programma o progetto. Tra gli indicatori e il concetto (in senso lazarsfeldiano, si veda qui per approfondire) c’è un rapporto semantico così come fra l’oggetto da valutare e i dati e le informazioni raccolte. Il nesso fra le due coppie (concetto-indicatori e politica-dati) è realizzato attraverso definizioni operative (che sono ancora concetti nella prima coppia e metodi e tecniche nella seconda).

Ora: cosa accade se non riusciamo a definire il concetto da esplorare (detto in valutatese: se non riusciamo, per esempio, a definire cosa sia “efficacia del progetto A”)? E cosa accade se non riusciamo a trovare degli indicatori pertinenti (detto in valutatese: se non riusciamo, per esempio, a capire cosa sia possibile rilevare, e con quali strumenti)? Eppure questo è il caso normale, anche se non sempre il valutatore se ne accorge. Per capire bene questo passaggio cruciale devo proporre un esempio un po’ estremo ma reale.

Immaginate un servizio territoriale di bassa soglia, vocato alla protezione di una fascia sociale a rischio. L’organizzazione che l’ha istituito, supponiamo, ha inteso intervenire in una situazione di emergenza dandosi un mandato abbastanza generale: trovare sul territorio quante più persone di quella fascia sociale e intervenire – per quanto costoro siano disposte ad accettare – offrendo aiuto immediato, quindi informazioni e orientamento (per esempio sui servizi disponibili, sui diritti e così via), protezione e assistenza (per esempio sanitaria, alimentare, ma anche legale se necessaria). La valutazione dell’efficacia di questo servizio ha bisogno di capire cosa sia |efficacia| in quel caso: è ciò che dice il committente? Ciò che dicono gli operatori? Ciò che dicono gli utenti? Ebbene, nel caso in questione si osserva subito che non solo le definizioni risulterebbero diverse, ma che la diversità ha a che fare con l’intensione del concetto, con quantità di elementi di natura differente e irriducibile. Vale a dire che non esiste un percorso standard per potere affermare “il tot per cento ha completato il percorso”; ci sono molteplici percorsi, brevi e lunghi, dalla mera riduzione del danno all’uscita dall’area del disagio. Un esempio per capire la situazione è il caso delle tossicodipendenze; come concettualizziamo l’efficacia dell’intervento pubblico sui tossicodipendenti? Un problema di questo genere l’ho trattato alcuni anni fa, e se avete piacere di approfondire potete leggere qui).

Il problema però può complicarsi ulteriormente: diversamente dal citato caso delle dipendenze, dove gli utenti sono registrati e ogni intervento su di loro viene annotato, supponiamo che il servizio immaginato sopra decida di non registrare gli utenti, di non realizzare una qualche presa in carico, semmai pensando che per quella particolare fascia di utenti ciò apparirebbe come una schedatura, una sorta di istituzionalizzazione. Questi utenti che stiamo per immaginare entrano ed escono dal servizio come credono; partecipano oppure no alle attività proposte; non c’è un traguardo, non c’è un processo che inizi e finisca, ma solo protezione, offerta di ascolto, risposte essenziali. Quindi: niente dati. Indubbiamente c’è la memoria degli operatori ai quali si possono chiedere giudizi, e potremmo anche intervistare gli utenti, ma tutto ciò è assolutamente aleatorio e autoreferenziale. Quale valutazione dell’efficacia possiamo pensare di realizzare se non riusciamo a definire in maniera chiara e univoca |efficacia| e se, in ogni caso, non abbiamo dati e informazioni oggettive (io non uso mai l’aggettivo ‘oggettivo’, qui lo faccio in maniera volutamente critica)? Eppure il servizio in questione è frutto di un processo intenzionale e razionale…

La risposta – una di quelle possibili – l’ho sommariamente indicata in un altro recente testo al quale rimando (L’efficacia situazionale) che sintetizzo per potermi avviare a una conclusione: la risposta è il linguaggio. Se sopra abbiamo parlato della banalità dell’approccio sintattico (tipico, per capirsi, degli abusati focus group), e ora ci accorgiamo del limite anche dell’approccio semantico (proprio del brainstorming valutativo, giusto per dare un’indicazione sommaria), la nostra valutazione deve rivolgersi all’approccio pragmatico. La pragmatica è l’analisi dell’uso del linguaggio, che esorbita dalla sintassi ed è assai più profonda del livello semantico. Poiché, in ogni caso, ciò che possiamo fare, ciò che possiamo conoscere, le tecniche che possiamo mettere in campo, sono solo linguaggio, ma poiché il linguaggio può tradire ed essere insufficiente per la nostra analisi, il livello pragmatico del linguaggio, utilizzato come potente strumento euristico nella ricerca sociale e in valutazione, apre porte che non potevamo immaginare. Mi spiace lasciare i lettori a metà dell’esposizione: come e in che modo il linguaggio sia parte del metodo, e come e perché l’approccio pragmatico offra soluzioni inaspettate, è parte di un testo che attualmente ho in lavorazione e che, comunque, sarà presentato alla Scuola Estiva sul Metodo che si terrà a Tortorella (SA) fra il 28 agosto e l’8 settembre in una tavola rotonda con Alberto Marradi, Giovanni Di Franco e me (il programma sarà on line fra poco – attualmente c’è ancora quello vecchio – sul sito: http://www.paideiascuoleestive.it).

In conclusione, tornando alla massima di Palumbo, dobbiamo modificarla un’ultima volta in questo modo: “Tutto ciò che è esprimibile linguisticamente è approssimativamente valutabile attraverso un approccio pragmatico, nel quadro di un metodo multitecnica e multiattore”. Comprendo che ho messo improvvisamente sul tavolo molte cose, ma abbiate fiducia; ci scriveremo ancora e pian piano aggiungeremo pezzi. Quello che volevo segnalare qui, riassumendo, è questo:

• l’iper razionalità valutativa è un’illusione; per carità, è un’illusione comoda perché spesso i committenti credono di volere dati, numeri, certezze, confortati anche da una letteratura marginale ma aggressiva che pretende che esista una “verità” superiore quantitativa in qualche magico modo sempre raggiungibile (è uscito da poco un volume curato da Marradi proprio su questo punto; ne ho parlato qui;
• il problema centrale, ineludibile, fondativo del disegno di qualunque valutazione, dovrebbe essere la chiara identificazione dell’oggetto della valutazione e del conseguente mandato: di cosa si tratta? Cosa intende produrre? Quale teoria è implicata in quel programma? In che senso possiamo dire che è “efficace”? Cos’è l’efficacia in quel caso? (un approfondimento qui);
• approfondire il punto precedente (per “fermare” l’oggetto da valutare, definirlo in maniera congrua, valida, accettata dagli attori sociali implicati) significa produrre azioni necessariamente linguistiche (che implichino o no la ricerca di dati numerici) che possono essere estremamente superficiali (livello sintattico), abbastanza approfondite ma comunque limitate (livello semantico), oppure centrate sugli attori in situazione, sul contesto, sulla realtà esperita ovvero, detto in altre parole: su un approccio pragmatico (un approfondimento qui)
• definire pragmaticamente l’oggetto della ricerca significa approdare a mandati pertinenti; disegnare la valutazione in termini non banali; raccogliere e analizzare dati e informazioni in maniera sicuramente più consona alla realtà offrendo, quindi, un giudizio valutativo più utile.

Ci sono altre conseguenze a questo approccio, sul piano epistemologico e metodologico, ma ne dovremo parlare un’altra volta

cb