Naturalmente c’è la valutazione ex ante, quella in itinere e quella ex post che sono diversissime, lo dice la parola stessa, e chi ha fatto il liceo conosce quantomeno la consecutio temporum. Che poi, a volere essere pignoli, c’è pure una differenza fra valutazione intermedia e valutazione a medio termine… Poi - andando su vette più elevate - c’è la famosa zuppa di Stake che ci insegna simpaticamente a distinguere fra valutazione sommativa e formativa, che ancorché fuorvianti traduzioni dall’inglese sommative e formative, che vogliono dire altro, restano comunque una suddivisione fondamentale nella Grande Teoria Della Valutazione. E attenzione! Perché se è vero che ogni valutazione è un po’ formativa e un po’ sommativa (si tratta di una zuppa, tutto sommato, no?) resta il fatto che se siete compresi da un’ottica sommativa siete più temuti e andate al sodo della validità dei programmi, mentre se siete formativi siete simpatici e inclusivi e alla fine, diciamolo, chi se ne importa se il programma ha fatto schifo, l’importante e che abbiamo imparato qualcosa. Qualunque cosa. E questo ci porta alla grande famiglia delle valutazioni democratiche e capacitanti, a partire dall’Empowerment evaluation sulla quale Fetterman ha costruito una brillante e solida carriera. E se l’ha costruita una ragione ci sarà, non vi pare? D’altronde bisogna anche conoscere la Realistic evaluation di Pawson, che ha avuto una ventata di grande rinomanza anche in Italia, alcuni anni fa, grazie alla commendabile iniziativa di alcuni padri e madri della valutazione italiana che l’hanno introdotta nella nostra accogliente comunità, la quale nel frattempo aveva - giustamente, diciamolo - dimenticato la “Quarta generazione valutativa” di Guba e Lincoln, roba vecchia… E della Program-Theory Evaluation vogliamo parlare?
Ma se la Grande Teoria Della Valutazione vi fa un po’ girare la testa, e preferite lasciarla ai Grandi Teorizzatori Della Valutazione, quanto meno non potete, assolutamente non potete, esimervi dal conoscere le differenze fra risultati e impatti, e conseguentemente organizzare le analisi valutative differentemente, come Valutazione dei risultati oppure come Valutazione degli impatti; un po’ frigidi i primi ma così eccitanti i secondi! Talmente eccitanti che se ne parla con voce tremula, la si annuncia nei bandi valutativi, spesso a sproposito, la si brama, la si reclama! Diciamolo: cosa può valere di più di una buona valutazione degli impatti? E non venite ora a cavillare su cosa siano esattamente “gli impatti”, cercateveli su Google!
E ho taciuto della valutazione di processo contrapposta a quella di risultato, della valutazione distinta dal monitoraggio (mancanza imperdonabile!) della valutazione controfattuale distinta dai buchi neri e ho taciuto di molte altre dozzine di distinzioni, classificazioni, suddivisioni tutte più o meno note a seconda di come i proponenti abbiano saputo o meno far la loro fortuna cavalcando quelle che sono, e che restano, invenzioni linguistiche la cui importanza è assolutamente pari a zero.
La empowerment evaluation non esisterebbe senza Fetterman, ma Fetterman non esisterebbe senza la sua cavatina; Stake non sarebbe noto ai più senza la sua zuppa, Guba e Lincoln senza l’inutile quarta generazione, e così via. Solo gli autori di più spessore (Patton, Pawson…) hanno avuto anche altro da dire, oltre all’utilizzabilità valutativa il primo e al realismo il secondo. E quello di altro che hanno avuto da dire, e che li rende autori di spessore, è ciò che attraversa tutte, assolutamente tutte, le proposte e suddivisioni valutative qui citate: il metodo.
L’empowerment, la realistic, la sommative, la ex ante come la ex post, la democratica (diomio, come si fa a pensare, definire e teorizzare una “valutazione democratica”?) e tutte le altre quisquilie di cui si occupa la Grande Teoria Della Valutazione evaporano nella loro insignificanza appena si evoca il metodo.
C’è bisogno di spiegarsi?
La valutazione - a volere essere semanticamente pignoli - è l’esito di un processo di ricerca valutativa. Altrimenti è mero asserire da Bar Sport. La ricerca “valutativa” è una forma particolare, applicata, di ricerca sociale, e le differenze sono secondarie, operative, e non interessano il fondamento che le accomuna, che è il metodo della ricerca sociale, che ha un senso nell’alveo del generale metodo della ricerca scientifica contemporanea.
Quindi: l’empowerment, il realismo, la teoria del programma, l’ex ante, l’ex post, l’attenzione sui risultati o sugli impatti, le differenze col monitoraggio e ogni e ciascuna specificazione che volete proporre, evaporano di fronte all’unica riflessione che rende la valutazione un ambito professionale, tecnico e scientifico degno di essere discusso: il metodo della ricerca sociale. E, effettivamente, molte di queste proposte risultano totalmente inconsistenti proprio sotto questo profilo; e quindi inutili, anzi dannose, perché distraggono l’attenzione verso altri luoghi, verso altri concetti, verso altre pratiche che - essendo aliene al metodo - non sono ricerca valutativa, e di conseguenza non possono produrre dati validi e informazioni affidabili e pertinenti, non possono essere utili alla programmazione e alla decisione (che è ciò che caratterizza la valutazione, senza la quale diventa inutile), inquinano l’ambiente (professionale, culturale, politico, decisionale…) con aria fritta.
Diverse sono le (in realtà pochissime) distinzioni e classificazioni nell’ambito del metodo (le uniche che ci possono interessare). In pratica esiste una principale distinzione che ha un fondamento epistemologico e riguarda la ricerca (valutativa e non) controfattuale rispetto a tutte le altre forme di ricerca. Sorvoliamo qui sul fatto che nella grande famiglia controfattuale le proposte realmente costitutive di una episteme coerente, differente da quella non controfattuale, sono pochissime, e che nella realtà pratica moltissime proposte valutative si propongono controfattuali senza esserlo, con una di quelle faticose (per chi le subisce) concessioni a mode che nella nostra comunità di pratiche hanno solitamente la durata di un lustro circa (prima c’è stata la valutazione basata sulla qualità percepita, poi il realismo, poi la teoria del programma, poi il controfattuale e oggi la valutazione d’impatto - elementi spuri, certo). Messa da parte la scelta controfattuale (raramente possibile in pratica), si può discutere su approcci partecipati oppure no solo se la differenza discende direttamente da questioni di metodo, e non da ridicole presunzioni ideologiche (ne abbiamo parlato in un post precedente); si possono distinguere approcci standard e non standard, includendo nella discussione anche gli approcci misti (mixed method), e direi poche altre questioni realmente utili in una distinzioni fra approcci metodologici.
Questa terminologia, queste distinzioni metodologiche, hanno a che fare con l’epistemologia, ovvero la natura delle tecniche di fronte alla realtà fattuale da analizzare; è un problema altissimo, riguarda il modo in cui affrontiamo il mondo per capirlo, e se abbiamo voglia di alzare ancor più lo sguardo potremmo interrogarci sulla possibilità stessa di conoscerlo, quel mondo. Tornando bruscamente a terra, possiamo lasciare ai metodologi e agli epistemologi il compito di raggiungere quelle vette supreme, ma al contempo dobbiamo restare ancorati al metodo: ciò che ci deve interessare come scienziati sociali, come valutatori, come professionisti dell’analisi delle politiche inizia col metodo e finisce col metodo. Parliamo di mandato valutativo, per esempio, perché ha strettamente a che fare col metodo; parliamo di eventuale partecipazione se e in quanto incide su scelte di metodo; porgiamo attenzione agli approcci standard e non standard perché incidono pesantemente sui risultati del nostro metodo. E non ci deve interessare nulla - a meno che si debba presentare una relazione a un Convegno titolato - se la nostra valutazione è formativa o sommativa, di risultati o di impatti, realista o basata sulla teoria del programma o della quarta o della quinta generazione.
La valutazione che chiamiamo pragmatica, che viene considerata positivamente nell’ambito della Centrale Valutativa, è una riflessione metodologica. Non si contrappone né all’empowerment di Fetterman, né al realismo di Pawson né alla zuppa di Stake. È un approccio di ricerca, con una sua riflessione epistemologica, una sua coerenza metodologica, delle sue definizioni operative.
E non è di moda, il che la rende una gran cosa, davvero interessante.
Claudio Bezzi