Una nota massima della valutazione, scritta da Mauro Palumbo nel suo manuale del 2002 (p. 48), recita che «tutto ciò che è decidibile è valutabile. Intendo con ciò affermare che qualsiasi processo decisionale che miri intenzionalmente a produrre un effetto su soggetti terzi può essere sottoposto a valutazione».

La frase è un’autocitazione da un precedente libretto del 1998 curato da Palumbo e da me, quindi quest’affermazione comincia ad avvicinarsi ai vent’anni. Come tanti, credo, io ho fatta mia questa massima per lungo tempo e, nelle varie occasioni anche didattiche in cui ne ho parlato, la spiegavo più o meno così: la valutazione si occupa di processi intenzionali e razionali; un POR, per esempio; o un progetto di cooperazione; o un’organizzazione del lavoro; o una politica sociale. Tutti questi esempi, come mille altri, sono caratterizzati da intenzionalità e razionalità. Qualcuno ha deciso che un dato problema (economico, sociale, sanitario, industriale…) fosse almeno in parte risolvibile con un determinato intervento, durante n anni, con tot denari, implementato in un certo modo come da progetto operativo, da quadro logico, da Swot, da Pcm, Gantt, Pert, Smart, Wbs, Pmbox, Quark e Zut. Poi, visto che nulla funziona come da quadro logico, pcm, wbs, quark e zut, bisogna chiamare i valutatori per vedere cosa sia veramente successo e perché. Che ci sia, nel cielo valutativo sopra di noi, una costellazione fortemente positivista è innegabile; la valutazione nasce chiaramente con questa impronta cartesiana, causalista, tant’è vero che – trascurabili eccezioni a parte – la valutazione si occupa tradizionalmente della conformità fra obiettivi e risultati.

Soffermiamoci un attimo sulla valutazione basata sugli obiettivi. Così come siamo pervasi da una logica ingegneristica nella progettazione delle politiche, la valutazione difficilmente sfugge a un’analoga ingegnerizzazione del processo di ricerca e analisi. Si è progettato A, e si deve verificare E_A (sua realizzazione, sua efficacia, suoi effetti…). Generalmente è qui che si apre l’abisso. Il valutatore deve risolvere una sorta di funzione di questo genere:

 E_A= f(A)

Decisiva è quindi la conoscenza di A che, com’è noto, è invece spesso opaco, vago, contraddittorio. I documenti ufficiali (POR, Documento di programmazione, delibera istitutiva, scheda progettuale…) solo raramente, e per progetti semplici, possono essere chiari e completi; la letteratura su questo argomento è vasta come la conoscenza diffusa dei valutatori di questa realtà. Cosa fare? La Vecchia Scuola insegnava che non si poteva che “chiarire gli obiettivi”, cioè farsi spiegare dai committenti, dai decisori, dai progettisti, cosa diavolo volessero veramente programmare. Ma poiché costoro raramente sanno dare le spiegazioni dovute, sono nati approcci quali l’esplorazione del campo semantico valutativo (Bezzi), la valutazione basata sulla teoria del programma (Weiss), la valutazione realista (Pawson e Tilley) e vari approcci partecipativi che hanno la funzione di capire la logica del programma (di A) oltre il mero pronunciamento sintattico degli attori decisionali (ne ho parlato qui).

Questi approcci sono, tutti, sostanzialmente positivisti perché, di fronte all’opacità della politica e alla panoplia di opinioni, definizioni, “teorie” e realismi, il valutatore non ha che una soluzione: andare eventualmente oltre il livello sintattico (le parole dette per descrivere la politica o il programma) e approdare a quello semantico (capire il senso di ciò che viene detto). Qui si consuma un autoinganno. Il convergere delle dichiarazioni degli stakeholder verso un focus condiviso non è garanzia di reale condivisione (come si ostina ancora a dichiarare qualcuno). Che ci si fermi al livello sintattico delle mere dichiarazioni (qualcosa di estremamente rozzo, purtroppo assai diffuso) o che si cerchi di approcciare la semantica della visione programmatoria degli stakeholder, sempre il valutatore ha necessità di trovare un punto di equilibrio che possa definire, in un qualche modo, cosa sia la politica o il programma da valutare (di cosa sia composto, quali finalità abbia, che risultati sono attesi, entro quale teoria del cambiamento si situi). Ciò che scaturisce dal lavoro preliminare del valutatore per definire A, che lo faccia in forma partecipata o no, alla luce della teoria del programma o secondo altri approcci, il valutatore approda non già ad A, che in realtà non esiste se non in forma simbolica, ma ad A_i, che è solamente una delle tante possibilità date (A₁, A₂… A_n), ciascuna realistica, possibile, verosimile e in gran parte vera, per come può essere “vera” la rappresentazione parziale, contestuale, ri-costruita di un oggetto complesso. Il valutatore, quindi, opera con una funzione diversa (ma raramente esplicitata):

E_A  ≈ f^n!(A_i)

ciò che va a valutare (E_A = l’esito – per esempio in termini di efficacia – del programma A) è in funzione (approssimativa) di tutte le possibili combinazioni (n!) di concetti, teorie, linguaggi, conoscenze tacite, aspettative, eccetera degli attori implicati, sedimentata, o forse meglio cristallizzata, in una cornice decisa una volta per tutte, una fra le tante possibili (A_i) in ragione degli stakeholder coinvolti.

Fin qui la semplice descrizione di ciò che realmente fa la valutazione, che già basta per modificare la frase di Palumbo in: “Tutto ciò che è decidibile è approssimativamente valutabile attraverso un simulacro riconosciuto verosimile da chi ha l’autorità per farlo”. Adesso però facciamo un passo avanti critico.

Per definire l’oggetto della valutazione, simulacro o no, occorre che il valutatore abbia sufficientemente chiaro:

• ·     qual è il concetto da esplorare;
• ·     quali indicatori sono pertinenti a indicarlo.

Tutto qui.

Tutto qui? È un lavoro fondamentale che in molti conoscono anche se usano una terminologia diversa. Il concetto è ovviamente ciò che si valuta, per esempio: efficacia esterna della tale politica sociale; efficienza del tale programma di trasporti. Gli indicatori sono i diversi elementi di analisi che il valutatore intende raccogliere per spiegare (valutare) il programma o progetto. Tra gli indicatori e il concetto (in senso lazarsfeldiano, si veda qui per approfondire) c’è un rapporto semantico così come fra l’oggetto da valutare e i dati e le informazioni raccolte. Il nesso fra le due coppie (concetto-indicatori e politica-dati) è realizzato attraverso definizioni operative (che sono ancora concetti nella prima coppia e metodi e tecniche nella seconda).

Ora: cosa accade se non riusciamo a definire il concetto da esplorare (detto in valutatese: se non riusciamo, per esempio, a definire cosa sia “efficacia del progetto A”)? E cosa accade se non riusciamo a trovare degli indicatori pertinenti (detto in valutatese: se non riusciamo, per esempio, a capire cosa sia possibile rilevare, e con quali strumenti)? Eppure questo è il caso normale, anche se non sempre il valutatore se ne accorge. Per capire bene questo passaggio cruciale devo proporre un esempio un po’ estremo ma reale.

Immaginate un servizio territoriale di bassa soglia, vocato alla protezione di una fascia sociale a rischio. L’organizzazione che l’ha istituito, supponiamo, ha inteso intervenire in una situazione di emergenza dandosi un mandato abbastanza generale: trovare sul territorio quante più persone di quella fascia sociale e intervenire – per quanto costoro siano disposte ad accettare – offrendo aiuto immediato, quindi informazioni e orientamento (per esempio sui servizi disponibili, sui diritti e così via), protezione e assistenza (per esempio sanitaria, alimentare, ma anche legale se necessaria). La valutazione dell’efficacia di questo servizio ha bisogno di capire cosa sia |efficacia| in quel caso: è ciò che dice il committente? Ciò che dicono gli operatori? Ciò che dicono gli utenti? Ebbene, nel caso in questione si osserva subito che non solo le definizioni risulterebbero diverse, ma che la diversità ha a che fare con l’intensione del concetto, con quantità di elementi di natura differente e irriducibile. Vale a dire che non esiste un percorso standard per potere affermare “il tot per cento ha completato il percorso”; ci sono molteplici percorsi, brevi e lunghi, dalla mera riduzione del danno all’uscita dall’area del disagio. Un esempio per capire la situazione è il caso delle tossicodipendenze; come concettualizziamo l’efficacia dell’intervento pubblico sui tossicodipendenti? Un problema di questo genere l’ho trattato alcuni anni fa, e se avete piacere di approfondire potete leggere qui).

Il problema però può complicarsi ulteriormente: diversamente dal citato caso delle dipendenze, dove gli utenti sono registrati e ogni intervento su di loro viene annotato, supponiamo che il servizio immaginato sopra decida di non registrare gli utenti, di non realizzare una qualche presa in carico, semmai pensando che per quella particolare fascia di utenti ciò apparirebbe come una schedatura, una sorta di istituzionalizzazione. Questi utenti che stiamo per immaginare entrano ed escono dal servizio come credono; partecipano oppure no alle attività proposte; non c’è un traguardo, non c’è un processo che inizi e finisca, ma solo protezione, offerta di ascolto, risposte essenziali. Quindi: niente dati. Indubbiamente c’è la memoria degli operatori ai quali si possono chiedere giudizi, e potremmo anche intervistare gli utenti, ma tutto ciò è assolutamente aleatorio e autoreferenziale. Quale valutazione dell’efficacia possiamo pensare di realizzare se non riusciamo a definire in maniera chiara e univoca |efficacia| e se, in ogni caso, non abbiamo dati e informazioni oggettive (io non uso mai l’aggettivo ‘oggettivo’, qui lo faccio in maniera volutamente critica)? Eppure il servizio in questione è frutto di un processo intenzionale e razionale…

La risposta – una di quelle possibili – l’ho sommariamente indicata in un altro recente testo al quale rimando (L’efficacia situazionale) che sintetizzo per potermi avviare a una conclusione: la risposta è il linguaggio. Se sopra abbiamo parlato della banalità dell’approccio sintattico (tipico, per capirsi, degli abusati focus group), e ora ci accorgiamo del limite anche dell’approccio semantico (proprio del brainstorming valutativo, giusto per dare un’indicazione sommaria), la nostra valutazione deve rivolgersi all’approccio pragmatico. La pragmatica è l’analisi dell’uso del linguaggio, che esorbita dalla sintassi ed è assai più profonda del livello semantico. Poiché, in ogni caso, ciò che possiamo fare, ciò che possiamo conoscere, le tecniche che possiamo mettere in campo, sono solo linguaggio, ma poiché il linguaggio può tradire ed essere insufficiente per la nostra analisi, il livello pragmatico del linguaggio, utilizzato come potente strumento euristico nella ricerca sociale e in valutazione, apre porte che non potevamo immaginare. Mi spiace lasciare i lettori a metà dell’esposizione: come e in che modo il linguaggio sia parte del metodo, e come e perché l’approccio pragmatico offra soluzioni inaspettate, è parte di un testo che attualmente ho in lavorazione e che, comunque, sarà presentato alla Scuola Estiva sul Metodo che si terrà a Tortorella (SA) fra il 28 agosto e l’8 settembre in una tavola rotonda con Alberto Marradi, Giovanni Di Franco e me (il programma sarà on line fra poco – attualmente c’è ancora quello vecchio – sul sito: http://www.paideiascuoleestive.it).

In conclusione, tornando alla massima di Palumbo, dobbiamo modificarla un’ultima volta in questo modo: “Tutto ciò che è esprimibile linguisticamente è approssimativamente valutabile attraverso un approccio pragmatico, nel quadro di un metodo multitecnica e multiattore”. Comprendo che ho messo improvvisamente sul tavolo molte cose, ma abbiate fiducia; ci scriveremo ancora e pian piano aggiungeremo pezzi. Quello che volevo segnalare qui, riassumendo, è questo:

• l’iper razionalità valutativa è un’illusione; per carità, è un’illusione comoda perché spesso i committenti credono di volere dati, numeri, certezze, confortati anche da una letteratura marginale ma aggressiva che pretende che esista una “verità” superiore quantitativa in qualche magico modo sempre raggiungibile (è uscito da poco un volume curato da Marradi proprio su questo punto; ne ho parlato qui;
• il problema centrale, ineludibile, fondativo del disegno di qualunque valutazione, dovrebbe essere la chiara identificazione dell’oggetto della valutazione e del conseguente mandato: di cosa si tratta? Cosa intende produrre? Quale teoria è implicata in quel programma? In che senso possiamo dire che è “efficace”? Cos’è l’efficacia in quel caso? (un approfondimento qui);
• approfondire il punto precedente (per “fermare” l’oggetto da valutare, definirlo in maniera congrua, valida, accettata dagli attori sociali implicati) significa produrre azioni necessariamente linguistiche (che implichino o no la ricerca di dati numerici) che possono essere estremamente superficiali (livello sintattico), abbastanza approfondite ma comunque limitate (livello semantico), oppure centrate sugli attori in situazione, sul contesto, sulla realtà esperita ovvero, detto in altre parole: su un approccio pragmatico (un approfondimento qui)
• definire pragmaticamente l’oggetto della ricerca significa approdare a mandati pertinenti; disegnare la valutazione in termini non banali; raccogliere e analizzare dati e informazioni in maniera sicuramente più consona alla realtà offrendo, quindi, un giudizio valutativo più utile.

Ci sono altre conseguenze a questo approccio, sul piano epistemologico e metodologico, ma ne dovremo parlare un’altra volta

cb