Per finalità storiografiche qualcuno ci descrive le “generazioni” valutative, o le “ondate”, “fasi” o altro; i meno raffinati si limitano a menzionare un generico passato positivista (i valutatori usano anche il termine ‘realista’) e un presente costruttivista, intendendoli comunque in maniera progressiva (il povero e ottuso positivismo e il rampante e promettente costruttivismo) ma i conti, in realtà, non tornano mai bene, nel senso che non riesce mai a cogliere - in queste rappresentazioni schematiche - il “dove siamo” nella mappa valutativa. Il problema sta nelle etichette, che si capisce - anche senza sforzi sociologici - che obbligano a semplificazioni buone per piccoli esercizi didattici, non per rappresentare la varietà e la ricchezza teorica e metodologica delle scienze sociali e della valutazione. Né i percorsi che ha fatto negli anni.
Noto che gli autori e le autrici delle “ondate” sono bravi narratori di mitologie poco al dentro della questione essenziale, che è il paradigma del metodo. Se guardiamo questo, se lo guardiamo veramente, comprendiamo una cosa piuttosto semplice. Fra positivisti e costruttivisti del secolo scorso, e primi anni di questo, sono cambiati gli approcci e gli accenti, ma non la natura del loro pensiero scientifico. Almeno, non in maniera dirimente.
Certo, i positivisti ingenui, cartesiani, della prima metà dello scorso secolo credevano possibile standardizzare la ricerca per cogliere una verità ultima, rappresentabile con dati certi e incontrovertibili. Questo monismo scientifico è stato abbastanza chiaramente superato dal dualismo costruttivista da quando si è reso evidente il fallimento del mandato monista nello studio delle relazioni sociali. Le differenze etniche, sociali, psicologiche e molteplici altre, la variabilità del comportamento per mille e mille elementi cangianti e imponderabili, hanno alla fine convinto a volgere lo sguardo verso l’impossibilità della standardizzazione, e ancor più la sua totale inutilità.
Ciò non di meno, la maggior parte degli autori schierati nel caucus costruttivista continuano a produrre lo stesso tipo di dati prodotti dai loro avi positivisti; anche se lo fanno camuffandoli. La cosa funziona più o meno così: devo valutare l’efficacia di una politica sociale (è un esempio a caso, mettete voi la politica o programma che preferite); poiché so (io che sono un costruttivista), che non posso misurare quell’efficacia, cerco altre strade, indirette, per potere soddisfare la domanda valutativa (e poter fatturare a chi quella domanda ha posto); faccio dei questionari, organizzo dei focus group, mi invento qualche giravolta e, se ho anche qualche decente base statistica, costruisco un bell’algoritmo per mettere insieme tutti questi risultati e dire poi al committente che, in una scala centesimale, la sua politica “vale” 87/100.
Il lettore capisce, ovviamente, che sto esagerando. Ma se fa parte di questa comunità di pratiche, di ricercatori sociali e valutatori, ha certamente esperienza di questo: nove volte su dieci il committente chiede - e il professionista offre - dei numeri: indicatori (intesi come numeri), percentuali, tabelle, valori. Realizzare una ricerca valutativa con soli quattro o cinque focus group, per rilasciare poi un rapporto puramente descrittivo di quanto detto in quelle riunioni, può andare bene per il professionista sottopagato che fa una micro ricerca sul servizio sociale di una cooperativa di provincia, ma non certo per la valutazione di un programma o di una politica. E quindi numeri, accidenti! L’inutile customer satisfaction sopravvive alla propria banalità perché produce numeri: gli utenti (cittadini, clienti) hanno detto, al 47,3%, che… Gli sterili indicatori sociali, che pure avrebbero nobili avi, sono ridotti alla prostituzione del numero perché lasciano intendere di essere oggettivi, comparabili, asettici. E i costruttivisti ci stanno dentro con tutti e due i piedi. Semmai fanno precedere qualche intervista alla customer satisfaction, o seguire qualche tecnica di gruppo alla costruzione degli indicatori. Ma fanno questo.
È - quello descritto - il paradigma della costruzione del dato intesa come misurazione o - per i meno sprovveduti fra i costruttivisti - conteggi, ordinamenti e quasi-misurazioni ottenute con scale cardinali (molto amate dai costruttivisti perché sembrano essere l’alibi inattaccabile per il delitto perfetto). Poiché sono un costruttivista, e so che non posso “misurare” i tuoi pareri e comportamenti, ti somministro delle scale; oppure ti lascio libero di parlare e poi sottopongo il trascritto di quanto mi hai raccontato a un bel software che farà l’analisi testuale; oppure ancora, in epoca di social media, faccio una sentiment analysis su Facebook. C’è questa idea di evitare il grezzo positivismo a livello di premessa e promessa, per poi cercare soluzioni esattamente positiviste (se preferite: post-positiviste). E poi ci sono sempre le scappatoie, come le presunte tecniche miste (mixed method) che nessuno sa cosa siano ma sono - proprio per questo - una figata pazzesca e forniscono un alibi perfetto: faccio cinque focus group (inutili ma qualitativi e tanto costruttivisti) per impostare un bel questionario (standardizzato e tanto realista).
Fortunatamente comincia ad apparire un nuovo paradigma. Un nuovo paradigma vero, non solo una nuova etichetta al paradigma vecchio. Il nuovo paradigma parte dalla vera, autentica, convinta considerazione che la verità cartesiana, molto semplicemente, non vale per le relazioni sociali (che è ciò di cui si occupano gli scienziati sociali e quindi i valutatori). Non è “per colpa” di queste scienze, da sempre considerate “deboli”; molto banalmente le relazioni sociali non sono l’oggetto della verità cartesiana, non lo possono essere. Ignoro, e non voglio discutere qui, se tale verità esiste nell’Universo; forse sì, non è il mio campo; forse esiste una sola verità fisica, le stelle, e le galassie e i buchi neri sono - forse - descrivibili in maniera univoca (quando avremo imparato a farlo) ed esisteranno secondo quella verità, in eterno. Ma non è così per gli esseri umani e le loro relazioni sociali. Se capiamo questo, se lo capiamo veramente e non astrattamente, avremo una piccola ma intensa epifania di questo genere: ma cosa me ne importa se quella politica sociale è “buona” per 87/100? E cosa diavolo significherebbe, poi, “buona”? E che ridicolaggine è 87/100? E quel 47,3% che avrebbe risposto in un determinato modo, alla domanda del mio questionario, mamma mia che assurdità!
Il nuovo paradigma che vedo emergere riguarda la costruzione del dato come costruzione di senso. Il nuovo paradigma sa che non c’è una verità, e che qualunque percentuale di risposta, qualunque misurazione statistica avrebbe altri valori se rifatta, se riproposta appena appena diversamente, se gli intervistati cambiano, se l’ora dell’intervista cambia, se qualche partecipante al mio focus group ha il mal di pancia… Rincorrere il dato inteso come misurazione assomiglia allo sforzo di un bambino che costruisce la sua piccola diga di sabbia contro le onde del mare.
Il nuovo paradigma riguarda il senso delle cose. Riguarda quindi la semantica e la pragmatica assai più della mera sintassi (sintassi = risposta a un questionario; numeri e indici; …); riguarda l’induzione e l’abduzione assai più della lineare e troppo controllabile deduzione. Riguarda modelli di ricerca e disegni di valutazione che non si pongono come risposta di verità (ti dico come stanno le cose, se hai fatto bene o male) ma come costruzione di domande assennate, quelle domande che aiutano tutti gli utilizzatori del nostro lavoro a capire il mondo (quel pezzetto di mondo nel quale operano). Porsi le domande giuste significa sapere dare un senso alle cose.
C’è una considerazione che vado facendo da un po’ di tempo: salvo casi drammaticamente perversi di cui non ho conoscenza, qualunque politica funziona. Una nuova politica del lavoro, un nuovo servizio sociale, un nuovo programma di sostegno alle imprese, non può che impiegare energie e risorse risolvendo alcuni aspetti, almeno, del problema cui intendeva rispondere. Può farlo benissimo, benino o malino, certo, ma solo se chiariamo - con esercizi faticosissimi e sempre discutibili, cosa significhino “veramente” questi aggettivi; per chi significano quelle cose; con che limiti; fino a quando… Quelle politiche possono funzionare meglio o peggio di altre, certo, ma solo se chiariamo - con approssimazioni mastodontiche di cui dovremo fingere di ignorare la portata - con quali criteri realizziamo il confronto, essendo i suoi oggetti assolutamente differenti fra di loro.
Voglio dire: qualunque artificio intendiamo utilizzare, noi non sapremo mai quanto veramente sia buona una politica (o programma), ma siamo legittimati a pensare che quelle energie profuse, quel tempo investito, quei capitali impegnati, siano serviti, almeno un po’, a migliorare qualcosa per qualcuno. Quel miglioramento non ci sarebbe stato senza quella politica. La valutazione dell’efficacia di una politica quindi, ha sempre due soli valori: 0 (zero) o 1, dove 0 significa “nessuna politica” e 1 significa “un qualche beneficio per qualcuno”.
Cercare di trovare un valore intrinseco migliore di 1, con strategie di ricerca aderenti al vecchio paradigma, è sterile, inutile, sostanzialmente falso.
Questa riflessione retrocede fino alle domande valutative. La domanda valutativa “Quanto è stata efficace la mia politica?” è sbagliata; o, quanto meno, la risposta è sempre e solo questa: “Fra 0 e 1, la tua politica è stata efficace 1, e non poteva essere altrimenti”.
La corretta domanda valutativa deve invece essere: “Che senso ha avuto questa politica?” Ovviamente questa macro domanda iper generica si sostanzierà in domande specifiche quali: “Chi ha vinto e chi ha perso in questa politica?”; “Quali elementi implementativi hanno rallentato il dispiegamento dei risultati?”; “Quali attori hanno operato delle frizioni negative sul programma? Perché?”; “Quali elementi di contesto hanno favorito od ostacolato il dispiegarsi dei meccanismi che hanno condotto al risultato finale?”; “Che ruolo hanno giocato gli operatori?”. Eccetera.
Cogliere il senso della politica (e non pretendere di misurarne gli effetti) è il solo e unico modo per imparare dalla valutazione e con la valutazione.
Sì, lo so: trovare un committente che accetti di fare queste domande valutative è decisamente difficile. Capita, ma raramente. Il mercato della valutazione, almeno in Italia, vive nel loop di committenti ingenui che fanno domande sbagliate e professionisti mediocri che danno loro risposte inutili; l’uno rinforza l’altro.
Ugualmente, il bravo professionista preme, spinge, insiste per far avanzare il livello della sua prestazione; incalza il committente affinché capisca il significato dell’analisi delle politiche e gli spiega come non cadere nello sciocchezzario di moda al momento (l’analisi controfattuale; la valutazione di impatto sociale…). Poi, ovviamente, tutti noi dovremo fare i quattro indicatori, redigere il maledetto questionario, fornire una bella regressione statistica… Facciamolo, ma sapendo e capendo quello che facciamo (e migliorando grandemente quegli indicatori, strutturando al meglio quel questionario, inserendo quella regressione in un disegno di ricerca intelligente).

CB

Il mio mestiere è la valutazione [dell’efficacia, dell’efficienza…] delle politiche pubbliche [programmi, progetti, pubblici o di ONG]. Mi chiamano perché dica, ai responsabili di una politica, se hanno fatto o stanno facendo bene, cosa non ha funzionato e perché. Qualche volta, anziché essere chiamato, partecipo a bandi. E questa era la premessa per contestualizzare.

Qualche giorno fa ero a Roma con i colleghi della Centrale per rispondere a due bandi particolari, con le seguenti prerogative:

• ampi, anzi: amplissimi come popolazione target e territorio coinvolto;
• oscuri, anzi proprio confusi, come accade quando per qualche motivo un Ente mette dei soldi non sa bene perché, per fare cose benemerite che non si sa affatto se funzioneranno;
• urgenti; come sempre ci siamo trovati pochi giorni a disposizione per scrivere.

L’ultimo punto è un mix di colpe amministrative dell’Ente appaltatore e ritardi cronici del soggetto proponente e non vale la pena parlarne. I primi due punti, invece, sono tipici dei programmi complessi che sono, di regola, programmi di intervento sociale (in senso lato: welfare, sanità, lavoro, formazione…), come nel caso che vi sto raccontando.

La figura (a sinistra) intende mostrare simbolicamente il problema: aree percepite e aree (che ci sono anche se non sono chiaramente percepite) che possono avere molta rilevanza; concetti sovrapposti e altri poco definibili; effetti intervenienti difficili da identificare.
La risposta del valutatore affronta quindi una duplice barriera:
•quella della complessità insita in ogni contesto sociale;
•quella dell’interpretazione che di quella complessità ha già dato l’Ente banditore, interpretazione che si evince dalle descrizione (più o meno buona) dell’oggetto di valutazione, dai vincoli e dalle indicazioni proposte, che non possono essere ignorate dal valutatore. 

Di fronte a questa [confusa] complessità, il valutatore deve dare - al contrario - una risposta organica, addirittura schematica, razionalista, causalista (dato il problema A con l’intervento B si otterrà la soluzione C). Insomma, qualcosa così. 

La risposta analitica
La figura (a destra) intende sottolineare un approccio analitico al problema della progettazione: si vedono tutti i pezzi indicati dal committente (e - se si ha un po’ di esperienza - anche altri), e ad ognuno di questi si dà una risposta specifica. Il macro-problema che ha generato il bando riceve delle risposte parcellizzate: un’indagine (per esempio) su un aspetto rilevante, un’altra fase di ricerca su un secondo aspetto rilevante e così via, a seconda delle richieste del bando, del budget disponibile e delle capacità ideative del proponente (il valutatore che scrive il progetto cercando di vincere il bando). 

Ammettendo subito di avere partecipato a molte gare con progetti scritti così, occorre dire che l’approccio analitico non è il massimo per questo motivi:
• essendo di tipo logico-razionalista è solitamente ripetitivo; questo pensiero tende a cristallizzarsi su determinati schemi, nel senso che “vede” sempre le stesse cose tendendo a dare le stesse risposte;
• i vari “pezzi” potrebbero non coprire [semanticamente] l’intero problema oggetto dell’intervento; anzi, non succede proprio, è impossibile, e nessuno può sapere il peso - nel complesso del problema - di quelle parti trascurate;
• è illusorio considerare la somma delle parti esplorate (anche se coprissero tutto il problema) come coincidente alla risposta globale, d’insieme. Tutto è parcellizzato; abbiamo risposte specifiche che potrebbero funzionare tutte nella distinzione, ma non funzionare come insieme.
Non si sta dicendo che il pensiero analitico sia errato, o anche semplicemente inferiore a quello sintetico. Questo è il tipico processo di problem solving, che riguarda, per esempio, anche il quadro logico e il paradigma lazasferdiano. 

La risposta sintetica
La risposta sintetica (a torto chiamata anche “intuitiva”, “convergente” e in altri modi) è ovviamente il contrario e si pone come sistemico, olistico, organico (concetti differenti, sia chiaro). Vale a dire che cerca di cogliere, al di là dei singoli elementi evidenti (sui quali è attratta la nostra attenzione, e quindi diventano confusivi) i fattori trasversali che li collegano e - si badi - che danno un senso unitario al progetto e quindi alla capacità di valutarlo e gestirlo nella sua unitarietà.
La figura che segue propone - sempre simbolicamente - il pensiero sintetico e i suoi principali risultati, assai meno significativi nell’aproccio analitico:
Il pensiero sintetico, a differenza di quello analitico, è meno “logico”, è più difficilmente oggetto di un apprendimento razionale. È abduttivo. È creativo. “Pesca” sulle conoscenze pregresse, anche tacite, e solitamente appare alla coscienza in modo subitaneo. Nel processo elaborativo di cui parlavo all’inizio questo è successo: leggere la proposta messa a bando, girarci con circospezione attorno, avere l’idea, quasi la visione, direi, per poi approfondirla con approccio analitico, per poi tornare alla visione d’insieme…
La qualità progettuale ne risente. Nel senso che diventa stupenda, sistemica, organica, capace di rivelare allo stesso committente elementi e aspetti sottotraccia e non pienamente chiari. La qualità progettuale diventa, paradossalmente, rischiosa, perché occorre un esaminatore capace di cogliere questa visione complessiva, e che voglia realizzare quindi una valutazione non banale.

Una nota massima della valutazione, scritta da Mauro Palumbo nel suo manuale del 2002 (p. 48), recita che «tutto ciò che è decidibile è valutabile. Intendo con ciò affermare che qualsiasi processo decisionale che miri intenzionalmente a produrre un effetto su soggetti terzi può essere sottoposto a valutazione».

La frase è un’autocitazione da un precedente libretto del 1998 curato da Palumbo e da me, quindi quest’affermazione comincia ad avvicinarsi ai vent’anni. Come tanti, credo, io ho fatta mia questa massima per lungo tempo e, nelle varie occasioni anche didattiche in cui ne ho parlato, la spiegavo più o meno così: la valutazione si occupa di processi intenzionali e razionali; un POR, per esempio; o un progetto di cooperazione; o un’organizzazione del lavoro; o una politica sociale. Tutti questi esempi, come mille altri, sono caratterizzati da intenzionalità e razionalità. Qualcuno ha deciso che un dato problema (economico, sociale, sanitario, industriale…) fosse almeno in parte risolvibile con un determinato intervento, durante n anni, con tot denari, implementato in un certo modo come da progetto operativo, da quadro logico, da Swot, da Pcm, Gantt, Pert, Smart, Wbs, Pmbox, Quark e Zut. Poi, visto che nulla funziona come da quadro logico, pcm, wbs, quark e zut, bisogna chiamare i valutatori per vedere cosa sia veramente successo e perché. Che ci sia, nel cielo valutativo sopra di noi, una costellazione fortemente positivista è innegabile; la valutazione nasce chiaramente con questa impronta cartesiana, causalista, tant’è vero che – trascurabili eccezioni a parte – la valutazione si occupa tradizionalmente della conformità fra obiettivi e risultati.

Soffermiamoci un attimo sulla valutazione basata sugli obiettivi. Così come siamo pervasi da una logica ingegneristica nella progettazione delle politiche, la valutazione difficilmente sfugge a un’analoga ingegnerizzazione del processo di ricerca e analisi. Si è progettato A, e si deve verificare E_A (sua realizzazione, sua efficacia, suoi effetti…). Generalmente è qui che si apre l’abisso. Il valutatore deve risolvere una sorta di funzione di questo genere:

 E_A= f(A)

Decisiva è quindi la conoscenza di A che, com’è noto, è invece spesso opaco, vago, contraddittorio. I documenti ufficiali (POR, Documento di programmazione, delibera istitutiva, scheda progettuale…) solo raramente, e per progetti semplici, possono essere chiari e completi; la letteratura su questo argomento è vasta come la conoscenza diffusa dei valutatori di questa realtà. Cosa fare? La Vecchia Scuola insegnava che non si poteva che “chiarire gli obiettivi”, cioè farsi spiegare dai committenti, dai decisori, dai progettisti, cosa diavolo volessero veramente programmare. Ma poiché costoro raramente sanno dare le spiegazioni dovute, sono nati approcci quali l’esplorazione del campo semantico valutativo (Bezzi), la valutazione basata sulla teoria del programma (Weiss), la valutazione realista (Pawson e Tilley) e vari approcci partecipativi che hanno la funzione di capire la logica del programma (di A) oltre il mero pronunciamento sintattico degli attori decisionali (ne ho parlato qui).

Questi approcci sono, tutti, sostanzialmente positivisti perché, di fronte all’opacità della politica e alla panoplia di opinioni, definizioni, “teorie” e realismi, il valutatore non ha che una soluzione: andare eventualmente oltre il livello sintattico (le parole dette per descrivere la politica o il programma) e approdare a quello semantico (capire il senso di ciò che viene detto). Qui si consuma un autoinganno. Il convergere delle dichiarazioni degli stakeholder verso un focus condiviso non è garanzia di reale condivisione (come si ostina ancora a dichiarare qualcuno). Che ci si fermi al livello sintattico delle mere dichiarazioni (qualcosa di estremamente rozzo, purtroppo assai diffuso) o che si cerchi di approcciare la semantica della visione programmatoria degli stakeholder, sempre il valutatore ha necessità di trovare un punto di equilibrio che possa definire, in un qualche modo, cosa sia la politica o il programma da valutare (di cosa sia composto, quali finalità abbia, che risultati sono attesi, entro quale teoria del cambiamento si situi). Ciò che scaturisce dal lavoro preliminare del valutatore per definire A, che lo faccia in forma partecipata o no, alla luce della teoria del programma o secondo altri approcci, il valutatore approda non già ad A, che in realtà non esiste se non in forma simbolica, ma ad A_i, che è solamente una delle tante possibilità date (A₁, A₂… A_n), ciascuna realistica, possibile, verosimile e in gran parte vera, per come può essere “vera” la rappresentazione parziale, contestuale, ri-costruita di un oggetto complesso. Il valutatore, quindi, opera con una funzione diversa (ma raramente esplicitata):

E_A  ≈ f^n!(A_i)

ciò che va a valutare (E_A = l’esito – per esempio in termini di efficacia – del programma A) è in funzione (approssimativa) di tutte le possibili combinazioni (n!) di concetti, teorie, linguaggi, conoscenze tacite, aspettative, eccetera degli attori implicati, sedimentata, o forse meglio cristallizzata, in una cornice decisa una volta per tutte, una fra le tante possibili (A_i) in ragione degli stakeholder coinvolti.

Fin qui la semplice descrizione di ciò che realmente fa la valutazione, che già basta per modificare la frase di Palumbo in: “Tutto ciò che è decidibile è approssimativamente valutabile attraverso un simulacro riconosciuto verosimile da chi ha l’autorità per farlo”. Adesso però facciamo un passo avanti critico.

Per definire l’oggetto della valutazione, simulacro o no, occorre che il valutatore abbia sufficientemente chiaro:

• ·     qual è il concetto da esplorare;
• ·     quali indicatori sono pertinenti a indicarlo.

Tutto qui.

Tutto qui? È un lavoro fondamentale che in molti conoscono anche se usano una terminologia diversa. Il concetto è ovviamente ciò che si valuta, per esempio: efficacia esterna della tale politica sociale; efficienza del tale programma di trasporti. Gli indicatori sono i diversi elementi di analisi che il valutatore intende raccogliere per spiegare (valutare) il programma o progetto. Tra gli indicatori e il concetto (in senso lazarsfeldiano, si veda qui per approfondire) c’è un rapporto semantico così come fra l’oggetto da valutare e i dati e le informazioni raccolte. Il nesso fra le due coppie (concetto-indicatori e politica-dati) è realizzato attraverso definizioni operative (che sono ancora concetti nella prima coppia e metodi e tecniche nella seconda).

Ora: cosa accade se non riusciamo a definire il concetto da esplorare (detto in valutatese: se non riusciamo, per esempio, a definire cosa sia “efficacia del progetto A”)? E cosa accade se non riusciamo a trovare degli indicatori pertinenti (detto in valutatese: se non riusciamo, per esempio, a capire cosa sia possibile rilevare, e con quali strumenti)? Eppure questo è il caso normale, anche se non sempre il valutatore se ne accorge. Per capire bene questo passaggio cruciale devo proporre un esempio un po’ estremo ma reale.

Immaginate un servizio territoriale di bassa soglia, vocato alla protezione di una fascia sociale a rischio. L’organizzazione che l’ha istituito, supponiamo, ha inteso intervenire in una situazione di emergenza dandosi un mandato abbastanza generale: trovare sul territorio quante più persone di quella fascia sociale e intervenire – per quanto costoro siano disposte ad accettare – offrendo aiuto immediato, quindi informazioni e orientamento (per esempio sui servizi disponibili, sui diritti e così via), protezione e assistenza (per esempio sanitaria, alimentare, ma anche legale se necessaria). La valutazione dell’efficacia di questo servizio ha bisogno di capire cosa sia |efficacia| in quel caso: è ciò che dice il committente? Ciò che dicono gli operatori? Ciò che dicono gli utenti? Ebbene, nel caso in questione si osserva subito che non solo le definizioni risulterebbero diverse, ma che la diversità ha a che fare con l’intensione del concetto, con quantità di elementi di natura differente e irriducibile. Vale a dire che non esiste un percorso standard per potere affermare “il tot per cento ha completato il percorso”; ci sono molteplici percorsi, brevi e lunghi, dalla mera riduzione del danno all’uscita dall’area del disagio. Un esempio per capire la situazione è il caso delle tossicodipendenze; come concettualizziamo l’efficacia dell’intervento pubblico sui tossicodipendenti? Un problema di questo genere l’ho trattato alcuni anni fa, e se avete piacere di approfondire potete leggere qui).

Il problema però può complicarsi ulteriormente: diversamente dal citato caso delle dipendenze, dove gli utenti sono registrati e ogni intervento su di loro viene annotato, supponiamo che il servizio immaginato sopra decida di non registrare gli utenti, di non realizzare una qualche presa in carico, semmai pensando che per quella particolare fascia di utenti ciò apparirebbe come una schedatura, una sorta di istituzionalizzazione. Questi utenti che stiamo per immaginare entrano ed escono dal servizio come credono; partecipano oppure no alle attività proposte; non c’è un traguardo, non c’è un processo che inizi e finisca, ma solo protezione, offerta di ascolto, risposte essenziali. Quindi: niente dati. Indubbiamente c’è la memoria degli operatori ai quali si possono chiedere giudizi, e potremmo anche intervistare gli utenti, ma tutto ciò è assolutamente aleatorio e autoreferenziale. Quale valutazione dell’efficacia possiamo pensare di realizzare se non riusciamo a definire in maniera chiara e univoca |efficacia| e se, in ogni caso, non abbiamo dati e informazioni oggettive (io non uso mai l’aggettivo ‘oggettivo’, qui lo faccio in maniera volutamente critica)? Eppure il servizio in questione è frutto di un processo intenzionale e razionale…

La risposta – una di quelle possibili – l’ho sommariamente indicata in un altro recente testo al quale rimando (L’efficacia situazionale) che sintetizzo per potermi avviare a una conclusione: la risposta è il linguaggio. Se sopra abbiamo parlato della banalità dell’approccio sintattico (tipico, per capirsi, degli abusati focus group), e ora ci accorgiamo del limite anche dell’approccio semantico (proprio del brainstorming valutativo, giusto per dare un’indicazione sommaria), la nostra valutazione deve rivolgersi all’approccio pragmatico. La pragmatica è l’analisi dell’uso del linguaggio, che esorbita dalla sintassi ed è assai più profonda del livello semantico. Poiché, in ogni caso, ciò che possiamo fare, ciò che possiamo conoscere, le tecniche che possiamo mettere in campo, sono solo linguaggio, ma poiché il linguaggio può tradire ed essere insufficiente per la nostra analisi, il livello pragmatico del linguaggio, utilizzato come potente strumento euristico nella ricerca sociale e in valutazione, apre porte che non potevamo immaginare. Mi spiace lasciare i lettori a metà dell’esposizione: come e in che modo il linguaggio sia parte del metodo, e come e perché l’approccio pragmatico offra soluzioni inaspettate, è parte di un testo che attualmente ho in lavorazione e che, comunque, sarà presentato alla Scuola Estiva sul Metodo che si terrà a Tortorella (SA) fra il 28 agosto e l’8 settembre in una tavola rotonda con Alberto Marradi, Giovanni Di Franco e me (il programma sarà on line fra poco – attualmente c’è ancora quello vecchio – sul sito: http://www.paideiascuoleestive.it).

In conclusione, tornando alla massima di Palumbo, dobbiamo modificarla un’ultima volta in questo modo: “Tutto ciò che è esprimibile linguisticamente è approssimativamente valutabile attraverso un approccio pragmatico, nel quadro di un metodo multitecnica e multiattore”. Comprendo che ho messo improvvisamente sul tavolo molte cose, ma abbiate fiducia; ci scriveremo ancora e pian piano aggiungeremo pezzi. Quello che volevo segnalare qui, riassumendo, è questo:

• l’iper razionalità valutativa è un’illusione; per carità, è un’illusione comoda perché spesso i committenti credono di volere dati, numeri, certezze, confortati anche da una letteratura marginale ma aggressiva che pretende che esista una “verità” superiore quantitativa in qualche magico modo sempre raggiungibile (è uscito da poco un volume curato da Marradi proprio su questo punto; ne ho parlato qui;
• il problema centrale, ineludibile, fondativo del disegno di qualunque valutazione, dovrebbe essere la chiara identificazione dell’oggetto della valutazione e del conseguente mandato: di cosa si tratta? Cosa intende produrre? Quale teoria è implicata in quel programma? In che senso possiamo dire che è “efficace”? Cos’è l’efficacia in quel caso? (un approfondimento qui);
• approfondire il punto precedente (per “fermare” l’oggetto da valutare, definirlo in maniera congrua, valida, accettata dagli attori sociali implicati) significa produrre azioni necessariamente linguistiche (che implichino o no la ricerca di dati numerici) che possono essere estremamente superficiali (livello sintattico), abbastanza approfondite ma comunque limitate (livello semantico), oppure centrate sugli attori in situazione, sul contesto, sulla realtà esperita ovvero, detto in altre parole: su un approccio pragmatico (un approfondimento qui)
• definire pragmaticamente l’oggetto della ricerca significa approdare a mandati pertinenti; disegnare la valutazione in termini non banali; raccogliere e analizzare dati e informazioni in maniera sicuramente più consona alla realtà offrendo, quindi, un giudizio valutativo più utile.

Ci sono altre conseguenze a questo approccio, sul piano epistemologico e metodologico, ma ne dovremo parlare un’altra volta

cb