Centrale Valutativa, IRS (Istituto per la ricerca sociale) e l'Università di Bari si occuperano della valutazione di impatto del bando dell'impresa sociale 'Con i Bambini' sul benessere psicologico degli adolescenti.

L’incarico si svolgerà in quattro fasi:
1. progettazione dell’impianto valutativo di bando, in stretto raccordo con gli uffici di Con i Bambini;
2. finalizzazione del disegno di valutazione di bando e di ciascun progetto, in collaborazione con le partnership delle proposte progettuali ammesse alla seconda fase;
3. realizzazione della valutazione dei singoli progetti;
4. realizzazione della valutazione di bando.

Il servizio prevede:

• una valutazione finale di efficacia e una valutazione di impatto ex post (tra 12 e 24 mesi dalla fine delle attività) per ciascun progetto finanziato;
• una valutazione finale di efficacia e una valutazione di impatto ex-post sull’insieme dei progetti sostenuti dal bando.

Centrale Valutativa sta lavorando al servizio di valutazione strategica e operativa del PSL "Punti, Superfici e Linee" del GAL Vegal. Piano finanziato dai fondi FEASR nella programmazione 2014-2020 dello sviluppo rurale della Regione Veneto.

Il servizio che si concluderà a dicembre 2022, prevede di accompagnare il GAL nella valutazione degli effetti della sua strategia nei territori della Venento Orientale.

Il budget previsto è pari a 15.737 euro    

È noto che il concetto di ‘valutazione’ è – come tanti in ambito scientifico e professionale – tendenzialmente ambiguo. È sia termine del linguaggio ordinario che tecnico, ma anche in questo secondo caso sconta il fatto che la valutazione è un ampio e diversificato campo di studio e intervento di recente costituzione al quale contribuiscono economisti, sociologi, statistici, pedagogisti, giuristi, esperti di amministrazione pubblica e vari altri.

Ciascuna categoria professionale, ciascuna comunità di pratiche e scientifica, ha “importato” il proprio linguaggio, le proprie consuetudini, la propria visione di contesto, e questo contribuisce a creare confusione malgrado il dibattito internazionale aiuti a limare le differenze più eclatanti e a sedimentare alcuni punti fermi. Anche se non senza oscillazioni di significato anche importanti, è per esempio ormai chiara a tutti, e sostanzialmente da tutti accettata, la differenza fra “valutazione” e “monitoraggio”, oppure fra “dati”, “informazioni” e “indicatori”, e chi utilizza in modo improprio questi termini deve renderne conto.

Uno dei concetti valutativi maggiormente utilizzati da un decennio a questa parte è quello di ‘partecipazione’, che compare assai spesso in ampia parte della letteratura valutativa (da oltre un ventennio in quella americana), che viene sovente evocata da professionisti ma che è anche oggetto di equivoci che possono avere pesanti riflessi nella pratica operativa. In modo generico possiamo intendere ‘partecipazione’ come il contributo che gli attori sociali rilevanti (stakeholder, ma abbiamo l’equivalente italiano ed è meglio usare quello) possono dare alla pratica valutativa. Vale a dire che il valutatore, in una logica partecipata, non è considerato come un solitario indagatore che costruisce i suoi metodi nel suo studio, li applica secondo criteri a lui solo noti, li analizza in segreto per poi rivelare, alla fine, il risultato della sua indagine. Questa idea di separazione del ricercatore dal contesto indagato, molto ottocentesca, di sapore positivista, funziona poco nelle scienze accademiche, figurarsi in valutazione che si caratterizza per il desiderio di praticità e utilità e che quindi deve, necessariamente, essere una pratica sporca, in cui si cerca il contatto con gli attori sociali, in cui ci si sporge inevitabilmente nella programmazione, formazione e consulenza.

L’idea di ‘partecipazione’ può però essere intesa in una grande varietà di significati. Alcuni, eccessivamente ristretti e ormai quasi più da nessuno invocati, riguardano la semplice necessità di reperire dati presso terzi (per esempio: con un questionario sull’efficacia di un determinato programma somministrato ai beneficiari), ma il filone principale che in valutazione propugna la partecipazione intende, ovviamente, qualcosa di più: partecipazione, per esempio, nella costruzione dello strumento valutativo; partecipazione nell’analisi dei risultati; partecipazione come condivisione del progetto valutativo e delle sue finalità. Assodato che sia questo secondo il concetto di ‘partecipazione’ di cui stiamo parlando occorre porsi la fondamentale domanda: perché mai sarebbe utile fare una cosa di questo genere, ovviamente più faticosa e costosa per il valutatore?

Non porsi questa domanda significa non padroneggiare il metodo valutativo. Come per qualunque altro aspetto della valutazione (il disegno valutativo, la scelta delle tecniche e la loro analisi…) anche l’eventuale approccio partecipato deve discendere da scelte precise, chiare, consapevoli ed esplicitabili dal valutatore. In caso contrario tali scelte sembrerebbero (e forse sarebbero) conseguenze di una moda, di un’adesione acritica a procedure non ben comprese, e quindi sarebbe lecito dubitare della bontà del disegno valutativo, dell’opportunità del metodo adottato e della validità dei risultati raccolti (e quindi dei giudizi valutativi conseguenti).

Nella letteratura valutativa una delle principali motivazioni alla valutazione partecipata è la sua intrinseca democraticità. Far partecipare gli attori sociali è un veicolo di empowerment, capacitazione, comprensione del contesto, formazione dei partecipanti e quindi, in sostanza, è una cosa buona in sé. Naturalmente, laddove fosse vero che un certo tipo di valutazione fosse collegabile all’incremento di democrazia ed empowerment, non potremmo che rallegrarci, ma al contempo appare evidente come non sia questo lo scopo della valutazione. I propugnatori della valutazione partecipata in quanto democratica (esiste anche una valutazione etichettata proprio come “valutazione democratica”, ovviamente partecipata) compiono un fondamentale errore in buona fede: sovrastimano un epifenomeno (il fatto che un certo tipo di approccio induca democraticità) e perdono di vista l’obiettivo fondamentale, che per la valutazione è costruire giudizi su programmi e politiche sulla base di argomentazioni sostenute da dati e informazioni. La valutazione nasce nel mondo occidentale per aiutare i decisori a disambiguare una realtà di sempre più difficile comprensione nella società complessa in cui siamo immersi. Prendere decisioni (politiche, amministrative, gestionali…) è difficile a causa dell’incremento delle interconnessioni fra individui, gruppi, eventi e contesti. Il valutatore si affianca al decisore per de-complessificare gli elementi sottoposti a decisione e giudizio, e per fare questo affronta un percorso di ricerca sociale in grado di produrre dati e informazioni chiare. Lo scopo della valutazione non è la democrazia, anche se un’ovvia conseguenza della valutazione è la trasparenza e la rendicontazione, elementi indubbiamente importanti per i processi democratici. Riassumendo: bene, anzi benissimo, se la valutazione correttamente esercitata e utilizzata favorisce democrazia ed empowerment, auto-riflessione e consapevolezza degli operatori, ma non è questo il suo scopo principale.

Se lo scopo principale della valutazione è produrre argomentazioni utili per la decisione pubblica, argomentazioni corroborate da dati e informazioni ricavati da rigorosi percorsi di ricerca sociale, quale ruolo spetta alla partecipazione? La risposta ovvia, a questo punto, risiede strettamente nel metodo. La partecipazione in valutazione è utile o non è utile se è funzionale al metodo, se contribuisce a corroborare le informazioni, se aiuta il valutatore a meglio argomentare i risultati che dovranno servire al decisore. I fautori della partecipazione che non si misurano col metodo in realtà non sanno perché tale approccio sia utile oppure no, e quindi producono valutazioni che forse saranno utili o forse no.

Ciò premesso sì, la valutazione partecipata ha un ruolo importante sotto il profilo del metodo per molteplici ragioni, la principale delle quali risiede nella corretta identificazione del vero oggetto dell’analisi valutativa, che non è mai “la politica” o “il programma” o “l’organizzazione” ma le persone che tale politica, programma, organizzazione, agiscono. Un POR per esempio (Programma Operativo Regionale, per esempio relativo a fondi strutturali quali Fesr o Fse) non è il documento “POR” disponibile come volume cartaceo o come file scaricabile dal sito regionale. Il POR non è le dichiarazioni, solitamente ambigue e contraddittorie, che si possono ricavare da una lettura del testo; e non è neppure l’analisi finanziaria dei suoi aspetti economici. Il POR (come qualunque politica e programma, come qualunque organizzazione o servizio) è invece il combinato disposto delle persone che agiscono quel Programma e dei loro contesti. “Persone” è però troppo generico: bisogna intendere certo anche il livello individuale (personologico) ma specialmente, in valutazione, i ruoli agiti, le culture professionali, politiche, istituzionali trasmesse, le relazioni e le diverse finalità di gruppi a volte contrapposti che in quel Programma agiscono. E anche “contesti” deve essere inteso in senso più socio-antropologico che non meramente geografico e amministrativo, e quindi espressione locale di bisogni, esperienze pregresse, senso di identità e molto altro. Un qualunque programma, quindi, non può essere valutato in relazione a un inesistente algoritmo (azioni intese ingegneristicamente, in tempi certi, con denari chiari, su beneficiari evidenti…) bensì alla luce dei meccanismi sociali che questa platea di attori in situazione produce, ovverossia alla luce di come tali attori interpretano il programma, come lo rendono operativo, come lo sostengono oppure come vi oppongono una qualche frizione, semmai inconsapevole. I programmi (le politiche, etc.) funzionano o non funzionano alla luce del risultato finale di una grande quantità di interpretazioni, di relazioni, di aggiustamenti. Il valutatore deve entrare in tale complessità sociale e cercare di capirla per poter dire qualcosa di più di “il programma ha funzionato / non ha funzionato”; se si vogliono capire i meccanismi che hanno consentito al programma di funzionare o meno, e adempiere alla finalità valutativa dell’apprendimento organizzativo, le politiche e i programmi non possono essere trattati come cose, semplicemente perché non lo sono. Le politiche e i programmi sono le persone che tali politiche e programmi hanno pensato e implementato, sono le loro visioni politiche e organizzative, le finalità e gli obiettivi, anche impliciti, che hanno creduto di perseguire, salvo accorgersi che sussistono obiettivi anche contraddittori e contrapposti. Le politiche e i programmi sono i meccanismi sociali, che li fanno ben funzionare oppure no, prodotti da molteplici interazioni e volontà, in molti casi pianificati e consapevoli e in altri casi no. E il valutatore deve entrare in tale agone non già col compasso, col metro e colla bilancia bensì con una capacità di osservazione e interpretazione che solo il reale coinvolgimento degli attori sociali può dargli.

Ecco allora il significato della valutazione partecipata alla luce del metodo: poiché gli effetti delle politiche e programmi sono il prodotto di meccanismi sociali per lo più impliciti, non chiaramente espressi, a volte contraddittori, è solo dall’adesione convinta degli attori sociali alla valutazione che si può sperare di cogliere la portata di tali meccanismi, il ruolo delle comunità di pratiche, il senso attribuito alle indicazioni programmatiche. Il valutatore desidera un approccio partecipato perché:
• solo così ottiene la profondità informativa che altrimenti non raggiungerebbe;
• crea un contesto di fiducia reciproco che consente di ottenere tali informazioni;
• crea i presupposti per un uso della valutazione e dei suoi risultati.

Ma c’è di più. Questo contesto fluido e sfaccettato che abbiamo descritto propone, ovviamente, molteplici verità. Esiste un’idea di Programma (delle sue finalità, dei suoi obiettivi, degli effetti attesi) del decisore che forse assomiglia a quella del programmatore, del burocrate che ha materialmente redatto il testo, o forse no; ma che probabilmente è diversa dall’idea che di quello stesso programma hanno coloro che dovranno materialmente implementarlo e condurlo negli anni, e probabilmente molto diversa dall’idea che se ne fanno i beneficiari, la popolazione in generale, gruppi di pressione e di interesse specifici e così via. È inevitabile che sia così. Questa molteplice rappresentazione dello stesso programma è un vulnus valutativo non trascurabile. Se il valutatore rimane troppo appiattito sull’idea del programmatore potrebbe essere a un certo punto rifiutato (nel lessico, nelle operazioni di analisi) dall’operatore di front office o dal beneficiario, ma se si allinea troppo a questi ultimi sarà il decisore o il programmatore a non capirlo più, a percepirlo come non utile alla decisione che si deve prendere. La valutazione partecipata consente di superare questa grave difficoltà perché con tecniche e procedure opportune mette in circolo le idee, obbliga al confronto, induce comprensione e condivisione del lessico. Una valutazione partecipata ben fatta non modifica, ovviamente, le diverse idee che gli attori hanno del programma ma, almeno, riesce a cristallizzarne una versione trasversalmente accettata sulla quale lavorare; fissa i punti chiave, precisa i confini entro i quali tutti concordano di operare; acquisisce il lessico locale (di quelle comunità di pratiche) come patrimonio comune anche al valutatore. Non si tratta, quindi, solo di avere più informazioni, o migliori, ma di avere quelle informazioni che gli stessi attori coinvolti giudicano pertinenti, averle col loro lessico (i problemi semantici e pragmatici sono rilevantissimi anche se non li tratteremo in questa nota), espresse entro il quadro culturale che agisce in quel contesto e che sarà responsabile dei meccanismi sociali già detti, responsabili del funzionamento o meno del programma.

Una valutazione siffatta richiede un disegno particolare; tecniche e procedure ad hoc; capacità specifiche del valutatore. Ma soprattutto richiede, a monte, la disponibilità del committente. Tale disponibilità è essenziale per avviare un approccio partecipato, deve essere pattuita a monte, durante la fase di costruzione del mandato valutativo, può essere rinegoziabile e adattabile in corso d’opera ma, occorre essere chiari, se non c’è, se per qualunque motivo il committente, il suo staff e i principali attori sociali si rendono indisponibili, allora non c’è nulla da fare e si deve ricorrere ad altri disegni, ad altre tecniche, con evidenti altri risultati.

È solo a questo punto, dopo una riflessione sul metodo, che c’è bisogno di una riflessione sulle tecniche. Le tecniche seguono la riflessione sul metodo, e sono selezionate dal valutatore sulla base di una giustificazione metodologica (occorre segnalare che questo elemento, anche se fondamentale, non è ben compreso dai molti che utilizzano determinate tecniche, e non altre, per ragioni non note, legate semmai a loro personali preferenze e competenze). Il ventaglio di tecniche utili in una valutazione partecipata è estremamente vasto ma, naturalmente, le tecniche basate su gruppi di esperti sono quelle elettivamente più utili (anche se sarebbe improprio una connessione in qualche modo vincolante fra partecipazione e tecniche di gruppo). In questa ampia famiglia di tecniche ne troviamo alcune che facilitano la discussione di gruppo (composto da quegli attori rilevanti di cui abbiamo parlato fin qui) e la decisione consensuale; altre non mirano alla consensualità ma all’identificazione delle diverse articolazioni della visioni del programma; alcune aiutano il gruppo a decidere, altre consentono la costruzione condivisa di indicatori; alcune forniscono testi che il valutatore dovrà ulteriormente elaborare e altre forniscono matrici numeriche in qualche modo già pronte all’uso. Sapere quali tecniche e procedure siano più adatte alla luce degli obiettivi valutativi (e delle “domande valutative”), e come far interagire tali tecniche con altre azioni valutative, semmai non partecipate (raccolta di basi di dati, indagini, etc.), è naturalmente parte integrante della professionalità del valutatore.

La Centrale Valutativa è consapevole dell’importanza della partecipazione in valutazione. Ne conosce potenzialità e limiti e cerca di proporla nei suoi disegni valutativi in un quadro multimetodo (mixed method, ovvero approcci quali-quantitativi supportati da tecniche diverse). Su questi temi la Centrale Valutativa è impegnata in una costante formazione del proprio gruppo di lavoro.