La valutazione del POR Calabria 2014-2020. A che punto siamo?

La valutazione del POR Calabria 2014-20. A che punto siamo?  Siamo entrati nella seconda fase di attuazione delle politiche del ciclo di programmazione comunitaria 2014-2020. Inizia, quindi, a destare interesse l’impatto generato dalle politiche che sono state finora implementate nell’ambito del POR Calabria. Questa nota sposta l’attenzione dai livelli della spesa certificata (che è l’aspetto su cui si è dibattuto a lungo in queste ultime settimane) agli effetti reali determinati dalle risorse comunitarie. Non è una domanda isolata legata alla curiosità di chi scrive, ma è un tema generale di politica economica che anche la Regione Calabria ha fatto proprio. “Il disegno efficace delle politiche pubbliche non può prescindere dalla disponibilità di conoscenza valutativa”. Ciò è quanto si legge a pagina 2 del Piano delle Valutazioni (PdV) del POR Calabria FESR-FSE 2014-2020, approvato il 10 luglio 2018 dal Comitato di Sorveglianza. La valutazione entra finalmente nelle attività del POR, poiché “si intende imprimere un rinnovato e deciso impulso all’attività valutativa, quale importante occasione di apprendimento sul funzionamento e sugli effetti prodotti dalle politiche attuate” (p.2).

Risorse finanziarie e umane per la valutazione. Per conseguire questi obiettivi, si farà leva su una parte dei 68 milioni di euro dell’asse “Assistenza Tecnica”, ossia quelli previsti per l’Azione 14.1.3 ”Valutazioni e Studi”. Nella sostanza delle cose, il ruolo di maggiore responsabilità nella realizzazione delle attività del PdV è svolto dal Nucleo Regionale di Valutazione e Verifica degli Investimenti Pubblici (NRVVIP), “attualmente costituito da 11 componenti, di cui 7 interni e 3 esterni all’Amministrazione regionale, che garantiscono competenze qualificate negli ambiti di policy del Programma” (p. 10)^{^}. La stragrande maggioranza delle attività previste nel PdV sono valutazioni interne, in cui il NRVVIP “potrà essere affiancato da soggetti esterni con ruoli di supervisione scientifica o di consulenza specifica” (p. 10). Alcune valutazioni saranno miste, ossia svolte dal nucleo e da valutatori esterni. Poche sono le valutazioni esterne, in cui, tuttavia, il NRVVIP “supporta il responsabile del Piano nella definizione del disegno valutativo, nella selezione dei valutatori e nella successiva fase di gestione delle attività (interlocuzione tecnica e metodologica, attività di restituzione e disseminazione). L’indipendenza di giudizio del valutatore esterno viene garantita dal Nucleo nell’ambito delle attività di controllo della qualità” (p. 10). Il nucleo, si continua a leggere, “opera in piena autonomia di giudizio e indipendenza di valutazione, così come sancito dal regolamento Regionale per la disciplina del NRVVIP approvato con DGR n. 34/2015” (p. 10).

Che cosa è stato realizzato finora? Per rispondere a questa domanda è sufficiente analizzare il crono-programma delle valutazioni, da cui risulta il dettaglio dei 30 studi valutativi che fanno parte del PdV. Si è previsto di effettuare alcune valutazione in un unico anno, altre interessano più periodi. Se facciamo riferimento al triennio 2016-2018 si nota che alcuni studi dovrebbero essere già stati effettuati e, quindi, si può ottenere una misura dell’implementazione del PdV al 31/12/2018 (lo schema riportato a pagina 12 e 13 del PdV indica anche le analisi che saranno avviate dal 2019 in poi).

Le attività del triennio 2016-2018. Nel 2016 si è avviata e conclusa la valutazione ambientale Strategica del Piano Regionale dei Trasporti. Il 2017 è stato anche l’anno della valutazione ex-ante degli strumenti finanziari FESR e FSE. Nel 2018 si sono avviate e concluse altre tre valutazioni. La prima riguarda l’impatto di Garanzia Giovani, la seconda interessa la valutazione “rapida” degli interventi per l’offerta di servizi digitali da parte delle amministrazioni pubbliche, mentre la terza analisi è la valutazione in itinere degli interventi per il riutilizzo dei beni confiscati nel ciclo di programmazione unitaria 2014-2020. Il 2016 e il 2017 sono stati anche gli anni di esecuzione della prima parte della valutazione d’impatto sugli interventi di valorizzazione delle risorse culturali (che sarà ripresa e conclusa nel 2022). Il 2018 è l’anno di avvio di moltissime altre analisi che si riprenderanno negli anni successivi. L’anno scorso è stata realizzata la prima parte della valutazione della strategia regionale per la specializzazione intelligente, che sarà ripresa e ultimata nel 2023. Nel 2018 si è avviata e conclusa la rilevazione annuale del giudizio sull’efficacia delle politiche della Ricerca e dell’Innovazione da parte degli stakeholders. Data l’importanza di questo tema, chi ha redatto il PdV ha ben pensato di programmare la realizzazione di studi annuali fino al 2023. Rilevante è anche il peso che il PdV assegna al turismo. Nel 2018 si è conclusa la prima parte della valutazione (avviata nel 2017) sul riposizionamento competitivo del sistema turistico regionale, che sarà ripresa e ultimata nel 2023. Il 2018 è anche l’anno della stesura della prima parte valutazione della strategia per lo sviluppo urbano sostenibile (Agenda urbana) (che sarà ripresa e ultimata nel 2023). Di interesse è la prima parte della valutazione che si è realizzata nel 2018 sull’implementazione e l’impatto delle politiche per la nascita di start up e imprese innovative realizzate nel ciclo di programmazione 2007-2013 (la seconda parte sarà effettuata nel 2023). La prima parte della valutazione d’impatto degli interventi a supporto dei servizi di cura socio-educativi rivolti ai bambini è stata effettuata nel 2017 e nel 2018 e sarà ripresa e ultimata nel 2023. Il biennio 2018-2019 è anche il periodo per la valutazione d’impatto degli interventi per il rafforzamento dei percorsi d’istruzione post-lauream (master e dottorati) e per la valutazione degli interventi a supporto dei poli tecnico-professionali finanziati nel periodo 2007-2013.

I legami con due strategie nazionali. Esistono poi due pezzi di lavoro che sono legati a due strategie nazionali. Il primo riguarda l’analisi del contributo del POR Calabria all’attuazione della Strategia Nazionale per lo Sviluppo Sostenibile. Dal 2016 al 2023 questi studi sono realizzati con cadenza annuale (ad eccezione del 2017) e, quindi, dovrebbe essere già disponibile il materiale prodotto nel 2016 e nel 2018. Il secondo tema riguarda la strategia regionale per le aree interne, la cui attività valutativa e’ svolta dal NRVVIP in collaborazione con il gruppo di valutazione della strategia nazionale. In questo caso, il crono-programma del PdV Calabria indica che gli studi che dovrebbero essere già realizzati sono quelli del biennio 2017-2018 (l’analisi continua nel 2019 e verrà ripresa e conclusa nel 2023). Insomma, un sacco di valutazioni.

Le domande delle valutazioni. Senza entrare nel dettaglio e nel merito delle domande delle singole valutazioni,[1] è utile, comunque, ricordare che il lavoro finora svolto dal NRVVIP dovrebbe consentire di rispondere a molte domande, alcune delle quali sono riprese dallo stesso PdV: “quante e in quali settori sono ancora in attività le imprese start up e imprese innovative sostenute nel 2007-2013? Sarebbero nate senza il sostegno delle politiche? (p. 15 del PdV). Oppure, per il 2018, “gli interventi attuati nell’ambito della strategia S3 hanno consentito di rafforzare le reti tra i diversi soggetti regionali?” (p. 18). “Quali sono le principali criticità riscontrate nell’implementazione di servizi digitali nelle amministrazioni pubbliche” (p. 21). Qual è la “coerenza interna del piano regionale di sviluppo turistico sostenibile e la coerenza con gli altri strumenti pertinenti”. Oppure, “la congruità delle risorse con gli obiettivi (breve e medio periodo) del programma e le priorità individuate nel settore del turismo” (p. 28). Quali sono i “nuovi modelli di erogazione avviati nel quadro di Garanzia Giovani” (p. 31). “Quali sono i reali fabbisogni dei servizi-educativi in Calabria? Le infrastrutture realizzate nel 2007-2013 funzionano? Sono gestite in modo efficiente? E se no, perché? Quali effetti?” (p.34). “Da cosa dipendono le principali criticità al pieno utilizzo efficiente ed efficace dei beni confiscati?” (p. 36). Con riferimento allo sviluppo sostenibile si intende capire, per esempio, “qual e’ il quadro delle correlazioni tra gli obiettivi dei programmi regionali e gli obiettivi della strategia nazionale?” (p. 43). Riguardo alle aree interne, il gruppo di lavoro del PdV intende valutare se “il quadro logico della strategia d’area risulta chiaro e adeguato? Oppure “quali sono i primi risultati previsti e misurabili dalla strategia d’area, in coerenza con gli obiettivi della policy nazionale” (p. 45).

La criticità.È utile affermare che avere la possibilità di analizzare i risultati delle valutazioni finora realizzate sarebbe estremamente utile, in quanto si potrebbero “soddisfare i fabbisogni di conoscenza preliminari utili a indirizzare le scelte e le decisioni (p. 2). In tale ambito è, quindi, importante anche la “diffusione e l’accessibilità degli studi valutativi per stimolarne la qualità, per alimentare il dibattito pubblico e per irrobustire la riflessione delle diverse responsabilità delle politiche che potrà, quindi, beneficiare anche degli esiti di valutazioni non organizzate in proprio” (p. 2).

Il punto di maggiore criticità di tutto questo ragionamento è che non si ha traccia della lunga lista delle valutazioni elencate nel corposo PdV. Le eccezioni sono la valutazione ambientale strategica del piano regionale dei trasporti realizzata nel 2016 e la realizzazione della prima fase della valutazione multicriteria sulle aree di attrazione culturale di rilevanza strategica.[2] Se tutte le altre valutazioni fossero state realizzate, i risultati sarebbero stati divulgati utilizzando tutti i canali di comunicazione. La disseminazione sarebbe stata virale se il NRVVIP avesse fornito robuste evidenze empiriche sull’impatto positivo di qualche politica.

Un esempio chiarisce il punto. Immaginiamo che le politiche attuate nel 2007-2013 abbiano favorito la nascita di 50 imprese start up e imprese innovative. Lo studio realizzato dal soggetto affidatario – il NRVVIP –  fornisce anche evidenza empirica metodologicamente corretta che queste imprese non sarebbero nate senza il sostegno delle politiche. Le politiche sono state efficaci, poiche’ l’effetto della spesa e’ addizionale: senza quelle politiche le 50 imprese non avrebbero avviato la loro attività economica. Con questo esito valutativo, il gruppo di lavoro del PdV coordinato dal NRVVIP avrebbe organizzato, legittimamente, seminari e conferenze stampa in ogni comune calabrese.

La sintesi. Esistono due alternative per interpretare il vuoto informativo delle attività del PdV che da crono-programma dovrebbero essere state ultimate entro il 2018. La prima e’ che gli studi valutativi sono stati realizzati, ma i risultati sono secretati (verosimilmente perche’ dimostrano che la spesa UE in Calabria e’ ad impatto nullo). In tale circostanza, diventa vuota di contenuti la Premessa del PdV che prosaicamente enfatizza il valore della valutazione indipendente. La seconda alternativa e’ che il NRVVIP non ha finora concluso alcuna analisi, nonostante lo sforzo formale, approvato dal Comitato di Sorveglianza, di dettagliare cosa valutare entro la fine del 2018.