Il Cittadino valutatore delle Performance Esperienze e strumenti di Customer Satisfaction applicati alla valutazione

Di Bruno Susio – Presidente dell’OIV Roma Capitale, esperto di valutazione di performance e innovazione della PA locale.
Articolo pubblicato su AZIENDITALIA, Mensile di organizzazione, bilancio, gestione e controllo degli enti locali.

Il cittadino valutatore nella nuova previsione normativa

Tra le più importanti novità del D.Lgs. n. 74/2017 vi è il focus sulla partecipazione dei cittadini al processo di valutazione e sui compiti e le responsabilità degli Oiv. L’art. 7 del D.Lgs. n. 150/2009 novellato dal D.Lgs. n. 74/2017 stabilisce, infatti, che la funzione di misurazione e valutazione è esercitata, oltre che dagli Oiv e dai dirigenti, anche dai cittadini o dagli altri utenti finali in rapporto alla qualità dei servizi resi dall’Amministrazione, partecipando alla valutazione della performance organizzativa dell’Amministrazione, secondo quanto stabilito dagli artt. 8 e 19-bis dello stesso decreto. Secondo l’art. 8, comma 1, lett. a), della norma in esame, poi, uno degli ambiti della performance organizzativa è costituito dall’attuazione di politiche volte al conseguimento di obiettivi collegati ai bisogni e alle esigenze della collettività, mentre la successiva lett. c) del medesimo art. 8 già prevedeva, come ulteriore ambito, la rilevazione del grado di soddisfazione dei destinatari delle attività e dei servizi anche attraverso modalità interattive.

La modifica apportata all’art. 7, quindi, conferisce grande rilievo all’intervento dei cittadini o di altri utenti finali, quali attori del sistema di misurazione e valutazione, per cui diventa imprescindibile attivare i necessari presidi organizzativi, informativi e informatici, in grado di captare il grado di soddisfazione nel momento in cui l’interazione con le strutture amministrative dell’ente si realizza. Un’ulteriore conferma viene dal nuovo art. 19-bis, comma 1, dello stesso D.Lgs. n. 150/2009 novellato, il quale prevede che i cittadini, anche in forma associata, partecipano al processo di misurazione delle performance organizzative, anche comunicando direttamente all’Organismo Indipendente di Valutazione il proprio grado di soddisfazione per le attività e per i servizi erogati, secondo le modalità stabilite dallo stesso Organismo. Da questa ulteriore previsione discende che la partecipazione avviene direttamente attraverso un’interlocuzione immediata con l’Oiv.

Ancora, il medesimo art. 19-bis stabilisce che: – ciascuna Amministrazione adotta sistemi di rilevazione del grado di soddisfazione degli utenti e dei cittadini in relazione alle attività ed ai servizi erogati, favorendo ogni più ampia forma di partecipazione e collaborazione dei destinatari dei servizi, secondo quanto stabilito dall’art. 8, comma 1, lettere c) ed e) (comma 2); – gli utenti interni alle Amministrazioni partecipano al processo di misurazione delle performance organizzative in relazione ai servizi strumentali e di supporto secondo le modalità individuate dall’Oiv (comma 3); – i risultati della rilevazione del grado di soddisfazione dei soggetti di cui ai commi da 1 a 3 sono pubblicati, con cadenza annuale, sul sito dell’Amministrazione (comma 4); – l’Oiv verifica l’effettiva adozione dei predetti sistemi di rilevazione, assicura la pubblicazione dei risultati in forma chiara e comprensibile e ne tiene conto ai fini della valutazione della performance organizzativa dell’Amministrazione e, in particolare, ai fini della validazione della Relazione sulla performance di cui all’art. 14, comma 4, lett. c) (comma 5).

L’ascolto del cittadino nelle organizzazioni che hanno affrontato il modello europeo di Qualità dei servizi pubblici (CAF)

Porre il cittadino al centro dell’attenzione dell’organizzazione è, come noto, uno dei pilastri fondamentali della filosofia manageriale della Qualità Totale, che dagli anni novanta del secolo scorso ha preso piede anche tra molte Pubbliche Amministrazioni del nostro Paese. Il tema del miglioramento delle performance e della qualità dei servizi pubblici è da tempo centrale nei programmi di riforma del sistema pubblico. A partire dalle linee programmatiche per la riforma delle Amministrazioni Pubbliche (Piano Industriale – maggio 2008), si è posto infatti l’accento sulla necessità di migliorare la qualità dei servizi pubblici promuovendo una gestione orientata al miglioramento continuo delle performance e alla soddisfazione dei clienti dei servizi pubblici e degli stakeholder . Tali obiettivi sono diventati strategici con il D.Lgs. n. 150/2009 e più recentemente con i decreti delegati della Legge n. 124/2015.

Complessivamente l’indirizzo delle norme in questa direzione mira a rafforzare la capacità delle Amministrazioni di porre in essere politiche più efficaci e servizi pubblici migliori e definisce tra gli ambiti di misurazione e valutazione della performance organizzativa “la rilevazione del grado di soddisfazione dei destinatari delle attività e dei servizi anche attraverso modalità interattive”, “la modernizzazione e il miglioramento qualitativo dell’organizzazione e delle competenze professionali e la capacità di attuazione di piani e programmi”, “lo sviluppo qualitativo e quantitativo delle relazioni con i cittadini, i soggetti interessati, gli utenti e i destinatari dei servizi, anche attraverso lo sviluppo di forme di partecipazione e collaborazione, nonché “la qualità e la quantità delle prestazioni e dei servizi erogati. Secondo il modello proposto dalle riforme di questi anni, il cittadino e la sua capacità di “voice” sono dunque al centro del sistema di misurazione e valutazione delle performance, perché sono “la sua soddisfazione e la sua partecipazione al processo di creazione del valore il vero motore per definire i percorsi di miglioramento gestionale da intraprendere” (concetto ripreso sin dalla delibera CIVIT n. 89/2010).

Le organizzazioni che si sono cimentate nell’applicazione di modelli di pianificazione strategica della qualità condivisi a livello europeo (modelli per l’eccellenza), come ad esempio il Common Assessment Framework (CAF) promosso dalla nostra Funzione Pubblica sanno bene che i modelli tracciano la via, forniscono un metodo condiviso ma non definiscono i parametri, gli indicatori attraverso i quali misurare la propria attività ed i risultati che si ottengono. Individuare parametri e indicatori di misurazione e valutazione non è facile per nessuna organizzazione ma risulta ancora più problematico per le Pubbliche Amministrazioni che operano in assenza di un contesto di mercato e di una tradizione consolidata in tal senso ed in presenza invece di una maggior complessità decisionale, organizzativa e normativa. Il Common Assessment Framework (CAF – Griglia Comune di Autovalutazione) è uno strumento di Total Quality Management  pensato e ideato dal settore pubblico per il settore pubblico e ispirato dal modello di eccellenza EFQM dellaEuropean Foundation for Quality Management (EFQM) e dal modello Speyer della German University of Administrative Sciences. Il CAF si fonda sul principio che risultati eccellenti relativi alla performance organizzativa, ai cittadini/clienti, al personale, e alla società si ottengono attraverso una leadership che guidi le politiche e le strategie, la gestione del personale, delle partnership, delle risorse e dei processi. Il CAF considera l’organizzazione da diversi punti di vista contemporaneamente secondo l’approccio olistico di analisi delle performance organizzative. Nel modello CAF l’ascolto sistematico della voce del cittadino/utente ha una incidenza del 20% sulla valutazione complessiva della performance dell’organizzazione.

L’ascolto sistematico si realizza attraverso metodologie e strumenti organizzati, con la finalità di orientare l’organizzazione al miglioramento continuo delle sue performance. Chi scrive è particolarmente orgoglioso di aver potuto dare il proprio contributo ad una delle esperienze di maggior successo in questo campo, il Comune di Trento ed il suo Piano della Qualità Totale, vincitore per ben due volte (il massimo numero di volte possibile) del Premio per la Qualità delle Pubbliche Amministrazioni da parte della Funzione Pubblica. Inoltre, l’Ente, aderendo all’invito del FormezPA – Centro Risorse CAF ha conseguito, nel marzo 2012, il 1° livello di eccellenza del modello EFQM, su una scala di 5 livelli, costituito dal Committed to Excellence” – Impegno verso l’eccellenza”.  Alle Amministrazioni in possesso dell’attestato di “Effective CAF User”, ovvero di Amministrazione che utilizza in modo efficace il modello CAF, è stata, infatti, offerta la possibilità, in sede di prima sperimentazione a livello europeo di collegamento tra i modelli di eccellenza CAF ed EFQM, di partecipare alla valutazione per conseguire il successivo livello costituito dal “Committed to Excellence”, ottenendo, da parte di un team di esperti, una valutazione della capacità dell’organizzazione non solo di pianificare adeguatamente, ma anche di realizzare quanto pianificato, valutando i risultati conseguiti dalle azioni di miglioramento intraprese. Il Comune di Trento ha messo a punto, tra le altre cose, un sistema molto ben organizzato di indagini di Customer Satisfaction supportato da un Manuale Operativo per la per la gestione dell’ascolto del Cittadino.

Metodologie e strumenti noti a livello europeo in tema di valutazione da parte del cittadino della performance dell’organizzazione

A livello internazionale, da diversi anni, la cooperazione informale tra i diversi ministeri che rappresentano la Funzione Pubblica (gruppo EUPAN) dei paesi europei ha prodotto una convergenza di orientamento verso l’applicazione di sistemi di ascolto del cittadino basati sullo strumento Servqual. È una metodologia quantitativa molto standardizzata, studiata specificatamente per misurare il giudizio degli utenti sulla qualità dei servizi, che permette di confrontare le attese e le percezioni dell’utenza relativamente ad uno specifico servizio. Esso è costituito da una serie di 22 domande predefinite articolate in due gruppi ripetuti riguardanti rispettivamente le aspettative degli utenti nei confronti del servizio e il giudizio sui vari aspetti del servizio, oppure distribuite in forma più compatte in una serie unica di domande. Le 22 domande, valide per ogni tipologia di servizio, consentono di misurare la qualità percepita e le attese separatamente, per 5 dimensioni, ritenute dagli autori indispensabili per giudicare la qualità del servizio.  Le dimensioni sono le seguenti:

• Elementi tangibili (aspetto delle strutture fisiche, delle attrezzature e del personale);
• Affidabilità (capacità di erogare il servizio promesso in modo affidabile e preciso);
• Capacità di risposta (volontà di aiutare gli utenti e di fornire il servizio con prontezza);
• Capacità di rassicurazione (competenza e cortesia degli operatori e relativa capacità di ispirare fiducia e sicurezza);
• Empatia (assistenza premurosa e personalizzata che viene riservata a utenti).

Al di là degli elementi tangibili e della possibilità di accesso al servizio, gli elementi segnalati raggruppano una serie di caratteristiche come comunicazione, sicurezza, competenza, cortesia, capacità di capire le esigenze del cliente, possibilità di accesso al servizio che spostano molto l’accento sulla relazione, componente caratteristica di ogni relazione di servizio. Sempre a livello di cooperazione tra i diversi paesi europei l’applicazione di tale modello sancisce la transizione dalla semplice misurazione della qualità ad una gestione più complessiva ed inclusiva dell’utente nelle varie fasi del“ciclo del servizio” anche con un focus sullo scambio e il confronto tra le Amministrazioni e con una significativa proposta di strumenti operativi per analizzare e valutare aspettative, bisogni, esperienze, percezioni e in generale la soddisfazione dell’utente. È interessante rilevare che vengono considerati a non solo quei tools in grado di misurare ma anche altri strumenti che possono dar conto di azioni e contributi più partecipativi dei cittadini-utenti nei loro ruoli di progettazione/decisione/produzione condivisa. Senza pretesa di esaustività e non entrando nel dettaglio delle diverse metodologie, alcuni degli strumenti per l’ascolto del cittadino più diffusi tra le Pubbliche Amministrazioni in Italia ed in Europa sono:

• Questionari sulla soddisfazione sia quantitativi che qualitativi (faccia a faccia, postali o auto-compilativi, telefonici, via web);
• Analisi del processo (“customer journey mapping” – mappatura del percorso del cliente);
• Raccolta di informazioni dallo staff di front office;
• Test di usabilità e analisi di siti web;
• Consultazione degli utenti potenziali in fase di progettazione del servizio;
• Utilizzo dell’ICT per raccogliere i feedback degli utenti (quali e-mail, forum di discussione, chat, blog);
• Panel di cittadini/utenti (che acconsentono partecipare a studi/analisi di vario genere, spesso di tipo qualitativo relativamente ad un certo servizio);
• Interviste di gruppo e focus group;
• Mistery shopping/utente misterioso (persone ben preparate per osservare e ripetere il processo di fruizione di un servizio di un utente);
• Carte dei servizi (tre principi guida: standard orientati all’utente/cliente, comunicazione, coinvolgimento); • Utilizzo strutturato di commenti, giudizi positivi e reclami come feedback;
• Open Space Technology (creazione di un gruppo numeroso e variegato di persone che discutono su temi complessi).

Non mancano quindi i riferimenti metodologici e gli spunti da utilizzare per l’avvio di un percorso di ascolto strutturato della voce del cittadino e di valutazione esterna della performance organizzativa.

Alcune esperienze promosse dal Dipartimento della Funzione Pubblica in tema di ascolto del cittadino nella valutazione delle performance organizzative

A livello nazionale, da alcuni anni le politiche per il miglioramento dei servizi pubblici supportate dalle azioni del Dipartimento della Funzione Pubblica hanno consentito la sperimentazione e l’introduzione presso le nostre Pubbliche Amministrazioni di strumenti per l’ascolto del cittadino e la valutazione delle performance organizzative. Alcune delle principali esperienze promosse dal Dipartimento della Funzione Pubblica di questi ultimi anni sono le seguenti:

a) Mettiamoci la Faccia: le emoticons per misurare la qualità dei servizi.

Tra le iniziative del DFP legate all’ambito della qualità percepita “Mettiamoci la faccia”,lanciata dal Ministro Brunetta nel marzo 2009, è finalizzata a promuovere la customer satisfaction attraverso l’utilizzo di interfacce emozionali (emoticon) per raccogliere in tempo reale ed in continuo il giudizio del cittadino cliente sul servizio ricevuto, disporre di una descrizione sintetica della percezione degli utenti di servizi e ottenere sia un giudizio complessivo sul livello di soddisfazione dei clienti, che un dettaglio più specifico sulle motivazioni, in presenza di “insoddisfazione”. Le Amministrazioni che hanno aderito all’iniziativa utilizzano il sistema di rilevazione MLF per misurare la qualità percepita dagli utenti di servizi erogati allo sportello, al telefono e sul web. I servizi sottoposti a giudizio sono principalmente quelli a domanda individuale, erogabili attraverso un’unica interazione fra utente e Amministrazione, a bassa complessità ed a bassa intensità di relazione. Per i servizi erogati allo sportello la rilevazione avviene attraverso dispositivi elettronici opportunamente posizionati nel luogo nel quale avviene l’erogazione del servizio: i totem, installati nell’area di accesso agli sportelli, che rilevano la customer satisfaction per servizi erogati da più sportelli; i touchpad, installati presso ciascuno sportello, che rilevano la qualità percepita per i servizi erogati dal singolo sportello.

b) La rilevazione della Customer Satisfaction in profondità: linee guida per le Amministrazioni.

Il secondo strumento proposto dal DFP per la qualità percepita è stato sviluppato nell’ambito dell’iniziativa “Customer satisfaction in profondità” e si tratta di un modello di rilevazione della soddisfazione dei cittadini per valutare i servizi erogati attraverso gli uffici (off-line), il sito dell’Amministrazione (on-line) e in multicanalità. La realizzazione del modello “CS in profondità” è frutto di un’attività di ricerca e sperimentazione, iniziata nel 2008 e coordinata dal Dipartimento della Funzione Pubblica, con il supporto scientifico del Dipartimento di Scienze Aziendali ed Economico-Giuridiche dell’Università degli Studi Roma Tre ed in collaborazione con FormezPA. Il modello “CS in profondità” mette a disposizione delle Amministrazioni tutti gli strumenti di indagine necessari a realizzare “in proprio” una rilevazione della soddisfazione dei cittadini e permette di orientare la progettazione dei sistemi di erogazione dei servizi pubblici sui bisogni effettivi degli utenti finali. L’obiettivo è dunque quello di fornire un metodo standardizzato, pratico, rigoroso e volto ad acquisire informazioni confrontabili nel tempo e nello spazio relativamente al livello di soddisfazione del cittadino, per valutare la qualità dei servizi transattivi amministrativi; tale modello non si presta, viceversa, a valutare il livello di soddisfazione dei servizi erogati alla persona (per esempio l’assistenza domiciliare ai disabili, le prestazioni diagnostiche e terapeutiche ospedaliere, ecc.).

Lo strumento centrale del modello è un questionario definito a partire da un impegnativo lavoro di confronto della letteratura internazionale, da una parte, e delle esperienze già realizzate dalle Amministrazioni, dall’altra che ha portato all’individuazione di un set di dimensioni ed indicatori trasversali, riferiti cioè a quella parte del servizio comune a tutti che deriva dalla scelta del canale di erogazione.  In tal senso lo stesso questionario può essere utilizzato per la valutazione della soddisfazione rispetto all’insieme dei servizi fruiti attraverso il portale o al front-office, nonché per singoli servizi erogati online o allo sportello;in questi ultimi casi sarà solo necessario definire ulteriormente – rispetto al format del questionario standard – alcuni item specifici per la dimensione “capacità di risposta”.

c) La valutazione civica della qualità ed il coinvolgimento dei cittadini-utenti.

Sul fronte della qualità erogata, invece, le due iniziative promosse dal DFP sono il progetto sulla valutazione civica realizzato in collaborazione con FormezPA e Cittadinanzattiva ed il Barometro della qualità dei servizi pubblici. Obiettivo del progetto “Valutazione civica,” iniziativa pilota a livello italiano ed europeo, è stata la messa a punto, a seguito di una fase di sperimentazione, di indicazioni e metodologie utili per valutare la qualità effettiva dei servizi a partire dal punto di vista dei cittadini e mediante un loro diretto coinvolgimento nelle stesse attività di valutazione. In linea con gli ultimi orientamenti della letteratura e dei più avanzati paesi OCSE, la valutazione civica si differenzia dalla customer satisfaction che è caratterizzata dall’iniziativa unidirezionale dell’Amministrazione che registra l’opinione di un cittadino ancora troppo passivo attraverso indagini e survey, basandosi invece sul principio di co-production, per cui il cittadino contribuisce attivamente alla gestione di un servizio pubblico. La collaborazione con Cittadinanzattiva ha permesso di beneficiare dell’esperienza oramai decennale dell’audit civico introdotto in sanità nel 2001 e ora inserito in una convenzione quadro con il Ministero della Salute nonché delle pratiche di valutazione nelle scuole attraverso il progetto “Imparare sicuri”. In tale contesto e nell’ambito di un protocollo tra il DFP e Cittadinanzattiva siglato nel 2009 e volto, tra l’altro, al “miglioramento delle relazioni tra cittadini e istituzioni”, alla “promozione della trasparenza e delle forme di partecipazione dei cittadini”, nonché alla “diffusione di pratiche di valutazione civica per il miglioramento della qualità dei servizi”, è stata avviata questa attività pilota, focalizzata sul tema della qualità urbana e che ha potuto contare anche su una passata esperienza finalizzata ad una prima definizione e testing di un metodo e di strumenti d’indagine.

d) Il Barometro della qualità dei servizi.

L’iniziativa “Barometro della qualità dei servizi pubblici”, promossa dal DFP con la collaborazione, nella fase pilota, di una serie di Amministrazioni – Agenzia delle Entrate, Autorità per l’energia elettrica e il gas, Automobile Club d’Italia, Gruppo FS-Trenitalia, Istituto Nazionale Previdenza Sociale, Istituto Nazionale di previdenza per i dipendenti dell’Amministrazione Pubblica, Poste Italiane, Unioncamere – mira a raccogliere, rendere comparabili e diffondere indicatori sulla qualità effettiva dei servizi pubblici offerti a livello nazionale, sia da Amministrazioni Pubbliche, sia da imprese private. La qualità effettiva (actual), considerata un tratto costitutivo dell’efficacia di un servizio pubblico, è riconducibile agli effetti prodotti dal processo di erogazione (delivery) sul risultato finale o sulla prestazione offerta ai beneficiari che, a seconda dei casi, potranno essere cittadini, imprese o altre Pubbliche Amministrazioni. Il focus è dunque sulle dimensioni di qualità del servizio e sulla capacità amministrativa (accessibilità, tempestività, ecc.), piuttosto che sulla qualità della prestazione professionale ove questa sia implicata (ad es. servizi educativi o sanitari). La finalità è duplice:

• Costruire un sistema condiviso tra le Amministrazioni e visibile di dati che illustri l’andamento nel tempo della qualità effettiva di alcuni servizi, per contribuire successivamente a fissarne, con cognizione di causa, gli standard;
• Promuovere iniziative sistematiche e visibili di misurazione della qualità dei servizi (in senso amministrativo, come definito sopra) all’interno di settori giudicati particolarmente rilevanti, sia perla debolezza delle esperienze di misurazione fin qui realizzate, che per l’attenzione dimostrata dall’opinione pubblica. La misurazione intende produrre un indice sintetico (valido almeno per la singola organizzazione) del livello di qualità del servizio, rispetto al quale sia possibile comparare livelli parziali di qualità (di servizio e di unità organizzativa), individuando eventuali discrepanze.