Inclusione dei partecipanti e fattibilità del protocollo
Il protocollo è stato implementato con successo, ottenendo 100 risposte valide ai questionari (tasso di completamento dell'89,3%) e un sottogruppo dedicato di 28 partecipanti che hanno completato le fasi del workshop e del collaudo del prototipo. I partecipanti inclusi rappresentavano sette categorie di stakeholder coinvolti nel processo di servizio pubblico: cittadini o utenti del servizio (n = 32), personale operativo dei servizi (n = 18), operatori comunitari (n = 14), amministratori di agenzie pubbliche (n = 12), coordinatori interdipartimentali (n = 8), rappresentanti del settore terziario (n = 10) e personale di supporto alle piattaforme digitali (n = 6).
I 28 partecipanti al workshop sono stati suddivisi in cinque gruppi misti, ciascuno comprendente almeno tre categorie di stakeholder. Tutti i gruppi hanno completato la mappatura degli stakeholder, la mappatura del percorso, il co-design basato sul metodo Double Diamond e il collaudo dei prototipi, producendo profili delle relazioni tra gli attori, matrici percorso-stakeholder, enunciati di sfide progettuali validati, concetti di prototipi e registrazioni simulate di test delle attività (Tabella 3). Le fasi strutturate di mappatura hanno richiesto meno interventi da parte del facilitatore rispetto alle fasi di definizione del problema.
Tabella 3: Inclusione dei partecipanti, composizione delle parti interessate e fasi di attuazione del protocollo. Reclutamento e inclusione dei partecipanti, composizione dei gruppi di parti interessate, partecipazione ai workshop, completamento del protocollo e risultati dell'attuazione nelle quattro fasi del protocollo. Cliccare qui per scaricare questa tabella.
Risultati della visualizzazione: mappatura delle parti interessate e del percorso
La fase di mappatura delle parti interessate ha identificato nove categorie di attori, sette delle quali sono comparse in modo coerente in tutti i gruppi ed hanno costituito l'asse verticale della matrice percorso-parti interessate. Gli amministratori delle agenzie pubbliche hanno ottenuto i punteggi medi più elevati per influenza, mentre i cittadini hanno ottenuto i punteggi più alti per dipendenza e i punteggi più bassi per accesso alle informazioni. Sono stati identificati nove divari percettivi, definiti come discrepanze di valutazione pari o superiori a due punti. Il divario maggiore si è verificato per quanto riguarda l'accesso alle informazioni percepito tra cittadini e amministratori.
La fase di mappatura del percorso ha generato 126 affermazioni grezze relative a punti critici. Dopo una fusione strutturata in base alla fase del percorso e alla conseguenza a valle, sono stati mantenuti 38 disservizi unici, dei quali 12 soddisfacevano i criteri predeterminati di priorità (frequenza ≥10% o gravità ≥4,0). La maggior parte dei disservizi prioritari si è verificata durante la preparazione dei materiali, la chiarificazione dei requisiti di idoneità e le procedure interdipartimentali. Questi risultati sono stati sintetizzati nella matrice integrata del percorso delle parti interessate (Figura 2).
Trasformazione della progettazione condivisa e generazione del prototipo
Durante il laboratorio di progettazione condivisa Double Diamond, i partecipanti hanno prodotto 94 schede di punti critici valide, raggruppate in 14 aree problematiche. Delle 17 dichiarazioni iniziali della sfida progettuale, sei necessitavano revisioni perché mancavano di una direzione di miglioramento, definivano l'attore interessato in modo troppo ampio o proponevano una soluzione prima di aver chiaramente definito il problema. Dopo la revisione basata su criteri prestabiliti, sono state mantenute 11 dichiarazioni della sfida progettuale.
Durante la fase di sviluppo, i partecipanti hanno generato 32 idee per il miglioramento del servizio. L'applicazione delle soglie predeterminate di fattibilità e testabilità (punteggi ≥4,0) ha ridotto queste proposte a sei concetti selezionati. Per la verifica basata su compiti sono stati scelti tre prototipi a bassa fedeltà: un elenco di controllo unificato per i requisiti del servizio, un prototipo simulato per il monitoraggio dello stato del servizio e un percorso definito di escalation (Figura 3). I risultati numerici di tutte le fasi di visualizzazione e progettazione collaborativa sono riassunti nella Tabella 4.

Figura 3: Percorso di trasformazione da problemi critici a prototipo. La figura illustra tre percorsi di trasformazione che portano dai problemi critici prioritari a enunciati delle sfide progettuali e a concetti di prototipo a bassa fedeltà. Gli enunciati delle sfide progettuali sono formulati secondo lo schema “In che modo potremmo”, una tecnica progettuale collaborativa utilizzata per presentare i problemi come opportunità aperte alla generazione di soluzioni. Gli esempi mostrati includono: (1) requisiti di materiale poco chiari o incoerenti trasformati in un elenco di controllo unificato per i requisiti del servizio; (2) stato del servizio e responsabile non chiaro trasformato in un modello simulato per il monitoraggio dello stato del servizio; e (3) percorsi di follow-up non chiari in caso di ritardi, rifiuti o richieste di correzione trasformati in un percorso di follow-up o di escalation. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Tabella 4: Risultati generati dal protocollo e risultati quantitativi dei test basati su compiti. I risultati generati in ogni fase del protocollo, insieme ai risultati quantitativi della valutazione simulata basata su compiti, comprendono indicatori di usabilità e prestazioni. Cliccare qui per scaricare questa tabella.
Risultati dei test del prototipo basati su compiti
Il protocollo ha generato 224 registrazioni simulate di compiti da 28 partecipanti, composte da 112 registrazioni di compiti pre-prototipo e 112 post-prototipo. I materiali generati dal protocollo sono stati associati a un miglioramento delle prestazioni durante i compiti simulati. È stata eseguita un'analisi su campioni appaiati a livello di partecipante (n = 28) per tenere conto delle correlazioni intra-individuali nei compiti ripetuti. Il tempo medio di completamento del compito è diminuito significativamente da 178,4 ± 35,8 s nella fase iniziale a 121,7 ± 28,4 s dopo il prototipo (differenza media = −56,7 s; IC 95%, −68,3 – −45,1 s; Cohen’s dz = −1,92; test t appaiato, P < 0,001). Analogamente, il numero medio di errori per partecipante si è ridotto da 1,86 ± 0,61 a 0,79 ± 0,44 (differenza media = −1,07 errori; IC 95%, −1,27 – −0,87; Cohen’s dz = −2,05; test t appaiato, P < 0,001). I tassi di successo nei compiti sono stati analizzati mediante un test dei ranghi con segno di Wilcoxon sulle proporzioni di successo a livello di partecipante, mostrando un miglioramento significativo (Z = −4,12, P < 0,001). Anche le valutazioni medie di chiarezza sono migliorate significativamente a livello di partecipante, passando da 3,1 ± 0,5 a 4,2 ± 0,4 (differenza media = 1,10 punti; IC 95%, 0,94 a 1,26; Cohen’s dz = 2,71; test t appaiato, P < 0,001).
Il tasso complessivo di successo del compito è aumentato dal 62,5% (70/112 registrazioni di compiti) al basale all'82,1% (92/112 registrazioni di compiti) dopo l'esposizione al prototipo, con un incremento di 19,6 punti percentuali (IC 95%, da 8,2 a 31,1 punti percentuali; confronto tra due proporzioni, P = 0,001). Poiché i conteggi aggregati indicano 22 registrazioni di compiti riusciti in più dopo l'esposizione al prototipo, tutte le tabelle di discordanza abbinate possibili hanno prodotto un risultato esatto di sensibilità di McNemar inferiore a P < 0,01, sostenendo la stessa conclusione direzionale e evitando al contempo la ricostruzione di coppie discordanti a livello individuale non disponibili.
Gli esiti auto-riferiti dai partecipanti erano coerenti con questi risultati operativi. Il valore medio delle valutazioni di chiarezza è aumentato da 3,1 ± 0,7 a 4,2 ± 0,5 sulla scala a cinque punti (n = 112 registrazioni di compiti per condizione; differenza media = 1,10 punti; IC 95%, da 0,94 a 1,26; differenza media standardizzata a livello di sintesi = 1,81; P a livello di sintesi < 0,001). I materiali finali hanno ottenuto un punteggio di usabilità specifico per il protocollo pari a 78,4 ± 9,6 e una valutazione dell’intenzione di adozione di 4,1 ± 0,6 (Figura 4). Questi punteggi di usabilità sono stati calcolati a partire dai cinque elementi specifici dello studio relativi al protocollo, piuttosto che sulla base della scala standardizzata di usabilità del sistema (SUS). I commenti aperti hanno confermato questi risultati: 21 su 28 partecipanti hanno segnalato un miglioramento della chiarezza visiva della matrice del percorso delle parti interessate, 17 su 28 hanno indicato ruoli degli attori più chiari, 19 su 28 hanno riportato fasi del servizio più chiare e 20 su 28 hanno confermato l’usabilità pratica dei materiali del prototipo.

Figura 4: Risultati relativi alla chiarezza e all'usabilità basati sulle attività dopo l'esposizione al prototipo. (A) Tempo medio di completamento dell'attività (s). (B) Numero medio di errori per attività. (C) Tasso di successo dell'attività (%). (D) Chiarezza valutata dai partecipanti (scala da 1 a 5). Ulteriori metriche nel pannello (D) includono il punteggio di usabilità specifico del protocollo e l'intenzione di adozione. Le barre rappresentano le medie a livello di partecipante, mentre le barre di errore indicano la deviazione standard (SD). I confronti tra le condizioni iniziali e quelle successive all'esposizione al prototipo sono stati effettuati a livello di partecipante ed erano statisticamente significativi (P < 0,001) per il tempo di completamento, il numero di errori, la chiarezza e il tasso di successo dell'attività. Cliccare qui per visualizzare una versione ingrandita di questa figura.