Inclusion des participants et faisabilité du protocole
Le protocole a été mis en œuvre avec succès, avec 100 réponses valides au questionnaire (taux de complétion de 89,3 %) et un sous-groupe dédié de 28 participants ayant complété les étapes de l'atelier et des tests de prototype. Les participants retenus représentaient sept catégories d'intervenants impliqués dans le processus de service public : citoyens ou usagers des services (n = 32), personnel d'accueil au premier contact (n = 18), travailleurs communautaires (n = 14), administrateurs d'agences publiques (n = 12), coordinateurs interdépartementaux (n = 8), représentants du secteur tiers (n = 10) et personnel de soutien aux plateformes numériques (n = 6).
Les 28 participants à l'atelier ont été divisés en cinq groupes aux rôles mixtes, chaque groupe comprenant au moins trois catégories d'intervenants. Tous les groupes ont réalisé une cartographie des parties prenantes, une cartographie du parcours, une co-conception selon la méthode Double Diamond et des tests de prototype, produisant des profils d'acteurs et de leurs relations, des matrices parcours-intervenants, des énoncés de défis de conception validés, des concepts de prototype et des enregistrements simulés de tests de tâches (Tableau 3). Les étapes structurées de cartographie ont nécessité moins d'interventions de la part du facilitateur que les phases de définition du problème.
Tableau 3 : Critères d'inclusion des participants, composition des parties prenantes et étapes de mise en œuvre du protocole. Recrutement et inclusion des participants, composition des groupes de parties prenantes, participation aux ateliers, achèvement du protocole et résultats de la mise en œuvre au cours des quatre étapes du protocole. Veuillez cliquer ici pour télécharger ce tableau.
Sorties de visualisation : cartographie des parties prenantes et parcours
L'étape de cartographie des parties prenantes a permis d'identifier neuf catégories d'acteurs, dont sept sont apparues de manière constante dans tous les groupes et ont constitué l'axe vertical de la matrice parcours-parties prenantes. Les administrateurs d'agences publiques ont obtenu les scores moyens d'influence les plus élevés, tandis que les citoyens ont enregistré les scores de dépendance les plus élevés et les scores d'accès à l'information les plus faibles. Neuf écarts de perception, définis comme des différences d'évaluation de deux points ou plus, ont été identifiés. L'écart le plus important concerne l'accès perçu à l'information entre les citoyens et les administrateurs.
L'étape de cartographie du parcours a généré 126 énoncés bruts de points de friction. Après une fusion structurée selon les étapes du parcours et les conséquences en aval, 38 dysfonctionnements uniques ont été retenus, parmi lesquels 12 répondaient aux critères prédéfinis de priorisation (fréquence ≥10 % ou gravité ≥4,0). La majorité des dysfonctionnements prioritaires se sont produits lors de la préparation des documents, de la clarification des critères d'éligibilité et du traitement interdépartemental. Ces résultats ont été synthétisés sous forme de matrice intégrée du parcours des parties prenantes (Figure 2).
Transformation par co-conception et génération de prototypes
Lors de l'atelier de co-conception Double Diamond, les participants ont produit 94 cartes de points douloureux valides, regroupées en 14 domaines problématiques. Sur les 17 énoncés initiaux de défi de conception, six ont dû être révisés car ils manquaient de direction en matière d'amélioration, définissaient l'acteur concerné de manière trop large ou proposaient une solution avant de définir clairement le problème. Après révision fondée sur une grille d'évaluation, 11 énoncés de défi de conception ont été conservés.
Durant la phase de développement, les participants ont généré 32 idées d'amélioration des services. L'application des seuils prédéfinis de faisabilité et de testabilité (scores ≥4,0) a permis de réduire ce nombre à six concepts retenus. Trois concepts de prototype basse fidélité ont été sélectionnés pour des tests basés sur des tâches : une liste de contrôle des exigences de service en une page, un prototype de suivi de l'état du service, et un parcours de remontée défini (Figure 3). Les résultats numériques issus de toutes les étapes de visualisation et de co-conception sont résumés dans le Tableau 4.

Figure 3 : Voie de transformation des points douloureux en prototypes. Cette figure illustre trois voies de transformation permettant de passer des points douloureux prioritaires à des énoncés de défis de conception et à des concepts de prototype à faible fidélité. Les énoncés de défis de conception sont formulés selon le modèle « Comment pourrions-nous », une méthode collaborative de conception utilisée pour présenter les problèmes comme des opportunités ouvertes de génération de solutions. Les exemples présentés incluent : (1) des exigences en matière de documents peu claires ou incohérentes transformées en une liste de contrôle des exigences du service sur une page ; (2) l'absence de clarté concernant l'état du service et l'acteur responsable transformée en un prototype de suivi de l'état du service ; et (3) l'absence de clarté quant aux démarches à suivre après des retards, des refus ou des demandes de correction transformée en un parcours de suivi ou d'escalade. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Tableau 4 : Résultats produits par le protocole et résultats quantitatifs des tests fondés sur des tâches. Les résultats générés à chaque étape du protocole, ainsi que les résultats quantitatifs issus de l'évaluation simulée du prototype basée sur des tâches, comprennent des indicateurs d'utilisabilité et de performance. Veuillez cliquer ici pour télécharger ce tableau.
Résultats des tests de prototype basés sur des tâches
Le protocole a généré 224 enregistrements de tâches simulées provenant de 28 participants, composés de 112 enregistrements de tâches de référence et de 112 enregistrements post-prototype. Les matériaux générés par le protocole ont été associés à une amélioration des performances lors des tâches simulées. Une analyse appariée a été réalisée au niveau des participants (n = 28) afin de tenir compte des corrélations intra-individuelles lors des tâches répétées. Le temps moyen de réalisation d'une tâche a significativement diminué, passant de 178,4 ± 35,8 s au départ à 121,7 ± 28,4 s après le prototype (différence moyenne = −56,7 s ; IC 95 %, −68,3 – −45,1 s ; dz de Cohen = −1,92 ; test t apparié, P < 0,001). De même, le nombre moyen d'erreurs par participant a diminué de 1,86 ± 0,61 à 0,79 ± 0,44 (différence moyenne = −1,07 erreur ; IC 95 %, −1,27 – −0,87 ; dz de Cohen = −2,05 ; test t apparié, P < 0,001). Les taux de réussite aux tâches ont été analysés à l’aide d’un test de Wilcoxon sur les proportions de réussite par participant, révélant une amélioration significative (Z = −4,12, P < 0,001). Les notes moyennes d’intelligibilité ont également significativement augmenté au niveau des participants, passant de 3,1 ± 0,5 à 4,2 ± 0,4 (différence moyenne = 1,10 point ; IC 95 %, 0,94 à 1,26 ; dz de Cohen = 2,71 ; test t apparié, P < 0,001).
Le taux global de réussite des tâches est passé de 62,5 % (70/112 enregistrements de tâches) au niveau de référence à 82,1 % (92/112 enregistrements de tâches) après l'exposition au prototype, soit une augmentation de 19,6 points de pourcentage (IC à 95 %, de 8,2 à 31,1 points de pourcentage ; comparaison de deux proportions, P = 0,001). Étant donné que les effectifs agrégés indiquent 22 enregistrements de tâches réussies supplémentaires après l'exposition au prototype, tous les tableaux de discordance appariés possibles ont produit un résultat exact de sensibilité de McNemar inférieur à P < 0,01, ce qui confirme la même conclusion directionnelle tout en évitant la reconstruction de paires discordantes individuelles non disponibles.
Les résultats déclarés par les participants étaient cohérents avec ces constatations opérationnelles. Les notes moyennes de clarté sont passées de 3,1 ± 0,7 à 4,2 ± 0,5 sur l'échelle à cinq points (n = 112 enregistrements de tâches par condition ; différence moyenne = 1,10 point ; IC à 95 %, 0,94 à 1,26 ; différence moyenne standardisée au niveau résumé = 1,81 ; P au niveau résumé < 0,001). Les matériaux finaux ont obtenu un score d'utilisabilité spécifique au protocole de 78,4 ± 9,6 et une note d'intention d'adoption de 4,1 ± 0,6 (Figure 4). Ces scores d'utilisabilité ont été calculés à partir des cinq items spécifiques à l'étude plutôt qu'à partir de l'échelle standardisée d'utilisabilité du système (SUS). Les commentaires libres confirment ces résultats : 21 des 28 participants ont signalé une amélioration de la clarté visuelle de la matrice du parcours des parties prenantes, 17 des 28 ont indiqué des rôles d'acteurs plus clairs, 19 des 28 ont mentionné des étapes de service plus claires, et 20 des 28 ont confirmé l'utilisabilité pratique des matériaux du prototype.

Figure 4 : Résultats liés à la clarté et à l'utilisabilité fondés sur les tâches après exposition au prototype. (A) Temps moyen d'achèvement de la tâche (s). (B) Nombre moyen d'erreurs par tâche. (C) Taux de réussite des tâches (%). (D) Clarté évaluée par les participants (échelle de 1 à 5). Les métriques supplémentaires dans le panneau (D) incluent le score d'utilisabilité spécifique au protocole et l'intention d'adoption. Les barres représentent les moyennes au niveau des participants, et les barres d'erreur indiquent l'écart-type (SD). Les comparaisons entre les conditions de référence et post-prototype ont été effectuées au niveau des participants et étaient statistiquement significatives (P < 0,001) pour le temps d'achèvement, le nombre d'erreurs, la clarté et le taux de réussite des tâches. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.