Kwalifikowalność uczestników i wykonalność protokołu
Protokół został pomyślnie wdrożony, uzyskując 100 poprawnych odpowiedzi w kwestionariuszach (wskaźnik ukończenia 89,3%) oraz wyodrębnioną podgrupę 28 uczestników, którzy przeszli etapy warsztatów i testowania prototypu. Zachowani uczestnicy reprezentowali siedem kategorii interesariuszy zaangażowanych w proces usług publicznych: obywateli lub użytkowników usług (n = 32), pracowników pierwszej linii obsługi (n = 18), pracowników społecznych (n = 14), administratorów agencji publicznych (n = 12), koordynatorów międzywydziałowych (n = 8), przedstawicieli trzeciego sektora (n = 10) oraz personel wsparcia platform cyfrowych (n = 6).
28 uczestników warsztatów podzielono na pięć grup o mieszanym składzie ról, tak aby każda grupa obejmowała co najmniej trzy kategorie interesariuszy. Wszystkie grupy przeprowadziły mapowanie interesariuszy, mapowanie podróży użytkownika, współprojektowanie w modelu Double Diamond oraz testowanie prototypów, tworząc profile relacji aktorów, macierze podróży interesariuszy, zweryfikowane sformułowania wyzwań projektowych, koncepcje prototypów oraz zapisy symulowanych testów zadań (Tabela 3). Ustrukturyzowane etapy mapowania wymagały mniejszej liczby interwencji moderatora niż fazy definiowania problemu.
Tabela 3: Kryteria włączenia uczestników, skład grup interesariuszy i etapy wdrażania protokołu. Rekrutacja i włączenie uczestników, skład grup interesariuszy, udział w warsztatach, ukończenie protokołu oraz wyniki wdrażania w czterech etapach protokołu. Kliknij tutaj, aby pobrać tę tabelę.
Wyniki wizualizacji: mapowanie interesariuszy i mapowanie ścieżki użytkownika
Etap mapowania interesariuszy pozwolił na zidentyfikowanie dziewięciu kategorii aktorów, z których siedem pojawiało się konsekwentnie we wszystkich grupach i utworzyło oś pionową macierzy interesariusz-ścieżka. Administratorzy agencji publicznych uzyskali najwyższe średnie wyniki w zakresie wpływu, natomiast obywatele uzyskali najwyższe wyniki w zakresie zależności i najniższe wyniki w zakresie dostępu do informacji. Zidentyfikowano dziewięć luk w percepcji, zdefiniowanych jako rozbieżności w ocenach wynoszące dwie punkty lub więcej. Największa luka wystąpiła w postrzeganym dostępie do informacji pomiędzy obywatelami a administratorami.
Etap mapowania podróży użytkownika pozwolił na sformułowanie 126 surowych stwierdzeń dotyczących punktów krytycznych (tzw. pain-points). Po ustrukturyzowanym scaleniu według etapu podróży i następstw dalszych, zachowano 38 unikalnych błędów w obsłudze, z których 12 spełniło zdefiniowane kryteria priorytetyzacji (częstotliwość ≥10% lub dotkliwość ≥4,0). Większość priorytetowych błędów wystąpiła podczas przygotowania materiałów, wyjaśniania uprawnień oraz procesów międzywydziałowych. Wyniki te zostały zsyntetyzowane w zintegrowanej macierzy podróży interesariuszy (Rysunek 2).
Transformacja współprojektowania i generowanie prototypów
Podczas warsztatu współprojektowania w modelu Double Diamond uczestnicy stworzyli 94 poprawne karty punktów zapalnych (pain-points), które zgrupowano w 14 obszarach problemowych. Z 17 pierwotnych sformułowań wyzwań projektowych sześć wymagało poprawy, ponieważ brakowało w nich kierunku ulepszenia, zbyt szeroko zdefiniowano dotkniętego nimi aktora lub zaproponowano rozwiązanie przed jasnym zdefiniowaniem problemu. Po rewizji opartej na rubryce zachowano 11 sformułowań wyzwań projektowych.
W fazie opracowywania (Develop) uczestnicy wygenerowali 32 pomysły na usprawnienie usług. Zastosowanie zdefiniowanych progów wykonalności i testowalności (wyniki ≥4,0) pozwoliło zawęzić tę liczbę do sześciu wybranych koncepcji. Do testów opartych na zadaniach wybrano trzy koncepcje prototypów niskiej wierności: jednostronicową listę kontrolną wymagań usługowych, makietę śledzenia stanu usługi oraz zdefiniowaną ścieżkę eskalacji (Rycina 3). Wyniki liczbowe ze wszystkich etapów wizualizacji i wspólnego projektowania (co-design) podsumowano w Tabeli 4.

Rysunek 3: Ścieżka transformacji od punktów krytycznych do prototypu. Rysunek przedstawia trzy ścieżki transformacji od priorytetowych punktów krytycznych do sformułowań wyzwań projektowych i koncepcji prototypów o niskiej wierności. Wyzwania projektowe zaprezentowano w formacie „Jak moglibyśmy”, będącym kolaboracyjną techniką projektową służącą do definiowania problemów jako otwartych możliwości wypracowania rozwiązań. Przedstawione przykłady obejmują: (1) niejasne lub niespójne wymagania materiałowe przekształcone w jednostronicową listę kontrolną wymagań usługowych; (2) niejasny status usługi i osobę odpowiedzialną przekształcone w makietę śledzenia statusu usługi; oraz (3) niejasne ścieżki postępowania po opóźnieniach, odrzuceniu lub prośbach o korektę przekształcone w ścieżkę dalszego postępowania lub eskalacji. Prosimy kliknąć tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Tabela 4: Wyniki generowane przez protokół oraz wyniki ilościowych testów opartych na zadaniach. Wyniki generowane na każdym etapie protokołu, wraz z ilościowymi rezultatami symulowanej oceny prototypu opartej na zadaniach, obejmują wskaźniki użyteczności i wydajności. Kliknij tutaj, aby pobrać tę tabelę.
Wyniki testowania prototypu w oparciu o zadania
Protokół pozwolił na wygenerowanie 224 zapisów symulowanych zadań od 28 uczestników, obejmujących 112 zapisów zadań wyjściowych (baseline) i 112 zapisów zadań po wprowadzeniu prototypu. Materiały wygenerowane zgodnie z protokołem wiązały się z poprawą wydajności podczas symulowanych zadań. Przeprowadzono analizę prób parowanych na poziomie uczestnika (n = 28), aby uwzględnić korelacje wewnątrzindywidulane w powtarzanych zadaniach. Średni czas wykonania zadania istotnie zmniejszył się z 178.4 ± 35.8 s w punkcie wyjściowym do 121.7 ± 28.4 s po wprowadzeniu prototypu (średnia różnica = −56.7 s; 95% CI, −68.3 – −45.1 s; Cohen’s dz = −1.92; t-test dla prób parowanych, P < 0.001). Podobnie, średnia liczba błędów na uczestnika spadła z 1.86 ± 0.61 do 0.79 ± 0.44 (średnia różnica = −1.07 błędów; 95% CI, −1.27 – −0.87; Cohen’s dz = −2.05; t-test dla prób parowanych, P < 0.001). Wskaźniki sukcesu zadań przeanalizowano za pomocą testu znaków Wilcoxona na proporcjach sukcesów na poziomie uczestnika, co wykazało istotną poprawę (Z = −4.12, P < 0.001). Średnie oceny przejrzystości również istotnie wzrosły na poziomie uczestnika, zwiększając się z 3.1 ± 0.5 do 4.2 ± 0.4 (średnia różnica = 1.10 punktów; 95% CI, 0.94 do 1.26; Cohen’s dz = 2.71; t-test dla prób parowanych, P < 0.001).
Ogólny wskaźnik sukcesu w wykonywaniu zadań wzrósł z 62,5% (70/112 rekordów zadań) w punkcie wyjścia do 82,1% (92/112 rekordów zadań) po ekspozycji na prototyp, co stanowi wzrost o 19,6 punktu procentowego (95% CI, od 8,2 do 31,1 punktu procentowego; porównanie dwóch proporcji, P = 0,001). Ponieważ zagregowane liczby wskazują na 22 dodatkowe pomyślnie wykonane rekordy zadań po ekspozycji na prototyp, wszystkie możliwe tabele niezgodności parzystych dały dokładny wynik czułości testu McNemara poniżej P < 0,01, co potwierdza ten sam kierunek wnioskowania, unikając jednocześnie konieczności rekonstrukcji niedostępnych rozbieżnych par na poziomie indywidualnym.
Wyniki zgłaszane przez uczestników były zgodne z tymi ustaleniami operacyjnymi. Średnie oceny przejrzystości wzrosły z 3,1 ± 0,7 do 4,2 ± 0,5 w pięciostopniowej skali (n = 112 zapisów zadań na warunek; średnia różnica = 1,10 pkt; 95% CI, 0,94 do 1,26; standaryzowana średnia różnica na poziomie podsumowania = 1,81; P na poziomie podsumowania < 0,001). Końcowe materiały osiągnęły wynik użyteczności specyficzny dla protokołu na poziomie 78,4 ± 9,6 oraz ocenę intencji wdrożenia 4,1 ± 0,6 (Rysunek 4). Wskaźniki użyteczności zostały obliczone na podstawie pięciu elementów badania specyficznych dla protokołu, a nie na podstawie standaryzowanej Skali Użyteczności Systemu (SUS). Otwarte odpowiedzi potwierdziły te wyniki: 21 z 28 uczestników zgłosiło poprawę przejrzystości wizualnej macierzy podróży interesariusza, 17 z 28 zgłosiło jaśniejszy podział ról aktorów, 19 z 28 zgłosiło jaśniejszy przebieg etapów usługi, a 20 z 28 potwierdziło praktyczną użyteczność materiałów prototypowych.

Rysunek 4: Wyniki przejrzystości i użyteczności w oparciu o zadania po zapoznaniu się z prototypem. (A) Średni czas ukończenia zadania (s). (B) Średnia liczba błędów na zadanie. (C) Odsetek sukcesów w realizacji zadań (%). (D) Przejrzystość oceniana przez uczestników (skala 1–5). Dodatkowe wskaźniki w panelu (D) obejmują wynik użyteczności specyficzny dla protokołu oraz zamiar przyjęcia rozwiązania. Słupki reprezentują średnie na poziomie uczestników, a słupki błędów wskazują odchylenie standardowe (SD). Porównania między warunkami wyjściowymi a warunkami po zastosowaniu prototypu przeprowadzono na poziomie uczestników i były one istotne statystycznie (P < 0.001) dla czasu ukończenia, liczby błędów, przejrzystości i odsetka sukcesów w realizacji zadań. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.