Teilnehmerauswahl und Durchführbarkeit des Protokolls
Das Protokoll wurde erfolgreich umgesetzt, mit 100 gültigen Fragebogenantworten (89,3 % Abschlussquote) und einer engagierten Untergruppe von 28 Teilnehmern, die die Workshop- und Prototyp-Testphasen abgeschlossen haben. Die berücksichtigten Teilnehmer repräsentierten sieben Stakeholderkategorien, die am öffentlichen Dienstleistungsprozess beteiligt sind: Bürger oder Dienstleistungsnutzer (n = 32), Frontline-Dienstleistungspersonal (n = 18), Gemeindearbeiter (n = 14), Verwaltungsmitarbeiter öffentlicher Stellen (n = 12), interdepartementale Koordinatoren (n = 8), Vertreter des Dritten Sektors (n = 10) und Supportpersonal für digitale Plattformen (n = 6).
Die 28 Workshop-Teilnehmer wurden in fünf gemischte Gruppen aufgeteilt, wobei jede Gruppe mindestens drei Interessengruppenkategorien umfasste. Alle Gruppen führten eine Stakeholder-Mapping, eine Journey-Mapping, ein Double-Diamond-Co-Design und eine Prototyp-Testung durch und erstellten dabei Akteur-Beziehungsprofile, Stakeholder-Journey-Matrizen, validierte Formulierungen der Gestaltungsherausforderungen, Prototyp-Konzepte sowie simulierte Aufgaben-Testaufzeichnungen (Tabelle 3). Die strukturierten Mapping-Phasen erforderten weniger Eingriffe durch die Moderatoren als die Phasen der Problemdefinition.
Tabelle 3: Teilnehmerrekrutierung, Zusammensetzung der Interessengruppen und Stufen der Protokollimplementierung. Rekrutierung und Einbeziehung der Teilnehmer, Zusammensetzung der Stakeholdergruppen, Teilnahme an Workshops, Abschluss des Protokolls und die Implementierungsergebnisse über die vier Protokollstufen hinweg. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Visualisierungsoutputs: Stakeholder- und Journey-Mapping
Im Rahmen der Stakeholder-Mapping-Phase wurden neun Akteurkategorien identifiziert, von denen sieben in allen Gruppen durchgängig auftraten und die vertikale Achse der Stakeholder-Journey-Matrix bildeten. Öffentliche Behördenvertreter wiesen die höchsten durchschnittlichen Einflussscores auf, während Bürger die höchsten Abhängigkeitsscores und die niedrigsten Informationszugangsscores erzielten. Es wurden neun Wahrnehmungslücken identifiziert, definiert als Bewertungsunterschiede von zwei oder mehr Punkten. Die größte Lücke bestand im wahrgenommenen Informationszugang zwischen Bürgern und Behördenvertretern.
Die Reiseplanungsphase ergab 126 ursprüngliche Aussagen zu Problempunkten. Nach einer strukturierten Zusammenführung gemäß Reisephase und nachgeschalteter Konsequenz blieben 38 eindeutige Dienstleistungsstörungen erhalten, von denen 12 die vorab festgelegten Priorisierungskriterien erfüllten (Häufigkeit ≥10 % oder Schweregrad ≥4,0). Die meisten priorisierten Störungen traten während der Materialvorbereitung, der Klarstellung der Berechtigung sowie der Bearbeitung zwischen Abteilungen auf. Diese Ergebnisse wurden in der integrierten Matrix für die Reise der Interessenträger zusammengefasst (Abbildung 2).
Transformation des Co-Designs und Erstellung von Prototypen
Während des Co-Design-Workshops nach der Double-Diamond-Methode erstellten die Teilnehmer 94 gültige Pain-Point-Karten, die in 14 Problemfelder gruppiert wurden. Von den ursprünglich 17 Formulierungen für Designherausforderungen mussten sechs überarbeitet werden, da ihnen eine Verbesserungsrichtung fehlte, der betroffene Akteur zu weit gefasst war oder bereits eine Lösung vorgeschlagen wurde, bevor das Problem klar definiert war. Nach einer Überarbeitung anhand eines Bewertungsrasters blieben 11 Formulierungen für Designherausforderungen bestehen.
Während der Entwicklungsphase erarbeiteten die Teilnehmer 32 Ideen zur Verbesserung der Dienstleistung. Durch Anwendung der vorab festgelegten Schwellenwerte für Machbarkeit und Prüfbarkeit (Bewertungen ≥4,0) reduzierte sich diese Zahl auf sechs kurzgefasste Konzepte. Für testspezifische Prüfungen wurden drei Konzepte mit niedrigem Fertigkeitsgrad ausgewählt: eine einseitige Checkliste für Dienstleistungsanforderungen, ein Mock-up zur Verfolgung des Dienstleistungsstatus und ein definierter Eskalationsweg (Abbildung 3). Numerische Ergebnisse aus allen Visualisierungs- und Co-Design-Phasen sind in Tabelle 4 zusammengefasst.

Abbildung 3: Transformationspfad von Schmerzpunkten zu Prototypen. Die Abbildung zeigt drei Transformationspfade von priorisierten Schmerzpunkten zu Gestaltungsherausforderungen und Konzepten von Low-Fidelity-Prototypen. Die Formulierungen der Gestaltungsherausforderungen folgen dem „Wie könnten wir“-Format, einer kollaborativen Gestaltungsmethode, bei der Probleme als offene Handlungsspielräume zur Generierung von Lösungen formuliert werden. Dargestellte Beispiele umfassen: (1) unklare oder inkonsistente Materialanforderungen zu einer einseitigen Checkliste für Serviceanforderungen; (2) unklarer Servicestatus und verantwortliche Person zu einem Mock-up zur Verfolgung des Servicestatus; und (3) unklare Nachverfolgungswege nach Verzögerungen, Ablehnungen oder Korrekturanforderungen zu einem Nachverfolgungs- oder Eskalationsweg. Bitte klicken Sie hier, um eine vergrößerte Darstellung dieser Abbildung anzusehen.
Tabelle 4: Durch den Protokollablauf erzeugte Ergebnisse und quantitative Ergebnisse der aufgabenbasierten Tests. Die an jedem Protokollschritt erzeugten Ausgaben sowie die quantitativen Ergebnisse der simulierten, aufgabenbasierten Prototypenbewertung umfassen Indikatoren zur Benutzerfreundlichkeit und Leistung. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Ergebnisse der aufgabenbasierten Prototyp-Tests
Das Protokoll erzeugte 224 simulierte Aufzeichnungen von Aufgaben aus 28 Probanden, bestehend aus 112 Basislinien- und 112 Nach-Prototyp-Aufzeichnungen. Die vom Protokoll generierten Materialien waren mit einer verbesserten Leistung während der simulierten Aufgaben verbunden. Wir führten eine Analyse gepaarter Stichproben auf Probandenebene (n = 28) durch, um intra-individuelle Korrelationen bei wiederholten Aufgaben zu berücksichtigen. Die durchschnittliche Zeit zur Aufgabenbearbeitung verringerte sich signifikant von 178,4 ± 35,8 s in der Basislinie auf 121,7 ± 28,4 s nach dem Prototyp (Mittelwertdifferenz = −56,7 s; 95 % KI, −68,3 – −45,1 s; Cohen’s dz = −1,92; gepaarter t-Test, P < 0,001). Ebenso sank die durchschnittliche Fehleranzahl pro Proband von 1,86 ± 0,61 auf 0,79 ± 0,44 (Mittelwertdifferenz = −1,07 Fehler; 95 % KI, −1,27 – −0,87; Cohen’s dz = −2,05; gepaarter t-Test, P < 0,001). Die Erfolgsraten der Aufgaben wurden mittels eines Wilcoxon-Test mit Vorzeichenrang auf Probandenebene analysiert und zeigten eine signifikante Verbesserung (Z = −4,12, P < 0,001). Auch die mittlere Bewertung der Klarheit verbesserte sich signifikant auf Probandenebene und stieg von 3,1 ± 0,5 auf 4,2 ± 0,4 (Mittelwertdifferenz = 1,10 Punkte; 95 % KI, 0,94 bis 1,26; Cohen’s dz = 2,71; gepaarter t-Test, P < 0,001).
Die Gesamterfolgsrate stieg von 62,5 % (70/112 Aufzeichnungen von Aufgaben) im Ausgangszustand auf 82,1 % (92/112 Aufzeichnungen von Aufgaben) nach der Exposition gegenüber dem Prototyp an, was einer Zunahme um 19,6 Prozentpunkte entspricht (95 % KI: 8,2 bis 31,1 Prozentpunkte; Vergleich zweier Anteile, P = 0,001). Da die aggregierten Zahlen auf 22 zusätzliche erfolgreiche Aufzeichnungen nach der Exposition gegenüber dem Prototyp hindeuten, ergab jede mögliche gepaarte Diskordanztabelle ein exaktes McNemar-Sensitivitätsresultat unter P < 0,01, was dieselbe Richtungsaussage unterstützt, ohne dass unverfügbare individuelle diskordante Paare rekonstruiert werden müssten.
Die von den Teilnehmenden berichteten Ergebnisse stimmten mit diesen operationellen Befunden überein. Die durchschnittlichen Bewertungen zur Klarheit stiegen von 3,1 ± 0,7 auf 4,2 ± 0,5 auf der fünfstufigen Skala an (n = 112 Aufzeichnungen pro Bedingung; mittlere Differenz = 1,10 Punkte; 95 % Konfidenzintervall, 0,94 bis 1,26; standardisierte mittlere Differenz auf Ebene der Zusammenfassung = 1,81; P-Wert auf Ebene der Zusammenfassung < 0,001). Die endgültigen Materialien erreichten eine protokollspezifische Nutzbarkeitsbewertung von 78,4 ± 9,6 und eine Bewertung der Adoptionsabsicht von 4,1 ± 0,6 (Abbildung 4). Diese Nutzbarkeitsbewertungen wurden aus fünf protokollspezifischen Studienitems berechnet, nicht aus der standardisierten System Usability Scale (SUS). Freiformige Rückmeldungen untermauerten diese Ergebnisse: 21 von 28 Teilnehmenden berichteten über eine verbesserte visuelle Klarheit der Stakeholder-Reise-Matrix, 17 von 28 über klarere Akteurenrollen, 19 von 28 über klarere Servicephasen und 20 von 28 bestätigten die praktische Nutzbarkeit der Prototyp-Materialien.

Abbildung 4: Ergebnisse zur aufgabenbasierten Klarheit und Benutzerfreundlichkeit nach der Vorstellung des Prototyps. (A) Mittlere Aufgabenabschlusszeit (s). (B) Mittlere Fehleranzahl pro Aufgabe. (C) Aufgabenerfolgsrate (%). (D) Teilnehmerbewertete Klarheit (Skala 1–5). Weitere Metriken in Panel (D) umfassen die protokollspezifische Bewertung der Benutzerfreundlichkeit und die Absicht zur Übernahme. Die Balken stellen die Mittelwerte auf Teilnehmerebene dar, und die Fehlerbalken zeigen die Standardabweichung (SD). Vergleiche zwischen den Ausgangswerten und den Werten nach der Vorstellung des Prototyps wurden auf Teilnehmerebene durchgeführt und waren für die Abschlusszeit, die Fehleranzahl, die Klarheit und die Aufgabenerfolgsrate statistisch signifikant (P < 0,001). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.