Включение участников и осуществимость протокола
Протокол был успешно реализован: получено 10 валидных ответов на анкету (доля заполнения составила 89,3%), а выделенная подгруппа из 28 участников прошла этапы семинара и тестирования прототипа. В число оставшихся участников вошли представители семи категорий стейкхолдеров, вовлеченных в процесс оказания государственных услуг: граждане или пользователи услуг (n = 32), сотрудники первой линии обслуживания (n = 18), социальные работники (n = 14), администраторы государственных учреждений (n = 12), межведомственные координаторы (n = 8), представители третьего сектора (n = 10) и персонал службы поддержки цифровых платформ (n = 6).
28 участников семинара были разделены на пять групп со смешанными ролями, при этом каждая группа включала представителей как минимум трех категорий заинтересованных сторон. Все группы выполнили картирование заинтересованных сторон, картирование пути пользователя, совместное проектирование по методу Double Diamond и тестирование прототипа, в результате чего были созданы профили взаимосвязей участников, матрицы путей заинтересованных сторон, подтвержденные формулировки задач по проектированию, концепции прототипов и записи симуляционного тестирования задач (Таблица 3). Этапы структурированного картирования потребовали меньше вмешательств фасилитатора, чем фазы определения проблемы.
Таблица 3: Включение участников, состав заинтересованных сторон и этапы реализации протокола. Набор и включение участников, состав групп заинтересованных сторон, участие в семинарах, завершение протокола и результаты реализации на четырех этапах протокола. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.
Результаты визуализации: картирование стейкхолдеров и их пути
На этапе картирования стейкхолдеров было определено девять категорий участников, семь из которых последовательно встречались во всех группах и составили вертикальную ось матрицы путей стейкхолдеров. Администраторы государственных учреждений имели самые высокие средние показатели влияния, тогда как граждане имели самые высокие показатели зависимости и самые низкие показатели доступа к информации. Было выявлено девять разрывов в восприятии, определенных как расхождения в оценках в два балла и более. Наибольший разрыв наблюдался в восприятии доступа к информации между гражданами и администраторами.
На этапе картирования пути пациента было сформулировано 126 первичных утверждений о «болевых точках». После структурированного объединения по этапам пути и последующим последствиям было отобрано 38 уникальных сбоев в обслуживании, из которых 12 соответствовали заранее определенным критериям приоритетности (частота ≥10% или степень тяжести ≥4.0). Большинство приоритетных сбоев происходило во время подготовки материалов, уточнения соответствия критериям включения и межведомственной обработки. Эти результаты были обобщены в интегрированной матрице пути заинтересованных сторон (Рисунок 2).
Трансформация совместного проектирования и создание прототипов
В ходе семинара по совместному проектированию по методу «Double Diamond» участники составили 94 валидных карточки с «болевыми точками», которые были сгруппированы в 14 проблемных областей. Из 17 первоначальных формулировок задач по проектированию шесть потребовали доработки, так как в них отсутствовало направление для улучшения, слишком широко определялся затронутый субъект или предлагалось решение до четкого определения проблемы. После пересмотра на основе критериев оценки были сохранены 11 формулировок задач по проектированию.
На этапе разработки участники предложили 32 идеи по улучшению обслуживания. Применение заранее определенных пороговых значений осуществимости и тестируемости (баллы ≥4.0) позволило сократить этот список до шести основных концепций. Для проведения тестирования на основе заданий были выбраны три концепции низкодетализированных прототипов: одностраничный контрольный список требований к обслуживанию, макет отслеживания статуса обслуживания и определенный путь эскалации (Рисунок 3). Численные результаты всех этапов визуализации и совместного проектирования обобщены в Таблице 4.

Рисунок 3Путь трансформации от проблемной точки к прототипу. На рисунке представлены три пути преобразования приоритетных проблемных точек в формулировки задач проектирования и концепции низкодетализированных прототипов. Задачи проектирования представлены в формате «Как мы могли бы» (How might we) — методе совместного проектирования, который используется для формулирования проблем в виде открытых возможностей для поиска решений. Показаны следующие примеры: (1) от нечетких или противоречивых требований к материалам к одностраничному контрольному списку требований к услуге; (2) от неясного статуса услуги и ответственного исполнителя к макету системы отслеживания статуса услуги; и (3) от неопределенности дальнейших действий после задержек, отказов или запросов на исправление к схеме последующих действий или эскалации. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Таблица 4: Результаты, полученные в ходе выполнения протокола, и результаты количественного тестирования на основе задач.Результаты, полученные на каждом этапе протокола, вместе с количественными данными симуляционной оценки прототипа на основе задач, включают показатели удобства использования и эффективности. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.
Результаты тестирования прототипа на основе выполнения задач
В ходе применения протокола было получено 24 записи о выполнении симулированных задач от 28 участников, включая 12 записей исходного уровня (baseline) и 12 записей после использования прототипа. Материалы, созданные с помощью протокола, были связаны с повышением эффективности при выполнении симулированных задач. Мы провели анализ парных выборок на уровне участников (n = 28), чтобы учесть внутрииндивидуальные корреляции при повторном выполнении задач. Среднее время выполнения задачи значимо сократилось со 178.4 ± 35.8 s на исходном уровне до 121.7 ± 28.4 s после использования прототипа (средняя разность = −56.7 s; 95% CI, −68.3 – −45.1 s; Cohen’s dz = −1.92; парный t-критерий, P < 0.01). Аналогично, среднее количество ошибок на одного участника снизилось с 1.86 ± 0.61 до 0.79 ± 0.4 (средняя разность = −1.07 ошибок; 95% CI, −1.27 – −0.87; Cohen’s dz = −2.05; парный t-критерий, P < 0.001). Показатели успешности выполнения задач анализировались с помощью критерия знаковых рангов Уилкоксона для долей успеха на уровне участников, что показало значимое улучшение (Z = −4.12, P < 0.01). Средние оценки ясности также значимо улучшились на уровне участников, увеличившись с 3.1 ± 0.5 до 4.2 ± 0.4 (средняя разность = 1.10 баллов; 95% CI, 0.94–1.26; Cohen’s dz = 2.71; парный t-критерий, P < 0.01).
Общий показатель успешного выполнения задач увеличился с 62,5% (70/12 записей о задачах) на исходном этапе до 82,1% (92/12 записей о задачах) после использования прототипа, что представляет собой увеличение на 19,6 процентных пункта (95% ДИ: от 8,2 до 31,1 процентного пункта; сравнение двух пропорций, P = 0,01). Поскольку совокупные данные указывают на 2 дополнительные успешные записи о задачах после использования прототипа, все возможные таблицы парных расхождений дали точный результат по критерию Макнемара ниже P < 0,01, что подтверждает тот же вывод о направлении изменений, позволяя избежать реконструкции недоступных несогласованных пар на индивидуальном уровне.
Результаты, сообщенные участниками, соответствовали этим операционным данным. Средние оценки четкости увеличились с 3,1 ± 0,7 до 4,2 ± 0,5 по пятибалльной шкале (n = 12 записей задач на каждое условие; средняя разница = 1,10 балла; 95% ДИ: от 0,94 до 1,26; стандартизированная средняя разница на сводном уровне = 1,81; сводный P < 0,01). Итоговые материалы получили оценку юзабилити для конкретного протокола 78,4 ± 9,6 и оценку намерения по внедрению 4,1 ± 0,6 (Рисунок 4). Эти показатели юзабилити были рассчитаны на основе пяти пунктов исследования, специфичных для протокола, а не на основе стандартизированной шкалы юзабилити системы (SUS). Ответы в открытой форме подтвердили эти результаты: 21 из 28 участников отметили улучшение визуальной четкости матрицы пути стейкхолдера, 17 из 28 сообщили о более четком определении ролей акторов, 19 из 28 отметили более четкое разделение этапов оказания услуги и 20 из 28 подтвердили практическую применимость материалов прототипа.

Рисунок 4Результаты ясности выполнения задач и удобства использования после ознакомления с прототипом. (A) Среднее время выполнения задачи (с). (B) Среднее количество ошибок на задание. (С) Доля успешно выполненных задач (%). (D) Оценка четкости участниками (шкала 1–5). Дополнительные показатели на панели (D) включают оценку удобства использования конкретного протокола и намерение по его внедрению. Столбцы представляют средние значения на уровне участников, а планки погрешностей указывают стандартное отклонение (SD). Сравнения между исходным состоянием и состоянием после использования прототипа проводились на уровне участников и были статистически значимыми (P < 0,01) для времени выполнения, количества ошибок, ясности и доли успешного выполнения задач. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.