方法文章

参与者报告的实施进展与评分（PRIUS）：一种用于长期捕获实施相关数据的新方法

DOI：

10.3791/61738

⸱

2021年2月19日

 ,  ,  ,  , 
1VA Precision Monitoring (PRIS-M) QUERI, Richard L. Roudebush VA Medical Center, 2William M. Tierney Center for Health Services Research, Regenstrief Institute, 3VA Health Services Research & Development Center for Health Information and Communication (CHIC), Richard L. Roudebush VA Medical Center, 4Department of Emergency Medicine, Indiana University School of Medicine, 5Department of Internal Medicine and Geriatrics, Indiana University School of Medicine, 6Department of Anthropology, Indiana University-Purdue University Indianapolis

本文内容

摘要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本方案介绍了一种用于收集和分析正在进行的实施过程相关数据的新方法，称为参与者报告的实施进展与评分（Participant-Reported Implementation Update and Score, PRIUS）。PRIUS 方法能够在医疗环境中随时间推移，从多个角度高效且系统地采集数据。

摘要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

在医疗环境中，“实施”新举措通常包含两个不同组成部分：一项“临床干预”以及支持将该临床干预纳入日常实践的配套“实施策略”。例如，一种新型临床干预可能包括一种新药物、新方案、新设备或新项目。然而，由于临床干预本身并不能自动实现，因此几乎总是需要有效的实施策略才能取得成功。实施策略旨在以各种方式吸引医疗提供者、工作人员和患者参与，从而提高新举措被成功采纳的可能性，这一过程通常涉及参与者的行为改变和思维方式的更新。研究实施过程面临的一个挑战是，很难收集有关实施状态和进展的数据，包括参与者迄今为止对实施工作的自身观点和体验。本方案描述了一种用于收集和分析正在进行中的实施相关数据的新方法，称为“参与者报告的实施进展更新与评分”（Participant-Reported Implementation Update and Score，简称 PRIUS）。PRIUS 方法能够高效且系统地获取定性和定量数据，从而从多个视角随时间推移提供关于实施过程的详细而细致的描述。这种纵向方法可使研究人员以及实施负责人和组织利益相关者更密切地监测实施进展，开展形成性评估，识别改进机会，并持续评估任何实施调整所产生的影响。

引言

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

"在医疗环境中推行新举措"通常包含两个不同的组成部分：一项"临床干预"以及配套的"实施策略"，后者用于支持将临床干预融入日常实践。一个简单的类比可用来解释这两者之间的区别：临床干预代表需要付诸实践的新的事物"，而实施策略则鼓励人们去做这项新事物1"""。例如，一种新颖的临床干预可能包括一种新药物、一项新方案、一种新设备或一项新项目。然而，由于临床干预本身并不能自动实施，因此几乎总是需要有效的实施策略才能取得成功。实施策略旨在以特定方式吸引医疗提供者、工作人员和患者参与，从而提高各方采纳新举措的可能性，这一过程通常涉及行为改变和思维方式的更新2。实施研究中长期存在的挑战之一是，收集关于上述任一组分当前实施状况的数据可能极为困难，包括参与者自身对实施进展的看法。本方案描述了一种用于收集和分析正在进行中的实施相关数据的新方法，称为参与者报告的实施进展与评分（Participant-Reported Implementation Update and Score，PRIUS）。PRIUS 方法使医疗研究人员能够高效且系统地获取与实施过程随时间演变情况相关的定性和定量数据，并从多个参与者的视角呈现实施的实际状况。

PRIUS 在用于研究医疗保健实施的更广泛方法体系中占据着独特的地位。早于 PRIUS 的其他方法包括快速评估与分析方法（Rapid Evaluation and Assessment Methods, REAM），该方法使研究人员能够在加快的时间表上收集和分析数据，同时保持研究的严谨性3,4,5；此外还有矩阵展示法，研究人员将大量数据整合到行与列中，进而通过排序和筛选支持持续的分析过程6,7。然而，这些方法的一个局限在于，它们可能对研究人员投入的时间和资源要求较高，因此主要被用于回顾性地分析既往的实施过程。

采用前瞻性与纵向方法收集实施相关的信息，有助于保持数据收集的准确性，最大限度地减少事后偏倚（即某项举措的最终成功或失败影响对早期事件的报告）和回忆偏倚（即参与者无法准确回忆先前发生的事件）8。在实施科学中还存在其他前瞻性与纵向方法，但其目标不同于PRIUS。例如，已有研究开发出一种系统性方法，通过一个包含10项内容的电子表格，用于描述并追踪随着时间推移而发生的本地化实施调整9。另一种称为"定期反思"的方法，则为实施核心成员提供了一种结构化途径，使其能够每月或每两个月与实施团队成员开展一次30至60分钟的电话讨论，以记录正在发生的实施现象10。

相比之下，PRIUS 与其他前瞻性方法不同，它被明确设计用于满足以下需求：(a) 一种简明而系统的方法，用以在实施干预过程中实时收集有关其状态和进展的数据；(b) 数据来源为一线参与者的自身视角。在短短 5 至 10 分钟的口头交流中，PRIUS 既能捕捉到个体参与者认为值得关注的实施进展，也能获取他们对这些进展对当前实施工作所产生的影响的主观判断（以 +2 到 -2 分的评分形式呈现）。此外，PRIUS 方法将参与者针对每一项与实施相关的更新所提供的定性信息与数值信息相结合，生成可关联的数据，便于分类、排序和筛选，从而识别出主要主题以及随时间变化的趋势与模式。PRIUS 方法简洁明了，围绕三个简单的口头提问展开：(1) "从您的角度来看，在过去两周（或自我们上次交谈以来）发生了哪些似乎与本项目实施相关的事情？"；(2) "您认为这些进展中的每一项对实施进展产生了什么影响？"；以及 (3) "为什么？"

PRIUS 的概念框架是实施研究综合框架（Consolidated Framework for Implementation Research, CFIR）11，该框架为理解卫生服务环境中的实施过程提供了总体分类体系。CFIR 框架既基于理论又基于证据，代表了50多年来关于实施与扩散研究的累积成果。CFIR 框架包含五个相互关联的领域：干预特征、外部环境、内部环境、相关人员以及实施过程。PRIUS 方法尤其关注最后三个领域的交叉部分，通过询问个体对其所在内部环境中正在进行的实施过程的个人看法来收集信息。

PRIUS 方法属于公共领域，可供任何人免费使用。本文所述方案进一步发展了先前出版物中提出的 PRIUS 方法12，并专注于如何对单个参与者实施 PRIUS。

方案

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究已获得印第安纳大学机构审查委员会的批准（方案编号 #1602800879）。在此批准下，审查机构豁免了知情同意的要求，因为该研究被认为完全自愿参与，对受试者造成的风险极小，且不涉及在研究环境之外通常需要书面同意的任何操作程序。

1. 参与者报告的实施更新与评分（PRIUS）

  1. 向参与者提出 PRIUS 提示问题 #1。
    1. 在双方商定的合适时间，通过 Zoom 等视频会议应用程序与参与者会面。
    2. 向参与者提出第一个口头提示问题："从您的角度来看，在过去两周内（或自我们上次交谈以来）发生了哪些与本项目实施相关的事情"？
  2. 记录对提示问题 #1 的定性回答。
    1. 使用类似下方表 1所示的电子表格模板，在标有"更新"的第一列第一行中，记录参与者报告的第一个与实施相关的进展。无需逐字记录每一项进展，采用项目符号形式的摘要即可。
    2. 根据需要，在同一会话中重复记录参与者报告的其他各项进展。

表1. 一个空白的四列PRIUS模板。 请点击此处下载该表格。

  1. 向参与者提出 PRIUS 提示问题 #2。
    1. 针对每个报告的进展，提出第二个口头提示："从您的角度来看，您认为该进展对项目实施产生了怎样的影响？您认为其影响程度是强、中等还是弱？该影响的方向是正面还是负面？"
  2. 记录对提示问题 #2 的评分回答。
    1. 根据参与者的回答，在模板上使用从 +3 到 -3 的 7 点量表对每项进展进行评分，其中零为中间值。在步骤 1.2 中输入电子表格的每项进展旁，将评分填入标有 "评分" 的列中。正分表示对实施过程有正面影响；负分表示有负面影响；零分表示无明显影响。在影响程度上，3 表示强影响，2 表示中等影响，1 表示弱影响。例如，某项 PRIUS 更新评分为 "-2"，表示该进展被认为对项目实施产生了中等程度的负面影响。
  3. 向参与者提出 PRIUS 提示问题 #3。
    1. 针对每个已报告并评分的进展，请参与者为每个评分提供简要理由，使用第三个口头提示："您为什么认为它会产生这样的影响？"（即强/中/弱，以及正/负）。例如，请参与者解释为何他们认为某项特定进展对实施进展产生了 "弱负面" 影响（即 "-1"）。
  4. 记录对提示问题 #3 的定性回答。
    1. 记录参与者提供的每条理由。将其输入电子表格的第三列，该列标题为 "理由"，对应步骤 1.4 中记录的每个评分。与之前相同，简短的文字摘要即可。
  5. 记录任何附加信息。
    1. 根据需要，在电子表格可选的第四列（标有 "备注"）中记录任何附加信息。这可能包括观察到的非语言线索，如面部表情、肢体语言和语调，和/或其它相关细节。
  6. 定期与参与者跟进。
    1. 每两周与参与者再次会面，并重复执行步骤 1.1 至 1.7。

结果

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

如先前发表的研究12所述，2016年期间，在美国中西部的一家退伍军人事务医疗中心，共有十二名工作人员参与了一项为期6个月的质量改进（QI）项目相关的PRIUS会话。该项目共产生了超过190条不同的PRIUS条目。一次典型的PRIUS会话可产生三到四个条目（即PRIUS模板中的"行"）。新的PRIUS更新内容在定期的实施支持团队会议中进行讨论，并将基于PRIUS的发现和见解分享给该QI项目的负责人。

PRIUS 更新（n=190）
评分频次（%）主要描述性主题
349 (26)在远程睡眠（TeleSleep）项目初期参加一般性职业发展和培训活动期间的积极体验；与供应商（ResMED）的积极互动；新电子工具的实施非常有帮助（例如，远程睡眠模板和跟踪电子表格）
228 (15)来自不同临床领域人员之间的积极互动
115 (8)微小的渐进式改进（例如，额外纳入一名患者）
026 (14)代表现状改变的潜在机会（例如，远程医疗在远程医疗会议中未审查远程睡眠数据；未来可能有额外资金可用于远程睡眠项目）
-116 (8)一线临床人员对启动远程睡眠项目缺乏兴趣
-233 (17)来自不同临床领域人员之间的负面互动；2016年2月至4月期间远程睡眠项目患者入组进展缓慢；被认为需要额外培训以满足患者对PAP治疗的需求
-323 (12)远程睡眠工作量超出最初预期；不同临床领域人员之间存在不信任和敌对情绪

表2. 根据评分和主要描述主题汇总的QI项目中PRIUS条目。 （改编自 Miech 等，2019）12

表2 上述内容总结了QI项目中190条PRIUS条目按评分和主要描述主题的分布情况。本项目中参与者对PRIUS条目最常给出的评分为+3，这是从+3到-3的7点量表中的最高分。评分为+3的条目包括初始的专业发展和培训活动、与外部供应商的互动以及新型电子工具的实施。第二常见的评分为-2，即可能评分中第二低的分数。评分为-2的条目包括来自不同临床领域人员之间的互动、初期患者入组缓慢，以及为满足患者PAP需求而对工作人员进行后续培训的必要性。

对同一 PRIUS 数据集的纵向分析表明，与项目相关的各项指标随时间发生了显著变化：例如，与职业发展相关的 PRIUS 项目评分从 2 月份的较强正向评分（即 +3）下降到 4 月份的中等负向评分（-2）。

对PRIUS数据的分析直接推动了实施干预措施的调整。在一次正式安排的PRIUS数据评审会议上，实施核心支持团队向临床干预负责人指出，来自不同临床区域的参与者对项目的实施持有差异显著且相互矛盾的观点。针对这一发现的后续讨论揭示，由于临床工作安排冲突，正在推进该质量改进（QI）项目的两个区域的关键一线工作人员一直未能参加项目会议，而这两个区域的管理人员和服务主管却一直定期出席。此外，这两个区域的关键一线工作人员彼此并不相识，也不了解患者在加入QI项目后从一个服务部门转至另一个服务部门时的具体情况。

次月，该质量改进（QI）项目的患者入组工作几乎陷入停滞，仅入组了5名患者，远低于原定的30名目标。由于此前PRIUS讨论的直接影响，QI干预负责人与实施核心支持团队决定为两个临床区域所有感兴趣的基层工作人员举办一次"感谢"午餐活动。作为此次自愿参加活动的一部分，临床干预负责人亲自感谢一线工作人员对该项目的参与，并分享了迄今所取得的数据，展示了该QI项目在改善患者结局方面的有效性。此次感谢午餐活动参与人数众多，反响积极，两个科室的一线工作人员首次展开了面对面的交流对话。

在这次午餐会之后，项目招募情况显著改善；一个月内，由于新患者大量涌入， enrollment 不得不暂时中止，以便工作人员能够跟上进度。事件发生后收集的 PRIUS 更新数据明确指出，此次午餐会是实施过程中的一个转折点。多位参与者在各自的 PRIUS 更新报告中独立提到，正是在这次活动之后，他们才真正理解了整个项目，了解到该项目通过自身工作对患者产生的积极影响，并开始理解来自不同临床领域其他一线工作人员的视角13。正如预期，PRIUS 使临床干预负责人意识到一个原本可能未被察觉的实施问题，有助于制定纠正措施，并提供了一种评估该调整对持续推进实施所产生影响的方法。

讨论

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

使用PRIUS方法无需任何特殊软件。经过适当培训的研究人员、研究助理和/或其他研究团队成员均可实施PRIUS测试。

进行PRIUS会话的其他可选设置包括面对面签到或通过电话进行。建议每两周与参与者进行一次签到；如有需要，可调整此频率，以更紧密地满足特定项目的需求。

首个PRIUS提示（"从您的角度来看，在过去两周内（或自我们上次交谈以来）有哪些与本项目实施相关的重要事件发生"？）从三个方面明确限定了参与者的回答范围：其一，设定了具体的报告时间范围；其二，通过明确重视参与者个人对实施过程的看法，促进其积极参与；其三，将注意力集中于最显著的（即相关的）实施进展。在实际操作中，参与者通常在一次跟进会谈中报告两到三项进展。

第二个提示（即"从您的角度来看，您认为该进展对项目的实施产生了怎样的影响？"）的目的是在参与者报告每一项进展的同时，借助其个人经验和视角，将这些进展归类为不同类别的感知影响。这些数值评分提供了另一个具有七种可能取值的变量，可直接关联到进展中报告的定性数据，为实施支持团队在数据整理、分析以及报告实施进展时提供另一类数据来源。

第三个提示（即"您认为为何会产生这样的影响？"）明确邀请参与者解释其评分背后的原因。在许多情况下，这可能是那些工作日程极为繁忙的个体参与者首次有机会停下来，反思特定实施相关进展的意义与影响。

PRIUS 模板中的第四列（即“"备注"”）为研究人员提供了记录与特定实施进展报告相关的任何重要背景信息的选项。

与任何研究方法一样，计划在正式研究环境中使用PRIUS方法的项目团队应根据负责机构的要求，获得机构审查委员会的批准或豁免。

建议计划使用PRIUS方法的团队为团队成员安排一次专门的培训。建议培训时长为1至2小时。在培训过程中，应逐项描述并解释PRIUS方法的每一步骤 ，并观看本文所附的视频。将团队成员两两分组，让他们在模拟场景中相互练习实施PRIUS查房，每组中的两名成员轮流担任实施PRIUS查房的一方。

随着各个PRIUS会话的完成，项目团队应将PRIUS数据持续整合到一个统一的数据库中，并存储于团队成员可访问的安全在线位置。一个六列的电子表格即可满足此用途，其中额外的两列用于记录每条记录的日期和受访者。此外，建议定期对主PRIUS电子表格进行备份，以防原始文件损坏或丢失。

项目团队应定期（例如每月一次）对不断扩大的PRIUS数据集进行审查，以检查近期条目与早期条目的差异，评估与实施相关的趋势和模式，识别所感知到的优势与不足 迄今为止的实施情况，并为实施负责人制定具体建议，以把握新出现的机遇，支持和维持实施工作的进展。

在准备实施PRIUS时，研究团队应确定PRIUS随访会话的时间范围，包括开始和结束日期。例如，一个典型的时间安排可能是在3个月期间内实施PRIUS方法，每隔大约两周进行一次单独的PRIUS随访会话；在此示例中，平均每位参与者将完成总共五到六次PRIUS随访会话。

建议研究团队提前向潜在参与者发送一份通用通知，告知他们可能会收到邀请，参加简短的5分钟访谈，以进一步了解他们对实施情况的看法。该通知应通过常规且既定的沟通渠道发送，例如电子邮件和/或在定期的员工会议上进行公告。研究团队可在通知中重点说明以下几点：

1. 参与是自愿的；

2. PRIUS 登记前无需提前进行任何准备；

3. 5分钟的签到将通过口头对话进行（例如，通过电话、面对面或通过Zoom等视频会议应用程序），在参与者方便的时间进行；

4. 评论可根据需要设为匿名；

5. 进行定期检查的目的是全面了解整个组织的实施进展情况——包括识别存在的问题和挑战——从而改进实施过程。

在此阶段，研究团队需要考虑的一个重要决定是邀请哪些人参加PRIUS随访会议。参会人员应代表受实施过程影响的多样化个体；没有必要也不建议邀请所有相关人员。研究团队可考虑邀请那些被认为支持该项目的人员，同时也邀请一些被认为持批评或怀疑态度的人员。邀请的总人数应根据可负责开展PRIUS随访的核心实施团队成员数量来决定，每位核心成员负责1至3名个体参与者。请注意，若有必要，之后仍可随时增补最初未被邀请的人员。

在确定一组参与者后，实施核心团队应将特定的团队成员与具体的参与者进行配对。建议由相同的实施核心团队成员在较长时间内持续为同一组参与者进行PRIUS随访会谈，以便在双方之间建立并发展良好的关系和信任。

在首次PRIUS会话之前，实施核心成员可考虑向已与其配对参加PRIUS随访会话的参与者进行个别沟通。理想情况下，此类沟通应以非正式方式进行 ，并允许双方就PRIUS随访的目的和结构展开对话。此类个别沟通应特别强调：PRIUS参与是自愿的，会话前无需任何准备，且5分钟的随访将在对参与者方便的时间进行。如果参与者同意，并且已满足实施PRIUS方法所需的机构审查委员会（IRB）要求（如有），则应尽快与该个体开展首次PRIUS随访会话。

强烈建议采用PRIUS方法的任何实施核心团队，同时建立将实施核心团队与负责实施新临床项目的干预团队相连接的沟通渠道，尤其是在（通常情况下）这两个团队为独立群体时。这些沟通渠道可以包括定期会议、共享的在线文件夹和/或电子邮件分发列表。定期的信息交流有助于在评估团队与干预团队之间建立紧密的合作关系，这对于将PRIUS相关的分析和见解用于指导正在进行的实施过程中的中期调整至关重要。

PRIUS 的格式便于排序，以促进数据分析。研究人员可以随时以持续、迭代的方式查阅、筛选和搜索不断增长的 PRIUS 条目，并至少可通过两种方式进行纵向分析：比较在两个不同时间点评分值相似的 PRIUS 更新（例如，比较 2020 年 3 月评分为 "-2" 或 "-3" 的更新与 2020 年 6 月评分为 "-2" 或 "-3" 的条目）；以及比较同一类型条目的评分随时间的变化情况（例如，对项目所提供的专业发展支持的质量和充分性的看法随时间的变化）。

当相似条目在不同应答者之间的评分出现差异时，实施核心成员可标记与实施相关的进展，以进行进一步审查和讨论，从而评估差异的根本原因是否源于相对较轻的语义问题，或是否反映了观点上的深层分歧。若属于后者，研究团队可选择将这些差异提交给负责实施新临床干预措施的团队，以进一步讨论并采取可能的纠正措施。

就局限性而言，目前尚未对PRIUS开展过商业案例分析，因为成本和时间数据尚未被系统收集。PRIUS方法可能更适用于小规模和中等规模的干预研究，在这些研究中，持续从参与者处前瞻性地收集数据可能更具可行性。

总体而言，PRIUS 方法满足了医疗健康研究领域长期以来对一种高效且结构化方法的需求，可用于系统收集有关实施干预措施现状与进展的数据。如果一项新型临床举措的成功实施（即 "新事物") 取决于一项有效的实施干预措施（即一系列并行开展的活动，旨在鼓励工作人员 "做 新事物"），那么PRIUS方法提供了一种新颖且简便的途径，用于捕获那些可能转瞬即逝但具有重要价值的实施相关数据。

披露

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者无任何利益冲突需要披露。

致谢

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本项目由印第安纳州印第安纳波利斯理查德·L·鲁德布什退伍军人事务医疗中心的PRIS-M QUERI项目通过内部资金资助（QUE 15-280）。资助机构未参与本研究的设计、数据收集、分析与解释，亦未参与论文的撰写。本研究内容的全部责任由作者单独承担。PRIUS方法属于公共领域，可供任何人免费使用。

参考文献

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Curran, G. M. Implementation science made too simple: a teaching tool. Implementation Science Communications. 1 (27), 1-3 (2020).
  2. Powell, B. J., et al. A refined compilation of implementation strategies: results from the Expert Recommendations for Implementing Change (ERIC) project. Implementation Science. 10 (21), 1-14 (2015).
  3. Beebe, J. Rapid Assessment Process: An Introduction. , Walnut Creek, CA: AltaMira. (2001).
  4. McNall, M., Foster-Fishman, P. G. Methods of rapid evaluation, assessment, and appraisal. American Journal of Evaluation. 28 (2), 151-168 (2007).
  5. Green, C. A., et al. Approaches to mixed methods dissemination and implementation research: methods, strengths, caveats, and opportunities. Administration and Policy in Mental Health. 42 (5), 508-523 (2015).
  6. Averill, J. B. Matrix analysis as a complementary analytic strategy in qualitative inquiry. Qualitative Health Research. 12 (6), 855-866 (2002).
  7. Nadin, S., Cassell, C. Using data matrices. Essential Guide to Qualitative Research Methods in Organizational Research. Cassell, C., Symon, G. , Sage Publications. London. 271-287 (2004).
  8. Kahneman, D. Thinking Fast and Slow. , Farrar, Strous and Giroux. New York. (2013).
  9. Rabin, B. A., et al. Systematic, multimethod assessment of adaptations across four diverse health systems interventions. Frontiers in Public Health. 6 (102), 1-11 (2018).
  10. Finley, E. P., et al. Periodic reflections: a method of guided discussions for documenting implementation phenomena. BMC Medical Research Methodology. 18 (1), 153(2018).
  11. Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4 (1), (2009).
  12. Miech, E. J., et al. The prospectively-reported implementation update and score (PRIUS): a new method for capturing implementation-related developments over time. BMC Health Services Research. 19 (1), 124(2019).
  13. Rattray, N. A., et al. Evaluating the feasibility of implementing a Telesleep pilot program using two-tiered external facilitation. BMC Health Services Research. 20 (1), 357(2020).

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

PRIUS

相关文章