Summary
このプロトコルは、参加者報告実装の更新とスコア(PRIUS)と呼ばれる進行中の実装に関連するデータを収集および分析するための新しい方法について説明しています。PRYUS法は、医療現場の複数の視点から、経時的に効率的かつ体系的にデータをキャプチャすることを可能にします。
Abstract
医療現場での新しいイニシアチブの「実装」には、通常、「臨床介入」と、臨床介入を日常業務に取り入れることをサポートする付随する「実装戦略」という2つの異なるコンポーネントが含まれます。たとえば、新しい臨床介入は、新しい薬、新しいプロトコル、新しいデバイス、または新しいプログラムで構成される場合があります。ただし、臨床介入は自己実装ではないため、成功するためにはほとんどの場合、効果的な実装戦略が必要です。実装戦略は、新しいイニシアチブが成功裏に採用される可能性を高める方法で医療提供者、スタッフ、患者を関与させることに着手し、多くの場合、参加者による行動の変化と新しい考え方を伴うプロセスです。実施検討における課題の一つは、参加者自身のこれまでの実施に関する視点や経験など、実施状況や進捗状況に関するデータの収集が難しいことです。このプロトコルは、参加者報告実装の更新とスコア(PRIUS)と呼ばれる進行中の実装に関連するデータを収集および分析するための新しい方法について説明しています。PRYUSメソッドは、定性的および定量的データの効率的かつ体系的なキャプチャを可能にし、時間の経過とともに複数の視点から実装の詳細で微妙な説明を提供できます。この縦断的な方法により、研究者、実装リーダー、組織の利害関係者は、実装の進捗状況をより綿密に監視し、形成的評価を実施し、改善の機会を特定し、実装の変更の影響をローリングベースで測定できます。
Introduction
医療現場での新しいイニシアチブの「実装」には、通常、「臨床介入」と、臨床介入を日常業務に取り入れることをサポートする付随する「実装戦略」という2つの異なるコンポーネントが含まれます。違いを説明する簡単なアナロジーは、臨床介入は実践されるべき「新しいこと」を表すのに対し、実装戦略は人々に「新しいことを行う1」を奨励することです。たとえば、新しい臨床介入は、新しい薬、新しいプロトコル、新しいデバイス、または新しいプログラムで構成される場合があります。ただし、臨床介入は自己実装ではないため、成功するためにはほとんどの場合、効果的な実装戦略が必要です。実施戦略は、参加者が新しいイニシアチブを採用する可能性を高める方法で医療提供者、スタッフ、患者を関与させることに着手しました。実施検討における長年の課題の1つは、参加者自身の実施進捗の視点を含め、これら2つの要素のいずれかに関連する実施の現状に関するデータを収集することが非常に困難である可能性があることです。このプロトコルは、参加者報告実装の更新とスコア(PRIUS)と呼ばれる進行中の実装に関連するデータを収集および分析するための新しい方法について説明しています。PRYUS法により、医療研究者は、時間の経過とともに実装がどのように展開され、複数の参加者の視点からどのように表示されるかに関連する定性的および定量的データを効率的かつ体系的に取得できます。
PRYUSは、ヘルスケアの実施を研究するために使用される方法のより大きなファミリーの中でユニークなニッチを占めています。PRYUS以前の他のアプローチには、研究者が加速されたタイムテーブルでデータを収集および分析し、厳密さを維持する方法を提供する迅速評価および評価方法(REAM)が含まれます3,4,5、および研究者が大量のデータを行と列に統合し、ソートしてふるいにかけ、進行中の分析をサポートすることができるマトリックス表示6。7.ただし、これらの方法の制限は、研究者にかなりの時間とリソースを要求する可能性があるため、主に以前の実装を分析するために遡及的に使用されてきたことです。
実装関連の情報を収集するために前向きおよび縦断的アプローチを使用すると、データ収集の正確性を維持し、後知恵バイアス(つまり、イニシアチブの最終的な成功または失敗が以前のイベントの報告に影響を与える場合)および想起バイアス(つまり、参加者が以前のイベントを正確に覚えていない場合)の可能性を最小限に抑えることができます8。.他の前向きおよび縦断的アプローチが実施中に存在するが、PRYUSとは異なる目的を有する。例えば、10項目のスプレッドシート9を使用して、時間の経過とともに発生する実装への局所的な適応を記述および追跡するための体系的な方法が開発されています。「定期的なリフレクション」として知られる別のアプローチは、実装コアメンバーが実装チームメンバーと毎月または隔月で30〜60分の電話ディスカッションを実施して、進行中の実装現象を文書化するための構造化された方法を提供します10。
対照的に、PRYUSは、(a)実施介入の状況と進捗状況に関するデータを収集するための簡潔で体系的な方法の必要性に対処するように明示的に設計されているという点で、これらの他の将来の方法とは異なります(b)最前線の参加者自身の視点から。5〜10分の口頭チェックインのスパンで、PRYUSは、個々の参加者が注目に値すると考える実装の進展と、進行中の実施に対するそれらの開発の認識された影響についての主観的な入力(+2〜-2スケールで割り当てられたスコアの形式で)の両方をキャプチャします。さらに、PRYUSアプローチは、実装関連の更新ごとに参加者からの定性的および数値的情報を統合し、簡単に分類、並べ替え、ふるいにかけることができるリンクデータを生成し、主要なテーマや時間の経過に伴う傾向やパターンを特定できます。PRYUSメソッドは簡潔で、3つの簡単な口頭でのプロンプトを中心に構成されています:(1)「過去2週間(または最後に話してから)に起こったことで、このプロジェクトの実施に関連すると思われることは何ですか?」;(2)「これらの開発のそれぞれが実装の進捗状況にどのような影響を与えたと思いますか?」;(3)「なぜ?」
PRYUSの概念フレームワークは、実施研究のための統合フレームワーク(CFIR)11であり、医療サービス環境での実施を理解するための全体的な類型を提供します。CFIRフレームワークは、理論ベースとエビデンスベースの両方であり、実装と普及に関する50年以上の研究の蓄積された結果を表しています。CFIRフレームワークには、介入特性、外部設定、内部設定、関与する個人、および実装プロセスの5つの相互に関連するドメインが含まれます。PRYUSメソッドは、特に最後の3つのドメインの交差点に焦点を当て、内部設定で積極的に進行中の実装プロセスに関連する独自の視点について個人に尋ねます。
PRYUSメソッドはパブリックドメインであり、誰でも自由に使用できます。ここで提示されたプロトコルは、以前の出版物12 で提示されたPRYUSアプローチをさらに発展させ、単一の参加者でPRYUSを実施する方法にのみ焦点を当てています。
Protocol
この研究は、インディアナ大学治験審査委員会(プロトコル#1602800879)によって承認されました。この承認により、レビュー機関は、参加は完全に自発的であり、危害のリスクは最小限であり、研究の文脈以外で書面による同意が通常必要とされる手順を含まないと見なされたため、インフォームドコンセントの必要性に対する免除を含めました。
1. 参加者報告によるインプリメンテーションの更新とスコア(PRIUS)
- 参加者にPRYUSプロンプト#1を尋ねます。
- 相互に合意した時間に、Zoomなどのビデオ会議アプリケーションを介して参加者に会います。
- 参加者に最初の口頭でのプロンプトを提起します:「過去2週間(または最後に話してから)に起こったことで、このプロジェクトの実施に関連すると思われるものは何ですか?」
- プロンプト#1への定性的な応答をキャプチャします。
- 下の表 1 に示すようなスプレッドシート テンプレートを使用して、参加者が "Update" というラベルの付いた最初の列の下の最初の行に報告する最初の実装関連の開発をキャプチャします。各開発を逐語的にキャプチャする必要はありません。箇条書き形式の要約で十分です。
- 同じセッション中に参加者から報告された追加の開発ごとに、必要に応じて繰り返します。
表 1.空白の 4 列の PRIUS テンプレート。この表をダウンロードするには、ここをクリックしてください。
- 参加者にPRYUSプロンプト#2を尋ねます。
- 報告された開発ごとに、2番目の口頭でのプロンプトを提起します:「あなたの観点から、その開発がプロジェクトの実施にどのような影響を与えたと思いますか?強い、中程度の、または弱い影響があると思いますか、そしてその影響の方向はプラスですか、それともマイナスですか?」
- プロンプト #2 へのスコアリングされた回答をキャプチャします。
- 参加者からの回答に基づいて、テンプレートの各開発を+3から-3の範囲の7ポイントスケールでスコアリングし、ゼロを中間値とします。ステップ 1.2 でスプレッドシートに入力した各開発の横に、「スコア」というラベルの付いた列にスコアを入力します。正のスコアは、実装プロセスにプラスの影響を示します。負のスコアは負の影響を示します。ゼロは、どちらか一方の影響が識別できないことを示します。大きさに関しては、3は強い影響、2は中程度の影響、1は弱い影響を示します。たとえば、「-2」スコアのPRYUSアップデートは、開発がプロジェクトの実施に中程度の悪影響を与えると認識されたことを示します。
- 参加者にPRYUSプロンプト#3に尋ねます。
- 報告され、採点された各開発について、参加者に各スコアの簡単な根拠を提供し、3番目の口頭でのプロンプトを提供するように依頼します:「なぜそれがその影響を与えたと思いますか?」(つまり、強い/中程度/弱い、および正/負)。たとえば、特定の開発が実装の進捗状況に「弱いマイナス」の影響(つまり、「-1」)をもたらしたと思う理由を参加者に説明してもらいます。
- プロンプト#3への定性的な応答をキャプチャします。
- 参加者が報告する各理論的根拠をキャプチャします。ステップ1.4でキャプチャされた各スコアの「根拠」というタイトルのスプレッドシートの3番目の列に入力します。以前と同様に、短いテキストの要約で十分です。
- 追加情報があればメモします。
- 必要に応じて、「コメント」というラベルの付いたスプレッドシートのオプションの4列目に追加情報をキャプチャします。これには、顔の表情、ボディーランゲージ、声のトーン、および/または追加の関連する詳細などの観察された非言語的手がかりが含まれる場合があります。
- 定期的に参加者にチェックインします。
- 2週間ごとに参加者と再会し、手順1.1から1.7を繰り返します。
Representative Results
以前の出版物12で報告されているように、米国中西部の単一のVA医療センターの12人のスタッフが、2016年の6か月間にわたって品質改善(QI)プロジェクトに関連するPRYUSセッションに参加しました。このプロジェクトの結果、合計190種類以上のプリウスアイテムが生まれました。典型的なPRYUSセッションでは、3つまたは4つの項目(またはPRYUSテンプレートの「行」)が生成されました。新しいPRYUSの更新は、定期的な実装サポートチームの会議で議論され、PRYUSベースの調査結果と洞察がQIプロジェクトのリーダーと共有されました。
プリウスアップデート(n = 190) | ||
スコア | 頻度(%) | 主な説明テーマ |
3 | 49 (26) | TeleSleepプロジェクトの開始時の一般的な専門能力開発およびトレーニングイベント中の前向きな経験。ベンダーとの積極的な相互作用(レスメド);非常に役立つ新しい電子ツール(TeleSleepテンプレートや追跡スプレッドシートなど)の実装 |
2 | 28 (15) | 異なる臨床領域の個人間の積極的な相互作用 |
1 | 15 (8) | 小さな段階的な変更(例:追加の患者の登録) |
0 | 26 (14) | 現状からの変化を表す潜在的な機会(例:遠隔医療会議中に遠隔医療がTeleSleepデータを確認しない、将来TeleSleepに追加資金が利用可能になる可能性) |
-1 | 16 (8) | テレスリーププログラムの開始に対する最前線の臨床スタッフによる関心の欠如の認識 |
-2 | 33 (17) | 異なる臨床分野の個人間の負の相互作用;2016年2月から4月までのTeleSleepへの患者の登録が遅い。患者のPAPニーズを満たすための追加のトレーニングの必要性の認識 |
-3 | 23 (12) | TeleSleepのワークロードは当初の予想よりも重い。異なる臨床領域の個人間の不信と敵意 |
表 2.QIプロジェクトからのPRIUSエントリーのスコアと主要な説明テーマによる要約。(Miechら、2019から適応)。12名
上記の表2は、QIプロジェクトからの190のPRYUSエントリーのスコアと主要な説明テーマごとの要約を示しています。このプロジェクトのPRYUSエントリーに参加者が適用した最も頻繁なスコアは+3で、+3から-3の7段階評価で可能な限り最高のスコアでした。+3で採点されたエントリーには、最初の専門能力開発とトレーニングイベント、外部ベンダーとのやり取り、新しい電子ツールの実装が含まれていました。次に頻度の高いスコアは-2で、2番目に低いスコアでした。-2で採点されたエントリには、異なる臨床領域の個人間の相互作用、初期患者登録の遅れ、および患者のPAPニーズを満たすためのスタッフのフォローアップトレーニングの必要性が含まれていました。
この同じPRYUSデータセットの縦断的分析では、プログラム関連のコンポーネントが時間の経過とともに大きな変化を示しました:たとえば、専門能力開発に関連するPRYUS項目は、2月の強い正のスコア(つまり、+3)から4月までに中程度の負のスコア(-2)に変化しました。
PRYUSデータの分析は、実施介入の変化に直接つながりました。PRYUSのデータを確認するために正式に予定された会議で、実装コアサポートチームは、さまざまな臨床分野の参加者がプロジェクトの実施について異種で相反する視点を持っていることを臨床介入リーダーと共有しました。この発見についてのその後の議論は、QIプロジェクトを実施する2つの分野の主要な最前線のスタッフが臨床業務が矛盾しているためにプロジェクト会議に出席できなかったのに対し、同じ2つの臨床領域のマネージャーとサービスチーフが定期的に出席していたことに気づきました。さらに、これら2つの分野の主要な最前線のスタッフは、お互いを知らず、QIプログラムに登録した患者があるサービスから別のサービスに異動したときに何が起こったのかを理解していませんでした。
翌月、QIプロジェクトへの患者の登録はほぼ停止し、当初の目標が30歳だったときに登録された患者はわずか5人でした。以前のPRYUSの議論の直接の結果として、QI介入リーダーと実装コアサポートチームは、2つの臨床領域の関心のあるすべての最前線のスタッフに「感謝」ランチを提供することを決定しました。この自発的なイベントの一環として、臨床介入リーダーは、プログラムへの参加について最前線のスタッフに個人的に感謝し、患者の転帰を改善するという点でこれまでのQIプロジェクトの有効性を示すデータを共有しました。感謝の昼食会は参加者が多く、好評を博し、2つのサービスの最前線のスタッフが初めて個人的な会話をしました。
この昼食の後、プログラムの募集は劇的に改善されました。1か月以内に、スタッフが新しい患者の流入に追いつくことができるように、登録を一時的に停止する必要がありました。イベント後に収集されたプリウスの更新は、このランチを実装の変曲点として明確に選び出しました。互いに独立して、何人かの個人は、PRYUSの更新で、プロジェクト全体を理解し、プログラムを通じて患者にプラスの影響をもたらし、さまざまな臨床分野の他の最前線のスタッフの視点を高く評価したのは、このイベントの後であると報告しました13。意図したとおり、PRYUSは、臨床介入のリーダーに、そうでなければ検出されなかったであろう実施上の問題を認識させ、軌道修正の開発を通知し、進行中の実施に対するその変更の影響を評価する方法を提供しました。
Discussion
PRYUS方式を使用するために特別なソフトウェアは必要ありません。PRYUSセッションは、適切な訓練を受けた研究者、研究助手、および/または他の研究チームメンバーによって管理することができます。
プリウスセッションを実施するための代替設定には、対面チェックインまたは電話が含まれます。参加者とのチェックインの推奨期間は2週間ごとです。この頻度は、特定のプロジェクトのニーズにより厳密に合わせるために、必要に応じて変更できます。
最初のPRYUSプロンプト(「過去2週間(または最後に話してから)に起こったことで、このプロジェクトの実施に関連すると思われるものは何ですか?」)は、参加者の回答を3つの特定の方法で制限します。それは、実装に関する個々の視点を明示的に評価することによって他の人を関与させます。そして、最も注目すべき(つまり、関連する)実装開発にのみ注意を向けます。実際には、参加者は通常、チェックインセッション中に2つまたは3つの開発を報告します。
2番目のプロンプトの背後にある理論的根拠(つまり、「あなたの視点から、その開発がプロジェクトの実施にどのような影響を与えたと思いますか?」)は、個々の参加者の経験と視点を利用すると同時に、各開発を報告して、それらの開発を知覚される影響の個別のカテゴリに分類することです。これらの数値スコアは、開発で報告された定性的データに直接リンクする7つの異なる可能な値を持つ追加の要因を提供し、実装サポートチームがデータ分析で実装の進捗状況を並べ替え、分析、および報告するときに使用する別のデータソースを提供します。
3番目のプロンプト(「なぜその影響があったと思いますか?」)は、参加者にスコアの背後にある理由を説明するように明示的に促します。多忙なスケジュールで働いている個々の参加者が、一歩下がって、具体的な実装関連の開発の意味と影響について考える機会を得たのは、これが初めてである可能性は大きいでしょう。
PRYUSテンプレートの4番目の列(つまり、「コメント」)は、研究者に特定の実装開発の報告に関連する重要なコンテキストの詳細をキャプチャするオプションを提供します。
他の研究方法と同様に、正式な研究環境でPRYUS法を使用することを計画しているプロジェクトチームは、担当機関の要求に応じて、治験審査委員会の承認または免除を取得する必要があります。
PRYUSメソッドの使用を計画しているチームは、チームメンバー専用のトレーニングセッションをスケジュールすることを強くお勧めします。推奨の長さは1〜2時間です。トレーニング中に、PRYUSメソッドの各ステップを説明し、この記事に付属するビデオをご覧ください。チームメンバーをペアにして、シミュレートされたセッションでPRYUSチェックインの管理を互いに練習し、ペアの各メンバーが順番にPRYUSを管理する人になります。
個々のPRYUSセッションが完了すると、プロジェクトチームは、チームメンバーがアクセスできる安全なオンラインの場所にある統合データベースに、PRYUSデータをローリングベースで統合する必要があります。この目的には6列のスプレッドシートで十分であり、2つの追加列は各エントリの日付と回答者をキャプチャします。また、マスターPRYUSスプレッドシートのバックアップコピーを定期的に作成することもお勧めします。
プロジェクトチームは、拡大し続けるPRYUSデータセットのレビューを定期的に(例えば、月に一度)実施して、最近のエントリが以前のエントリとどのように比較されるかを調べ、実装関連の傾向とパターンを評価し、これまでの実装の認識された長所と短所を特定し、実装の進捗状況をサポートおよび維持するための緊急の機会について、実装リーダー向けの具体的な推奨事項を作成する必要があります。
PRYUSの実施準備をする際に、研究チームは、開始日と終了日を含め、PRYUSチェックインセッションが行われる時間枠を決定する必要があります。たとえば、サンプルの時間枠には、PRYUSメソッドを3か月間投与することが含まれ、個々のPRYUSチェックインセッションは約2週間に1回行われます。この例では、平均的な参加者は合計5〜6回のPRYUSチェックインセッションを完了します。
また、研究チームは、潜在的な参加者に事前に一般的なアナウンスを送信して、実装がどのように進んでいるかについての彼らの視点についてさらに学ぶために、5分間の短いチェックインに参加する招待状を受け取る可能性があることを通知することをお勧めします。このメッセージは、理想的には、電子メールメッセージや定期的なスタッフ会議でのお知らせなど、定期的かつ確立された通信チャネルを介して送信されます。研究チームは、メッセージの中で次の点を強調するとよいでしょう。
1.参加は任意です。
2. プリウスチェックイン前の準備は必要ありません。
3. 5分間のチェックインは、参加者にとって都合の良い時間に、音声会話(電話、対面、またはZoomなどのビデオ会議アプリケーションなど)で行われます。
4.コメントは必要に応じて匿名にすることができます。
5.チェックインの目的は、実装プロセスを改善するために、問題や課題の特定を含め、組織全体で実装がどのように行われているかの全体像を開発することです。
現時点で研究チームが検討すべき重要な決定は、PRYUSチェックインセッションに 誰 を招待するかです。この参加者グループは、実施の影響を受ける個人の多様なサンプルを代表する必要があります。 すべての 参加者を招待する必要もお勧めでもありません。研究チームは、プログラムを支持していると思われる個人と、批判的または懐疑的であると思われる個人の両方を招待したいと思うかもしれません。招待する参加者の総数は、PREUSチェックインの管理に利用できる実装コアサポートチームのメンバーの数によって決定され、各実装コアメンバーには1〜3人の個別の参加者が割り当てられます。最初の招待を延長していない人は、必要に応じて後で追加できることに注意してください。
参加者のグループが特定されたら、実装コア チームが実装コア チームの特定のメンバーと特定の参加者をペアにします。同じ実装コアメンバーが、より長い時間枠で同じ参加者とPRYUSチェックインセッションを実施し、ダイアド内で信頼関係と信頼を発展させることをお勧めします。
最初のPRYUSセッションの前に、実装コアメンバーは、PRYUSチェックインセッションでペアになっている参加者に個別のアウトリーチを実施することが役立つ場合があります。理想的には、このアウトリーチは非公式に行われ、PRYUSチェックインの目的と構造について双方向の会話を可能にします。この個別のアウトリーチは、特にPRYUSが任意であること、セッション前の準備は必要なく、5分間のチェックインは参加者にとって都合の良い時間に行われることを強調することができます。参加者が同意し、PRYUSメソッドを管理するためのIRB要件(もしあれば)が満たされている場合、最初のPRYUSチェックインセッションは、できるだけ早くその個人と実施する必要があります。
PRYUSメソッドを使用する実装コアチームは、特に(よくあることですが)これらが2つの別々のグループを構成する場合は、実装コアと新しい臨床プログラムの実装を担当する介入チームをリンクするコミュニケーションチャネルも開発することを強くお勧めします。これらの通信チャネルは、定期的な会議、共有オンラインフォルダー、および/または電子メール配布リストで構成できます。定期的な情報交換は、PRYUS関連の分析と洞察が進行中の実施の中間調整に情報を提供するために不可欠な、評価チームと介入チーム間の緊密な協力関係を促進することができます。
PRYUSのフォーマットは、データ分析を容易にするために簡単にソート可能です。研究者は、進行中の反復ベースでいつでも増え続けるPRYUSエントリをレビュー、ふるいにかけ、検索することができ、少なくとも2つの方法で縦断的分析を行うことができます:2つの異なる時点で同様の値でスコアリングされたPRYUS更新を比較する(たとえば、2020年3月に「-2」または「-3」でスコア付けされたすべての更新を2020年6月の「-2」または「-3」エントリと比較する)。同じ種類のエントリのスコアが時間の経過とともにどのように変化するかを比較する(たとえば、プログラムに提供される専門能力開発の質と妥当性に関する視点)。
類似項目について回答者間でスコアの不一致が観察された場合、実装コアメンバーは、違いの根本的な原因が比較的マイナーな意味上の問題によるものなのか、それとも視点のより深い二極化を反映しているのかを評価するために、さらなる精査と議論のためにそれらの実装関連の進展にフラグを立てることができます。後者の場合、研究チームは、さらなる議論と可能な是正措置のために、新しい臨床介入の実施を担当するチームの注意を引くことを選択できます。
制限に関しては、コストと時間のデータがまだ正式に収集されていないため、PRYUSのビジネスケース分析はまだ実施されていません。PRYUSの手法は、小規模および中程度の規模の介入に適している可能性があり、参加者から継続的に将来のデータを収集するためにより実行可能であることが証明される可能性があります。
全体として、PRYUS法は、実施介入の状況と進捗状況に関するデータを収集するための効率的で構造化された方法に対するヘルスケア研究における優れたニーズに対応しています。新しい臨床イニシアチブ(すなわち、「新しいこと」)の実装が効果的な実施介入(すなわち、スタッフに「新しいことをする」ことを奨励する一連の並行活動)にかかっている場合、PRYUSメソッドは、そうでなければつかの間であることが判明する 可能性のある貴重な実装関連データを収集するための斬新で簡単な方法を提供します。
Disclosures
著者は開示するものは何もありません。
Acknowledgments
このプロジェクトは、インディアナ州退役軍人保健局(QUE 15-280)のインディアナポリスにあるリチャードL.ロードブッシュVAメディカルセンターのPRIS-M QUERIが提供する内部資金を通じて後援されました。資金提供機関は、研究のデザイン、データの収集、分析、解釈、または原稿の執筆において何の役割も果たしていませんでした。著者は、この研究の内容について単独で責任を負います。PRYUSメソッドはパブリックドメインであり、誰でも自由に使用できます。
Materials
Name | Company | Catalog Number | Comments |
None |
References
- Curran, G. M. Implementation science made too simple: a teaching tool. Implementation Science Communications. 1 (27), 1-3 (2020).
- Powell, B. J., et al. A refined compilation of implementation strategies: results from the Expert Recommendations for Implementing Change (ERIC) project. Implementation Science. 10 (21), 1-14 (2015).
- Beebe, J. Rapid Assessment Process: An Introduction. , Walnut Creek, CA: AltaMira. (2001).
- McNall, M., Foster-Fishman, P. G. Methods of rapid evaluation, assessment, and appraisal. American Journal of Evaluation. 28 (2), 151-168 (2007).
- Green, C. A., et al. Approaches to mixed methods dissemination and implementation research: methods, strengths, caveats, and opportunities. Administration and Policy in Mental Health. 42 (5), 508-523 (2015).
- Averill, J. B. Matrix analysis as a complementary analytic strategy in qualitative inquiry. Qualitative Health Research. 12 (6), 855-866 (2002).
- Nadin, S., Cassell, C. Using data matrices. Essential Guide to Qualitative Research Methods in Organizational Research. Cassell, C., Symon, G. , Sage Publications. London. 271-287 (2004).
- Kahneman, D. Thinking Fast and Slow. , Farrar, Strous and Giroux. New York. (2013).
- Rabin, B. A., et al. Systematic, multimethod assessment of adaptations across four diverse health systems interventions. Frontiers in Public Health. 6 (102), 1-11 (2018).
- Finley, E. P., et al. Periodic reflections: a method of guided discussions for documenting implementation phenomena. BMC Medical Research Methodology. 18 (1), 153 (2018).
- Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4 (1), (2009).
- Miech, E. J., et al. The prospectively-reported implementation update and score (PRIUS): a new method for capturing implementation-related developments over time. BMC Health Services Research. 19 (1), 124 (2019).
- Rattray, N. A., et al. Evaluating the feasibility of implementing a Telesleep pilot program using two-tiered external facilitation. BMC Health Services Research. 20 (1), 357 (2020).