レビュー記事

教師なしのデジタル認知・機能評価とトレーニング:人との接触不足には潜在的な影響があるのか?

DOI:

10.3791/70431

2026年4月21日

この記事について

サマリー

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

デジタル戦略は監督なしのリモート評価と研修を可能にしますが、収集されたデータの妥当性と介入の有用性を確保するためにはいくつかの考慮事項が必要です。

要約

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

技術の進歩により、認知および機能評価・トレーニングのデジタル提供が可能になりました。デジタル戦略には大きく分けて二つのクラスがあります。最初はデジタル配信向けに開発されたものと、従来の紙と鉛筆の評価から移行したものです。また、監督付き評価と指導なしの評価やトレーニングに関する研究もかなり行われています。同時進行するデジタル技術の発展、例えば人工知能(AI)などにより、並行評価フォームの迅速な生成や国際利用のための評価資料の翻訳が可能となり、世界中で広くアクセス可能な展開の可能性が示唆されています。翻訳だけでは検証が保証されず、多くの評価ツールは翻訳されたものの、翻訳後に規範化や検証が行われていません。本レビューでは、デジタル評価と研修の現状を検証し、翻訳やデジタル移行を経た広く実施された対面評価の事例を用いて、紙や対面で実施されなかったデジタル戦略と比較して検証します。監督なしのパフォーマンスの有用性と、デジタル評価やトレーニングプログラムを自主管理する個人への影響についてコメントが提供されています。心理測定の完全性、言語的妥当性、対面の人間テスターによる社会的支援、そしてその支援を定量化し、デジタル代替手段で補完できるかどうかなど、アクセスしやすくパーソナライズされたデジタル戦略を提供するために慎重な検討が必要な分野がいくつかあります。

概要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

デジタル革命は、加齢関連および精神疾患における認知および機能評価とトレーニングの風景を変えました。現在実施されている評価の多くは、完全または部分的にデジタル配信に依存しています。デジタル評価は、人間のテスターが実施する従来の標準神経心理学テストから移行することも完全にネイティブなデジタルプラットフォーム3,4,5に移行可能です。いくつかの戦略には、モバイルデバイスでの配信678が含まれ、これに伴う他のリモート評価を組み合わせて瞬間的な気分、場所、環境条件を捉えることができます9

体系的なデジタル移行により、デジタル版の手順とレガシー版の比較が可能になります。一部のタスクでは、広範な検証情報が収集され、レガシー手続きとの体系的な比較も行われています。例として、統合失調症における認知の簡潔評価(BACS)があり、広く規範化された10 のレガシーテストがデジタル配信11に移行され、比較規範的研究12が行われました。同様の例として、Loewenstein-Acevedo Scales for Semantic Interference and learning(LASSI-L)13のデジタル移行があり、これはAvatarガイド付きでリモート管理可能な14 バージョンに移行され、3つのデジタルフォーム15も含まれていました。

デジタルタスクの利点は、テスト刺激を含む迅速かつ一般的に自動化された更新が非常に実現可能であることです。これには人工知能(AI)戦略を用いた言語翻訳も含まれ、迅速に代替版を生成できます。また、AI戦略によって促進されるのは、特に記憶や問題解決の繰り返しテストに必要な並行形式の開発で、認知症の集団においても許容できない実践効果を避けるためのものです16本レビューの目標の一つは、過去のデジタル移行およびAI適応の質を評価することです。これには、デジタル移行後の同等性、言語翻訳、並行形態の開発に関するデータが含まれます。

デジタル評価のさらなる発展として、デジタル評価や研修手順のリモートまたは監督なしの自己管理が行われています。これは商業的なコンピュータ認知トレーニング(CCT)では長年にわたり標準的な手法でしたが、一部の研究では無監督の自己実施も可能であることが示唆されています19,20,21。監督なしの自己管理は、インターネット接続のデジタル機器で自宅や、複数の参加者が最小限の監督のもとで試験を受ける試験センターで行うことができます。実現可能性試験は一般的に短期的でしたが、標準的な臨床試験と比べて同等またはより長い期間のものもありました。監督なしの評価や研修の一般的な状況を見直し、課題や追加情報が必要な箇所についてコメントします。

監督なしの評価と訓練における重要な課題は、異文化間の適応と実現可能性です。言語の違いに加え、デジタルアクセスやリテラシーにも大きな経済的差異があり、携帯電話、タブレットやノートパソコン、家庭でのインターネットアクセスなど、デジタルアクセスやリテラシーにも影響を及ぼす可能性があります。世界的なデジタル格差はもはや年齢によるものではなく、経済的なものです。オンラインリモートデジタル活動への参加動機は参加者によって大きく異なる場合があります。監督なし評価の実現可能性指標には、同意率、評価完了率、データの妥当性、技術の管理能力などが含まれます。ほとんどの臨床的非監督評価は、いくつかの障害が予想される個人を対象としており、対面を含む詳細な指導が行われる場合もあります。20,21 対面での指導、評価やトレーニングの完了について。リモート学習に登録し、すべての登録と研修が完全に独立して行われる個人からの実現可能性データ19,23は、デジタルスキルレベルが低く、能力に対する自信が低く、認知機能が低い個人には一般化できない可能性があります。これには、認知症の初期兆候があると疑い、クリニックで監督なしの評価を行う方も含まれます。

2つのデジタル評価システムがデバイス常駐型コンピュータ表示からクラウドベースの配信へ移行した研究では、タッチスクリーンのデータ収集速度にコンピュータマウスと比較して体系的な優位性が見られました。機能的能力評価には共通するデジタルリテラシーの課題があります。一部の参加者はキーボードのスキルがほとんどなく、パスワード25の大文字入力方法を教わる必要があります。米国の認知および機能能力に関する複数拠点研究では、地域の教育達成度や収入を追跡したデジタル機能能力評価の結果が地理的1.0 SD以上に変動しました。利用可能なすべての指標を用いて、教師あり評価とトレーニングの実現可能性と妥当性を評価します。

以下に述べるように、監督なしの技術提供における最大の課題は、デジタルで導出された結果が標準的な指標と収束しないことではありません。最大の課題は、自己管理型評価や訓練に必要な技術の広範な実現可能性と、人間の監督なしにおける過度に変動するパフォーマンスです。標準的な認知課題の際には、困難を抱える参加者に対して監督と支援を提供する本質的な社会的相互作用があります。また重要な問いとして、こうした支援がAIベースのインタラクションを通じて、従来の人間提供評価手順で参加者とテスターの相互作用をシミュレートするデジタルで提供できるかどうかも検討されています。

レビューと展望

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

以下は、上記の問題に関するデータのレビューです。これには、標準評価とデジタル評価の両方に適用可能なパフォーマンスベーステストの検証基準が含まれます。レガシー評価のデジタル移行基準、また、デジタルネイティブタスクの検証プロセスと、従来の紙/人間配送形式から移行されたものとの比較(代替形式、翻訳、異文化適応を含む)も検討しました。また、監督なし投与の実現可能性と人間による実施戦略の実現可能性、そして従来の評価・訓練介入における人間テスターの役割を総合的に考察する議論も行われています。これらの評価状況ではいくつかの機能が実行され、その一部は理論上AIに基づいた支援で実現可能です。 補足第1章では、本レビューで検討された問題を提示しています。

認知評価および機能評価の検証における一般原則
十分に検証されたデジタル評価や治療戦略を策定する際には、いくつかの考慮点が生じます。このプロセスの典型的な例が、統合失調症における認知改善のための測定・治療研究(MATRICS)イニシアチブという大規模な大規模成果評価開発プログラムであり、多くのレガシーでテスターによる評価の検証研究を実施しました。コンセンサス会議での議論に基づき、この文脈での検査選択は、繰り返し投与の信頼性、縦断的使用の適切性、機能的アウトカムとの関連性、治療関連変化への感受性、全体的な実現可能性および忍容性の5つの主要な考慮事項に基づいて判断されました。繰り返し投与の適性は、実践による最小限のパフォーマンス向上、または同等の代替形態の存在と定義されました。その結果生まれたMATRICS Consensus Cognitive Battery(MCCB)28 はこれらの基準を満たす一連のテストを選びましたが、リモートでの実施は困難であることが判明しました。同様の開発プロセスが、統合失調症における認知の簡潔評価(BACS)にも用いられました。BACSは同様の戦略で開発され、BACSの6つのテスター提供サブテストがこれらすべての特徴について検証されました。健康な対照群(n = 404)8 を含む大規模な検証試験も含まれます。

BACSという論文は国際的に広く検証され、その利用を検証した複数の研究(例:303132333435)が行われました。興味深いことに、MCCBも何度も翻訳されており、開発者のウェブサイト36 には45種類の翻訳が掲載されています。また、ウェブサイトには、国際臨床試験で広く使われているにもかかわらず、45版のうち公式言語規範を持つのは~10のみであることも指摘されています。この問題は後で取り上げます。

BACSのBAC-Appへのデジタル移行は比較研究11で体系的に実施され、統合失調症の参加者と健康対照群の両方を対象に、レガシー版とデジタル版の両方でテストされました。研究開始前に、Verbal Memory(7バージョン)、Symbol Coding(8バージョン)、Tower of London(8バージョン)など、いくつかのBAC-Appサブテストの代替形式が開発されました。したがって、このタスクのデジタル移行は、2つのバージョンを直接比較し、並列形式を検証するために設計されました。その後、健康な対照群と少数の主観的認知低下を伴う大規模な検証研究(N = 55312)が実施され、BAC-Appのパフォーマンスに関する標準的な情報が得られました。したがって、規範データはレガシー版で収集され、デジタル版でも繰り返され、同等の形態の評価も含まれていました(ただし、これらのデータはこれまでに公開されていません)。結果として得られるBAC-アプリは、監督なしの管理を目的としたものではないことに注意が必要です。テスターが必ず出席しなければなりません。

同様のデジタル移行の取り組みは、レガシーペーパー評価であるLoewenstein-Acevedo尺度(Lassi-L)13,14に対しても実施されました。この評価は、積極的な意味的干渉の検出を対象としており、これにより認知機能の急速な低下や、最小限の追加障害が認められてもADRDバイオマーカーの存在を予測することが示されています15。LASSI-Lには広範な標準データが利用可能であり、その後、教師なし評価用のデジタル版(LASSI-D)が開発されました。その開発過程では、これらのツールを評価する際には、投与法間の信頼性、繰り返し使用への適性、機能的成果への関連性、そして全体的な実現可能性と耐容性に重点が置かれました。BACS移行の進展として、LASSI-Dのスペイン語版と英語版が同時検証され、同様のLASSI-L版とは異なり、AIに配慮した戦略を用いた移行版の開発により、監督なしの自己管理の実現可能性と妥当性が向上しました。具体的には、人間のアバターは人間のテスターの役割を担い、指示を出し、誤りを修正し、参加者のパフォーマンス最適化を促します。参加者から収集された質的研究では、アバターによる評価に対する満足度が高く、人間による評価よりもこれらの方が優先度が高いことが示されました。

デジタルネイティブ評価もこれらの信頼性と妥当性の原則に従うべきであり、一部のプログラムはそれに従っています。例えば、仮想現実機能能力評価ツール(VRFCAT)3,37と機能技能評価・訓練プログラム(FUNSAT)25,38の開発は、検証研究において同じ5つの原則に従っています。VRFCATとFUNSATの両方が二次的なデジタル移行を経てクラウドベースの配信に移行し、両テストとも類似性が示された代替形態を持っています。FUNSATの移住研究では、スペイン語話者と英語話者の3つの代替形態のパフォーマンスも考慮されました。

VRFCATとFUNSATの両方の特徴として、従来の評価戦略とデジタル評価戦略の両方との比較を含む収束的検証に広範な取り組みが行われていました。例えば、統合失調症におけるVRFCATと陰性症状の相関を調べ、他の紙と鉛筆の機能能力指標との相関も調査されました。対象評価集団41に対する質的研究が実施されました。FUNSATについては、因子構造42、治療感受性43、BAC-app44との相関、その他の機能能力指標45自己申告機能との相関46の研究も報告されています。

教師なし評価の技術
紙と鉛筆による神経心理学的評価は、社会的交流、監督、指導、問題のある反応を避けるための提案を含む、教師あり評価の代表例です。前述の通り、一部のデジタルで実施される認知および機能的測定は、検査官が実施することを想定しています。例としては、MCCBの同一ペアCPT47 、BAC-app、VRFCATなどがあります。他の評価は、評価手続きが自動化され、独立して実施されるため、試験官の不在に無監督で実施できるように設計されています。これらのプログラムの中には、一部のサブテストで48 点欠落や無効スコア49 に対する脆弱性が示されたものもありますが、無効スコアのケースの割合は低いです。これらのスコアは受験者の関心の低さを反映している可能性があり、場合によっては試験官のフィードバックで修正可能です。現在のデジタル技術では、テスト中の応答中断を検知でき、参加者に継続を促す間に一時停止することも可能です。例えば、FUNSATの評価およびトレーニングモジュールは、15秒以内に応答がない場合は手順を一時停止し、ポップアップウィンドウを表示します。この組み込みの検出プロセスは、上記のすべての戦略に存在しているわけではありません。

教師なし評価の実現可能性に関するデータ
重篤な精神疾患やADRDにおける無監督の認知能力評価に関する研究は多く存在します。大規模なADRDレビューでは、28 件の最近の研究報告書と23種類の監督なし評価ツールが特定され、これらは診察中または遠隔で実施されました。受容度データは非常に良好で、インフォームド・コンセントと参加率は85%を超えていました。多くの参加者が再び参加する意向があると報告しました。

評価の遵守率は大きく異なり、8週間の研究では63%、別の8週間の研究では94%に及びました。使用不能なデータの発生率は低かったものの、特定の評価戦略によって評価完了の困難率が高まりました。自宅での拡張現実環境では、技術的制約により約21%のデータが失われ、デバイスの互換性不足により約32%の参加者が遠隔評価を完了できませんでした。

従来の評価戦略で慎重に管理される心理測定の考慮事項は、十分に考慮されなかった。例えば、並列形式の収束度とテスト再テスト信頼性に関する報告された課題のうち、23件のうち2件のみが許容範囲の下限に位置していました。しかし、これらの評価の一部はリモートで臨時的に行われていたため、環境要因がパフォーマンスに影響を与える可能性があり、これは重要な考慮事項です。したがって、テスト再検査信頼性が低そうに見えるものは、実際には環境要因の変化に伴う参加者内分散や感受性を反映している可能性があります。標準的な認知評価との収束妥当性は一貫して許容され、相関はr = 0.50から0.70の範囲でした。

統合失調症における遠隔認知評価のレビューは同規模(34本)で、同様の問題を提起しましたが、実際に真の監督なし評価を実施した研究の一部に過ぎませんでした。遠隔で実施されたほとんどの評価では並行フォームの記載がなく、対面評価と比較してリモート提供の基準に関する報告はほとんどありませんでした。実際、34件の研究のうち、遠隔評価、対面評価、監督評価の標準的パフォーマンスを比較したのは1件だけでした。さらに、Polkらの研究と一致した発見として、インターネット接続の問題や技術故障の報告、その他の技術的要因による評価の完了困難がほぼすべての無監督研究で顕著で存在していることが示されました。

BAC-appのリモート管理を試みる際に生じた問題は、参加者が対面およびリモートでBAC-app51でテストを受けた際のデータ整合性に関する懸念でした。その研究では、参加者は遠隔で実施された単語リスト学習テストで平均的に大幅に良い成績を示し、提示された刺激を書き記したり記録したりしていることが示唆されました。監督なし評価の考慮点に加え、データの整合性を維持するための何らかのセキュリティ戦略が必要と思われます。

リモートで提供されるデジタル認知およびスキルトレーニング
統合失調症52および軽度認知障害53において、認知および機能的スキルを遠隔で訓練することに関する複数の研究が行われています。さらに、認知トレーニングは統合失調症におけるアプリベースの陰性症状治療や、MCI25におけるデジタル機能スキルトレーニングなど、他の介入の有効性を高めるための複合介入として追加されています。一般的な調査結果として、統合失調症からMCI、ADRDまでの集団において、自宅やオフィスでの遵守率とトレーニング効果がかなり似ていることが示されています。遵守は完璧ではなく、トレーニングの成果は個人差の特性によって影響を受ける55,56。十分な成果と遵守につながる要因の一つは、認知トレーニングの手順が、オフィスであれリモートで行ったり、本質的に同一であることです。技術的課題やプログラムの立ち上げ困難に関する前述の問題は、リモート研修でもリモート評価でも明らかに同じです。参加者がソフトウェアの立ち上げや運用を監督なしで行うための対面トレーニングを受けた研究では、最も遠隔で遵守率が高いと報告されています(例:53)。

デジタル評価と治療の世界的な活用
前述の通り、従来の論文評価の翻訳は複数回行われており、デジタル分野でも国際的な取り組みも多数行われています。例えば、スペインでは失読症57や数学スキル58のデジタル評価が開発されていますが、これらの課題が他言語に翻訳されているかは不明です。中国では、トレイルメイキングテストを修正して追加の運動技能測定59を加える戦略が開発され、中国では複雑な文の処理を検証するための二重課題干渉手法が開発されました。シンガポールでは、英語ともう一つのアジア言語で訓練を受けたバイリンガル個人を対象とした独自のクロスランジカルトレーニングプログラムがあり、認知機能の向上を目指しています。これらすべての研究は開発の成功と受容性を報告しましたが、文化集団内の言語間でテストの有用性を直接比較できたのは1件だけでした。

翻訳テストの局所的検証の役割
MCCBやBACなど、最も広く使われている伝統的な対面評価戦略は、前述のように異なる言語や文化グループで広く検証されています。対照的に、3歳から85歳までの個人を対象とした幅広い評価であるNIHツールボックスは英語のみで提供され、単一の対面デジタルプラットフォーム62で実施されます。認知および機能評価タスクやトレーニングプログラムのデジタル移行バージョンの検証については、地域的および世界的に情報がかなり少ないです。例えば、luvadaxistatのERUDITE63研究では、BACアプリが8つの異なる言語で実施され、デジタル移行後に異なる言語形態(スペイン語)を検証した研究64は1件のみです。VRFCATのような一部の直接デジタル評価は、30以上の異なる言語を用いた研究で翻訳版として用いられています。繰り返しますが、VRFCATが言語間で使用されたという実質的な証拠は存在しませんが、英語版の評価が作成された際には並行形の類似性の検証が提示されました。デジタル移行タスクのレガシーバージョンで収集された検証情報は、移行によってテストの特徴が何も変わらなければ非常に関連性が高いと考えられますが、レガシー移行やデジタル移行といった結果指標が心理測定特性について研究されていない言語もいくつか存在します。しかし、ADRDと統合失調症に関する2つの異なるレビュー20,21で指摘されているように、修正やデジタル移行後の国際的なタスクの特徴への注目は著しく少なかった。

これら2つの研究の課題は、VRFCATが予想以上に変動を示し、多くの参加者が非常に低いスコアを得ていたことです。翻訳がパフォーマンスに悪影響を及ぼした可能性もあります。また、経験の浅いテスターとの課題が、評価中の参加者の関与監督が不十分になった可能性も高いです。テスターによる課題の可能性は明らかですが、言語的に検証された翻訳が心理測定学的に類似した機器を保証すると考えるのは時期尚早かもしれません。体系的なデジタル移行の過程では、紙と鉛筆のレガシー機器がデジタル化されたバージョンと類似したスコアを生成するかどうかを検証すべきですが、上記の2つのレビューで指摘されているように、これは一般的であるとは記録されていません。上記のLASSI-Dのデジタル移行戦略は、これら3つのデジタル並行形態それぞれを、スペイン語および英語の人間管理レガシー版の結果と体系的に心理測定的に比較することを含むため、これらの課題には影響を受けません。しかし、非常に詳細なプロセスであり、30言語の臨床試験をタイムリーに実施するのは極めて困難です。

ヒューマンテスターの役割は何ですか?
データは、監督なしのデジタル評価とトレーニングにおける大きな課題は、参加者が技術を活用し、システムにアクセスできるようにすることであることを示唆しています。参加者から技術的な互換性の欠如を報告するなど、他の課題もデジタル戦略への不慣れや技術運用能力の欠如に起因している可能性があります。したがって、監督なし評価のパラダイムでは、評価開始前の個別指導が役立つ、あるいは必須の戦略となり得ます。

一部の技術ベースの評価は主に診療時に実施されており、統合失調症の遠隔評価を目的とした多くのタスクも含まれます。例えば、VRFCATは対面での評価監督を義務付けており、BAC-Appも同様です。VRFCATには正式な評価前に導入部分が実施され、人間のテスターが質問に答え、不十分な対応を指示し、メイン評価セクションが継続的に行われます。試験官は参加者を監督し、努力を続けない場合は指導を行うよう指示されます。しかし、最近のVRFCAT研究では、一部の参加者が「強制進行」を多く経験し、300秒以内にテスト目標を解けなかったことが判明しました。一部の目標は「財布を拾う」という短い作業で済むため、試験官の監督の失敗が疑われる可能性があります。BAC-app技術はすべての刺激を管理し、データを収集しますが、参加者の完了後にパフォーマンスを監督しサブタスクを進めるために人間のテスターが引き続き必要です。コグステートシステムは参加者のパフォーマンス監督を必要としませんが、システムの特定の構成要素で無効なパフォーマンスが報告され、統合失調症66 では持続的なパフォーマンスの不十分さや不安定なスコアが原因となる障害に対する感受性低下が報告されており、対面監督で発見・修正可能です。

デジタルスーパービジョンを使うことは可能ですか?
現在、チャットボットやその他のAIによるデジタル心理療法介入への関心がかなり高まっています。これらの介入の課題の一つは、双方向コミュニケーションの必要性であり、AIセラピストはリアルタイムでクライアントのコミュニケーションを理解し、適切に対応しなければなりません。LASSI-Dの開発には異なるAI戦略が用いられました。人間のアバターはAIで作成され、テスト技術者として、標準的なテスト状況で人間のテスターが出すすべての指示とフィードバックを提供しました。アバターはまた、画面上の「?」アイコンに触れることでトリガーされる、あらかじめ決められたFAQに答えることも教えられました。その段階では対話的なコミュニケーションは試みられませんでした。この手続きの受容度はかなり高く(テストセッションの95%の完了率)、主に少数派の単一言語スペイン語話者集団で、完了率も非常に高く(評価セッションの96%以上)、アバターテスターを人間テスターよりも質的に好む傾向も示されました。

教師なし評価とトレーニングのためのAIガイダンスを拡大する可能性のある一つの方法は、参加者が初めて監督なしの評価やトレーニングを設定・開始できるよう支援するトレーニングおよび支援システムの開発です。まだ開発中ですが、FUNSATは人間のアバター指導付き初期指導モジュールを含むよう修正されており、参加者がトレーニングに登録し、ウェブサイトにログインし、トレーニングを開始するためのトレーニングを行っています。これらの戦略は、アバターコミュニケーションが事前に決まった回答と一貫した指示の提供に基づいているため、チャットボットの治療的交流よりも一貫性が高く正確に提供される可能性が高いです。

その他のデジタル戦略
現在のレビューは、パフォーマンスベースで意図的な認知評価に焦点を当てています。現在、 動的なデジタル表現型測定が多数存在し、これらは教師あり評価の結果と関連付けることができます。これにはジオロケーション67、身体活動68、社会的文脈69、デバイスとの相互作用70、音声および言語特性71が含まれます。これらは必ずしも認知の測定値ではありませんが、認知機能に影響を与える可能性のある環境要因を反映しています。例えば、顔や声の反応、社会的文脈、背景の気晴らしから推測される気分状態は、特に教師なし評価時に認知パフォーマンスと相関することがあります。教師あり評価に関連する課題のいくつかは、受動的なeCデジタル表現型の併用によって検出可能で軽減可能である可能性があります。これらの措置は意図的な努力を必要としないため、評価に負担を増やしません。

結論

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

認知的および機能的欠損のデジタル評価と治療は非常に有望であり、プロセスの拡大やアクセスできない可能性のある参加者にリーチできることを可能にしています。技術の進歩により、刺激の簡単な翻訳、並行評価フォームの作成、遠隔での提供が可能になりました。ほとんどのデータは、指導なし評価と訓練の結果が、グローバルパフォーマンス指数の観点からレガシー戦略の結果と非常に収束していることを示唆しています。しかし、参加者の関与とテスト開発の技術的側面の両方に課題があります。多くの参加者は、監督なしで技術を管理することができません。技術の進歩により刺激の翻訳や並行形式の作成は容易になりましたが、結果として生まれる翻訳や新しい形態の心理測定的類似性には十分な注意が払われていません。テストの質の心理測定的評価に対する体系的なアプローチは、技術によってテスト刺激の生成が容易になったからといって正当化されるものではありません。

デジタルアウトカム評価を用いた一部の薬理学的治療研究では治療効果の特定に失敗しており、その失敗は元のバージョンと収束しない、平行形式や翻訳刺激の異なるバージョンに部分的に関連している可能性があります。これらの戦略は、テスターの問題や新たに開発されたフォームの課題により、過度に変動するテスト性能やデータの欠落をもたらす可能性も示されています。

補助的なアプローチとして、AI主導のアバターテストおよびトレーニングアシスタントの活用が行われています。このようなアプローチは大きな可能性を秘めていますが、本格的な展開前に検証が必要です。このような戦略が用いられる場合、段階的なアプローチが必要になります。アシスタントは最初、完全にスクリプト化された指示とフィードバックを提供し、その後大規模な言語モデルで訓練され、参加者の質問を理解し、参加者と交流します。

評価と介入の社会的文脈は、技術関連の取り組みを維持する上で重要です。人間のテスターは参加者の課題に適応し、トレーニングへの関与を促進しつつ、技術的な支援も提供できます。この相互作用は、教師なしの認知評価やトレーニングのデジタルアプローチに統合され、これらの戦略の適用範囲を広げる必要があります。これらの評価や介入戦略を最も必要としている参加者は、自己管理の認知スキルおよび機能スキルの評価およびトレーニングタスクにおいても、ファシリテッド・アシスタントを必要とする可能性が高いです。

補足ファイル1:有効なパフォーマンスベース評価の開発に関連する課題:デジタル提供の評価およびトレーニングの妥当性、実現可能性、耐容性に焦点を当てます。 このファイルをダウンロードするには、こちらをクリックしてください。

開示事項

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ハーヴィー博士は、Alkermes、BMS(Karuna Therapeutics)、ベーリンガー・インゲルハイム、Kynexis、Minerva Neurosciences、Neurocrine Biosciences、Recognifyからコンサルティング料や旅費の補助を受けています。彼はIntracellular Therapeutics(現在はジョンソン・エンド・ジョンソンの一部)からの研究助成金を受けています。彼は統合失調症における認知の簡潔評価(Clario、旧WCG Endpoint Solutions, Inc、旧Verasci、MCCBに収録)からロイヤリティを受け取ります。彼はi-Function, Inc.の最高科学責任者であり、EMAウェルネス社の科学コンサルタントでもあります。カレストルップ氏はi-Function, Inc.の共同創設者兼最高経営責任者(CEO)です。

謝辞

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

FUNSATおよびLASSI-Dの開発を支える研究は、米国国立高齢者研究所(NIA)の助成金R44 AG074818-02、R43 AG057238-02、R44 AG057238-04によって資金提供され、ピーター・カレストルップがPIを務めました。

参考文献

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Crocco, A., et al. A novel cognitive assessment paradigm to detect pre-mild cognitive impairment (PreMCI) and the relationship to biological markers of Alzheimer’s disease. J Psychiatr Res. 96, 33-38 (2019).
  2. Keefe, R. S., et al. The brief assessment of cognition in schizophrenia: reliability, sensitivity, and comparison with a standard neurocognitive battery. Schizophr Res. 68, 283-297 (2004).
  3. Keefe, R. S., et al. Validation of a computerized test of functional capacity. Schizophr Res. 175 (1-3), 90-96 (2016).
  4. Pietrzak, R. H., Olver, J., Norman, T., Piskulic, D. A comparison of the CogState schizophrenia battery and the MATRICS battery in assessing cognitive impairment in chronic schizophrenia. J Clin Exp Neuropsychol. 31, 848-859 (2009).
  5. Czaja, S. J., et al. A novel method for direct assessment of everyday competence among older adults. J Alzheimers Dis. 57, 1229-1238 (2017).
  6. Paolillo, E. W., et al. Characterizing performance on a suite of English-language NeuroUX mobile cognitive tests in a US adult sample: ecological momentary cognitive testing study. J Med Internet Res. 26, e51978 (2024).
  7. Depp, C. A., et al. Ecological momentary facial emotion recognition in psychotic disorders. Psychol Med. 52 (13), 2531-2539 (2022).
  8. Parrish, E. M., et al. Remote ecological momentary testing of learning and memory in adults with serious mental illness. Schizophr Bull. 47 (3), 740-750 (2021).
  9. Bomyea, J. A., et al. Relationships between daily mood states and real-time cognitive performance in individuals with bipolar disorder and healthy comparators: a remote ambulatory assessment study. J Clin Exp Neuropsychol. 43 (8), 813-824 (2021).
  10. Keefe, R. S., et al. Norms and standardization of the brief assessment of cognition in schizophrenia (BACS). Schizophr Res. 102 (1-3), 108-115 (2008).
  11. Atkins, A. S., et al. Validation of the tablet-administered brief assessment of cognition (BAC App). Schizophr Res. 181, 100-106 (2017).
  12. Atkins, A. S., et al. Assessment of instrumental activities of daily living in older adults with subjective cognitive decline using the virtual reality functional capacity assessment tool (VRFCAT). J Prev Alzheimers Dis. 5 (4), 216-234 (2018).
  13. Harvey, P. D., et al. Digital migration of the Loewenstein Acevedo scales for semantic interference and learning (LASSI-L): development and validation study in older participants. JMIR Ment Health. 12, e64716 (2025).
  14. Huang-Ouyang, B., et al. Development and comparison of alternate forms of the LASSI-D in older participants with amnestic mild cognitive impairment and normal cognition. J Alzheimers Dis. 108 (2), 681-692 (2025).
  15. Crocco, E., et al. Brief version of the LASSI-L detects prodromal Alzheimer’s disease states. J Alzheimers Dis. 78 (2), 789-799 (2020).
  16. Goldberg, T. E., et al. Practice effects due to serial cognitive assessment: implications for preclinical Alzheimer’s disease randomized controlled trials. Alzheimers Dement (Amst). 1 (1), 103-111 (2015).
  17. Wang, G., et al. Using practice effects for targeted trials or subgroup analysis in Alzheimer’s disease. PLoS One. 15 (2), e0228064 (2020).
  18. Harvey, P. D., McGurk, S. R., Mahncke, H., Wykes, T. Controversies in computerized cognitive training. Biol Psychiatry Cogn Neurosci Neuroimaging. 3 (11), 907-915 (2018).
  19. Lynham, A. J., Jones, I. R., Walters, J. T. R. Cardiff online cognitive assessment in a national sample: cross-sectional web-based study. J Med Internet Res. 25, e46675 (2023).
  20. Polk, S. E., et al. A scoping review of remote and unsupervised digital cognitive assessments in preclinical Alzheimer’s disease. NPJ Digit Med. 8 (1), 266 (2025).
  21. Lavigne, K. M., et al. Remote cognitive assessment in severe mental illness: a scoping review. Schizophrenia (Heidelb). 8 (1), 14 (2022).
  22. Mwesiga, E. K., et al. A systematic review of neuropsychological measures in psychotic disorders from low- and middle-income countries. Schizophr Res Cogn. 22, 100187 (2020).
  23. Owen, A. M., et al. Putting brain training to the test. Nature. 465 (7299), 775-778 (2010).
  24. Harvey, P. D., et al. Migration of digital functional capacity assessments from device resident to cloud-based delivery. Schizophr Res Cogn. 39, 100331 (2024).
  25. Czaja, S. J., Kallestrup, P., Harvey, P. D. Evaluation of a novel technology-based program designed to assess and train everyday skills in older adults. Innov Aging. 4 (6), igaa052 (2020).
  26. Guzman, A., et al. Location-based differences in cognition and functional capacity. Psychiatry Res. 340, 116121 (2024).
  27. Green, M. F., et al. Approaching a consensus cognitive battery for clinical trials in schizophrenia. Biol Psychiatry. 56 (5), 301-307 (2004).
  28. Nuechterlein, K. H., et al. The MATRICS consensus cognitive battery, part 1. Am J Psychiatry. 165 (2), 203-213 (2008).
  29. Russell, M. T., et al. Validity of remote administration of the MATRICS battery. Schizophr Res Cogn. 27, 100226 (2021).
  30. Bralet, M. C., et al. Validation of the French version of the BACS. Eur Psychiatry. 22 (6), 365-370 (2007).
  31. Wang, L. J., et al. Validation of the Chinese version of BACS. Neuropsychiatr Dis Treat. 12, 2819-2826 (2016).
  32. Mazhari, S., et al. Validation of the Persian version of BACS. Psychiatry Clin Neurosci. 68 (2), 160-166 (2014).
  33. Haddad, C., et al. Validation of the Arabic version of BACS. BMC Psychiatry. 21 (1), 223 (2021).
  34. Segarra, N., et al. Spanish validation of BACS. Eur Psychiatry. 26 (2), 69-73 (2011).
  35. Kaneda, Y., et al. Validation of the Japanese version of BACS. Psychiatry Clin Neurosci. 61 (6), 602-609 (2007).
  36. . Available from: https://www.matricsinc.org/ (2025)
  37. Ruse, S. A., et al. Development of a virtual reality assessment of everyday living skills. J Vis Exp. (86), e51405 (2014).
  38. Harvey, P. D., et al. A computerized functional skills assessment and training program. J Vis Exp. (156), e60330 (2020).
  39. Harvey, P. D., et al. Virtual reality assessment of functional capacity in schizophrenia. Psychiatry Res. 277, 58-63 (2019).
  40. Harvey, P. D., et al. Factor structure of cognitive performance and functional capacity in schizophrenia. Schizophr Res. 223, 297-304 (2020).
  41. Horan, W. P., et al. Content validity of VRFCAT in schizophrenia. Schizophr Bull Open. 4 (1), sgad012 (2023).
  42. Harvey, P. D., et al. Computerized functional skills assessment and training program: psychometrics. Am J Geriatr Psychiatry. 29 (4), 395-404 (2021).
  43. Dowell-Esquivel, C., et al. Computerized cognitive and skills training in older people with MCI. Am J Geriatr Psychiatry. 32 (4), 446-459 (2024).
  44. Harvey, P. D., et al. Improvements in cognitive performance with computerized training. Am J Geriatr Psychiatry. 30 (6), 717-726 (2022).
  45. Harvey, P. D., et al. Improvements in functional capacity after computerized training. Psychiatry Res. 334, 115792 (2024).
  46. Harvey, P. D., et al. Awareness of baseline functioning and sensitivity to improvement. Int Psychogeriatr. 37 (3), 100025 (2025).
  47. Cornblatt, B. A., et al. Continuous performance test, identical pairs version (CPT-IP). Psychiatry Res. 126 (2), 223-238 (1988).
  48. Harvey, P. D., et al. Effect of lurasidone on neurocognitive performance. Eur Neuropsychopharmacol. 23 (11), 1373-1382 (2013).
  49. Sauder, C., et al. Effectiveness of KarXT for cognitive impairment in schizophrenia. Transl Psychiatry. 12 (1), 491 (2022).
  50. Campbell, L. M., et al. Smartphone-based cognitive testing across lifespan. NPP Digit Psychiatry Neurosci. 3 (1), 15 (2025).
  51. Atkins, A. S., et al. Remote self-administration of digital cognitive tests. Front Psychiatry. 13, 910896 (2022).
  52. Loewy, R., et al. Durable cognitive gains after remote auditory training. Schizophr Bull. 48 (1), 262-272 (2022).
  53. Czaja, S. J., et al. Home-based functional skills training program efficacy. Innov Aging. 8 (7), igae065 (2024).
  54. Fisher, M., et al. Remote cognitive training combined with mobile app intervention. J Med Internet Res. 25, e48634 (2023).
  55. Harvey, P. D., et al. Early prediction of mastery of computerized training. Int Psychogeriatr. 36 (12), 1182-1193 (2024).
  56. Vita, A., et al. Cognitive remediation for schizophrenia: meta-analysis. JAMA Psychiatry. 78 (8), 848-858 (2021).
  57. Jiménez, J. E., García, E., Balade, J. Advancing dyslexia assessment through computerized testing. J Vis Exp. (210), e67031 (2024).
  58. Rodríguez, C., et al. Multimedia battery for assessment of cognitive and basic math skills. J Vis Exp. (174), e62288 (2021).
  59. Wei, W., et al. Digital and walking trail making test. J Vis Exp. (153), e60456 (2019).
  60. Cheng, T., Wu, J. T. Online syntactic processing using dual-modal tasks. J Vis Exp. (151), e59660 (2019).
  61. Yow, W. Q., et al. Dual-language touchscreen intervention in older adults. Innov Aging. 8 (7), igae052 (2024).
  62. Gershon, R. C., et al. Assessment of neurological and behavioral function: the NIH toolbox. Lancet Neurol. 9 (2), 138-139 (2010).
  63. Khin, N. I., et al. A phase 2 randomized controlled trial of luvadaxistat in treatment of adults with cognitive impairment associated with schizophrenia: results from the ERUDITE study. Neuropsychopharmacology. , (2025).
  64. González-Blanch, C., et al. Validation of BAC app in Spanish-speaking individuals. Eur Psychiatry. 68 (1), e112 (2025).
  65. Keefe, R. S., et al. Efficacy and safety of iclepertin for cognitive impairment. Lancet Psychiatry. 12 (12), 906-920 (2025).
  66. Benoit, A., et al. Cognitive deficits using CogState battery in first-episode psychosis. Schizophr Res Cogn. 2 (3), 140-145 (2015).
  67. Depp, C. A., et al. GPS mobility as a digital biomarker of negative symptoms. NPJ Digit Med. 2, 108 (2019).
  68. Strauss, G. P., et al. Validation of accelerometry as a digital phenotyping measure. Schizophrenia (Heidelb). 8 (1), 37 (2022).
  69. Wahle, F., et al. Mobile sensing and support for depression. JMIR Mhealth Uhealth. 4 (3), e111 (2016).
  70. Dagum, P. Digital biomarkers of cognitive function. NPJ Digit Med. 1, 10 (2018).
  71. Cowan, T., et al. Computerized analysis of facial expression and blunted affect. Eur Arch Psychiatry Clin Neurosci. 274 (7), 1771-1775 (2024).

再版と許可

このJoVE記事のテキストまたは図の再利用許可をリクエスト

許可をリクエスト

タグ

Digital Cognitive AssessmentUnsupervised AssessmentDigital TrainingArtificial IntelligenceAssessment TranslationPsychometric IntegrityLinguistic ValidityHuman Tester SupportSelf Administered Assessment

関連記事