心電図測定を用いた認知負荷の推定:人間とAIの共同課題

サマリー

このプロトコルは、人間とAIの協働タスクにおける異なるタスク難易度レベルでの認知負荷の変動を生理学的指標を用いて測定する方法を説明しています。この発見は、人々が課題の難易度に応じて意思決定プロセスを適応させ、認知負荷のレベルが異なることを反映していることを示唆しています。

要約

職場の場では、個人の認知負荷はパフォーマンスと安全性の両方に密接に関連しています。人間と人工知能(AI)の協働が増加する中で、協働プロセス中に認知負荷の動態をリアルタイムかつ客観的に捉える能力はますます重要になっています。従来、認知負荷はアンケートを通じて評価されてきました。しかし、このような回顧的手法は、タスク実行中の認知負荷の瞬間的な変動を正確に捉える能力には限界があります。対照的に、生理的信号は個人のリアルタイム状態を継続的に監視できるため、より客観的な認知負荷の測定を提供します。課題の難易度は参加者の期待に影響を与え、それが行動を形作り、最終的に認知負荷に影響を与えます。本研究は、複数の難易度レベルを含む一般化可能な人間とAIの共同作業を実装しています。AIシステムの平均精度は、課題開始前に参加者に開示されました。各試験では、参加者は自分で課題を完了するか、AIに任せるかの選択肢が与えられました。このプロトコルの目的は、心電図(ECG)データを生理学的指標として用い、個人がタスクを割り当てたりAIと異なる難易度レベルで協力したりする権限を持つ際に認知負荷がどのように変化するかを調べることです。本研究は、人間とAIの協働中に明らかになった生理学的データによって明らかになった内部状態の動態をさらに探求します。これらの発見は、協力モデルの改善、効率の向上、そして人間とAIの補完的な強みを活用して複雑なタスクにおけるより良いリソース統合を実現する科学的基盤を提供します。

概要

認知負荷とは、タスクの遂行期間内に個人の認知システムに課される精神活動の総量を指します^。認知負荷の上昇は人間のパフォーマンスを損なう可能性があり、職場での事故の大きな要因となっています^。高認知負荷状態は交感神経系を活性化し副交感神経系を抑制することで心拍数(HR)を増加させ、心拍変動(HRV)を低下させることで心臓活動に影響を与えます³。期待信念とは、個人が特定のタスク^や活動を成功裏に完了できるとどの程度信じているかを指します。課題の難易度は個人の期待信念に影響を与え、それが行動への関与や認知資源の配分を調節し、最終的に異なる認知負荷のレベルとして現れます。

心電図(ECG)は、心臓の電気活動を高時間分解能で記録します。心電図信号から導き出される心拍数(HR)および心率変動(HRV)指数は、心拍リズムのさまざまな側面を捉え、個人の身体的および精神的ストレスの心理生理学的指標として機能します^5.心拍数は心臓収縮の全体的な頻度を反映し、心血管系の基本状態を評価するために使用できます。HRVは連続する心拍間の時間的変動を表し、自律神経系(ANS)の調節指標として機能し、交感神経と副交感^{神経の活動}の動的バランスを反映^{しています。}交感神経系はストレス、脅威、高強度の活動時に活性化され、しばしば心拍数(HR)が上昇し、心率(HRV)が低下します。逆に、副交感神経系はリラクゼーション、睡眠、または低エネルギー需要状態に活性化され、通常は心拍数が低下し心率が上昇します。

認知負荷を測定するための現在の生理学的手法には、心電図活動、脳波(EEG)活動、呼吸、血圧、眼指数^{が含まれます。}従来の回顧的アンケートと比べて、生理学的測定は参加者のリアルタイム状態を捉えるのにより良く、自己申告アプローチに内在する想起バイアスや時間的遅延効果を回避します。携帯型心電図装置は、参加者が進行中の作業中に状態を継続的かつ目立たずに評価することを可能にします。¹⁰。他の生理学的測定技術と比べて、携帯型心電図は低コストで非侵襲的な方法であり、参加者が環境内でより自然で柔軟な方法でタスクを遂行できるようにします¹¹。平均心拍数は認知課題の難易^度が上がるにつれて上昇する傾向があり、HRVは精神的および身体的な要求の両方に非常に敏感であることが示されています^。本課題は相当な精神的努力と適度な身体的負荷を伴うと予想され、人間とAIの協働におけるタスク委任シナリオの実務的ニーズを考慮すると、HRとHRVは認知負荷を測定する適切な指標となります。

HRとHRVは、航空¹⁴、運転¹⁵、経済的意思決定¹⁶など、複数の分野で認知負荷の研究に広く応用されており、人間状態の継続的かつ客観的な評価のための強力なツールを提供しています。AIの職場への統合が進む中で、人間とAIの協働における認知負荷の変化を理解することがますます重要になっています。AI支援意思決定を調査したある研究では、高い認知負荷の条件下で人間はAI生成の提案に非合理的な依存を示すことが示されました(¹⁷)。協働的な場面では、AIの役割は助言の提供にとどまらず、人間とAIが共同でタスクを完了することを可能にします。本研究は、人間がタスク割り当て権限を持ち、各タスクに対して自分で完了するかAIに委任するかを選択できる新しいコラボレーションモードに焦点を当てています。しかし、人間がタスク割り当て権限を持つこの特定の文脈では、タスクの難易度が意思決定行動にどのように影響し、その結果として認知負荷のレベルの違いを反映しているかは依然として不明です。したがって、本研究は携帯型心電図装置を用いて心拍数と心拍変動を正確に測定し、この協働パラダイムの下で認知負荷の動的変化を客観的に定量化することを目指しています。

本実験で選ばれた人間とAIの共同課題は、Fügenerらが提案したパラダイムを応用した一般的な課題^です。このような汎用可能なタスクの利点は、参加者が専門的な訓練を受ける必要がなく、よりドメイン特化したタスクに容易に移行できることです。ここで説明する研究では、実験課題として画像分類が行われ、参加者は複数の画像カテゴリグループのいずれかにターゲット画像を割り当てるよう求められます。選ばれたカテゴリーグループがターゲット画像の真のカテゴリーと一致する場合、その分類は正しいとみなされます。対象画像はImageNetデータベースから取得されており、カテゴリはすでに検証されています。各カテゴリーグループオプションに対して、参加者が特定のカテゴリーを知らない可能性を減らすために¹⁰枚の例画像が提供されました。私たちは、1,000の画像カテゴリで訓練され、平均分類精度0.76を達成したAIモデル²⁰としてGoogLeNet Inception v3を使用しました。

ターゲット画像の難易度を判断するための予備実験を行いました。この予備実験では、参加者がすべての画像を自分で分類することが求められました。本研究の217名の参加者のサンプル数は、Fügenerらが報告したヒトのみの状態を踏まえて決定^{されました。}協働作業では、各作業を最も適した当事者に割り当てることが一般的に望ましいです。課題の難易度を操作化するために、各画像の精度とAIの平均精度を比較しました。AIの平均精度より低い人間の精度の画像は、AIの完成に適した画像、つまり人間にとって比較的難しい画像と定義されました。正式な実験では、合計32枚の画像を選び、そのうち16枚は簡単な画像、16枚は難しいものでした。

ウィルコクソン署名順位検定²¹に対してG*パワー3.1を用いて事前検出力分析が行われました。中程度の効果量、両側αレベル0.05、望ましいパワー0.90と仮定しました。分析の結果、最低47名の参加者が必要であることが示されました。これまで同様の実験課題に参加したことのないキャンパスの学生60名を募集しました。対象条件は以下の通りです:全参加者は右利きで、最近薬を服用しておらず、実験前24時間カフェインとアルコールを断ち、実験前日に激しい運動をしていなかったこと、セッション前夜に十分な睡眠をとっていたこと、心血管疾患や呼吸器疾患の報告なし。参加者の平均年齢は22.77歳±1.25歳でした。実験装置は 図1に示されています。

実験開始前に、参加者はAIと共に画像分類タスクを行うことを知らされました。AIの平均精度を伝えられ、各ターゲット画像に対して自分で分類するか、AIに分類を委ねるかのどちらかを指示されました。参加者が自分で課題を完了することを選んだ場合、キーボードの5つのキー(A、B、C、D、Eのいずれか)を押して、5つの画像オプションから答えを選びました。指定されたキー(P)を押すとタスクがAIに委任されたことを示しますが、参加者はAIの選択した答えを見ることはできませんでした。各刺激の開始点とオフセットの両方にマーカーが記され、後続の分析が行われました。正式な実験開始前に、参加者は4回の模擬試験を完了し、その後120秒の休憩期間が設けられました。その後、32件の正式な実験に進みました。各試験間には10秒の間隔が設けられました。実験手順は 図2に示されています。

図1:実験装置。 図は実験で使用された機器と心電図測定電極の配置を示しています。(A) 心電図(ECG)電極配置の回路図;(B)実験装置。 この図の拡大版はこちらをクリックしてご覧ください。

図2:実験的手順。 練習セッションは4回の試行で構成され、正式な実験は32回の試行で構成されていました。この実験プログラムはE-Prime( 材料表参照)を用いて開発されました。略称:ECG = 心電図。 この図の拡大版はこちらをクリックしてご覧ください。

プロトコル

本研究はヘルシンキ宣言の原則に従い実施され、江蘇科技大学の機関審査委員会によって承認されました。すべての参加者からインフォームド・コンセントが得られ、データの利用および公開に同意しました。このプロトコルには温度に敏感または危険な処置は含まれていません。

1. 準備

1. 実験手順を参加者に紹介し、研究内容が十分に説明された後に書面によるインフォームドコンセントを取得してください。
2. 心電図データ取得システムおよび送信機、受信機、伸縮性のあるベルクロストラップ、電極リードセット、電源ケーブル、M/Fリボンケーブル、イーサネットケーブル、アルコールワイプ、医療用テープ( 材料表参照)など、必要なすべての材料を準備してください。
   1. 事前にゲル化された使い捨て心電図を十分に用意してください。
   2. データ取得システムをECGデータ受信モジュールに接続します。そしてシステムを安定した電源に接続します。
   3. M/Fリボンケーブルを使って、データ取得システムと刺激提示に使われるコンピュータとの接続を確立します。
   4. イーサネットケーブルを使ってデータ取得コンピュータをデータ取得ハードウェアシステムに接続します。

2. 計器のセットアップ

3. データ取得

4. データ処理

1. 記録された心電図データファイル(資料表参照)で開 いてください。
2. 心電図チャンネルを選択し、デジタルフィルタリングを適用してください。
   1. 上部メニューバーで「 デジタルフィルター>変換>コームバンドストップ」へ移動してください。
   2. ダイアログボックスで「ベース周波数」の「固定」を選択します。50Hzを入力してOKをクリックしてフィルターを適用してください。
      注:入力される周波数は、データ収集国の送電線周波数に対応している必要があります。
   3. 上部メニューで「変形」をクリックします。FIR>デジタルフィルターを選択し>バンドパス。周波数カットオフで「固定」を選択し、1 Hzを入力してください。高周波カットオフで「固定」を選択し、35 Hzを入力してください。
3. 実験デザインに基づいて 焦点領域 を作成します。

5. データ分析

1. 人事データの生成とエクスポート。メニューバーから「 血液動態>分析」>「心電図間隔抽出」を選択してください。 分析 パネルで 「フォーカスエリアのみ」を選択し、 結果をパネルとして表示 する「 Excelスプレッドシートのみ」を選択してください。確認するには OK をクリックしてください。
   注:Rピーク検出はデータ解析ソフトウェア(AcqKnowledge 5)に内蔵されたQRS検出アルゴリズムを用いて行われました。
2. HRVデータを生成し、時間領域および周波数領域の結果をエクスポートします。
   1. オープン分析、マルチエポックHRV - 統計>HRVとRSAを選択してください。ECGチャンネル欄で、前処理されたECGチャンネルを選択してください。「HRV統計を抽出する」で「フォーカスエリア」を選択してください。「結果を出力する」で「スプレッドシート」を選択します。最後に、OKをクリックしてHRVのタイムドメイン結果を生成しエクスポートします。
   2. 再び分析を開き、 HRVとRSA>マルチエポックHRVとRSA - スペクトルを選択します。 ECGチャンネル 欄で、前処理されたECGチャンネルを選択してください。HRV とRSAを抽出する項目で、 フォーカスエリアを選択してください。 出力タイプで 「Excelスプレッドシートのみ」を選択してください。最後に、 OK をクリックしてHRVの周波数領域結果を生成しエクスポートします。

結果

生理学的測定では、時間領域と周波数領域の両方におけるHR指数とHRV指数に焦点を当てました。時間領域では、ロバスト指標22,23,24とみなされる連続差分平方根(RMSSD)を選択しました。周波数領域に関しては、低周波/高周波比(LF/HF)は交感神経と副交感神経の活動のバランスを反映すると解釈されることが多いですが、この解釈は^議論の余地があります。そこで、周波数領域指標として低頻(LF)と高頻(HF)を選びました。正規性検定の結果、いずれの指数も正規分布の仮定を満たしていないことが示されました。そのため、ウィルコクソン符号順位検定を適用して、易易像と難易像の指数を比較しました。結果は図3に示されています。平均心拍数(Z = -2.525、p = 0.012)、左心拍数(Z = -5.153、p < 0.001)、HF(Z = -5.293...

ディスカッション

本研究では、心電図信号取得の質が後続解析において極めて重要でした。実験手順中、正確な電極配置とリード線との適切な接続が正確な信号記録の必須条件でした。すべての電極は指定された位置に配置され、インピーダンスを最小限に抑えるために良好なスキン接触を確保しました。さらに、外部要因が生理的信号に与える影響を減らすため、参加者には実験前にカフェインを控え、実験前数日間は心血管関連の薬の使用を避けるよう指示されました。過去の研究では、カフェイン摂取が交感神経活性を高め、HFの変動に影響を与えることでHRVに影響を与えることが示^{されており、薬物}療法は交感神経活性と副交感^{神経活性の}バランスを変える可能性があります。したがって、これらの管理措置はデータの信頼性を確保するために必要でした。

データ取得時には、携帯型心電図装置の使用により、電力線干渉による基準線ドリフトや規則的な正弦波波形がECG信号に現れることがあります。これらの問題に対処...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
アルコールワイプ	-	-	これは皮膚の洗浄と消毒に使われます。
Acqknowledge 5.0	バイオパック		これは信号データ取得およびデータ解析のためのソフトウェアです。
デスクトップコンピュータ	デル	オプティプレックス	このデスクトップは心電図取得および解析のためのソフトウェアの実行に使用されます。
心電図データ取得装置	バイオパック	MP160	この装置は心電図(ECG)データを記録するために使用されます。
心電図電極	シェンフェン	Sシリーズ	これは心電図信号を収集するための補助装置です。
電極リードセット	バイオパック	BN-EL45-LEAD3	これは送信機と共にデータログに使われます。
イーサネットケーブル	バイオパック	-	これはMP160システムとデータ取得・解析ソフトウェアを接続するために使われます。
実験的ソフトウェア	心理学ソフトウェアツール	E-prime3.0 ビルド 3.0.3.31	これは実験プログラムを作成するために使われたソフトウェアです。
ノートパソコン	デル	E5470	このノートパソコンは実験プログラムを実行し、刺激を提示するために使われます。
M/Fリボンケーブル	バイオパック	CBL110C	これは特定の信号を送信するために使われます。
医療用テープ	-	-	これは長いワイヤーを固定するために使われます。
電源ケーブル	バイオパック	-	これは装置の電源供給に使われます。
受信機	バイオパック	BN-RSPEC-R	これは心電図受信機です。
伸縮性のあるベルクロストラップ	バイオパック	BN-ストラップ-137	これは心電図送信機の修理に使われます。
送信所	バイオパック	BN-RSPEC-T	これは無線心電図送信機です。