심전도측정을 이용한 인지 부하 추정: 인간-AI 협력 과제

요약

이 프로토콜은 인간-AI 협력 과제에서 다양한 과제 난이도 수준에 따른 인지 부하 변동을 측정하기 위해 생리학적 지표를 사용하는 방법을 설명합니다. 연구 결과는 사람들이 과제의 난이도에 따라 의사결정 과정을 조정하여 서로 다른 인지 부하 수준을 반영함을 시사합니다.

초록

직장 환경에서는 개인의 인지 부하가 성과 안전 모두와 밀접하게 연관되어 있습니다. 인간과 인공지능(AI) 간의 협업이 점점 더 큰 트렌드가 되면서, 협업 과정에서 인지 부하 역학을 실시간으로 객관적으로 포착하는 능력이 점점 더 중요해지고 있습니다. 전통적으로 인지 부하는 설문지를 통해 평가되어 왔으며; 그러나 이러한 회고적 방법들은 작업 수행 전반에 걸친 인지적 부하의 순간순간 변동을 정확히 포착하는 데는 한계가 있습니다. 반면, 생리적 신호는 개인의 실시간 상태를 지속적으로 모니터링할 수 있게 하여 인지 부하를 보다 객관적으로 측정할 수 있게 합니다. 과제 난이도는 참가자의 기대에 영향을 미칠 수 있으며, 이는 이후 행동을 형성하고 궁극적으로 인지 부하에 영향을 미칩니다. 이 연구는 여러 난이도를 포함하는 일반화 가능한 인간-AI 협력 과제를 구현합니다. AI 시스템의 평균 정확도는 과제 시작 전에 참가자들에게 공개되었습니다. 각 시험에서 참가자들은 직접 과제를 완료하거나 AI에게 위임할 수 있는 선택권을 받았습니다. 이 프로토콜의 목적은 심전도(ECG) 데이터를 생리학적 지표로 사용하여 개인이 다양한 난이도 수준에서 과제를 할당하고 AI와 협력할 권한이 있을 때 인지 부하가 어떻게 변하는지 조사하는 것입니다. 본 연구는 인간-AI 협력 과정에서 생리학적 데이터가 드러낸 내부 상태 역학을 더욱 탐구합니다. 이 연구 결과는 협업 모델 개선, 효율성 향상, 인간과 AI의 상호 보완적 강점을 활용해 복잡한 작업에서 자원 통합을 개선하는 데 과학적 근거를 제공합니다.

서론

인지 부하란 특정^{과제 수행 기간} 동안 개인의 인지 시스템에 가해진 총 정신 활동량을 의미합니다. 인지적 부하 증가는 인간의 수행 능력을 저해할 수 있으며, 이는 직장 내 사고의 주요 원인 중^{하나입니다.} 높은 인지 부하 상태는 교감신경계를 활성화하고 부교감신경계를 억제하여 심박수(HR)를 증가시키고 심박수 변동성(HRV)을 감소시켜 심장 활동에 영향을 미칩니다^. 기대 신념은 개인이 특정 과제^{나 활동을 성공적으로} 수행할 수 있다고 믿는 정도를 의미합니다. 과제 난이도는 개인의 기대 신념에 영향을 미치며, 이는 행동 참여와 인지 자원 배분을 조절하여 궁극적으로 서로 다른 인지 부하 수준으로 나타납니다.

심전도(ECG)는 심장의 전기 활동을 고시간 해상도로 기록합니다. 심전도 신호에서 도출된 HR 및 HRV 지수는 심장 리듬의 다양한 측면을 포착하며 개인의 신체적·정신적 스트레스를 심리생리학적 지표로 활용합니다⁵. 심박수는 심장 수축의 전체 빈도를 반영하며, 심혈관계의 기본 상태를 평가하는 데 사용할 수 있습니다. HRV는 연속된 심장 박동 간의 시간적 변동을 나타내며, 교감신경과 부교감신경 활동 간의 동적 균형을 반영하는 자율신경계(ANS) 조절의 지표^{역할을 합니다 6,7,8}. 교감신경계는 스트레스, 위협 또는 고강도 활동 시 활성화되어 심박수가 증가하고 HRV가 감소하는 경우가 많습니다. 반대로, 부교감신경계는 이완, 수면 또는 저에너지 요구 상태에서 활성화되어 일반적으로 심박수가 감소하고 HRV가 증가합니다.

현재 인지 부하를 측정하는 생리학적 방법으로는 심전도 활동, 뇌파(EEG) 활동, 호흡, 혈압, 안구 지수 등이^{있습니다.} 전통적인 회고적 설문지와 비교할 때, 생리학적 측정은 참가자의 실시간 상태를 더 잘 포착하여 회상 편향과 자기보고 방식에 내재된 시간 지연 효과를 피합니다. 휴대용 심전도 장치는 참가자들이 진행 중인 작업을 수행하는 동안 상태를 지속적이고 눈에 띄지 않게 평가할 수 있게 해줍니다¹⁰. 다른 생리학적 측정 기법과 비교할 때, 휴대용 심전도는 참가자들이 환경 내에서 보다 자연스럽고 유연한 방식으로 작업을 수행할 수 있도록 하는 저비용, 비침습적 방법을 제공합니다¹¹. 평균 심박수는 인지 과제 난이^{도가 올라}갈수록 증가하는 경향이 있으며, HRV는 정신적·신체적 요구 모두에 매우 민감하게 반응하는 것으로 나타났습니다^. 현재 과제가 상당한 정신적 노력과 적당한 신체적 부담을 요구할 것으로 예상되며, 인간-AI 협업에서 작업 위임 시나리오의 실질적 필요성을 고려할 때, HR과 HRV는 인지 부하를 측정하는 적절한 지표입니다.

HR과 HRV는 항공¹⁴, 운전¹⁵, 경제 의사결정¹⁶ 등 다양한 분야에서 인지 부하 연구에 널리 적용되어 왔으며, 인간 상태를 지속적이고 객관적으로 평가하는 강력한 도구를 제공합니다. AI가 직장에 점점 더 통합됨에 따라, 인간과 AI 협업 중 인지 부하의 변화를 이해하는 것이 점점 더 중요해졌습니다. AI 보조 의사결정을 조사한 한 연구에서는 높은 인지 부하 조건에서 인간이 AI가 생성한 제안에 비합리적으로 의존하는 모습을 보였다¹⁷. 협업 환경에서는 AI의 역할이 자문 입력을 넘어 인간과 AI가 함께 작업을 수행할 수 있도록 확장될 수 있습니다. 본 연구는 인간이 작업 할당 권한을 가지고, 각 작업에 대해 직접 완료할지 AI에 위임할지 선택할 수 있는 새로운 협업 모드에 초점을 맞추고 있습니다. 그러나 인간이 과제 배분 권한을 가진 이 특정 맥락에서는 과제 난이도가 의사결정 행동에 어떻게 영향을 미치고, 따라서 인지 부하의 수준이 다르게 반영되는지는 여전히 불분명하다. 따라서 본 연구는 휴대용 심전도 장치를 사용하여 심박수와 HRV를 정밀하게 측정하여, 이 협력적 패러다임 하에서 인지 부하의 동적 변화를 객관적으로 정량화하는 것을 목표로 합니다.

이 실험에 선정된 인간-AI 협력 과제는 Fügener 등이 제안한 패러다임을 바탕으로 한 일반 과제^입니다. 이러한 일반화 가능한 과제를 사용하는 장점은 참가자들이 전문 교육을 받을 필요가 없고, 더 도메인 특화된 과제로 쉽게 이전할 수 있다는 점입니다. 여기서 설명한 연구에서는 참가자들이 여러 이미지 범주 그룹 중 하나에 대상 이미지를 할당하는 이미지 분류 과제가 포함되어 있습니다. 선택한 카테고리 그룹이 대상 이미지의 실제 카테고리와 일치하면 그 분류가 올바른 것으로 간주됩니다. 대상 이미지는 이미 카테고리가 검증된 ImageNet 데이터베이스에서 추출되었습니다. 각 범주 그룹 옵션마다 참가자들이 특정 범주를 모를 가능성을 줄이기 위해¹⁰개의 예시 이미지가 제공되었습니다. 우리는 1,000개의 잠재적 이미지 카테고리에서 훈련된 Google LeNet Inception v3를 AI 모델²⁰으로 사용했으며, 평균 분류 정확도 0.76을 달성했습니다.

우리는 대상 이미지의 난이도를 파악하기 위한 예비 실험을 수행했습니다. 이 예비 실험에서는 참가자들이 모든 이미지를 스스로 분류해야 했습니다. 본 연구의 표본 수는 Fügener 등이 보고한 인간 전용 상태를 기준으로 산정^되었다. 협업 작업에서는 일반적으로 각 작업을 수행에 가장 적합한 당사자에게 할당하는 것이 바람직합니다. 과제 난이도를 조작화하기 위해 각 이미지의 정확도와 AI의 평균 정확도를 비교했습니다. AI의 평균 정확도보다 낮은 인간 정확도의 이미지는 AI 완성에 더 적합한 이미지, 즉 인간에게 상대적으로 어려운 이미지로 정의되었습니다. 공식 실험에서는 총 32장의 이미지를 선택했으며, 이 중 16장은 쉬운 이미지, 16장은 어려운 이미지였습니다.

윌콕슨 부호 순위 검정²¹에 대해 G*Power 3.1을 사용하여 사전 검정 분석이 수행되었다. 중간 효과 크기, 양측 α 수준 0.05, 원하는 파워 0.90을 가정했습니다. 분석 결과 최소 47명의 참가자가 필요하다고 나타났습니다. 우리는 이전에 유사한 실험 과제에 참여하지 않은 캠퍼스 학생 60명을 모집했습니다. 포함 기준은 다음과 같았습니다: 모든 참가자는 오른손잡이였고, 최근에 약물을 복용하지 않았으며, 실험 전 24시간 동안 카페인과 알코올을 금단했으며, 실험 전날 격렬한 신체 운동을 하지 않았으며, 세션 전날 밤에 충분한 수면을 유지했으며, 심혈관 또는 호흡기 질환이 없다고 보고함. 참가자들의 평균 연령은 22.77세± 1.25세였습니다. 실험 환경은 그림 1에 나와 있습니다.

실험 시작 전, 참가자들은 AI와 함께 이미지 분류 과제를 수행할 것이라는 안내를 받았습니다. 그들은 AI의 평균 정확도를 알려주었고, 각 대상 이미지에 대해 스스로 분류하거나 AI에 분류를 위임할 수 있다고 지시받았습니다. 참가자들이 직접 과제를 완료하기로 선택하면, 키보드의 다섯 개 키 중 하나(A, B, C, D, E) 중 하나를 눌러 다섯 가지 이미지 옵션 중 답을 선택했습니다. 지정된 키(P)를 누르면 과제가 AI에게 위임되었음을 나타내지만, 참가자들은 AI가 선택한 답변을 볼 수 없었다. 각 자극의 시작점과 오프셋 지점에 마커가 작성되어 후속 분석을 수행했습니다. 공식 실험 시작 전에 참가자들은 4회의 연습 시험을 완료한 후 120초의 휴식 기간을 가졌습니다. 그 후 32회의 공식 실험을 진행했습니다. 각 시험 간 간격은 10초가 제공되었습니다. 실험 절차는 그림 2에 나와 있습니다.

그림 1: 실험 환경. 그림은 실험에 사용된 장비와 ECG 측정 전극의 배치를 보여줍니다. (A) 심전극 배치 도식; (B) 실험 장치. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 2: 실험 절차. 연습 세션은 4개의 실험으로 구성되었고, 공식 실험은 32개의 시도로 구성되었습니다. 이 실험 프로그램은 E-Prime을 사용하여 개발되었습니다(재료 표 참조). 약어: ECG = 심전도. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

프로토콜

이 연구는 헬싱키 선언 원칙에 따라 수행되었으며, 장쑤 과학기술대학교 기관심사위원회의 승인을 받았습니다. 모든 참가자로부터 사전 동의를 받았으며, 참가자들은 자신의 데이터 사용 및 출판에 동의했습니다. 이 프로토콜에는 온도에 민감한 또는 위험한 절차는 포함되지 않습니다.

1. 준비

1. 실험 절차를 참가자에게 소개하고, 연구를 완전히 알게 된 후 서면 동의서를 받으십시오.
2. ECG 데이터 획득 시스템과 송신기, 수신기, 신축성 있는 벨크로 스트랩, 전극 리드 세트, 전원 케이블, M/F 리본 케이블, 이더넷 케이블, 알코올 물티슈, 의료용 테이프( 재료표 참조)를 포함한 모든 필요한 재료를 준비하세요.
   1. 미리 젤이 처리된 일회용 심전도 전극을 충분히 준비하세요.
   2. 데이터 수집 시스템을 ECG 데이터 수신 모듈에 연결하세요. 그 다음 안정적인 전원 공급에 연결하세요.
   3. M/F 리본 케이블을 사용하여 데이터 수집 시스템과 자극 제시에 사용되는 컴퓨터 간의 연결을 설정합니다.
   4. 이더넷 케이블을 사용해 데이터 수집 컴퓨터를 데이터 수집 하드웨어 시스템에 연결합니다.

2. 기기 설치

1. 참가자의 피부를 알코올 물티슈로 다음 부위에서 깨끗이 씻어주세요: 왼쪽 갈비뼈 아래, 오른쪽 쇄골 아래, 그리고 오른쪽 복부. 각 부위에 일회용 ECG 전극 패치를 부착하세요.
2. 리드선을 연결하세요.
   1. 리드 와이어 커넥터를 ECG 송신기에 단단히 부착하세요.
   2. 빨간 리드선(양극)의 금속 클립을 왼쪽 갈비뼈 아래에 위치한 심전도 전극에 연결한다; 흰색 리드선(음극선)의 금속 클립을 오른쪽 쇄골 아래에 위치한 심전도 전극에 연결한다; 검은색 리드선(접지 리드)의 금속 클립을 오른쪽 복부에 위치한 심전도 전극에 연결합니다.
      참고: 각 클립이 완전히 고정되어 있고 부착 후 회전하거나 느슨해지지 않도록 주의하세요. 납선이 필요 이상으로 길다면, 전선 이동으로 인한 아티팩트를 최소화하기 위해 의료용 테이프로 단단히 피부에 고정하세요.
3. 신축성 있는 후크 앤 루프 고정 스트랩으로 참가자의 몸에 ECG 송신기를 고정하세요. 스트랩 장력을 조절하여 송신기를 안정적으로 유지하면서도 참가자의 편안함을 보장하세요.
   참고: 신호 왜곡이나 전극 변위를 방지하기 위해 ECG 전극 패치 위에 스트랩을 직접 착용하지 마세요.

3. 데이터 수집

1. ECG 송신기 스위치와 ECG 데이터 수집 시스템의 전원을 켜고, ECG 송신기와 데이터 수집 시스템의 ECG 수신기 사이에 무선 연결을 설정하세요.
   참고: 올바른 연결은 ECG 송신기와 ECG 수신기 모두에 초록색 불빛으로 표시됩니다.
2. ECG 데이터 수집 소프트웨어( 재료표 참조)를 실행하고, 새 그래프 파일을 생성하고, 장치 목록에서 ECG 수신기 모듈을 선택한 후 적절한 ECG 기록 채널을 선택하세요.
   참고: ECG 수신기의 채널 선택 패널을 조정하여 하드웨어 채널이 선택한 소프트웨어 채널과 일치하도록 하세요.
3. 데이터 수집 소프트웨어 인터페이스에서 '시작 '을 클릭하여 심전도 데이터 수집을 시작하세요. 화면에 ECG 파형이 안정적으로 보이는지 확인하세요.
4. 참가자에게 실험 과제를 시작하라고 지시합니다.
   참고: 참가자들에게 의자에 등을 편안하게 기대고 과제 내내 안정적인 자세를 유지하도록 상기시켜 주세요.
5. 작업이 완료된 후에는 데이터 수집 소프트웨어에서 'Stop' 을 클릭하여 녹화 세션을 종료합니다.
6. 전극 패치에서 납선 클립을 분리하세요. 신축성 있는 후크 앤 루프 고정 스트랩을 느슨하게 하고 참가자의 몸에서 ECG 송신기를 제거하세요.
7. 일회용 전극 패치를 손으로 부드럽게 제거하는 방법을 지도하고 도와주세요.

4. 데이터 처리

1. 기록된 ECG 데이터 파일을 데이터 분석 소프트웨어에서 열어 보세요(재료 표 참조).
2. ECG 채널을 선택하고 디지털 필터링을 적용하세요.
   1. 상단 메뉴 바에서 '디지털 필터 변환 > 콤 밴드 스톱> 설정'으로 이동하세요.
   2. 대화상자에서 기본 주파수 아래에서 고정 상태를 선택하세요. 50Hz를 입력하고 확인을 눌러 필터를 적용하세요.
      참고: 입력된 주파수는 데이터가 수집된 국가의 전력선 주파수와 일치해야 합니다.
   3. 상단 메뉴에서 변환을 클릭하세요. FIR > 밴드 패스> 디지털 필터를 선택하세요. 주파수 컷오프 항목에서 고정 위치를 선택하고 1 Hz를 입력하세요. 고주파 차단 항목에서 고정 위치를 선택하고 35 Hz를 입력하세요.
3. 실험 설계에 따라 중점 영역을 만드세요.

5. 데이터 분석

1. HR 데이터를 생성하고 내보내세요. 메뉴 바에서 혈액 역학 분석> ECG 간격 추출> 선택하세요. 분석 패널에서 '초점 영역만'을 선택하고, 결과 표시 패널에서 '엑셀 스프레드시트 전용'을 선택하세요. 확인 을 클릭하세요.
   참고: R-피크 검출은 데이터 분석 소프트웨어(AcqKnowledge 5)에 내장된 QRS 검출 알고리즘을 사용하여 수행되었습니다.
2. HRV 데이터를 생성하고 시간 영역과 주파수 영역 결과를 모두 내보내세요.
   1. 오픈 분석, HRV와 RSA를 선택> 다단계별 HRV - 통계. ECG 채널 필드에서 사전 처리된 ECG 채널을 선택하세요. HRV 통계 추출 항목에서 '집중 영역'을 선택하세요. 출력 결과 to에서 스프레드시트를 선택하세요. 마지막으로, 확인 을 클릭하여 HRV 시역 결과를 생성하고 내보내세요.
   2. 다시 분석을 열고, HRV와 RSA를 선택> 다중 시기 HRV와 RSA - 스펙트럼을 선택하세요. ECG 채널 필드에서 사전 처리된 ECG 채널을 선택하세요. HRV 와 RSA 추출 항목에서 'Focus Areas'를 선택하세요. 출력 유형에서 Excel 스프레드시트 전용을 선택하세요. 마지막으로, 확인 을 클릭하여 HRV 주파수 영역 결과를 생성하고 내보내세요.

결과

생리학적 측정에서는 시간과 주파수 영역 모두에서 심박수와 심박성 측정 지수에 집중했습니다. 시간 영역에서는 연속 차분의 평균근(RMSSD)을 선택했으며, 이는 강건한 측정값^{22, 23, 24}로 간주됩니다. 주파수 영역에서는 저주파/고주파 비율(LF/HF)이 교감 신경과 부교감신경 활동의 균형을 반영하는 것으로 해석되지만, 이 해석은 여전히 논^{쟁 중이다}. 따라서 우리는 주파수 영역 지수로 LF와 HF를 선택했습니다. 정규성 검정 결과, 어느 지수도 정규분포 가정을 충족하지 못했다. 따라서 윌콕슨 부호 순위 검정을 적용하여 쉬운 이미지와 어려운 이미지 간의 지수를 비교했다. 결과는 그림 3에 제시되어 있습니다. 평균 심박수(Z = -2.525, p = 0.012), 좌심수...

토론

본 연구에서 ECG 신호 획득의 질은 이후 분석에 매우 중요했습니다. 실험 과정에서 올바른 전극 배치와 리드와의 적절한 연결이 정확한 신호 기록을 위한 필수 조건이었습니다. 모든 전극은 지정된 위치에 배치되었고, 임피던스를 최소화하기 위해 피부 접촉이 잘 되도록 했습니다. 또한, 외부 요인이 생리적 신호에 미치는 영향을 줄이기 위해 참가자들은 실험 전 카페인을 자제하고, 실험 전날에는 심혈관 관련 약물 사용을 피하도록 지시받았습니다. 이전 연구들은 카페인 섭취가 교감신경 활동을 증가시키고 HF 변동에 영향을 미쳐 HRV에 영향을 줄 수 있음을 보여주었^{으며, 약물}은 교감신경과 부교감신경 활동의 균형을 변화시킬 수 있다²⁴. 따라서 이러한 통제 조치는 데이터의 신뢰성을 보장하기 위해 필요했다.

데이터 수집 중 휴대용 ECG 기기 사용은 전...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
알코올 물티슈	-	-	이 도구는 피부를 청소하고 소독하는 데 사용됩니다.
Acqknowledge 5.0	바이오팩		이 소프트웨어는 신호 데이터 수집 및 데이터 분석을 위한 소프트웨어입니다.
데스크톱 컴퓨터	델	옵티플렉스	이 데스크톱은 ECG 획득 및 분석을 위한 소프트웨어를 실행하는 데 사용됩니다.
심전도 데이터 수집 장치	바이오팩	MP160	이 장치는 심전도 데이터를 기록하는 데 사용됩니다.
심전도 전극	셴펑	S 시리즈	이것은 ECG 신호를 수집하는 데 사용되는 액세서리입니다.
전극 리드 세트	바이오팩	BN-EL45-LEAD3	이 장치는 송신기와 함께 데이터 로깅에 사용됩니다.
이더넷 케이블	바이오팩	-	이는 MP160 시스템과 데이터 수집 및 분석 소프트웨어를 연결하는 데 사용됩니다.
실험용 소프트웨어	심리학 소프트웨어 도구	E-prime3.0 빌드 3.0.3.31	이것이 실험 프로그램을 만드는 데 사용된 소프트웨어입니다.
노트북	델	E5470	이 노트북은 실험 프로그램을 실행하고 자극을 제시하는 데 사용됩니다.
M/F 리본 케이블	바이오팩	CBL110C	이는 특정 신호를 전송하는 데 사용됩니다.
의료용 테이프	-	-	이것은 긴 전선을 고정하는 데 사용됩니다.
전원 케이블	바이오팩	-	이 장치는 장치에 전력을 공급하는 데 사용됩니다.
수신기	바이오팩	BN-RSPEC-R	이건 심전도 수신기야.
신축성 있는 벨크로 스트랩	바이오팩	BN-스트랩-137	이 장치는 ECG 송신기를 수리하는 데 사용됩니다.
송신기	바이오팩	BN-RSPEC-T	이건 무선 심전도 송신기야.