IntelliSleepScorer, 마우스용 그래픽 사용자 인터페이스가 포함된 소프트웨어 패키지 자동 수면 단계 점수 매기기

요약

코딩 경험이 없는 연구자가 간단한 다운로드 및 조작으로 마우스의 수면 단계를 점수화할 수 있도록 그래픽 사용자 인터페이스가 포함된 소프트웨어 패키지를 제공합니다.

초록

설치류의 수면 단계 점수는 비급속 안구 운동 수면(NREM), 급속 안구 운동 수면(REM) 및 각성의 세 단계를 식별하는 과정입니다. 수면 단계 점수는 수면 단계별 측정 및 효과를 연구하는 데 중요합니다.

설치류의 수면 패턴은 인간의 수면 패턴과 다르며, 깨어남 시 NREM과 REM의 에피소드가 더 짧다는 특징이 있으며, 인간 전문가에 의한 전통적인 수동 수면 단계 점수는 시간이 많이 걸립니다. 이 문제를 해결하기 위해 이전 연구에서는 머신 러닝 기반 접근 방식을 사용하여 수면 단계를 자동으로 분류하는 알고리즘을 개발했지만, 일반화 가능성이 뛰어난 고성능 모델은 교육을 받지 않은 수면 연구자에게 공개적으로 사용할 수 없거나 비용이 들지 않거나 사용자 친화적이지 않은 경우가 많습니다.

따라서 우리는 대규모 데이터 세트로 훈련된 기계 학습 기반 LightGBM 알고리즘을 개발했습니다. 코딩 경험이 없는 수면 연구자가 모델을 사용할 수 있도록 사용하기 쉬운 그래픽 사용자 인터페이스를 특징으로 하는 모델을 기반으로 IntelliSleepScorer(v1.2- 최신 버전)라는 소프트웨어 도구가 개발되었습니다. 이 원고에서는 수면 연구자를 위해 마우스에서 편리하고 효과적인 자동 수면 단계 점수 매기기 도구를 시연하기 위해 소프트웨어 사용에 대한 단계별 지침을 제시합니다.

서론

설치류의 수면 단계 점수는 비급속 안구 운동 수면(NREM), 급속 안구 운동 수면(REM) 및 웨이크²의 세 단계를 식별하는 절차입니다. 설치류에서 NREM은 근육 활동 감소, 느리고 규칙적인 호흡, 심박수 감소, 뇌파의 저주파 진동이 특징입니다. 설치류의 REM은 인간과 유사하게 근육 무력증, EEG 활성화 및 빠른 안구 움직임을 보이지만 생생한 꿈의 발생은 인간에 비해 설치류에서 덜 명확합니다 ^2,3. 설치류의 '깨어남(wake)' 상태는 고주파, 낮은 진폭파, 근육 긴장도 증가, 그루밍(grooming) 및 탐색(exploration)과 같은 활동적인 행동으로 비동기화된 뇌 활동으로 특징지어진다⁴. 이 세 단계는 뇌전도(EEG) 및 근전도(EMG) 신호를 검사하여 확인할 수 있다⁵.

설치류의 자동 수면 단계 점수 모델은 매우 필요합니다. 첫째, 인간 전문가에 의한 수동 수면 단계 채점은 노동 집약적이고 시간이 많이 걸립니다. 둘째, 설치류의 수면 패턴은 인간의 수면 패턴과 다르며, 인간의 수면 패턴이 60-120분인 데 비해 깨어 있을 때 약 10분 간격으로 NREM과 REM의 단편적인 에피소드가 더 많이 발생한다⁶. 따라서 수동 채점 중에 이러한 짧은 기간을 식별하는 것은 어렵습니다. 60년대 이래로 설치류 수면 데이터의 자동 채점 시스템을 개발하기 위한 많은 시도가 있었다⁷. 많은 자동 설치류 수면 점수 매기기 방법이 존재하지만 그 성능은 8,9,10,11,12,13,14,15,16,17,18까지 다양 합니다. 중요한 것은 일반화 가능성이 높은 대부분의 고성능 모델은 공개적으로 사용할 수 없거나(일부는 개발자의 특별한 요청이 필요함) 수면 연구자에게 비용이 들지 않는다는 것입니다.

따라서 현재의 기술 격차를 메우기 위해 LightGBM 알고리즘¹을 사용하여 124개의 마우스에 걸쳐 519개 기록에서 5776시간의 EEG 및 EMG 신호로 구성된 대규모 데이터 세트를 사용하여 기계 학습 기반 모델을 개발했습니다. lightGBM은 결정 트리(decision tree)¹⁹를 구성하기 위해 그래디언트 부스팅(gradient-boosting) 접근법을 사용한다. Wang et al., 2023에서 LightGBM 모델(8000개 이상의 의사 결정 트리로 구성)은 95.2%의 전체 정확도와 0.91의 Cohen's kappa를 달성했으며, 이는 로지스틱 회귀 모델(정확도 = 93.3%) 및 랜덤 포레스트 모델(정확도 = 94.3%, kappa = 0.89)과 같은 널리 사용되는 두 가지 기준 모델보다 성능이 뛰어났습니다. 모델의 전반적인 성능도 인간 전문가와 유사한 성능을 보여주었습니다. 가장 중요한 것은 이 모델이 일반화 가능성이 있고 원래 훈련 데이터에 과도하게 적합하지 않은 것으로 입증되었다는 것입니다¹:1) Miladinovic과 동료¹¹의 공개적으로 사용 가능한 두 개의 다른 독립 데이터 세트에서 샘플링 빈도와 epoch 길이가 다른 두 개의 독립적인 데이터 세트에서 잘 수행되었습니다(정확도 > 89%); 2) 모델의 성능은 마우스의 밝은/어두운 주기에 영향을 받지 않습니다. 3) 수정된 LightGBM 모델은 카파가 0.89인 EEG 1개와 EMG 전극 1개만 포함하는 데이터에서 잘 수행≥. 4) 야생형 마우스와 돌연변이 마우스를 모두 테스트에 사용했으며 모델의 성능이 모두 정확했습니다. 이는 모델이 다른 유전적 배경을 가진 쥐의 수면 단계를 점수화할 수 있음을 시사합니다.

코딩 전문 지식이 없을 수 있는 수면 연구자가 이 모델에 액세스할 수 있도록 시각적으로 직관적인 인터페이스를 갖춘 사용자 친화적인 소프트웨어 도구인 IntelliSleepScorer를 개발했습니다. 이 소프트웨어는 생쥐의 수면 점수 절차를 완전히 자동화할 수 있습니다. 유럽 데이터 형식(EDF)/EDF+ 파일 입력에서 신호, 하이프노그램 및 SHAP(Shapley Additive exPlanations) 값의 대화형 시각화를 생성합니다. 협동조합게임이론에 기초한 SHAP 가치접근법은 기계학습모델의 해석가능성을 향상시킨다²⁰. 이 모델은 전역 및 epoch 수준 SHAP 값을 모두 제공하여 서로 다른 기능 값이 전체 및 각 epoch에 대한 모델의 점수 결정에 어떻게 기여하는지 보여줍니다. 이 고급 프로그램은 생쥐의 수면 단계 점수에 필요한 시간과 노력을 크게 줄이는 동시에 다운스트림 분석이 매우 정확한 결과에 의존할 수 있도록 합니다. 이 원고에서는 절전 패턴 예측과 별도로 SHAP 분석을 실행하는 옵션, 절전 단계 점수를 위해 사용자가 조정할 수 있는 epoch 길이, GUI에 통합된 절전 단계 수동 수정 기능을 포함하여 버전 1.0에서 여러 가지 업데이트된 IntelliSleepScorer(v1.2)의 단계별 사용법을 소개합니다.

프로토콜

이 연구는 생쥐의 생체 내 실험에서 수집된 데이터를 사용했습니다. 이 연구에는 인체 실험이 포함되지 않았습니다. 동물을 대상으로 한 모든 실험은 Broad Institute의 Institutional Animal Care and Use Committee의 승인을 받았습니다. 모든 실험은 관련 지침 및 규정에 따라 수행되었습니다. 이 연구의 초점은 서로 다른 치료 그룹을 비교하는 것이 아니라 기계 학습 모델을 개발하는 것이기 때문에 ARRIVE 지침은 이 연구에 적용되지 않습니다.

1. 데이터 준비

알림: 데이터 호환성: 기록된 데이터는 모든 s를 가질 수 있습니다.amp40Hz보다 높은 링 속도. 소프트웨어 대역통과는 첫 번째 단계에서 EEG 및 EMG 신호를 필터링하기 때문에 신호를 대역통과 필터링할 필요가 없습니다. LightGBM 모델은 생쥐의 데이터를 사용하여 개발 및 테스트되었습니다. 다른 유형의 실험 동물에서 LightGBM 모델의 성능에 대한 증거는 없습니다. 기록 전극은 전두엽 피질과 두정엽 피질에 배치해야 하며, EEG 채널이 하나만 기록되는 경우 어느 한 곳에 배치해야 합니다.

1. EDF/EDF+ 형식 배열 및 요구 사항
   참고: 이 연구에 사용된 소프트웨어는 MNE-Python 패키지를 사용하여 EDF/EDF+ 파일만 읽습니다. EDF/EDF+ 파일을 생성하려면 표준 EDF/EDF+ 사양을 적용해야 합니다. 표준 스펙 외에도 EDF/EDF+ 어노테이션이 UTF-8로 인코딩되었는지 확인하십시오. 그렇지 않으면 소프트웨어 응용 프로그램이 충돌합니다.
   1. 온라인 무료 도구를 사용하여 다른 파일(비 EDF/EDF+ 파일) 형식을 EDF/EDF+ 형식으로 변환합니다.
      알림: EEG 및 EMG 신호를 얻을 때 장치 필터에 대한 요구 사항은 없습니다. 사용자가 40Hz 이상의 주파수에서 EEG 및 EMG 데이터를 샘플링하는 한 소프트웨어가 올바르게 작동합니다. 이는 초기 전처리 단계에서 신호가 1Hz와 40Hz 사이의 대역통과 필터링을 거치기 때문입니다. 이 대역 통과 필터링은 소프트웨어의 전처리 파이프라인에 통합되어 사용자가 추가 신호 처리를 수행할 필요가 없습니다.
2. 소프트웨어 내부에는 채점을 위한 두 가지 모델이 있습니다. 하나는 LightGBM-2EEG이고 다른 하나는 LightGBM-1EEG입니다. LightGBM-2EEG 모델은 2개의 EEG 채널과 1개의 EMG 채널이 있는 데이터를 기록하도록 지정되었습니다. 모델에 따라 다음 단계를 수행합니다.
   1. LightGBM-2EEG에 대한 데이터 파일을 다음 순서로 구체적으로 구성합니다: 1) 두정 영역에 기록된 EEG 채널; 2) 정면 영역에 기록된 EEG 채널; 3) EMG 채널. LightGBM-1EEG는 1개의 EEG 채널(두정 또는 정면 영역의 전극 배치)과 1개의 EMG 채널만 포함하는 데이터용으로 지정됩니다.
   2. LightGBM-1EEG용 EDF/EDF+ 파일의 채널을 다음 순서로 구성합니다: 1) EEG 채널; 2) EMG 채널.

2. Windows, Mac 및 Linux 사용자를 위한 IntelliSleepScorer 다운로드

1. Windows 사용자의 경우 PyInstaller를 사용하여 소프트웨어용 Windows 실행 파일을 사용할 수 있습니다. https://sites.broadinstitute.org/pan-lab/resources Pan group 연구 페이지에서 다운로드 링크를 찾으십시오. MacOS 또는 Linux 사용자의 경우 GitHub 리포지토리 https://github.com/broadinstitute/IntelliSleepScorer 의 소스 코드를 사용하여 소프트웨어를 실행합니다.
2. EDF 파일로 저장된 프로그램을 테스트하기 위해 기록된 두 개의 예제 데이터에 액세스하여 GitHub 리포지토리를 통해 다운로드합니다.
3. 소스 코드 리포지토리에는 크기 제한으로 인해 models 폴더가 포함되어 있지 않습니다. 대신 models.zip 다운로드하고 압축을 푼 다음 프로그램을 실행할 수 있도록 저장소 내의 models 폴더를 복사하십시오. 그렇지 않으면 모델 파일이 누락되어 소프트웨어가 충돌합니다.

3. 워크플로우 및 프로그램 실행 및 운영

1. IntelliSleepScorer 시작
   1. Windows에서 소프트웨어를 시작하려면 루트 폴더에있는 IntelliSleepScorer.exe 두 번 클릭하십시오. MacOS 또는 Linux에서 소프트웨어를 시작하려면 터미널 에뮬레이터를 열고 디렉토리를 소프트웨어의 루트 폴더로 변경한 다음 python3 IntelliSleepScorer.py 명령을 사용하여 소프트웨어를 시작합니다.
2. 소프트웨어가 열리면 EDF/EDF+ 파일 선택을 클릭하여 점수를 매길 파일을 선택합니다. 파일을 실수로 선택한 경우 지우기 버튼을 클릭하여 선택한 파일 목록을 지웁니다.
   참고: 기본적으로 소프트웨어는 출력 점수 파일에서 수면 단계를 Wake:1, NREM:2 및 REM:3으로 인코딩합니다. 기본 epoch 길이는 10초로 설정됩니다. GUI의 현재 버전(v1.2)에서는 드롭다운 메뉴를 사용하여 스테이지 인코딩 또는 epoch 길이를 4초, 10초 또는 20초로 변경할 수 있습니다.
3. 원하는 Epoch 길이를 선택합니다. 제공된 드롭다운 메뉴를 사용하여 절전 단계 점수를 위해 4초, 10초 및 20초 옵션 중에서 원하는 epoch 길이를 선택합니다.
4. 수면 점수에 사용할 모델을 선택합니다. LightGBM-2EEG는 2개의 EEG 채널과 1개의 EMG 채널이 있는 데이터 파일용이고 LightGBM-1EEG는 1개의 EEG 채널과 1개의 EMG 채널이 있는 데이터용으로 설계되었습니다.
5. 절전 단계 예측을 실행하기 전에 절전 단계 예측 결과를 설명하는 데 도움이 되는 추가 SHAP 계산을 포함합니다. SHAP 계산을 처리하려면 SHAP 실행/플롯 확인란을 선택합니다. SHAP 계산을 처리하는 데 약 5-10분이 걸립니다.
6. 모든 파일 점수 매기기를 클릭합니다. 이 모델은 모든 EDF/EDF+ 파일의 점수를 자동으로 매기고 전역 및 epoch SHAP 값을 계산하여 목록의 점수 결정을 해석합니다(선택한 경우).
   참고: 스코어링 프로세스 중에 모델은 다음 파일을 생성하고 EDF/EDF+ 파일이 있는 동일한 폴더에 저장합니다. 모델은 이러한 파일을 사용하여 전역 SHAP 값과 epoch SHAP 값을 플롯합니다.
   
   "EDF/EDF+ 파일명}_{model_name}_features.csv"; 이 파일에는 추출된 모든 피처 값이 저장됩니다.
   "EDF/EDF+ 파일명}_{model_name}_scores.csv"; 이 파일은 예측된 수면 단계를 저장합니다.
   "EDF/EDF+ 파일명}_{model_name}_rs_100hz.npy"; 이 파일은 리샘플링/다운샘플링된 신호(100Hz)의 복사본을 저장합니다. 시각화 속도를 개선하기 위해 모델은 신호를 플로팅할 때 원래 신호 대신 다운샘플링된 신호를 사용합니다.
   "EDF/EDF+ 파일 이름}_{model_name}설명자. 피클"; "{EDF/EDF+ 파일명}{model_name}shap_500samples.pickle"; "{EDF/EDF+ 파일명}{model_name}_indicies_500samples.npy";
7. 수면 점수 프로세스를 완료한 후 선택한 파일 시각화 옵션을 클릭하여 EEG/EMG 신호와 신호에 맞춰 시간을 정렬한 하이프노그램을 시각화합니다.
   1. epoch 길이가 변경되는 경우 시각화하기 전에 선택한 파일의 점수를 다시 매깁니다.

4. 점수가 매겨진 결과 탐색

1. 제공된 탐색 버튼을 클릭하여 앞뒤로 이동하여 다른 epoch 데이터를 확인합니다.
2. SHAP 계산을 수행하도록 선택한 경우 전역 및 epoch 수준 SHAP 값을 모두 확인합니다. Epoch를 마우스 오른쪽 버튼으로 클릭하여 Epoch 수준 SHAP 값을 플롯합니다.
   참고 : epoch 수준 SHAP 플롯을 업데이트하는 데 몇 초 정도 걸립니다. 그림 1 은 1_LightBGM-2EEG 모델을 사용하여 Example-1 EDF/EDF+ 파일에 대한 예측을 실행한 후의 GUI 페이지 개요를 보여줍니다.

5. 점수가 매겨진 수면 단계 하이프노그램의 해석

참고: 하이프노그램에는 4개의 행이 있습니다(그림 2). 맨 윗줄은 예측된 결과입니다. 하단 3개 행은 각각 2개의 EEG 및 1개의 EMG 채널의 원시 데이터입니다. 맨 윗줄에서 주황색은 Wake 단계, 파란색은 NREM 단계, 빨간색은 각 Epoch의 REM 단계를 나타냅니다.

1. 표시할 Epoch 수를 변경하려면 Select Number of Epochs to Display 오른쪽에 있는 메뉴 상자를 클릭하고 원하는 값을 선택합니다. 그림 2에서는 100개의 Epoch가 선택되었습니다. 따라서 수면 단계 예측 플롯에는 100개의 Epoch만 표시됩니다. 드롭다운 메뉴에서 더 작은 숫자를 선택하여 플롯을 확대합니다.
2. 그림 2의 왼쪽에 있는 분홍색 투명 막대는 epoch의 현재 위치를 나타냅니다. 하이프노그램의 아무 곳이나 마우스 왼쪽 버튼으로 클릭하여 다른 Epoch로 전환하거나 Go to Epoch를 클릭하고 관찰할 특정 Epoch 수를 입력하기만 하면 됩니다. 사용자가 SHAP 기능을 활성화한 경우 선택한 Epoch를 마우스 오른쪽 버튼으로 클릭하여 Epoch SHAP 플롯을 생성합니다.

6. GUI에서 예측된 수면 단계의 수동 수정(선택 사항)

참고: 이상이 관찰되지 않거나 REM 단계 예측에 매우 높은 정확도가 필요하지 않은 경우 수동 검증이 필요하지 않습니다.

1. sleep stage 예측 플롯(상단 플롯)에서 epoch를 마우스 왼쪽 버튼으로 클릭하여 특정 epoch를 선택합니다. 선택한 Epoch의 모델 예측 단계가 텍스트 오른쪽에 표시됩니다. 해당 epoch의 예상 단계를 수동으로 변경하려면 위젯을 클릭하고 드롭다운 메뉴의 Wake, NREM 및 REM 옵션에서 새 단계를 선택합니다.
2. 사용자가 수정한 단계는 원래 플롯 위에 점선으로 표시되어 있습니다(그림 3). GUI를 닫으면 수정된 예측 결과가 포함된 새 파일이 동일한 폴더에 자동으로 생성됩니다.
   1. 저장된 스코어링 파일을 GUI에서 다시 열려면 epoch 길이 설정 및 선택한 모델이 EDF 파일을 다시 열 수 있도록 처음 처리될 때 사용된 것과 일치하는지 확인하십시오. 이전에 수정/점수가 매겨진 모든 정보가 빠르게 로드됩니다.

결과

수면 단계 점수 매기기 후 GUI에서 생성되는 세 개의 플롯(SHAP 값이 실행되지 않은 경우 맨 위 플롯만)이 있습니다: 맨 위 플롯은 EEG 및 EMG 채널에 수면 단계 예측의 하이프노그램을 제공합니다. 중간 플롯은 epoch SHAP 값을 나타냅니다. 아래쪽 플롯은 글로벌 SHAP 값을 나타냅니다(그림 1).

수면 단계 예측 하이프노그램 플롯에는 4가지 유형의 데이터가 제시되어 있습니다(그림 2). 맨 윗줄은 예측된 결과입니다. 하단 3개 행은 각각 2개의 EEG 및 1개의 EMG 채널의 원시 데이터입니다. 맨 윗줄에서 주황색은 "Wake" 단계, 파란색은 "NREM" 단계, 빨간색은 각 Epoch의 "REM" 단계를 나타냅니다. 현재 예제 epoch는 1305에 있으며 분홍색 위치 표시줄이 주황색 선과 겹치기 때문에 "Wake" 단계에 있습니다.

그림 3에서 사용자가 수정한 스테이지는 원본 위에 점선으로 표시되어 있습니다. 빨간색 점선은 수면 단계를 나타냅니다.tage가 "Wake"에서 "REM"으로 변경되었습니다.

그림 4에는 예제 파일 1에서 epoch 1305의 예제 결과가 나와 있습니다. Epoch SHAP 플롯의 Y축은 선택한 Epoch에 대해 절대 SHAP 값이 가장 높은 상위 10개 피처를 보여줍니다. x축은 평균 예측과 비교하여 예측에 대한 각 기능의 기여도를 나타내는 SHAP 값을 표시합니다. 양수 SHAP 값은 예측에 대한 양의 기여를 나타내며 그 반대의 경우도 마찬가지입니다. 기능 "emg_abs_max"는 Wake에 대해 매우 긍정적인 epoch 수준 SHAP 값을 가지며, 이는 선택한 epoch의 "emg_abs_max"가 선택한 epoch가 "Wake"로 점수가 매겨질 가능성을 높인다는 것을 나타냅니다(그림 4). 이것은 큰 EMG 진폭이 활동적인 움직임을 의미하여 "웨이크" 단계를 나타내기 때문에 생리학적으로 합리적입니다.

글로벌 SHAP 플롯 예제(그림 5)에서 p-스웜 플롯의 각 점은 하나의 데이터 샘플을 나타냅니다. 플롯의 y축은 500개의 무작위로 샘플링된 Epoch에서 계산된 가장 높은 절대 전역 SHAP 값을 가진 상위 10개 기능을 보여줍니다. x축은 평균 예측과 비교하여 예측에 대한 각 기능의 기여도를 나타내는 SHAP 값을 표시합니다. epoch SHAP 플롯과 달리 전역 SHAP 플롯에는 각 점의 x-값과 점 색상의 강도라는 두 가지 차원이 있습니다. 양수 x축 SHAP 값은 예측에 대한 양의 기여도를 나타내며 그 반대의 경우도 마찬가지입니다. 더 어두운 빨간색을 가진 샘플은 더 높은 기능 값을 갖습니다. 각 기능에 대한 500개 점의 위치와 색상의 상관 관계를 시각적으로 검사함으로써 LightGBM이 각 기능의 값을 기반으로 결정을 내리는 방법을 해석할 수 있습니다. "Wake" 전역 SHAP 플롯에서 "emg_abs_max"에 대한 SHAP 값이 음수에서 양수로 증가함에 따라 점의 색상이 더 어두워집니다. 이는 "Wake"로 예측될 가능성이 높아진 것이 "emg_abs_max"의 증가된 값과 양의 상관 관계가 있음을 나타냅니다. 또한 SHAP 값의 분포가 더 넓은 기능(더 높은 절대 값)이 모델에 의한 예측에 더 많이 기여한다는 점도 주목할 가치가 있습니다. 예를 들어, 전역 NREM SHAP 플롯(그림 5)에는 "eeg2_gamma_delta_ratio" 기능에 대한 광범위한 점들이 퍼져 있습니다. 기능의 SHAP 값이 매우 음수이면 모델이 "NREM" 단계로 점수가 매겨질 가능성이 줄어듭니다.

그림 1: 1_LightBGM-2EEG 모델을 사용하여 Example-1 EDF/EDF+ 파일에 대한 예측을 실행한 후의 GUI 페이지 개요. 절전 단계 예측과 SHAP 계산 모두 점수가 매겨집니다. 상단 플롯은 수면 단계 예측의 하이프노그램과 함께 EEG 및 EMG 채널을 보여줍니다. 중간 플롯은 epoch SHAP 값을 보여줍니다. 하단 플롯은 글로벌 SHAP 값을 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: Example-1 EDF/EDF+ 파일의 수면 단계 예측 하이프노그램. 그림에는 4개의 데이터가 표시됩니다. 맨 윗줄은 예측된 결과입니다. 하단 3개 행은 각각 2개의 EEG 및 1개의 EMG 채널의 원시 데이터입니다. 맨 윗줄에서 주황색은 "Wake" 단계, 파란색은 "NREM" 단계, 빨간색은 각 Epoch의 "REM" 단계를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: Example-1 EDF/EDF+ 파일의 수면 단계 예측 하이프노그램과 사용자 수정 수동 수정. Epoch 1305는 GUI 내에서 절전 단계 수동 수정을 보여주기 위해 "Wake" 단계에서 "REM" 단계로 변경되었습니다. 빨간색 점선은 사용자가 수정한 수면 단계 "REM"을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: Epoch 1305에서 Example-1 EDF/EDF+ 파일에 대한 웨이크, NREM 및 REM Epoch SHAP 값. Epoch SHAP 플롯의 y축은 선택한 Epoch에 대해 절대 SHAP 값이 가장 높은 상위 10개 피처를 보여줍니다. x축은 평균 예측과 비교하여 예측에 대한 각 기능의 기여도를 나타내는 SHAP 값을 표시합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: Example-1 EDF/EDF+ 파일에 대한 웨이크, NREM 및 REM 글로벌 SHAP 값. p-스웜 플롯의 각 점은 하나의 데이터 표본을 나타냅니다. 플롯의 y축은 500개의 무작위로 샘플링된 Epoch에서 계산된 가장 높은 절대 전역 SHAP 값을 가진 상위 10개 기능을 보여줍니다. x축은 평균 예측과 비교하여 예측에 대한 각 기능의 기여도를 나타내는 SHAP 값을 표시합니다. 전역 SHAP 값의 x축에는 각 점의 x-값과 점 색상의 강도라는 두 가지 차원이 있습니다. 양수 x축 SHAP 값은 예측에 대한 양의 기여도를 나타내며 그 반대의 경우도 마찬가지입니다. 더 어두운 빨간색을 가진 샘플은 더 높은 기능 값을 갖습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

토론

이 문서에서는 IntelliSleepScorer(v1.2) 그래픽 사용자 인터페이스를 사용하여 마우스의 수면 단계를 자동으로 점수화하는 방법과 SHAP 값/플롯을 활용하여 모델에서 생성된 수면 단계 점수를 더 잘 이해하는 방법을 제공합니다.

소프트웨어를 사용할 때 중요한 고려 사항은 데이터 호환성입니다. 이 연구에서 사용된 사내 데이터는 전두엽 및 두정엽 영역에 배치된 전극으로 제한되었습니다. 밀라디노비치(Miladinovic)와 동료¹¹의 독립적인 데이터 세트에서, 이들 영역에 대한 전극 좌표가 서로 다름에도 불구하고 소프트웨어는 만족스러운 성능을 유지했습니다. 이 소프트웨어는 다른 뇌 영역에도 적용될 수 있지만, 이를 확인하기 위한 테스트는 수행하지 않았습니다. 따라서 전극 배치에 제한이 없다고 주장할 수 없습니다. 그러나 사용자가 다른 지역의 녹음이 있는 경우 테스트하는 것이 좋습니다.

수면 단계 분석을 위한 EEG/EMG 기록 세션의 지속 시간은 연구의 특정 목표에 따라 다릅니다. 일반적으로 녹음 세션은 밝은 단계 또는 어두운 단계를 포함하는 12시간 또는 하루에 두 단계를 모두 포함하는 24시간 동안 지속됩니다. 12시간 및 24시간 기록은 일반적으로 뚜렷한 수면-각성 패턴과 일주기 리듬을 캡처하는 데 사용됩니다. 모델에 대한 테스트는 수면 단계 점수가 12시간 및 24시간 기록된 세션 모두에 대해 신뢰할 수 있고 정확하다는 것을 보여줍니다. 녹화 시간에 대해 알려진 상한은 없습니다.

소프트웨어 프로토콜 내에서 주목할 만한 두 가지 단계는 데이터 전처리와 수동 검증입니다. 훈련된 모델의 일반화 가능성을 높이기 위해 입력 데이터에서 노이즈와 아티팩트를 허용하고 최소한의 품질 관리 조치를 구현했습니다. 우리가 수행한 품질 관리는 신호 손실로 인한 불량한 녹음을 배제하는 것을 목표로 합니다. 신호 손실은 일반적으로 전극이 헐거워지거나 떨어지는 것과 같은 연결 문제로 인해 발생합니다. 신호 손실은 소프트웨어에서 생성된 절전 점수에 오류를 일으킬 수 있습니다. 예를 들어, 느슨한 EMG 전극으로 인해 깨어 있는 마우스의 EMG 채널에 있는 평평한 선은 마우스의 부동/절전 단계와 동일한 기능을 공유할 수 있으며, 이는 LightGBM 모델에 의한 "NREM" 또는 "REM" 예측으로 이어질 수 있습니다. 참고로, 신호 손실이 많은 녹음을 자동으로 제외하기 위해 1) EEG 신호의 진폭이 녹음 시간의 50% 이상에 대해 1μV 미만이거나 2) EMG 신호의 진폭이 녹음 시간의 50% 이상에 대해 1pV 미만인 기준을 사용했습니다. 사용자는 실험 설정 및 기록 시스템을 기반으로 자체 품질 관리 기준을 구현해야 합니다. 교류로 인한 라인 노이즈는 일반적으로 50Hz 또는 60Hz에 있습니다. 이러한 라인 노이즈는 소프트웨어에 구현된 대역 통과 필터(1-40Hz) 단계에서 제거됩니다. 따라서 사용자는 소프트웨어에 데이터를 입력하기 전에 라인 노이즈를 전처리할 필요가 없습니다. 모델 개발 시 사소한 소음이나 신체 움직임과 같은 간섭 요인이 고려되었습니다¹. 이 연구에서 사용된 접근 방식은 모델의 일반화 가능성이 최종 수면 스테이징 결과에 큰 영향을 미치지 않는 이러한 사소한 아티팩트를 허용할 수 있는지 확인합니다. EDF 데이터 파일의 형식, 녹음 품질 및 구성 순서는 모두 이 사전 훈련된 모델의 성능을 최적화하는 데 중요한 구성 요소입니다.

수동 검증의 경우 LightGBM 모델이 몇 가지 녹음에서 저조한 성능(REM F1 점수 < 0.6)을 감안할 때 정확한 REM 단계 점수가 중요한 경우 사용자가 모델 생성 절전 단계를 확인하는 것이 좋습니다. 웨이크 또는 NREM 단계 생리학에 초점을 맞춘 연구의 경우 LightGBM 모델은 여전히 매우 강력하고 완전히 자동화된 분석 파이프라인을 지원합니다. SHAP 값 해석은 수동 검증과 함께 소프트웨어 생성 결과의 정확성을 확인하는 훌륭한 도구가 될 수 있습니다. SHAP는 게임 이론을 사용하여 기계 학습 모델의 출력을 설명하는 접근 방식입니다. 이는 최적 크레딧 할당을 고전적인 Shapley 값 및 관련 확장(²⁰)을 사용하여 로컬 설명과 연결합니다. 예를 들어, 글로벌 NREM SHAP 값 플롯(그림 4)에서 'eeg2_gamma_delta_ratio" 기능의 맨 오른쪽에 어두운 빨간색 점이 갑자기 나타나면 해당 Epoch의 이상을 나타낼 수 있습니다. 이는 고립된 epoch 샘플 점이 전체 데이터 세트에서 벗어나기 때문입니다. SHAP 플롯을 해석하면 사용자에게 수면 단계의 점수에 대한 명확하고 사용자 친화적인 설명을 제공할 수도 있습니다. 예를 들어, epoch SHAP 플롯은 수면 단계 점수에 대한 가장 중요한 결정 요인인 기능에 대한 정보를 제공합니다. 결과 예측 하이프노그램(그림 2)도 예측 결과에 대한 중요한 정보를 제공합니다. 하이프노그램에서 점수가 매겨진 수면 단계가 생리학적으로 비정상적인 "깨어남"과 "REM" 단계 사이의 빈번한 변화를 보이는 경우, 결과의 품질을 확인하기 위해 점수 및 해당 SHAP 값에 대한 포괄적인 평가를 수행하는 것이 좋습니다. SHAP 및 하이프노그램 플롯을 통해 연구원은 수면 단계를 채점하는 동안 예측 오류를 빠르게 식별할 수 있습니다. 그러나 SHAP 값은 모델이 예측을 수행하는 방법을 설명하지만 반드시 예측 또는 모델이 특정 예측을 수행하는 방식이 정확하다는 것을 의미하지는 않습니다. SHAP 값을 제시하는 목표는 절전 단계의 점수 매기기 프로세스에 대한 사용자의 이해를 돕고 사용자가 LightGBM 모델의 논리를 검사하여 오류를 빠르게 식별할 수 있도록 하는 것입니다.

모델의 현재 버전(v1.2)에는 두 가지 뛰어난 기능이 있습니다. 첫째, 이전 단락에 이어 사용자가 특히 긴 녹음의 경우 수정을 위해 CSV 파일로 돌아가야 하는 경우 수동 확인/수정이 매우 지루하고 불편할 수 있습니다. 따라서 사용자가 모든 epoch에서 점수가 매겨진 절전 단계를 변경할 수 있도록 GUI에 직접 통합된 수동 수정 기능을 제공합니다. 사용자가 특정 에포크를 클릭하면 "Wake", "REM" 또는 "NREM"의 점수가 매겨진 절전 단계가 GUI 표시줄 상단의 드롭다운 메뉴에 표시됩니다. 사용자가 스테이지를 한 스테이지에서 다른 스테이지로 변경하려는 경우 드롭다운 메뉴에서 다른 스테이지를 선택하기만 하면 사용자가 수동으로 수정한 새 점수가 매겨진 파일이 생성됩니다. 또한 분석을 위해 제공되는 표준 고정 10초 epoch 길이 대신 다양한 수면 연구자의 특정 실험 요구 사항을 충족하기 위해 GUI에서 epoch 길이를 조정할 수 있는 옵션을 제공합니다. 이제 옵션은 4-s, 10-s 및 20-s epoch이며, 모두 수면 연구자들 사이에서 일반적으로 사용됩니다. 이 모델은 10-s epochs의 사내 데이터로 훈련되었지만, 다른 실험실의 4-s epochs 데이터에 대한 독립적인 테스트에서 모델의 성능은 모든 수면 단계¹에서 인간 전문가의 성능과 비슷했습니다. 사용자는 20-s epochs를 구현할 때 주의해야 합니다. 1) 20-s epochs로 마우스의 수면/깨우기를 점수화하면 일시적인 각성과 같은 매우 짧은 이벤트를 놓칠 수 있습니다. 2) 20-s 에포크는 각 에포크⁸에서 혼합 단계를 포함할 가능성이 더 높다.

이 모델을 사용자를 위한 기존의 다른 자동화된 수면 단계 점수 매기기 방법과 비교하는 것이 도움이 될 것입니다. IntelliSleepScorer 외에도 정확도, 복잡성 및 효능이 다양한 자동 절전 단계 점수 매기기를 위해 개발된 다른 모델이 있습니다^{8,9,10,11,12,13,14,15,16,17,18}. 본 연구에서 사용된 모델은 LightGBM 알고리즘을 사용하여 기존 모델에 필적하는 높은 정확도의 수면 단계 점수 산정을 달성하였다. 평가에서 IntelliSleepScorer는 95.2%의 전체 정확도를 보였으며, 이는 MC-SleepNet⁸ 및 Sleep-Deep-Learner⁹와 같은 유사한 모델에 대해 보고된 성능 메트릭과 동등합니다. 그러나 IntelliSleepScorer의 진정한 차이점은 정확성뿐만 아니라 코딩 경험이 제한된 교육을 받지 않은 연구원을 위한 접근성과 사용 편의성에 있습니다.

4200마리의 마우스로 구성된 대규모 데이터셋에서 딥 뉴럴 네트워크를 사용하여 훈련된 MC-SleepNet⁸은 96.4%의 높은 점수 정확도와 0.94의 kappa 통계를 달성하여 대부분의 기존 방법을 능가합니다. 그러나 우리가 아는 한, 현재까지 공개/무료로 사용할 수 있는 MC-SleepNet 기반 소프트웨어는 없습니다.

Sleep-Deep-Learner⁹는 REM 수면의 경우 F1 점수 0.86, NREM 수면의 경우 0.95, 각성 상태의 경우 0.97의 F1 점수로 마우스의 점수를 자동화합니다. 그러나 저자들은 논문에서 Sleep-Deep-Learner는 수동으로 점수가 매겨진 Epoch의 하위 집합이 필요하기 때문에 수면-각성 점수 매기기에 정통하지 않은 개인에게는 적합하지 않다고 언급했습니다. 반면에 IntelliSleepScorer는 수면 단계 채점 중에 추가 수동 조작이 필요하지 않으며 모든 연구자에게 매우 사용자 친화적인 GUI를 제공합니다.

Somnivore¹⁰ 은 자동화된 웨이크-슬립 스테이지 스코어링을 위해 설계된 다용도 다층 시스템으로, 복잡한 수면다원검사 입력이 있는 제한된 훈련 세트에서 학습하는 데 능숙합니다. 빠른 계산 효율성으로 작동하며 인간, 설치류(야생형 및 형질전환), 비둘기를 포함한 다양한 주제에 걸쳐 강력한 일반화를 보여줍니다. 그러나 Somnivore는 비용이 들지 않습니다.

SlumberNet¹¹ 및 AccuSleep¹² 는 각각 Zenodo 및 GitHub에서 쉽게 액세스할 수 있으며 점수 정확도는 97% 및 96.8%입니다. 그러나 두 모델 모두 9개 또는 10개의 마우스로 훈련 데이터 크기가 상대적으로 작으며 독립적인 테스트 검증을 포함하지 않았습니다. 따라서 실제 성능은 알 수 없습니다.

SPINDLE¹³ 은 컨볼루션 신경망을 활용하는 4-6마리의 마우스/랫트로 구성된 더 작은 데이터 세트로 훈련된 또 다른 웹 기반 모델입니다. 3개의 독립적인 수면 실험실의 데이터에서 검증된 SPINDLE은 인간의 능력을 반영하여 서로 다른 실험실의 인간 전문가 점수를 통해 평균 93%-99%의 일치율을 달성했습니다.

마지막으로, Somnotate¹⁴ 는 최소 3개의 수동 주석의 합의를 기반으로 6개의 24시간 녹음이 포함된 사내 데이터 세트에서 평가했을 때 0.97 ± 0.01의 정확도와 0.97 ± 0.01의 가중 F1 점수를 보여주었습니다. Somnotate의 데이터 세트에서 테스트했을 때 IntelliSleepScorer의 성능은 0.75 ± 0.04의 정확도와 0.73 ± 0.05¹⁴의 가중 F1 점수로 감소했습니다. 이러한 성능 감소는 데이터 세트 간의 실험 설정 또는 기록 조건의 차이에 기인할 수 있습니다. 다양한 실제 사용 사례를 감안할 때 사용자는 특히 실험 설정 또는 기록 조건이 당사와 크게 다른 경우 데이터 세트에서 IntelliSleepScorer의 성능을 평가하는 것이 좋습니다. 소프트웨어의 성능이 기대에 미치지 못하는 경우 사용자는 개발에 사용되는 모델과 코드를 오픈 소스로 만들었으므로 데이터를 사용하여 사전 훈련된 모델을 미세 조정할 수 있습니다.

위에서 논의된 기존 모델의 예 외에도, 연구자가 연구를 위한 구체적이고 다양한 요구에 따라 선택할 수 있는 다른 개발된 자동 수면 스테이징 시스템이 있습니다 15,16,17,18.

향후 작업에서는 수면 단계의 자동 채점 시간을 최적화하는 새로운 모델을 개발/훈련하는 것을 목표로 합니다. 현재 GUI는 Intel Core i7-8550U CPU @ 1.80GHz에서 약 10분 만에 1000Hz로 샘플링된 12시간의 녹음을 처리합니다. 그러나 처리 시간은 기본 10-s epoch에 비해 4-s epoch로 절전 단계를 점수화할 때 약 2.5배 증가합니다. 이 새로운 모델은 마우스에서 더 빠른 자동 수면 단계 점수를 원하는 일부 사용자의 요구를 충족시킬 수 있습니다. 또한 항상 사용자의 피드백에 귀를 기울이고 있으며 요청 시 새로운 기능을 추가할 수 있습니다.

요약하면, 우리는 마우스 수면 단계 채점을 위한 편리한 자동화 파이프라인을 만들기 위해 무료로 공개적으로 사용 가능하고 사용자 친화적인 GUI 소프트웨어인 IntelliSleepScorer를 제공합니다. 또한 한 단계 더 나아가 모델이 내리는 점수 결정을 설명하는 SHAP 값 시각화를 제공합니다. 숙련된 사용자는 학습/미세 조정을 위한 기능을 추출하기 위한 모델 파일과 스크립트가 모두 GitHub 리포지토리에서 공개적으로 사용할 수 있다는 점을 감안할 때 데이터를 사용하여 사전 학습된 모델을 미세 조정할 수도 있습니다. 우리는 이 공개적으로 사용 가능한 모델이 기술 격차를 좁히고 노동 집약적인 작업을 줄이면서 수면 연구에서 마우스 모델을 사용하여 데이터 수집에서 새로운 발견으로의 진행을 촉진할 수 있기를 바랍니다.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	IntelliSleep Scorer 소프트웨어 지원 운영 체제: Windows, Mac 또는 Linux
Intel Core i7-8550U CPU @ 1.80GHz 1.99GHz; 램: 24GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	소프트웨어에 대한 하드웨어 요구 사항: 여기에 나열된 두 Inte Core는 모두 데이터를 처리하는 데 사용되었습니다. 두 하드웨어 모두에 대해 1000Hz로 샘플링된 12시간의 녹음을 처리하는 데 약 10분이 걸립니다. 유사하거나 더 우수한 하드웨어는 비슷하거나 더 나은 성능을 제공합니다.
인텔 코어 i7-10610U CPU @1.80GHz 2.30GHz; RAM : 16GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	소프트웨어에 대한 하드웨어 요구 사항 : 여기에 나열된 두 Inte Core는 모두 데이터를 처리하는 데 사용되었습니다. 두 하드웨어 모두에 대해 1000Hz로 샘플링된 12시간의 녹음을 처리하는 데 약 10분이 걸립니다. 유사하거나 더 우수한 하드웨어는 비슷하거나 더 나은 성능을 제공합니다.
LightGBM	소프트웨어를	https://lightgbm.readthedocs.io/en/latest/index.html	머신 러닝 기반 알고리즘입니다.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	IntelliSleep Scorer 소프트웨어 지원 운영 체제: Windows, Mac 또는 Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	IntelliSleep Scorer 소프트웨어 지원 운영 체제: Windows, Mac 또는 Linux