Name: 분류기 기반 대기 시간 추정을 사용한 P300 기반 뇌-컴퓨터 인터페이스 맞춤법 검사기 성능 추정 (동영상) | JoVE Journal
Uploaded: 2023-09-08T12:00:00.000+00:00
Duration: 6 min 9 s
Description: 학습하세요 CBLE 기반 P300 스펠러 BCI 정확도 예측 방법을 MATLAB GUI와 선형 회귀 분석을 활용하여 소량의 문자 데이터로 실시간 뇌-컴퓨터 인터페이스 성능을 효율적으로 평가하는 기술을.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

대표 결과에 사용된 데이터는 NICHD(National Institute of Child Health and Human Development), 보조금 R21HD054697 산하 NIH(National Institutes of Health), 보조금 H133G090005 및 Award Number H133P090008에 따라 교육부 산하 NIDRR(National Institute on Disability and Rehabilitation Research)의 지원을 받은 연구에서 수집되었습니다. 나머지 연구는 #1910526 상에 따라 NSF(National Science Foundation)에서 부분적으로 자금을 지원했습니다. 이 연구의 결과와 의견이 반드시 NICHD, NIH, NIDRR 또는 NSF의 입장을 반영하는 것은 아닙니다.

"CBLE Performance Estimation" GUI는 "BrainInvaders" 데이터 세트와 Michigan 데이터 세트의 두 가지 데이터 세트에 적용되었습니다. "BrainInvaders" 데이터 세트의 경우 데이터 수집은 University of Grenoble Alpes20의 윤리 위원회의 승인을 받았습니다. 미시간 데이터는 University of Michigan Institutional Review Board의 승인19에 따라 수집되었습니다. 데이터는 Kansas State University 면제 프로토콜 7516에 따라 분석되었습니다. 새로운 데이터를 수집하는 경우 정보에 입각한 동의를 수집하기 위해 사용자의 IRB 승인 프로세스를 따릅니다. 여기에서 제안된 프로토콜은 이전에 기록되고 비식별화된 데이터의 오프라인 분석을 사용하여 평가되므로 추가 정보에 입각한 동의가 필요하지 않습니다.
이 문서에 포함된 GUI(그래픽 사용자 인터페이스)는 두 가지 고유한 데이터 세트 형식을 관리하는 데 능숙합니다. 첫 번째 형식은 BCI2000 소프트웨어와 연결되고 두 번째 형식은 "BrainInvaders" 데이터 세트라고 합니다. "Brain Invaders" 형식을 활용하려면 프로토콜 섹션의 1단계에서 설명한 대로 데이터를 사전 처리해야 합니다. 그러나 "BCI2000" 데이터 세트 형식을 처리할 때 1단계를 생략할 수 있습니다.
1. 데이터 준비
<ol><li>BrainInvaders만 해당: "CBLE 성능 추정" 그래픽 사용자 인터페이스(GUI)와 함께 사용할 수 있는 ".mat" 파일 형식으로 입력 데이터 파일을 생성합니다. 샘플 스크립트는 보충 코딩 파일 2를 참조하십시오. 참고: 각 데이터 파일은 서로 다른 시간 샘플에서 기록된 관측치를 나타내는 행으로 구성된 2차원 행렬로 구성됩니다. 2에서 17까지 번호가 매겨진 매트릭스 열은 16개의 EEG 전극에서 파생된 기록입니다. 행렬의 첫 번째 열은 각 관측치의 타임스탬프를 나타내고 18열은 실험 이벤트와 관련된 정보를 포함합니다. 열 19에는 대부분 0이 있지만 비대상(또는 대상) 플래시가 시작되면 해당 특정 시간에 숫자가 1(또는 2)로 변경됩니다. 상세한 설명은 참고문헌20에서 찾을 수 있다.</li>
</ol>2. GUI 패키지 다운로드 및 설치
<ol><li>"CBLE Performance Estimation" GUI를 다운로드하여 설치합니다.</li>
</ol>3. GUI 위치의 하위 폴더에 데이터 세트 저장
<ol><li>데이터 세트 폴더가 GUI와 동일한 디렉토리 내에 있는지 확인합니다.</li>
	<li>예를 들어, 새 폴더를 만들고 그 안에 "CBLE Performance Estimation" GUI를 배치합니다. 모든 데이터 세트를 "Dataset"라는 "CBLE GUI" 내의 하위 폴더에 보관합니다.</li>
</ol>4. 설치된 GUI 열기
<ol><li>MATLAB을 열고( 자료 표 참조) 현재 디렉터리를 GUI가 있는 폴더로 변경한 다음 APPS 탭을 클릭하고 MY APPS를 선택합니다.</li>
	<li>"MY APPS" 탭에서 CBLE 성능 추정을 선택합니다.</li>
</ol>5. 데이터 세트 형식 선택
<ol><li>데이터 세트 형식 선택 드롭다운에서 데이터 세트 형식을 선택합니다.</li>
</ol>6. EEG 데이터 파일 로드
<ol><li>입력 폴더 선택 버튼을 클릭하여 데이터 세트가 있는 디렉터리를 선택합니다.</li>
	<li>선택한 폴더에 있는 데이터 파일의 수를 관찰합니다. 참고: "Brain Invaders" 형식에서 각 참가자는 단일 데이터 파일로 표시됩니다. 따라서 총 데이터 파일 수는 연구의 참가자 수를 나타냅니다. 그러나 "BCI2000" 형식의 경우에는 각 참가자가 여러 학습 및 테스트 파일을 가질 수 있으므로 그렇지 않습니다.</li>
</ol>7. 파라미터 설정
<ol><li>사용자가 추정 프로세스에 사용할 참가자 수를 "아니오. 참가자 수" 텍스트 상자.</li>
	<li>BrainInvaders만 해당: 데이터 세트의 샘플링 속도를 지정합니다. 참고: BCI2000 파일에는 샘플 레이트가 포함되어 있습니다.</li>
	<li>분류 성능21을 개선하기 위해 데이터 세트를 약 20Hz로 다운샘플링하는 데시메이션 값을 선택합니다. 예를 들어, 샘플링 주파수가 256Hz인 경우 데시메이션 값으로 13을 선택합니다.</li>
	<li>분류에 대한 시간 창을 밀리초 단위로 지정합니다. 참고: 권장 초기 창 크기가 지정되어 시작 지점은 0에서 100ms까지, 끝 지점은 700에서 800ms까지 다양할 수 있습니다. 그러나 다른 P300 이벤트와 겹치지 않도록 창 크기를 너무 크게 만들지 않는 것이 중요합니다.</li>
	<li>CBLE의 시프트 윈도우를 밀리초 단위로 정의합니다. 참고: '시프트 윈도우'는 CBLE 메소드가 P3 응답을 찾기 위해 검색하는 확장된 시간 범위를 나타냅니다. 분류자는 시프트 윈도우의 첫 번째 요소에서 시작하는 에포크에 적용됩니다. 그런 다음 분류자는 Epoch가 시프트 창 외부로 확장될 때까지 한 샘플 후에 시작하는 Epoch에 순차적으로 적용됩니다. 그러므로, 시프트 창은 원래 창보다 커야 합니다. 경험적으로 각 측면에서 100ms 미만의 값이 잘 수행됩니다. 어쨌든 마진은 ISI의 절반 미만으로 유지되어야 합니다.</li>
	<li>BC2000에만 해당: "ID 길이" 필드 내에 데이터 세트 파일에 표시된 주체 ID의 길이를 입력합니다. 참고: GUI는 파일 이름의 처음 sub_len자가 주체 ID를 인코딩할 것으로 예상합니다.</li>
	<li>BCI2000 전용: "채널 ID" 필드에 총 채널 수를 표시하거나 분석에 사용할 특정 채널 번호를 지정합니다.</li>
	<li>파라미터 설정(Set parameters) 버튼을 클릭하여 해석에 필요한 모든 파라미터를 설정합니다.</li>
</ol>8. BrainInvaders만 해당: 데이터 세트를 학습 및 테스트 세트로 분할
<ol><li>훈련 세트의 크기를 나타내는 목표값 개수를 선택합니다. 데이터 세트의 나머지 부분은 테스트 데이터 세트로 간주됩니다. 참고: 모델의 적절한 학습을 보장하려면 충분히 큰 학습 샘플이 있어야 합니다. 권장되는 최소 학습 샘플 크기는 20이지만 전체 데이터 세트 크기에 따라 달라질 수 있습니다. 훈련 세션 중에 회귀 오류가 발생하면 훈련 표본 크기를 늘리는 것이 좋습니다.</li>
	<li>"데이터 세트 분할" 버튼을 눌러 데이터 세트를 학습 및 테스트 세트로 나눕니다. 참고: 각 참가자는 동일한 양의 교육 데이터를 갖게 됩니다. 그러나 작업 중에 여러 번 시도할 수 있으므로 테스트 데이터 수가 모든 참가자에 대해 동일하지 않을 수 있습니다. 결과적으로, 제시된 표적 또는 섬광의 총 수는 사람마다 다를 수 있습니다.</li>
</ol>9. 학습 데이터 세트를 사용하여 모델 학습
참고: 9.1단계는 "Brain Invaders" 형식에 적용되고 9.2단계는 "BCI2000" 형식에 적용됩니다.
<ol><li>BrainInvaders만 해당: 모델 학습 단추를 클릭하여 분류자 모델을 학습하기 위해 수식 2를 사용하여 학습 데이터 세트에 선형 회귀를 적용합니다.</li>
	<li>BCI2000만: 학습 및 테스트 파일을 모든 파일과 구분하기 위해 데이터 형식(.dat)과 함께 학습 및 테스트 파일 이름을 나타냅니다. 그런 다음, 모델 학습 단추를 클릭하여 학습 데이터 세트에 선형 회귀를 적용합니다.</li>
</ol>10. 테스트 세트의 정확도 예측
<ol><li>정확도 예측(Predict accuracy)을 클릭하여 훈련된 분류기 모델을 테스트 특징 세트에 적용하고 수식 1을 사용하여 정확도를 예측합니다.</li>
</ol>11. X-타겟 정확도 얻기
<ol><li>테스트 세트에서 고려할 최대 목표 개수 X를 선택합니다.</li>
	<li>BCI2000만: 사용자에게 테스트 파일이 여러 개 있는 경우 테스트 파일 번호를 선택합니다.</li>
	<li>X 목표 정확도 찾기를 누릅니다.</li>
</ol>12. vCBLE 계산
<ol><li>Find vCBLE(vCBLE 찾기) 버튼을 클릭하여 모든 대상에 대한 vCBLE를 가져옵니다.</li>
</ol>13. BCI 정확도 및 vCBLE의 RMSE(Root Mean Square Error) 계산
<ol><li>RMSE 계산 버튼을 클릭하여 BCI 정확도가 있는 vCBLE과 BCI 정확도가 있는 X-target 정확도를 기반으로 두 예측 간의 RMSE를 계산합니다.</li>
</ol>14. 분석 결과 시각화
<ol><li>정확도 대 vCBLE 버튼을 클릭하여 모든 참가자의 총 정확도와 총 vCBLE 간의 관계를 관찰합니다.</li>
	<li>BCI 및 vCBLE의 RMSE 버튼을 눌러 BCI 정확도 및 vCBLE의 RMSE 곡선을 표시합니다.</li>
</ol>15. 개별 참가자의 성과 예측
<ol><li>개별 참가자의 정확도를 예측하려면 주체 ID를 하위 ID에 배치합니다. 참고: 여기서는 테스트 참가자를 제외한 모든 참가자의 데이터 세트를 사용하여 선형 회귀 모델을 학습합니다. 다른 모든 참가자의 vCBLE 점수와 해당 테스트 정확도는 각각 분류자에 대한 예측 변수 및 레이블로 활용됩니다.</li>
	<li>대상 번호 n을 선택합니다. 예측은 n-테스트 문자의 정확도를 기반으로 수행됩니다.</li>
	<li>예측 버튼을 클릭하여 테스트 참가자의 예상 정확도를 가져옵니다.</li>
</ol>

<ol><li>Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+spellers%3A+A+review%5BTitle%5D)+AND+%22Brain+Science%22%5BJournal%5D)">Brain-Computer Interface spellers: A review.</a> Brain Science. 8 (4), 57(2018).</li>
<li>Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Emotion+detection+using+electroencephalography+signals+and+a+zero-time+windowing-based+epoch+estimation+and+relevant+electrode+identification%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification.</a> Scientific Reports. 11 (1), 7071(2021).</li>
<li>Daly, J. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+in+neurological+rehabilitation%5BTitle%5D)+AND+%22Lancet+Neurology%22%5BJournal%5D)">Brain-computer interfaces in neurological rehabilitation.</a> Lancet Neurology. 7 (11), 1032-1043 (2008).</li>
<li>Birbaumer, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Breaking+the+silence%3A+brain-computer+interfaces+%28BCI%29+for+communication+and+motor+control%5BTitle%5D)+AND+%22Psychophysiology%22%5BJournal%5D)">Breaking the silence: brain-computer interfaces (BCI) for communication and motor control.</a> Psychophysiology. 43 (6), 517-532 (2006).</li>
<li>Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+and+P300-based+BCI+performance+in+people+with+amyotrophic+lateral+sclerosis%5BTitle%5D)+AND+%22Frontiers+in+Human+Neuroscience%22%5BJournal%5D)">Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis.</a> Frontiers in Human Neuroscience. 7, 732(2013).</li>
<li>Finke, A., Lenhardt, A., Ritter, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+MindGame%3A+a+P300-based+brain-computer+interface+game%5BTitle%5D)+AND+%22Neural+Network%22%5BJournal%5D)">The MindGame: a P300-based brain-computer interface game.</a> Neural Network. 22 (9), 1329-1333 (2009).</li>
<li>Farwell, L. A., Donchin, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Talking+off+the+top+of+your+head%3A+toward+a+mental+prosthesis+utilizing+event-related+brain+potentials.+Electroencephalogr%5BTitle%5D)+AND+%22Clinical+Neurophysiology%22%5BJournal%5D)">Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr.</a> Clinical Neurophysiology. 70 (6), 510-523 (1988).</li>
<li>Li, Q., Lu, Z., Gao, N., Yang, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optimizing+the+performance+of+the+visual+P300-speller+through+active+mental+tasks+based+on+color+distinction+and+modulation+of+task+difficulty%5BTitle%5D)+AND+%22Frontiers+in+Human+Neuroscience%22%5BJournal%5D)">Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty.</a> Frontiers in Human Neuroscience. 13, 130(2019).</li>
<li>McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+P300-based+brain-computer+interface+%28BCI%29%3A+effects+of+stimulus+rate%5BTitle%5D)+AND+%22Clinical+Neurophysiology%22%5BJournal%5D)">The P300-based brain-computer interface (BCI): effects of stimulus rate.</a> Clinical Neurophysiology. 122 (4), 731-737 (2011).</li>
<li>Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparison+of+classification+techniques+for+the+P300+Speller%5BTitle%5D)+AND+%22Journal+of+Neural+Engineering%22%5BJournal%5D)">A comparison of classification techniques for the P300 Speller.</a> Journal of Neural Engineering. 3 (4), 299-305 (2006).</li>
<li>Sellers, E. W., Donchin, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+P300-based+brain-computer+interface%3A+initial+tests+by+ALS+patients%5BTitle%5D)+AND+%22Clinical+Neurophysiology%22%5BJournal%5D)">A P300-based brain-computer interface: initial tests by ALS patients.</a> Clinical Neurophysiology. 117 (3), 538-548 (2006).</li>
<li>Donchin, E., Spencer, K. M., Wijesinghe, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+mental+prosthesis%3A+assessing+the+speed+of+a+P300-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Transactions+on+Rehabilitation+Engineering%22%5BJournal%5D)">The mental prosthesis: assessing the speed of a P300-based brain-computer interface.</a> IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).</li>
<li>Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+9-class+auditory+ERP+paradigm+driving+a+predictive+text+entry+system%5BTitle%5D)+AND+%22Frontiers+in+Neuroscience%22%5BJournal%5D)">A novel 9-class auditory ERP paradigm driving a predictive text entry system.</a> Frontiers in Neuroscience. 5, 99(2011).</li>
<li>Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. 2013 6th International IEEE/EMBS Conference on Neural Engineering (NER), , (2013).</li>
<li>Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+P300-based+brain-computer+interface+stimulus+presentation+paradigm%3A+moving+beyond+rows+and+columns%5BTitle%5D)+AND+%22Clinical+Neurophysiology%22%5BJournal%5D)">A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns.</a> Clinical Neurophysiology. 121 (7), 1109-1120 (2010).</li>
<li>Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+many+people+are+able+to+control+a+P300-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Neuroscience+Letters%22%5BJournal%5D)">How many people are able to control a P300-based brain-computer interface (BCI).</a> Neuroscience Letters. 462 (1), 94-98 (2009).</li>
<li>Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparison+of+classification+techniques+to+predict+Brain-computer+interfaces+accuracy+using+classifier-based+latency+estimation%5BTitle%5D)+AND+%22Brain+Science%22%5BJournal%5D)">A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation.</a> Brain Science. 10 (10), 734(2020).</li>
<li>Thompson, D. E., Warschausky, S., Huggins, J. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Classifier-based+latency+estimation%3A+a+novel+way+to+estimate+and+predict+BCI+accuracy%5BTitle%5D)+AND+%22Journal+of+Neural+Engineering%22%5BJournal%5D)">Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy.</a> Journal of Neural Engineering. 10 (1), 016006(2012).</li>
<li>Thompson, D. E., Gruis, K. L., Huggins, J. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+plug-and-play+brain-computer+interface+to+operate+commercial+assistive+technology%5BTitle%5D)+AND+%22Disability+and+Rehabilitation%3A+Assistive+Technology%22%5BJournal%5D)">A plug-and-play brain-computer interface to operate commercial assistive technology.</a> Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).</li>
<li>Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain+Invaders+calibration-less+P300-based+BCI+using+dry+EEG+electrodes+Dataset+%28bi2014a%29+%5BData+set%5D%5BTitle%5D)+AND+%22Zenodo%22%5BJournal%5D)">Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set].</a> Zenodo. , (2019).</li>
<li>Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparison+of+classification+techniques+for+the+P300+Speller%5BTitle%5D)+AND+%22Journal+of+Neural+Engineering%22%5BJournal%5D)">A comparison of classification techniques for the P300 Speller.</a> Journal of Neural Engineering. 3 (4), 299-305 (2006).</li>
</ol>

모든 저자는 이해 상충이 없음을 선언합니다.

이 기사에서는 작은 P300 데이터 세트를 사용하여 BCI 정확도를 추정하는 방법을 간략하게 설명했습니다. 여기서 현재 프로토콜은 "bi2014a" 데이터 세트를 기반으로 개발되었지만, 프로토콜의 효능은 두 개의 다른 데이터 세트에서 확인되었습니다. 이 기술을 성공적으로 구현하려면 원본 데이터의 epoch 창, 시간 이동 창, 다운 샘플링 비율, 학습 및 테스트 데이터 세트의 크기와 같은 특정 변수를 설정하는 것이 중요합니다. 이러한 변수는 대상 또는 문자 수, 시퀀스 수 및 총 참가자 수를 포함하여 사용 중인 데이터 세트의 특성에 따라 결정됩니다.
"bi2014a" 데이터 세트의 결과는 vCBLE의 예측이 1-10자를 포함하는 테스트 데이터 세트를 포함하는 모든 테스트 조건(10자 미만)에 대해 문자 수준 BCI 정확도에 비해 우수한 성능을 나타낸다는 것을 나타냅니다. 그러나 테스트 데이터 세트가 7개 이상의 대상으로 구성된 경우 vCBLE의 성능은 최소한의 편차를 보여줍니다....

뇌-컴퓨터 인터페이스(BCI)는 개인이 신체에 의해 부과되는 물리적 제한에 관계없이 기계를 통해 직접 통신할 수 있도록 하는 비침습적 기술입니다. BCI는 뇌가 직접 조작하는 보조 장치로 활용될 수 있습니다. BCI는 사용자의 두뇌 활동을 사용하여 사용자가 화면1에 표시된 특정 키(문자, 숫자 또는 기호)를 선택할 것인지 여부를 결정합니다. 일반적인 컴퓨터 시스템에서는 사용자가 키보드에서 의도한 키를 물리적으로 누릅니다. 그러나 시각적 디스플레이가 있는 BCI 시스템에서 사용자는 원하는 키에 집중해야 합니다. 그런 다음 BCI는 측정된 뇌 신호1을 분석하여 원하는 키를 선택합니다. 뇌의 활동은 다양한 기술을 사용하여 측정할 수 있습니다. 경쟁하는 BCI 기술이 있지만 뇌전도(EEG)는 비침습적 특성, 높은 시간 분해능, 신뢰성 및 상대적으로 저렴한 비용으로 인해 선도적인 기술로 간주됩니다2.
BCI의 응용 분야에는 통신, 장치 제어 및 엔터테인먼트 3,4,5,6이 포함됩니다. 가장 활발한 BCI 응용 분야 중 하나는 Farwell과 Donchin 300에서 도입한P7 맞춤법 검사기입니다. P300은 드물지만 유의미한 자극8의 인식에 대한 반응으로 생성되는 사건 관련 전위(ERP)이다. 사람이 목표 자극을 인식하면 자동으로 P300을 생성합니다. P300은 외부 반응9 없이 목표 이벤트에 대한 참가자의 인식을 전달하기 때문에 BCI에 효과적인 신호이다.
P300 BCI는 컴퓨터 과학, 전기 공학, 심리학, 인적 요인 및 기타 다양한 분야의 연구원을 끌어들였습니다. 신호 처리, 분류 알고리즘, 사용자 인터페이스, 자극 체계 및 기타 여러 분야에서 발전이 이루어졌습니다 10,11,12,13,14,15. 그러나 연구 분야에 관계없이 이 모든 연구의 공통점은 BCI 시스템 성능 측정의 필요성입니다. 이 작업에는 일반적으로 테스트 데이터 세트를 생성해야 합니다. 이러한 필요성은 연구에만 국한되지 않습니다. 보조 기술로서의 최종 임상 적용은 시스템이 신뢰할 수 있는 통신을 생성할 수 있도록 각 최종 사용자에 대한 개별 검증 세트가 필요할 수 있습니다.
P300 BCI에 대한 상당한 연구가 적용되었음에도 불구하고 시스템은 여전히 매우 느립니다. 대부분의 사람들은 P300 BCI16을 사용할 수 있지만 대부분의 P300 맞춤법 검사기는 분당 1-5자 정도의 텍스트를 생성합니다. 안타깝게도 이러한 느린 속도는 테스트 데이터 세트를 생성하는 데 참가자, 실험자 및 최종 사용자에게 상당한 시간과 노력이 필요하다는 것을 의미합니다. BCI 시스템 정확도 측정은 이항 파라미터 추정 문제이며 좋은 추정을 위해서는 많은 데이터 문자가 필요합니다.
P300 ERP의 존재 유무를 추정하기 위해 대부분의 분류기는 EEG 데이터의 각 시도 또는 에포크에 이진 레이블(예: "존재" 또는 "부재")을 할당하는 이진 분류 모델을 사용합니다. 대부분의 분류기에서 사용되는 일반 방정식은 다음과 같이 표현할 수 있습니다.
<img alt="Equation 1" src="/files/ftp_upload/64959/64959eq01.jpg" style="margin: auto;">
여기서 <img alt="Equation 2" src="/files/ftp_upload/64959/64959eq02.jpg" style="margin: auto;"> 는 P300 응답이 존재할 확률을 나타내는 분류기의 점수라고 하고, x는 EEG 신호에서 추출된 특징 벡터이고, b는 편향 항17입니다. 함수 f는 입력 데이터를 출력 레이블에 매핑하는 결정 함수이며, 지도 학습 알고리즘(17)을 사용하여 레이블링된 학습 데이터 세트로부터 학습됩니다. 훈련 중에 분류기는 EEG 신호의 레이블이 지정된 데이터 세트에서 훈련되며, 여기서 각 신호는 P300 응답이 있는지 여부에 따라 레이블이 지정됩니다. 가중 벡터와 편향 항은 분류기의 예측된 출력과 EEG 신호의 실제 레이블 사이의 오차를 최소화하도록 최적화되어 있습니다. 분류기가 훈련되면 새로운 EEG 신호에서 P300 응답의 존재를 예측하는 데 사용할 수 있습니다.
분류자마다 선형 판별 분석(LDA), 단계적 선형 판별 분석(SWLDA), 최소제곱(LS), 로지스틱 회귀, 서포트 벡터 머신(SVM) 또는 신경망(NN)과 같은 서로 다른 결정 함수를 사용할 수 있습니다. 최소 제곱 분류기는 예측된 클래스 레이블과 실제 클래스 레이블 간의 제곱 오차의 합을 최소화하는 선형 분류기입니다. 이 분류자는 다음 방정식을 사용하여 새 테스트 샘플의 클래스 레이블을 예측합니다.
<img alt="Equation 3" src="/files/ftp_upload/64959/64959eq03.jpg" style="margin: auto;">(1)
여기서 부호 함수는 곱이 양수이면 +1, 음수이면 -1을 반환하고, 가중 벡터 <img alt="Equation 4" src="/files/ftp_upload/64959/64959eq04.jpg" style="margin: auto;"> 는 아래 방정식을 사용하여 훈련 데이터의 특징 세트, (x) 및 클래스 레이블(y)에서 얻습니다.
<img alt="Equation 5" src="/files/ftp_upload/64959/64959eq05.jpg" style="margin: auto;">    (2)
이전 연구에서 우리는 CBLE(Classifier-Based Latency Estimation)를 사용하여 BCI 정확도 17,18,19를 추정할 수 있다고 주장했습니다. CBLE는 분류기의 시간적 민감도(18)를 이용하여 레이턴시 변동을 평가하기 위한 전략이다. P300 분류에 대한 기존 접근 방식은 각 자극 제시와 동기화되는 단일 시간 창을 사용하는 반면, CBLE 방법은 자극 후 에포크의 여러 시간 이동 복사본을 생성하는 것을 포함합니다. 그런 다음 P300 응답17,18의 대기 시간을 추정하기 위해 최대 점수를 초래하는 시간 이동을 감지합니다. 여기에서 이 작업은 CBLE를 사용하여 작은 데이터 세트에서 BCI 성능을 추정하는 프로토콜을 제시합니다. 대표적인 분석으로, 개인의 전반적인 성과를 예측하기 위해 문자 수를 다양화합니다. 두 예제 데이터 세트 모두에서 vCBLE에 대한 RMSE(제곱 평균 제곱근 오차)와 실제 BCI 정확도가 계산되었습니다. 결과는 피팅된 데이터를 사용한 vCBLE 예측의 RMSE가 1개에서 7개의 테스트된 문자에서 파생된 정확도보다 일관되게 낮다는 것을 나타냅니다.
우리는 제안된 방법론의 구현을 위해 "CBLE 성능 추정"이라는 그래픽 사용자 인터페이스(GUI)를 개발했습니다. MATLAB 플랫폼에서 동작하는 예제 코드(보충 코딩 파일 1)도 제공됩니다. 예제 코드는 GUI에 적용된 모든 단계를 수행하지만 독자가 새 데이터 세트에 적응하는 데 도움이 되는 단계가 제공됩니다. 이 코드는 제안된 방법(20)을 평가하기 위해 공개적으로 이용 가능한 데이터 세트 "Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)"를 사용합니다. 참가자들은 Brain Invaders의 게임 세션을 최대 3개까지 플레이했으며, 각 세션에는 9개의 게임 레벨이 있습니다. 데이터 수집은 모든 레벨이 완료되거나 참가자가 BCI 시스템에 대한 모든 통제권을 잃을 때까지 계속되었습니다. 브레인 인베이더(Brain Invaders) 인터페이스에는 6명의 외계인으로 구성된 12개 그룹에서 번쩍이는 36개의 기호가 포함되어 있습니다. 브레인 인베이더 P300 패러다임에 따르면, 각 그룹마다 하나씩 12번의 섬광으로 반복이 생성되었습니다. 이 12번의 플래시 중 2번의 플래시에는 타겟 기호(타겟 플래시라고 함)가 포함되었고, 나머지 10번의 플래시에는 타겟 기호가 포함되지 않았습니다(비타겟 플래시라고 함). 이 패러다임에 대한 자세한 내용은 원본 참조문헌 20에서 찾을 수 있습니다.
CBLE 접근 방식은 40명의 참가자18,19의 데이터가 포함된 미시간 데이터 세트에서도 구현되었습니다. 여기서 8명의 참가자 데이터는 작업이 완료되지 않았기 때문에 폐기해야 했습니다. 전체 연구는 각 참가자의 세 번의 방문이 필요했습니다. 첫째 날, 각 참가자는 19자 훈련 문장을 입력한 후 1일차, 2일차, 3일차에 23자 시험 문장 3개를 입력했습니다. 이 예제에서 키보드에는 6개의 행과 6개의 열로 그룹화된 36개의 문자가 포함되어 있습니다. 각 행 또는 열은 31.25밀리초 동안 깜박였으며 깜박임 간격은 125밀리초였습니다. 캐릭터 사이에는 3.5초의 일시 중지가 제공되었습니다.
그림 1 은 제안된 방법의 블록 다이어그램을 보여줍니다. 자세한 절차는 프로토콜 섹션에 설명되어 있습니다.

<table><tbody><tr><td>MATLAB 2021</td><td>Matlab</td><td>N/A</td><td>최신 MATLAB 버전을 사용할 수 있습니다.</td></tr></tbody></table>

분류기 기반 대기 시간 추정을 사용한 p300 기반 뇌-컴퓨터 인터페이스 맞춤법 검사기 성능 추정

P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation

성능 추정은 BCI(Brain-Computer Interface) 시스템의 개발 및 검증에 필요한 단계입니다. 안타깝게도 최신 BCI 시스템조차도 속도가 느리기 때문에 검증을 위한 충분한 데이터를 수집하는 것은 최종 사용자와 실험자 모두에게 시간이 많이 걸리는 작업입니다. 그러나 충분한 데이터가 없으면 성능의 무작위 변동으로 인해 BCI가 특정 사용자에 대해 얼마나 잘 작동하는지에 대한 잘못된 추론이 발생할 수 있습니다. 예를 들어 P300 맞춤법 검사기는 일반적으로 분당 약 1-5자를 작동합니다. 5% 해상도로 정확도를 추정하려면 20자(4-20분)가 필요합니다. 이러한 시간 투자에도 불구하고 20자의 정확도에 대한 신뢰 한계는 관찰된 정확도에 따라 최대 ±23%가 될 수 있습니다. 이전에 발표된 방법인 CBLE(Classifier-Based Latency Estimation)는 BCI 정확도와 높은 상관 관계가 있는 것으로 나타났습니다. 이 작업은 CBLE를 사용하여 입력 데이터의 비교적 적은 문자(~3-8)에서 사용자의 P300 맞춤법 검사 정확도를 예측하기 위한 프로토콜을 제공합니다. 결과로 생성되는 신뢰한계는 기존 방법으로 생성된 신뢰한계보다 더 엄격합니다. 따라서, 이 방법은 BCI 성능을 보다 빠르고 및/또는 더 정확하게 추정하는데 사용될 수 있다.

제안된 프로토콜은 "BrainInvaders"와 Michigan 데이터 세트의 두 가지 데이터 세트에서 테스트되었습니다. 이러한 데이터 세트는 소개 섹션에서 이미 간략하게 소개되어 있습니다. 이 두 데이터 세트에 사용되는 매개 변수는 표 1에 언급되어 있습니다. 그림 2-4는 "BrainInvaders" 데이터 세트를 사용하여 얻은 결과를 보여주는 반면, 그림 5-7은 Michigan 데이터 세트에서 얻은 결과를 보여줍니다.
"BrainInvaders" 데이터 세트에는 64명의 참가자가 있습니다. 그림 2 는 64명의 참가자 모두의 BCI ...

이 문서에서는 작은 테스트 데이터 세트를 사용하여 당일 P300 맞춤법 검사기 BCI(뇌-컴퓨터 인터페이스) 정확도를 예측하는 방법을 제공합니다.

분류기 기반 대기 시간 추정을 사용한 P300 기반 뇌-컴퓨터 인터페이스 맞춤법 검사기 성능 추정

Performance estimation is a necessary step in the development and validation of Brain-Computer Interface (BCI) systems. Unfortunately, even modern BCI ...

성능 측정은 뇌 컴퓨터 인터페이스와 관련된 모든 연구 또는 임상 응용 분야에서 매우 중요합니다. CBLE는 특정 사용자에 대한 시스템의 효율성을 평가하는 데 도움이 됩니다. CBLE는 3자에서 8자까지의 데이터에서 사용자의 P300 맞춤법 검사기 정확도를 예측하는 데 사용할 수 있습니다.시작하려면 CBLE 성능 추정 그래픽 사용자 인터페이스를 설치합니다. MATLAB을 열고 현재 디렉터리를 그래픽 사용자 인터페이스 폴더로 변경합니다. 앱 탭을 클릭하고, 내 앱을 선택하고, CBLE 성능 예측을 선택합니다.드롭다운 메뉴에서 데이터 세트 형식 선택을 클릭하고 원하는 옵션을 선택합니다. 그런 다음 입력 폴더 선택 버튼을 클릭하여 EEG 데이터 세트의 디렉터리를 선택합니다. 참가자 수 텍스트 상자에 추정할 참가자 수를 입력합니다.Brain Invader 데이터를 사용하는 경우 데이터 세트의 샘플링 속도를 지정합니다. 데시메이션 값을 선택하여 데이터 세트를 약 20Hz로 다운 샘플링합니다. 분류에 대한 시간 창을 밀리초 단위로 지정합니다.그런 다음 CBLE의 시프트 윈도우를 밀리초 단위로 정의합니다. 완료되면 파라미터 설정 버튼을 클릭하여 분석 파라미터를 설정합니다. 데이터 세트를 분할하려면 학습 세트 크기에 대한 목표값 개수를 선택합니다.데이터 세트 분할 버튼을 클릭하여 데이터 세트를 학습 및 테스트 세트로 나눕니다. Braininvaders의 경우 모델 학습 버튼을 클릭하여 학습 데이터 세트에서 방정식 2를 사용하여 선형 회귀를 적용합니다. 다음으로, 정확도 예측(Predict Accuracy)을 클릭하여 훈련된 분류기 모델을 테스트 특징 세트에 적용하고 수식 1을 사용하여 정확도를 예측합니다.테스트 세트 고려를 위해 최대 목표 수 X를 선택하고 X 목표 정확도 찾기를 누릅니다. 그런 다음 vCBLE 찾기 버튼을 클릭하여 모든 대상에 대한 vCBLE를 가져옵니다. RMSE 계산 버튼을 클릭하여 BCI 정확도가 있는 vCBLE와 BCI 정확도가 있는 X 목표 정확도를 기반으로 두 예측 간의 RMSE를 계산합니다.이제 정확도 대 vCBLE를 클릭하여 모든 참가자에 대한 총 정확도와 총 vCBLE 간의 관계를 관찰합니다. BCI 및 vCBLE의 RMSE를 클릭하여 BCI 정확도 및 vCBLE의 RMSE 곡선을 표시합니다. 하위 ID에서 개별 참가자의 정확도를 예측하려면 주체 ID를 입력합니다.그런 다음 대상 번호 N을 선택하고 예측을 클릭하여 테스트 참가자의 예상 정확도를 가져옵니다.CBLE 성능 추정 그래픽 사용자 인터페이스를 엽니다. 드롭다운 메뉴에서 데이터 세트 형식 선택을 클릭하고 BCI2000 옵션을 선택합니다. 입력 폴더 선택 버튼을 클릭하여 EEG 데이터 세트의 디렉터리를 선택합니다.추정을 위한 참가자 수를 입력합니다. 데시메이션 값을 선택하고 CBLE 창에서 원본을 지정합니다. 그런 다음 문자 번호 X를 선택합니다.그런 다음 ID 길이 필드에 데이터 세트 파일의 주체 ID 길이를 입력합니다.채널 ID 필드에 분석을 위한 총 채널 수 또는 특정 채널 번호를 표시합니다. 데이터 형식을 확인한 후 학습 및 테스트 파일 이름을 지정합니다. BCI2000 데이터 세트에서 테스트 파일을 확인합니다.그런 다음 테스트 파일 번호 필드에 테스트 파일 번호를 입력합니다. 이제 실행을 클릭하고 체크리스트의 모든 매개변수가 선택될 때까지 기다립니다. 그런 다음 정확도 대 vCBLE를 클릭하여 모든 참가자에 대한 총 정확도와 총 vCBLE 간의 관계를 관찰합니다.마지막으로 BCI 및 vCBLE의 RMSE를 클릭하여 BCI 정확도 및 vCBLE의 RMSE 곡선을 표시합니다. braininvaders 데이터 세트에 대해 vCBLE에 대해 표시된 BCI 정확도 간에 강한 음의 상관 관계가 관찰되었습니다. 다양한 테스트 데이터 세트 크기에 대해 그래프를 작성한 vCBLE의 RMSE는 vCBLE가 BCI 정확도보다 더 나은 성능을 발휘한다는 것을 보여주었습니다.vCBLE는 단 7개의 문자로 BCI 정확도를 예측할 수 있습니다. vCBLE 예측 모델은 특정 실험 패러다임에 대한 vCBLE와 정확도 간의 관계에 대한 회귀 모델을 구축하는 데 10명의 개인이 필요하다는 것을 나타냈습니다. vCBLE 모델은 당일 훈련 및 테스트 데이터 세트를 통해 미시간 데이터 세트에 대해 더 나은 성능을 보여주었습니다.미시간 데이터를 사용하여 vCBLE 및 정확도 모델에 대해 3일 동안 계산된 평균 RMSE는 테스트에 6자 미만이 포함된 경우 vCBLE 적합치의 RMSE가 더 낮다는 것을 보여주었습니다. vCBLE 정확도의 RMSE는 3자에서 최적 수까지 0.025만 떨어지며, 이는 작은 테스트 세트에서 3자를 초과하는 이득이 거의 없음을 시사합니다. 이 작업에서는 간단한 선형 회귀를 사용하지만 CBLE는 특징 추출, 특징 선택 및 분류기의 시간 종속 조합으로 계산할 수 있습니다.CBLE를 사용하여 테스트 세트에 필요한 데이터를 줄였습니다. 다른 실험실에서는 자극과 관련 뇌 반응 사이의 가변 잠복기를 조사하는 데 사용했습니다.

p300-based-brain-computer-interface-speller-performance-estimation

Research

연구

JoVE Journal

Neuroscience

신경과학

이 프로토콜은 배우와 대본이 없는 사회적 상호 작용 중에 자유롭게 행동하는 유아의 의도를 신경 해독하기 위한 새로운 방법론을 제시합니다. 신경 활동은 비침습적 고밀도 활성 두피 뇌파검사(EEG)를 사용하여 획득합니다. 운동학적 데이터는 관성 측정 장치로 수집되고 동기화된 비디오 녹화로 보완됩니다.

인간의 유아를 자유롭게 행동의 사회적 상호 작용하는 동안 의도 모드의 신경 디코딩에 소설 실험 및 분석 접근

이 실험을 통해 의식 장애를 가진 사람들의 의식을 감지할 수 있습니다. 또한 이 접근 방식은 사람들이 질문에 대해 간단한 예/아니오 답변을 제공할 수 있는 간단한 커뮤니케이션 채널을 만들 수 있습니다.

의식 불명의 사람들을위한 평가와 의사 소통

이 백서에서는 소비자 등급 장비와 정상 상태의 시각적 유발 잠재력에 의존하여 뇌-컴퓨터 인터페이스를 구축하는 방법에 대해 설명합니다. 이를 위해 건식 전극을 활용하는 단일 채널 뇌파계가 자극 표현 및 출력 데이터 시각화를 위해 증강 현실 안경과 통합되었습니다. 최종 시스템은 비침습적, 웨어러블 및 휴대용이었습니다.

산업 및 의료를 위한 단일 채널 및 비침습적 웨어러블 뇌-컴퓨터 인터페이스

이 연구의 목적은 뇌졸중 후 상지 운동 기능 장애에 대한 운동 영상 뇌-컴퓨터 인터페이스(MI-BCI)의 표준 임상 작동에 대한 중요한 참고 자료를 제공하는 것입니다.

뇌졸중 후 상지 운동 기능 장애의 재활을 위한 운동 이미지: 뇌-컴퓨터 인터페이스

가상 현실 환경에서의 운동 이미지는 뇌-컴퓨터 인터페이스 시스템에 광범위하게 응용됩니다. 이 원고는 가상 현실 환경에서 참가자가 상상한 동작을 수행하는 참가자와 유사한 개인화된 디지털 아바타를 사용하여 몰입감과 신체 소유 의식을 향상시키는 방법을 설명합니다.

가상 현실 지원 뇌-컴퓨터 인터페이스 환경에서 구현된 디지털 트윈을 통한 모터 이미지 성능

본 연구는 뇌졸중 환자를 위한 뇌-컴퓨터 인터페이스(BCI) 시스템을 소개하고 있으며, 이 시스템은 뇌파검사와 전기굴절 신호를 결합하여 상지 로봇 손을 제어하여 일상 활동을 향상시킵니다. 이 평가는 BeBiTS(Berlin Bimanual Test for Stroke)를 사용했습니다.

뇌졸중 환자의 일상 활동을 향상시키기 위한 뇌-컴퓨터 인터페이스 제어 상지 로봇 시스템

본 연구는 운동 영상 EEG 디코딩을 위한 시공간-시간-주파수 EEG 분석 도구(STFEEG)를 구현하기 위한 표준화되고 재현 가능한 프로토콜을 제시하며, 구성 가능한 시공간 주파수 분할, 공통 공간 패턴(CSP) 기반 특징 추출, 다중 분류 알고리즘 및 시각화 기능을 포함합니다.

STFEEG-도구: 운동 영상 뇌-컴퓨터 인터페이스를 위한 시공간-시간-주파수 EEG 분석 도구

우리의 연결을 제어 일반적인 원리를 조사하기 위해 폐루프 플라이 - 기계 인터페이스를 사용합니다.

뇌 - 기계 인터페이스의 폐쇄 루프 성능을 연구하기 위해 실험 플랫폼

두뇌에 모두 hemodynamic 및 electrophysiological 프로세스에 무중력 상태와 hypergravity의 효과는 뇌파와 NIRS 기술에 의해 포물선 비행 중 뒤에 될 것입니다. 타당성 중간 장기 우주 비행 중 수행 계획입니다 좀 더 복잡한 실험의 연구.

브레인 두피 기능 및 변경 중력 조건 중 Neurocognitive 성능 사이의 일관성

절차는 뇌파, electromyogram, 그리고 뇌성 젖산 농도를 모니터링하는 동안 optogenetically 뇌성 대뇌 피질의 피라미드 뉴런의 활동을 조작하기위한 설명되어 있습니다. 사람들이 자연 수면 / 웨이크주기를 받아야 동안 실험 녹음 케이블 테 더링 마우스에 수행됩니다. Optogenetic 장비는 우리의 실험실에서 조립, 녹화 장비는 상업적으로 사용할 수 있습니다.

동시 Electroencephalography, 설치류 대뇌 피질의 젖산 농도와 Neuronal 활동 Optogenetic 조작의 실시간 측정

학습하세요 CBLE 기반 P300 스펠러 BCI 정확도 예측 방법을 MATLAB GUI와 선형 회귀 분석을 활용하여 소량의 문자 데이터로 실시간 뇌-컴퓨터 인터페이스 성능을 효율적으로 평가하는 기술을.

분류기 기반 대기 시간 추정을 사용한 P300 기반 뇌-컴퓨터 인터페이스 맞춤법 검사기 성능 추정

더 많은 동영상 탐색