다용적 패턴 분석으로 청각 이미지 디코딩

청각적 이미지는 외부 청각 자극이 존재하지 않을 때에도 소리를 듣는 경험을 유발하는 과정입니다.

예를 들어, 휴대 전화가 울리는 소리를 듣는 것을 생각해 보십시오. 기억 속의 정보가 이 상상의 사건의 기초가 되는 반면, 증거에 따르면 개인의 뇌는 실제 인식에 관여하는 것과 동일한 메커니즘을 상상력에 사용합니다.

울림을 상상하는 것만으로도 청각 피질 내의 영역이 활성화됩니다. 그러나 이것이 음향 자극 전반에 걸쳐 사실이라 할지라도, 초인종 소리와 라디오에서 재생되는 노래를 구별하는 것과 같이 뚜렷한 소리를 세부적으로 처리할 수 있도록 소리를 인코딩하는 방법은 중요한 질문입니다.

Meyer와 동료들의 이전 연구를 기반으로 한 이 비디오는 뇌가 청각 이미지에 어떻게 반응하는지 조사하기 위해 기능적 자기 공명 영상(fMRI)과 다양한 무음 비디오의 프레젠테이션을 결합하는 방법을 보여줍니다.

또한 다중 복셀 패턴 분석이라는 방법을 사용하는 방법에 대해서도 설명합니다. 줄여서 MVPA는 fMRI 세션 동안 얻은 활성화 패턴을 분석하여 피험자가 상상한 것을 예측합니다.

이 실험에서 참가자들은 fMRI 스캐너에 누워 일련의 무음 비디오를 보여줍니다. 수탉이 우는 소리, 나무를 자르는 전기톱, 피아노를 치는 사람 등 각각은 독특하고 생생한 청각적 이미지를 불러일으키며, 모든 프레젠테이션에서 소리를 상상하도록 요청받습니다.

이미징 획득 절차는 희소 시간 샘플링에 의존하며, 이를 통해 각 자극이 제시된 후 4-5초 후에 단일 fMRI 볼륨을 획득합니다. 이러한 타이밍은 혈류역학적 반응의 피크를 캡처하고 신호가 스캐너 노이즈에 의해 가려질 가능성을 줄입니다.

상상하는 각 소리는 특히 청각 피질에서 미묘하면서도 독특한 신경 활동 패턴을 유도할 것으로 예상됩니다. 여기서 패턴이 핵심 단어입니다: 이러한 데이터를 분석하는 고전적인 방법은 일변량 접근 방식을 사용하는데, 여기서 특정 수준의 활성화를 나타내는 개별 복셀을 단일 평균으로 축소합니다.

그런 다음 이러한 값을 사운드 간에 비교하고 활성화 수준에서 큰 차이를 생성하지 않을 수 있습니다.

대신, 다변량 분석을 사용하여 각 소리에 대해 여러 복셀이 배치되고 활성화 수준을 집합적으로 비교할 수 있으며, 모든 복셀에 걸쳐 상상하는 각 소리에 대한 고유한 전체 패턴에 기여할 수 있습니다.

이 다중 복셀 패턴 분석 또는 MVPA 접근 방식을 사용하면 패턴이 실제로 특정 콘텐츠에 민감한 경우 원래 자극을 예측하는 데 사용할 수 있습니다. 그렇죠? MVPA는 종종 마음을 읽는 기술이라고 합니다!

이 예측 측면을 달성하려면 참가자를 수집한 후 더 집중적인 처리를 수행해야 합니까? 데이터는 학습 및 테스트 세트로 나뉩니다.

학습 집합의 레이블이 지정된 데이터는 먼저 기계 학습 계산, 특히 Support Vector Machine 알고리즘의 적용을 받습니다. 이 프로세스는 세 가지 유형의 소리를 서로 구별할 수 있는 신경 패턴의 특징을 인식하여 데이터를 정확하게 분류하는 데 사용됩니다.

분류기가 유형을 정확하게 식별하기 위한 기능을 학습한 후 테스트 세트에서 레이블이 지정되지 않은 데이터가 표시되고 해당 추측은 올바른 자극 레이블과 비교됩니다.

이 경우, 분류 성능은 분류기의 정확도로 기록된 종속 변수로 작용하며, 이는 전두극과 같은 뇌의 다른 위치에서 유발된 복셀과도 비교됩니다.

분류기는 청각 이미지의 식별을 예측할 것으로 예상되며, 이는 청각 피질 내에서 콘텐츠 특정 활동을 감지하는 데 있어 MVPA의 중요성을 밝힙니다.

실험 및 안전 문제에 따라 모든 참가자가 오른손잡이인지, 시력이 정상이거나 정상으로 교정되었는지, 신경 장애나 밀실 공포증의 병력이 없는지, 신체에 금속이 없는지 확인합니다. 또한 필요한 동의서를 작성하도록 합니다.

계속하기 전에, 마음속으로 소리를 불러일으킬 수 있는 몇 개의 짧은 무음 비디오를 스캐너에서 보게 될 것이라고 설명합니다. 상상 속의 소리에 집중하고, 가능한 한 최선을 다해 "듣고", 과제가 진행되는 동안 가만히 있으라고 합니다.

이제 참가자가 스캐너에 들어갈 수 있도록 준비합니다. 이러한 단계를 자세히 보려면 이 컬렉션에서 제작된 다른 fMRI 비디오를 참조하십시오.

준비가 끝나면 참가자를 정렬하고 구멍 내부로 보냅니다. 인접한 방에서 먼저 고해상도 해부학 스캔을 수집합니다. 그런 다음 무음 비디오 프레젠테이션의 시작을 기능 스캔의 시작과 동기화합니다.

희소 시간 샘플링을 달성하려면 MRI 볼륨의 획득 시간을 2초로 설정하고 그 사이에 9초 지연을 설정합니다.

중요한 것은 이전 MRI 획득이 영화 중간에 해당하는 혈역학적 활동을 캡처하기 시작한 후 4초 후에 시작하도록 각 5초 비디오 클립의 시작을 조정하는 것입니다.

각 비디오를 무작위 순서로 10번 표시하여 5.5분 동안 지속되는 하나의 스캔 세션을 생성합니다. 이 기능 획득 순서를 세 번 더 반복합니다.

4가지 기능 스캔을 수행한 후 참가자를 스캐너에서 꺼내 보고하여 연구를 마무리합니다.

관심 영역을 정의하려면 각 참가자의 고해상도 해부학적 스캔을 사용하고 측두엽(planum temporale)이라고도 하는 초기 청각 피질(early auditory cortex)에 해당하는 측두엽 표면의 복셀을 추적합니다. 또한 제어 영역으로 사용될 전두엽에 복셀이 포함된 마스크를 만듭니다.

그런 다음 모션 보정을 수행하여 움직임을 줄이고 시간 필터링을 수행하여 신호 드리프트를 제거하여 데이터를 전처리합니다.

다음으로, 데이터를 학습과 테스트의 두 세트로 나눕니다. 하나의 데이터 세트에서 서포트 벡터 머신 알고리즘인 분류기를 훈련하여 각 피험자에 대해 두 뇌 영역의 데이터를 분리하도록 합니다.

다른 세트에서는 분류기가 학습한 내용, 즉 레이블이 지정되지 않은 데이터의 ID를 올바르게 추측하는 능력을 평가하고 실행 전반에 걸쳐 알고리즘의 정확도를 기록합니다. 이 절차를 총 4번 수행하되, 매번 테스트 데이터로 사용되는 기능 스캔 하나를 제외합니다. 이 과정을 교차 검증이라고 합니다.

데이터를 시각화하려면 각 참가자에 대한 4개의 교차 검증 폴드에서 평균 분류기 정확도를 그래프로 표시합니다.

주요 관심 영역인 편평한 측두엽(planum temporale)과 제어 영역인 전두엽(frontal pole)에 대한 이러한 평균을 표시하여 분류기(classifier)의 초점 특이성(focal specificity), 즉 청각 피질(auditory cortex)과 같은 특정 영역이 청각적 상상력에 관여할 것으로 선택적으로 예측되는 정도를 비교합니다.

이 경우 비모수 통계량인 Wilcoxon Signed-Rank 검정을 실행하여 우연(33%)에 대한 성과를 검정합니다. 청각 피질의 평균 분류기 정확도는 59%였으며, 이는 우연 수준과 크게 다릅니다.

반면, 정면 폴 마스크의 평균 성능은 33%로 우연과 크게 다르지 않았습니다.

또한 분류기 성능이 개인에 따라 다르다는 점에 유의하십시오. 순열 테스트를 사용하여 42%의 새로운 통계적 임계값을 계산한 후, 20명의 피험자 중 19명이 편평 측두엽의 복셀을 사용하여 이 수준보다 훨씬 높은 정확도 값을 가졌던 반면, 전두극의 복셀을 사용하여 우연보다 더 높은 성능을 보인 사람은 아무도 없음을 확인하십시오.

전반적으로 이러한 결과는 MVPA 기술이 신경 활동 패턴을 기반으로 참가자가 상상하는 세 가지 소리 중 어떤 것을 정확하게 예측했음을 의미합니다. 이러한 예측은 청각 피질 내에서만 이루어졌으며, 이는 음향 내용이 뇌 전체에 걸쳐 전 세계적으로 표현되지 않는다는 것을 시사합니다.

이제 청각 이미지를 연구하기 위해 다중 복셀 패턴 분석을 적용하는 방법에 대해 알아보았으니, 신경 심리학자들이 어떻게 다변량 기법을 사용하여 다른 영역에서 정신 상태의 해독인 마인드 리딩에 대한 미래주의적 접근 방식을 발전시키는지 살펴보자.

분류기는 복부 측두엽 피질에서 얻은 fMRI 데이터에 사용되어 참가자가 집과 얼굴을 구별하는 등 본 물체의 종류를 예측했습니다.

이것을 한 단계 더 나아가면, 개인이 그 집을 살 것인지 아니면 그 사람이 즐겁다고 생각할 것인지 예측하는 것도 가능합니다. 소름 끼치게 들리겠지만, 이러한 뉴로마케팅의 함의는 그리 먼 이야기가 아닙니다!

동일한 접근 방식을 사용하여 쇼를 본 후 무서운 영화가 실제로 무섭다는 것을 인식하거나 영화 장르를 감지하는 데 사용할 수도 있습니다. 예를 들어, 무서운 영화는 전전두엽 피질(prefrontal cortex)을 안정적으로 관여시키는 명상적인 영화보다 편도체를 더 예측 가능하게 관여시킬 수 있습니다.

또한 뇌-컴퓨터 인터페이스는 정신 상태를 신호로 변환하여 언어 치료를 받는 개인의 경우 사지 절단으로 고통받는 사람들을 위해 의사 소통을 향상시킬 수 있습니다.

당신은 방금 멀티 복셀 패턴 분석을 사용하여 청각 이미지를 이해하는 JoVE의 비디오를 보았습니다. 이제 기능적 신경 영상과 함께 청각 이미지 실험을 설계하고 수행하는 방법과 마지막으로 뇌 활동의 특정 패턴을 분석하고 해석하는 방법을 잘 이해해야 합니다.

시청해 주셔서 감사합니다!