크로스 모달 변수 패턴 분석

다음 실험의 목표는 기능적 MRI 데이터의 다변량 패턴 분석을 사용하여 인간 뇌의 다중 모드 처리를 조사하는 것입니다. 이것은 먼저 특정 종류의 감각 자극을 생성함으로써 달성되며, 이는 단일 감각 양식을 통해 피험자에게 제시됩니다. 예를 들어, 시각적이지만 다른 양식에서 강한 연관성을 암시합니다.

예를 들어, 청각은 피험자가 그러한 자극을 인식하는 동안 연상의 양상과 관련된 뇌 부분의 신경 활동을 감지합니다. 이 예에서 청각 피질은 FMRI를 사용하여 기록되었습니다. 기록된 활동은 피험자가 원래 양식에서 인식한 여러 자극을 예측하는 것을 목표로 다변량 패턴 분석을 사용하여 분석됩니다.

결과는 하나 이상의 양상과 관련된 정보를 포함하는 단일모드 자극이 제시되는 양상이 아닌 다른 양상(modality)의 초기 감각 피질에서 내용 특정 신경 활동을 유도할 수 있음을 보여줍니다. 오늘 소개하는 기법인 Crossmodal 다변량 패턴 분석은 기존의 다변량 패턴 분석의 자연스러운 확장으로, 감각 STEMI가 감각 양상 내에서가 아니라 전체적으로 분류된다는 차이점이 있습니다. 우리는 20여 년 전에 Demio가 도입한 신경 구조 프레임워크에 대한 경험적 증거를 생성하려고 할 때 이 방법에 대한 아이디어를 처음 얻었습니다.

이 비디오에서는 다변량 패턴 분석 또는 줄여서 MVPA의 기술적 측면뿐만 아니라 이 이론적 프레임워크도 소개합니다. 먼저 MVPA와 기존 일변량 FMRI 분석의 몇 가지 주요 차이점을 지적하겠습니다. 다음과 같은 점들을 생각해 볼 수 있습니다.

예를 들어, 피험자에게 사과와 오렌지와 같은 두 가지 다른 시각적 자극이 제시되면 여러 시도에서 평균화된 두 자극 모두 특정 신경 활동 패턴을 유도합니다. 여기에서 6개의 가상 복셀의 활성화 수준으로 상징된 1차 시각 피질에서. 기존 FMRI 분석에서는 기본적으로 이러한 패턴을 분석하는 두 가지 방법이 있습니다.

첫 번째는 전체 관심 영역에서 자극이 유도한 평균 활동 수준을 비교하는 것입니다. 그러나 평균 간의 차이는 크지 않을 수 있습니다. 두 번째 방법은 각 복셀에 대한 빼기 대비를 설정하는 것입니다.

사과 상태 동안의 활성화 수준은 주황색 상태 동안의 활성화 수준에서 차감되며, 각 복셀에 대한 결과 차이는 전체 뇌 대비 이미지에서 시각화할 수 있습니다. 그러나 다시 말하지만, 이러한 차이는 작을 수 있으며 몇 개의 복셀에 대해서만 필요한 통계적 기준에 도달할 수 있습니다. 그러나 일변량 분석 방법과 달리 MVPA는 모든 복셀의 활성화 수준을 동시에 고려하여 복셀 내의 패턴을 감지할 수 있습니다.

활성화 차이 중 일부만이 단독으로 유의미할 수 있지만, 두 패턴 전체를 고려했을 때 두 패턴은 실제로 통계적으로 다를 수 있습니다. 기존 FMRI 분석과 MVPA의 또 다른 주요 차이점은 후자의 방법이 역 추론이라고 하는 것을 사용한다는 것입니다. 기존의 FMRI 분석에서 연구자는 일반적으로 두 가지 다른 시각적 자극에 대한 질문을 합니다.

예를 들어, 얼굴 사진과 집 사진은 방추형 얼굴 영역과 같은 특정 관심 영역에서 다른 활동 수준으로 이어집니다. 이와는 대조적으로, MVPA는 일반적으로 역추론 또는 디코딩으로 표현되며, 특정 뇌 영역의 신경 활동 패턴을 기반으로 피험자가 두 가지 시각적 자극 중 어느 것을 인지했는지 예측할 수 있는지 묻습니다. 그러나 통계적 관점에서 볼 때, 두 가지 자극이 주어진 뇌 영역에서 뚜렷한 활동 패턴으로 이어진다고 말하는 것과 그 뇌 영역의 활동 패턴이 유도 자극을 예측할 수 있다고 말하는 것과 같다는 점에 유의하는 것이 중요합니다.

즉, MVPA의 민감도는 역방향으로 진행하기 때문이 아니라 여러 복셀을 동시에 고려하기 때문에 일변량 분석의 민감도보다 우수합니다. 앞의 예로 돌아가서, 사과를 보는 것이 오렌지를 보는 것과 다른 1차 시각 피질의 신경 활동 패턴을 유도하는지 여부를 평가하는 일반적인 MVPA 패러다임을 고려해 보겠습니다. 첫 번째 단계에서, 피험자가 많은 수의 자극이 구별되는 것을 보는 동안 FMRI 데이터가 기록됩니다.

그런 다음 수집된 데이터는 학습 데이터 세트와 테스트 데이터 세트로 나뉩니다. 훈련 세트의 데이터는 패턴 분류기에 입력되며, 이 분류기는 두 가지 유형의 시행을 서로 구별하는 신경 패턴의 특징을 감지하려고 시도합니다. 다음으로, 분류기는 테스트 세트에서 레이블이 지정되지 않은 데이터와 함께 제공되며 학습 데이터 세트에서 감지된 패턴을 기반으로 각 자극에 대한 각 테스트 시도에 가장 가능성이 높은 레이블을 부여합니다.

그런 다음 분류기 추측을 올바른 자극 레이블과 비교하고 분류기 성능을 올바른 추측의 백분율로 계산합니다. 예제에서 보았듯이 분류기는 12가지 사례 중 9가지 경우 또는 75%를 확률 성능으로 올바른 자극 레이블을 줄입니다. 이러한 양방향 변별은 50%가 될 것입니다.이것은 주황색과 사과 자극에 의해 V에서 유도되는 신경 패턴 사이에 실제로 일관된 차이가 있음을 시사합니다.

물론 이 결과의 중요성은 통계적으로 입증되어야 합니다. 이러한 분류 실험에서 명심해야 할 한 가지 중요한 문제는 훈련 및 테스트 데이터 세트가 서로 완전히 독립적이라는 것인데, 이 경우에만 훈련 세션 중에 학습된 패턴의 일반화 가능성에 대한 결론을 도출할 수 있기 때문입니다. 이러한 이유로 MVPA 패러다임은 종종 소위 교차 검증 패러다임을 사용합니다.

이 절차는 주어진 데이터 세트에서 얻을 수 있는 교육 및 테스트 시도의 수를 최대화하는 역할을 하지만, 동시에 개별 분류 단계에서 학습 및 테스트 세트가 겹치지 않도록 합니다. 8개의 기능 실행이 있는 다음 MVPA 실험을 고려합니다. 첫 번째 교차 검증 단계에서 분류자는 런 1부터 7까지의 데이터에 대해 훈련되고 런 8의 데이터에 대해 테스트됩니다.

두 번째 단계에서 분류자는 런 1부터 6까지, 런 8에서도 학습된 후 런 7에서 테스트됩니다. 이 스키마에 따라 8개의 교차 유효성 검사 단계가 수행되며 각 실행은 테스트 실행으로 정확히 사용됩니다. 각 교차 검증 단계에 대해 분류기 성능을 얻고 이러한 결과를 평균화하면 전체 성능을 얻을 수 있습니다.

인터넷에는 pi MVPA 및 Princeton Neuroscience Institute에서 제공하는 도구 상자와 같은 MVPA를 수행할 수 있는 무료 소프트웨어 패키지가 있습니다. 방금 설명한 것과 같은 실험적 패러다임은 대뇌 피질의 해당 부분에서 신경 활동으로 인한 지각 자극을 예측하는 데 성공적으로 사용되어 왔으며, 예를 들어 시각 피질 또는 청각 자극의 활동을 기반으로 시각적 자극을 예측하는 데 사용되었습니다. 청각 피질의 활동을 바탕으로, 우리는 이제 지각 자극이 양상 내에서뿐만 아니라 양상 전반에 걸쳐 예측된다는 이 기본 개념의 확장을 소개하고자 합니다.

우리의 아이디어는 지각이 기억의 회상과 복잡하게 연결되어 있다는 사실에 근거합니다. 예를 들어, 유리 바닥이 땅에서 산산조각이 나는 장소와 같이 강한 청각적 함의를 가진 시각적 자극이 있습니다. 그것은 우리 마음의 귀에서 우리가 이전에 깨진 유리를 만났을 때 경험했던 청각적 이미지와 유사한 청각적 이미지를 자동으로 촉발시킬 것입니다.

1980년대 후반 테오(Theo)가 도입한 프레임워크에 따르면, 산산조각이 나는 기지 부위와 해당 소리 사이의 기억 연관성은 짧은 수렴을 위한 소위 수렴 발산 영역(convergence divergence zones) 또는 CD에 저장된다. 발산 영역은 감각 시스템의 다양한 계층 수준에 위치한 뉴런의 앙상블로 개념화됩니다. 이름에서 알 수 있듯이.

각 레벨의 CD는 하위 피질과 턴에서 수렴하는 상향식 투영을 받습니다. 그들은 수렴하는 상향식 투영으로 인해 동일한 하위 피질로 발산하는 하향식 투영을 다시 보냈습니다. CD는 여러 양식의 지각적 표현에 의해 활성화될 수 있는데, 예를 들어, 발산하는 하향식 투영으로 인해 현장과 산산조각이 나는 기반 소리에 의해 활성화될 수 있습니다.

그런 다음 그들은 추가 양식의 초기 감각 피질로 다시 신호를 보내 관련 이미지의 재구성을 촉진할 수 있습니다. 활성화 순서는 순전히 시각적이지만 이 프레임워크에 따라 자극이 유도될 것임을 암시하는 소리로 간주합니다. 이 자극은 먼저 수렴 상향식 투영을 통해 초기 시각 피질에서 신경 활동의 특정 패턴을 유도합니다.

초기의 시각 피질은 CD의 첫 번째 수준인 CDZ를 활성화합니다. 해당 초기 피질 부문의 정확한 활동 패턴에 따라 CDZ가 활성화될 수도 있고 비활성 상태로 유지될 수도 있습니다. CDZ 1은 cdz 1이 감지된 대로 cdz 2로 위쪽으로 투영됩니다.

초기 시각 피질의 활동 패턴, cdz twos는 cdz ones 사이의 활동 패턴을 감지하고, 여러 cdz twos가 활성화될 수 있지만, 단순화를 위해 여기서는 하향식 투영을 통해 하나만 묘사합니다. Cdz는 동시에 c, DZ, CDZ, twos의 몇 가지 추가 수준을 통해 초기 시각 피질의 활동 패턴을 완료할 수 있습니다. CDZ로 향하는 Twos 프로젝트는 다중 모드 연관으로 끝납니다. 피질.

다시 말하지만, 여러 CDZ 끝이 활성화될 수 있지만 단순성을 위해 하나만 표시됩니다. 다시 말하지만, CD Z 2는 또한 CDZ 2로 역방향으로 신호를 보내며, 이는 다시 초기 시각 피질에서 원래 유도된 패턴을 더 변형시킬 수 있습니다. CDZ는 신호를 모든 양식의 CZ 2로 다시 종료합니다.

청각 피질에서는 신경 패턴이 구축되어 피험자가 시각적으로 제시된 자극과 관련된 청각 이미지를 마음의 귀로 경험할 수 있습니다. 체성 감각 양식에 대한 묘사된 하향식 신호는 거의 모든 시각적 자극이 일부 촉각적 연관성을 암시한다는 사실을 반영합니다. 따라서 프레임워크는 시각적 자극을 암시하는 소리가 신경 활동의 내용 특정 패턴으로 이어질 것이라고 예측합니다.

초기 청각 피질에서. 따라서 MVPA를 사용하여 이 신경 패턴을 분석하면 피험자가 본 시각적 자극을 암시하는 여러 소리 중 어떤 것을 예측할 수 있어야 합니다. 첫 번째 실험에서 피험자들은 소리를 암시하는 물체와 사건에 대한 9개의 다른 비디오 클립을 시청하는 동안 초기 청각 피질의 신경 활동을 기록했습니다.

이 실험에서 관심 영역은 1차 청각 피질과 매우 이른 청각 연관 피질로 구성된 Semal 평면의 제한된 영역이었습니다. 두 번째 실험에서는 피험자들이 접촉을 암시하는 5개의 다른 비디오 클립을 보는 동안 1차 체성 감각 피질에서 신경 활동을 기록했습니다. 이 실험에서 관심 영역은 중심후 회랑(postcentral gyrus)에 위치한 1차 체성 감각 피질(primary somatosensory cortex)로 구성되었습니다.

두 연구 모두 청각 연구에 참여한 8명의 피험자를 대상으로 했습니다. MVPA 분류기는 자극 쌍 간의 가능한 모든 양방향 차별에 대해 50%의 확률 수준 이상을 수행했습니다. 36개 판별 중 26개에서 분류기 성능이 확률 수준인 0.5와 유의하게 달랐습니다.

마찬가지로, 체성 감각 연구에서 분류자는 모든 양방향 차별에서 우연을 능가했으며, 10개의 차별 중 8개가 통계적 유의성에 도달했습니다. 보시다시피, 교차 모드 다변량 패턴 분석을 사용하여 소리나 촉각을 암시하는 시각적 자극에 대한 인식이 앞서 소개한 이론적 틀에 따라 초기 청각 및 체성 감각 피질에서 내용 특정 신경 표현으로 이어진다는 것을 입증할 수 있었습니다. 분명히, 우리가 제시한 실험 패러다임은 우리 자신의 실험과 관련된 양상에 국한될 필요가 없으며, 다른 감각 양상으로도 확장될 수 있다.

따라서 우리는 다른 그룹들이 환경으로부터 다중 모드 자극을 가져오는 방법에 대한 지식을 넓히기 위해 이러한 종류의 연구를 확장하는 데 동참하기를 희망합니다.