크로스 모달 변수 패턴 분석

Summary

고전 복수 변수 패턴 분석 피사체가 해당 cortices (시각 피질의 활동의 예 시각적 자극)의 신경 활동의 인식 감각 자극을 예측합니다. 여기, 우리는 상호 modally 패턴 분석을 적용하고 표시 그 소리와 터치 뜻 시각적 자극이 것은 각각 청각과 somatosensory cortices의 활동에서 예측할 수 있습니다.

Abstract

복수 변수 패턴 분석 (MVPA)은 기능적 자기 공명 영상 (fMRI) 데이터 ^1-4 분석 점점 많이 쓰이는 방법입니다. 일반적으로 메서드는 두뇌의 특정 지역에서 신경 활동 주제의 지각 경험을 식별하는 데 사용됩니다. 예를 들어, 그것은 피사체가 초기 청각 cortices ⁶ 활동 연설의 내용, analogously, 초기 시각 cortices ⁵ 활동이나 인식 시각 통같이의 방향을 예측하는 채용되었습니다.

여기서 우리는 지각 자극은 이내지만, 감각 시스템에서 예측되지 않은 어떤에 따르면, 전통적인 MVPA 패러다임의 확장을 제시. 특히, 우리가 설명하는 방법은 그들이 제시하는 통해서가 아닌 다른 modalities에서 메모리 연결을 보여주고 자극이 그 다른 modalities의 감각 cortices 콘텐츠 관련 활동 패턴을 유도하는지 여부의 문제를 해결합니다.초기의 특정 신경 활동 패턴과 상관있는 "마음의 귀에"이 이미지의 경험, 예를 들어, 바닥에 산산조각 유리 꽃병의 음소거 비디오 클립을보고하면 자동으로 대부분의 관측에 관련된 소리의 청각 이미지가 트리거 청각 cortices? 피사체가 짖는 강아지의 비디오 클립을보고, 대신이라면 또한, 관찰 될 수있는 패턴에서 뚜렷한 활동이 패턴인가?

이전의 두 연구 ^7,8에서, 우리는 예측할 수 있었던 사운드와 터치 뜻 각각 초기 청각과 somatosensory cortices의 신경 활동을 기반으로 비디오 클립. 우리의 결과는 어떤에 따르면, Damasio ^9,10 제안한 neuroarchitectural 프레임 워크 라인에 추억을 기반으로하는 정신 이미지의 경험 - 등 해당 동영상을보고시 "마음의 귀에"에 꽃병을 깜짝 놀라게 할 소리를 듣기로 클립 - 콘텐츠의 다시 공사에서 지원특정 초기 감각 cortices에서 신경 활동 패턴.

Protocol

1. 소개

복수 변수 패턴 분석 (MVPA)은 기능적 자기 공명 영상 (fMRI) 데이터 ^1-4 분석 점점 많이 쓰이는 방법입니다. 일반적으로 메서드는 두뇌의 특정 지역에서 신경 활동 주제의 지각 경험을 식별하는 데 사용됩니다. 예를 들어, 그것은 피사체가 초기 청각 cortices ⁶ 활동 연설의 내용, analogously, 초기 시각 cortices ⁵ 활동이나 인식 시각 통같이의 방향을 예측하는 채용되었습니다. 이 비디오 문서에서, 우리는이 기본 내부 모달 패러다임에 추가 트위스트를 추가 MVPA의 소설 응용 프로그램을 설명합니다. 이 방법에서는, 지각 자극이되지 이내지만, 감각 시스템에서 예측하고 있습니다.

2. 복수 변수 패턴 분석

지금 쯤이면 MVPA 방법이 잘 neuroimaging 영역 내에 설립 있지만, 우리는 pointi에 의해 시작됩니다MVPA 일반, univariate fMRI 분석 사이의 주요 차이점 밖 NG. 이를 위해 두 가지 방법이 간단한 영상 작업 (동안 시각 피질의 신경 활동을 조사에 대해 가지 방법 다음 예제 고려 비디오 클립 1 )

1. 주제는 예를 들어, 두 개의 서로 다른 시각적 자극, 오렌지와 사과의 이미지의 이미지와 함께 제공됩니다.
2. 두 자극은 여섯 hypothetic voxels의 활성화 수준으로 여기 상징 기본 시각 피질의 신경 활동의 특정 패턴을 유도. (물론, 활동 패턴의 오렌지 또는 현실에서 사과 이미지의 단일 프레 젠 테이션에 의해 유도된 아주 시끄러운 것입니다, 재판의 많은 인한 평균으로 그림 패턴을 고려하십시오.)
3. 기존의 fMRI 분석에서는 이러한 패턴을 분석할 수있는 본질적으로 두 가지가 있습니다. 첫째, 하나는 평균 leve에 집중할 수관심의 전체 영역에 걸쳐 활동 리터.
4. 주어진 예제에서, 평균 활동 수준의 차이는 두 자극에 해당하는 패턴보기이 시점에서 구별되지 않을 수 있도록, 중요하지 않습니다.
5. 두 패턴을 분석하는 또 다른 방법은 그들 사이에 빼기 명암을 수립하는 것입니다 : 각 voxel에 대해, "사과"상태 동안 활성화 수준은 "주황색"상태 동안 활성화 수준에서 빼서 수 있습니다. 그 결과 차이는 다음 전체 - 뇌 대비 이미지의 각 voxel에 대한 시각하실 수 있습니다.
6. 다시 그러나 이러한 차이는 작은 수 있으며에만 거의 voxels에 필요한 통계 기준에 도달할 수 있습니다.
7. MVPA의 결정적인 장점은 게임에 오는 곳이야 : 우수한 전원 univariate 분석 방법과는 달리, 그것이 동시에 모든 voxels의 활성화 수준을 고려하기 때문에 그들 내의 패턴을 감지할 수있는, 사실에서 유래. mentione로, 반면D의 활성화 차이의 단지 몇 가지가 격리 고려하면 상당한 수 있습니다, 그들의 전체 고려 두 패턴은, 다른 통계에 의해 실제로 수 있습니다.

기존의 fMRI 분석 및 MVPA (사이의 두 번째 큰 차이가 비디오 클립 2 ). 전직 방법은 일반적으로 "앞으로 방식"에 특정 감각 자극과 특정 두뇌 활동 패턴 사이에 통계 종속성을 설명하려는 시도, 즉, 그것은 유형의 질문을 묻습니다 : "윌 예 : 두 개의 다른 시각적 자극, 얼굴의 사진 그리고 집안의 그림, 관심의 특정 지역에서 다양한 활동 수준으로 이끌어, fusiform 얼굴 영역을 예? " 대조적으로, MVPA의 성공은 일반적으로 '리버스 추론 "또는"디코딩 "의 관점에서 표현이며 전형적인 질문 유형입니다 :"특정 등록에 신경 활동의 패턴을 바탕으로 관심 이온 (예 : 기본 시각 피질), 하나, 그러나 피사체가 A, 오렌지, 또는 자극 B, 예를 들어 사과 예? "참고 자극을 인식 여부를 예측할 수있는 방향으로하는 지각 자극하고 간의 상관 관계 두뇌 활동이보기의 통계 지점에서 중요하지 않습니다 매핑됩니다 그것은 두 자극이 주어진 뇌 영역에서 별개의 활동 패턴을 리드하고 뇌 영역의 활동 패턴이 유도하는 자극 ¹¹ 예측을 허용한다고 그런 말하는 것과 같습니다 그것이 반대 방향으로 진행 때문에 몇 동시에 voxels, 그리고 고려 때문입니다. 즉, MVPA의 감도는 univariate 분석의에 우수합니다.

다음 단계는 일반적인 MVPA 패러다임이 사과를 보는 것은 오렌지를보고보다 일차 시각 피질의 신경 활동과 다른 패턴을 유도하는지 여부의 질문 (주소 것입니다 방법을 보여줍니다_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> 비디오 클립 3) :

1. 주제가 사과와 오렌지 자극의 많은보고하면서 fMRI 데이터를 찾았습니다.
2. 취득한 데이터는 훈련 데이터 집합 및 테스트 데이터 집합으로 나누어집니다. 현재 예제에서와 달리 훈련 데이터 집합은 종종 분류의 성능이 교육 실험의 번호를 증가 예상 수 있듯이, 테스트 데이터 집합보다 큰 것으로 선택됩니다.
3. 훈련 집합에서 데이터는 패턴 분류에 입력됩니다. 몇 가지 수학적 알고리즘 중 하나를 사용하여 분류 하나를 두 자극 유형을 구별 신경 패턴의 기능을 감지하려고 시도합니다. 일반적으로 (또한 우리 자신의 이전 연구에서) 사용되는 분류의 유형은 지원 벡터 기계 이른바되며 자세한 세부 사항을 위해, 독자는 소개에서 언급한 리뷰라고합니다.
4. 분류가 훈련 재판에서 훈련을받은 후에, 그것은 provid입니다테스트 데이터와 에드. 테스트 데이터 집합에서 각각의 실험은 레이블이 지정되지 않은되며 즉, 분류는 패턴 "사과"또는 "오렌지"재판에서 유래하는지 "알고있다"고하지 않습니다.
5. 그것은 훈련 데이터 집합에 감지할 수있었습니다 consistencies에 따라 분류는 테스트 실험의 각 가장 가능성이 레이블을 속성.
6. 각 패턴은 분류 "추측"은 올바른 자극 레이블과 비교할 수 있습니다.
7. 분류는 두 자극에 의​​해 유발 패턴 사이에 일관성있는 차이를 감지할 수 있었다면, 그 성능이 기회 수준에서해야하며, 예제에서 주어진 양방향 차별에 대한이 50 % 올바른 레이블에 해당하는 것입니다. 이 값을 크게 이상의 예측 성능은 자극의 두 가지 유형 사이의 일관성있는 차이가 실제로있다는 것을 나타냅니다.

그것은 교육 및 시험 데이터 세트가 한 anoth에서 독립하는 것이 중요합니다음. 이 경우 경우에만 모든 결론은 훈련 집합에서 파생 패턴의 generalizability에로 그려질 수 있습니다. MVPA 연구는 종종 교차 검증 패러다임 (를 사용하여 분류기 성능 평가 비디오 클립 4 ). MVPA 실험 여덟명으로 기능 실행으로 구성되어 있다고 가정합니다. 최초의 교차 검증 단계에서 분류가로부터는 1-7를 실행하고 실행 8 데이터에 테스트 데이터에 훈련이다. 두 번째 단계에서 분류는 다음 여섯뿐만 아니라 실행 1-8 실행에 훈련하고, 이후 실행 7 테스트. 이 스키마 다음, 여덟 교차 검증 단계는 각 실행 정확히 한 번 테스트 실행 역할과 함께 진행하고 있습니다. 전체 분류 성능은 각각의 교차 검증 단계에 공연의 평균으로 계산됩니다. 이 절차는 각 단계에 독립적인 교육 및 테스트 데이터 집합을 보장하지만, 그것은 또한 전체 번호를 극대화분류의 성능의 통계적 중요성을 평가 때 시험 시험의 어떤 장점이 될 수 있습니다.

MVPA을 수행하기 위해 인터넷에서 무료로 사용 가능한 소프트웨어 패키지가되며, 두 예제는 PyMVPA ^{12 일} (파이썬으로 만들어집니다 http://www.pymvpa.org 와 프린스턴 신경 과학 연구소 (Matlab 기반으로 제공하는 도구), http:/ / code.google.com / P / 프린스턴 - mvpa - 도구 상자 / ).

3. 크로스 모달 MVPA과 융합 - 발산 영역의 프레임 워크

으로 소개에서 언급 그냥 설명된 것과 같은 실험 패러다임은 Visual cortices 및 청각 자극의 활동에 따라 시각적 자극이 청각 cortices의 활동에 따라, 즉, 해당 감각 cortices의 신경 활동의 지각 자극을 예측하는 성공적으로 사용되었습니다 . 여기, 우리이 기본 개념의 확장을 제시. 특히, 우리는 이내지만, modalities에 걸쳐뿐만 아니라 지각 자극을 예측 가능해야한다는 가상. 감각 인식은 복잡 기억의 기억에 연결되어, 예를 들어, 바닥에 산산조각 유리 화병의 모습으로 강한 청각 의미를 가진 시각적인 자극은 자동으로 우리의 "마음의 귀 '이미지 실행할 것을 공유 유사성 청각 이미지와 함께 우리는 유리를 깨는와 이전 조우를 경험했다. ^9,10 전 Damasio 두 개 이상의 수십년에 의해 도입된 프레임 워크에 따르면, 꽃병의 시력과 해당 사운드 이미지 사이의 메모리 협회는 이른바 수렴 - 발산 지역 (; CDZs에 저장된 비디오 클립 5 ). CDZs 다양한 초기 피질에서 계획을 상향식 수렴받을 협회 cortices에서 신경 세포의 ensembles 아르reas (여러 계층 수준을 통해)와 이것은 차례로, 같은 대뇌 피질의 사이트로 다시 분기하는 하향식 계획을 보냅니다. 수렴 상향식 예측으로 인해 CDZs은 여러 modalities에 지각 표현에 의해 활성화될 수있다 - 예를 들어, 모두 시력 산산조각 꽃병의 소리에 의해, 분기하는 하향식 계획으로 인해, 그들은 다음 재건을 홍보할 수 추가 modalities의 초기 cortices로 다시 신호로 이미지를 관련된. Damasio는 후자 요점을 강조 : 협회 cortices에 CDZs을 활성화하면 메모리에서 이미지의 의식 소환에 대해 충분이 아니라, 한 번만 CDZs 일찍 감각 cortices에 명시 신경 진술을 재구성 것이 이미지가 의식적으로 경험됩니다. 따라서 프레임 워크는 소리를 의미합니다 (순수) 시각 자극에 대한 응답으로 처리 신경의 특정 시퀀스를 예측 ( 비디오 클립을6) :

1. 자극이 먼저 초기 시각 cortices의 신경 활동의 특정 패턴 (빨간색 사각형)을 유도.
2. 수렴 상향식 예측을 통해 초기 영상 cortices의 뉴런은 CDZs (CDZ _한들)의 첫 번째 단계로 앞으로 프로젝트를 만듭니다. 연결의 수렴 패턴은 CDZ _하나의이 초기 시각 cortices의 활동의 특정 패턴을 감지 수 있습니다. 정확한 패턴에 따라 CDZ가되거나 활성화 될 수 없습니다. CDZs 따라서 기능 추출기와 같은 역할을합니다. 세 번째는 초기 시각 cortices의 해당 분야에서 구체적인 활동 패턴에 의해 실행되지 않는 동안이 예제에서는 두 개의 CDZ _한들 (로 붉은 색으로 표시)이 활성화된다.
3. CDZ _한 S는 _CDZ이 s의 수렴 상향식 계획을 보낼하므로, 초기 시각 cortices에서 활동 마찬가지로 CDZ _하나의 감지 특정 패턴, CDZ ₂ S는 CDZ _일 간의 활동의 패턴을 감지할 수 있습니다 CDZ이의가 활성화 CDZ _한의의 구체적인 구성에 의해 활성화 될 수 있으며, 단순 이유로, 단지 하나의 CDZ _2가 여기에 그려져 있습니다. 예제에서는 CDZ _1의 사이의 활동 패턴이 CDZ ₂ 활성화하기 적합합니다.
4. 특히, CDZ _하나의 단지 _CDZ이의 앞으로 프로젝트 않지만 또 다시 초기 cortices (파란색 화살표)에 적용됩니다. 이러한 하향식 신호는 처음 자극 (파란색 사각형)에 의해 유도된 (아마도 시끄러운) 활동 패턴을 완료 수 있습니다. 블루 색상이 하향식 정품 인증을 나타냅니다 동안 일반적으로 붉은 색은 상향식 정품 인증을 나타냅니다.
5. CDZs 여러 추가 단계를 통해 _CDZ이 프로젝트의 기대 CDZ _N s의 높은 주문 협회 cortices에서 (화살표를 점선). 하나 또는 여러 CDZ _N S는 해당 특정 시각 자극 (단 하나의 한 그려져있다)에 응답할 수 있습니다.
6. 다시, 그것은 지적되어야한다는 CDZ _2의 ALS 뒤로 차례로, 더 이상 원래 초기 시각 cortices에서 유도된 패턴을 수정할 수 있습니다 CDZ _한 s의 O 신호.
7. 다시 모든 modalities의 _CDZ이 s의 CDZ _N의 신호. 시각 cortices에서, 이것은 낮은 수준의 CDZs의 활동 패턴의 완성 발생할 수 있습니다. 청각 cortices에서는 신경 패턴이 건설됩니다 - 첫번째 _CDZ이 s와 CDZ _하나의 수준에서, 궁극적으로 초기 청각 cortices에 - 시각 표시 자극과 관련된 청각 이미지의 의식 경험을 허용하는. 하향식 청각 양상에 비해 낮은 정도지만, somatosensory 양상에 신호도있다합니다. 이것은 거의 모든 시각적인 자극이 일부 촉각 협회있다는 사실을 반영합니다. 현재 예제의 시각 자극은 특별히 소리를 암시하는 가정으로하지만, 하향식 청각 cortices에 신호를 더 광범위한 것입니다.

ove_content "> 신경 처리 제안된 순서에 따라, 프레임 워크가 특정 예측을 만듭니다. 개체와 강하게 소리를 암시 이벤트를 포함하는 시각적 자극이 일찍 청각 cortices의 신경 활동을 연상한다 또한, 청각 활동 패턴이 자극 특정되어야합니다; 즉, 산산조각 꽃병의 비디오 클립이 짖는 개를 클립이 아닌 다른 패턴을 유도해야이 예측이 정확했다면, 그때 우리가 실제로 MVPA 교차 modally 수행할 수 있어야합니다 :. 예를 들어, 우리가 할 수있는 게 사람이 산산조각 꽃병이나 짖는 개 (보고 여부를 조기 청각 cortices의 신경 활동 지문에 독점적으로 바탕으로 예측하는 비디오 클립 7 ). 물론, 다른 감각 modalities 간의 정보 전송을 호출 유사한 패러다임도 성공해야합니다. 위해서 예를 들어, 비디오 클립 주제 묵시적인 터치보다는에게 표시하는 경우소리, 우리는 그들이 초기 somatosensory 피질에서 이끌어내는 활동 패턴에서 해당 클립을 예측할 수 있어야합니다.

4. 자극

MVPA 연구의 일반적인 패러다임은 제 2에서 설명했습니다. 우리의 접근 방식은 그것이 감각 시스템에서 MVPA을 수행하기 위해 시도하므로 특별히 그들이 제시하는 것과 다른 감각 양상에 영향을하도록 설계되었습니다 자극을 사용한다는 점에서 이전의 연구와는 다릅니다. 과목 인간의 손에 ⁸ (에 의해 조작되는 일상적인 물체의 5 초 비디오 클립 지켜보는 가운데 한 이전 연구에서, 예를 들어, 우리는 기본 somatosensory 피질의 신경 활동을 기록 비디오 클립 8 및 비디오 클립 9 ). 또 다른 연구에서는, 우리는 초기 청각 cortices whi의 신경 활동을 조사르 과목은 비디오 클립을 본 것을 묘사 개체와 강한 사운드 ⁷ (묵시적인 행사 비디오 클립 10 및 비디오 클립 11 ). 그러나 CDZ 프레임 워크에 따르면, 모든 modalities의 감각 자극은 잠재적으로 오랫동안 그들이 추가로 modalities에 영향을 미칠 수 있으므로,이 일반적인 패러다임에 근무하실 수 있습니다.

5. 관심 지역

일반적으로, neuroimaging 연구 관심의 영역은 어느 기능이나 해부학적인 몸의 구조 결정하실 수 있습니다. 우리는 여기서 설명하는 실험 패러다임에서 해부 localizers은 두 가지 이유에 대한 더 적합합니다 있다고 생각합니다. PE의 처리 첫째로, 기능 특정 감각 양상 (기본 시각 피질의 가능한 예외)의 기본 또는 초기 cortices를 정의하는 하찮은되지 않습니다그 양상의 주제 발표 rceptual 자극은 일반적으로이 분야에 국한되지 않습니다. 예를 들어, 그것은 활동이 모든 가능성에서뿐만 아니라 somatosensory 협회 cortices로 확산 것이이 프로 시저에 의해 유도된 같은 주제의 손으로 터치를 적용하여 기본 somatosensory 피질을 정의하기 어려운 것입니다. 둘째, 기능 localizer 가능성이 분류의 성능에 기여할 수있는 모든 voxels 라벨을하지 않을 수 있습니다 : 그것은 표시되었는지 고전적인 의미에서 감각 자극 (즉,에 나타나지 않는 지역에 대한 응답으로 네트워크 활성화를 표시하지 구역 대조 이미지는 [대 자극 휴식])은 그럼에도 불구하고 ^13,14 자극에 대한 정보를 포함할 수 있습니다. 이 두 가지 이유로, 우리는 매크로 랜드마크이 가능하도록 때마다 관심 해부학적인 몸의 구조 정의된 영역의 사용을 옹호 예를 들어, postcentral 이랑의 총 해부학 기본 somatosensory의 피질의 합리적인 근사치를 나타냅니다그리고 우리 somatosensory 연구 ⁸ (그림 1)에 대한 관심의 영역을 정의하기 위해이를 사용합니다.

6. 과목

MVPA 연구의 주제 샘플은 분석이 단일 과목 수준에서 수행할 수로, 기존의 fMRI 연구에보다 작은 경향이 있습니다. 물론, 이것은 이후뿐만 아니라 그룹 차원에서 각 과목의 결과를 분석에서 실험자 방지하지 않습니다. 두 연구에서 이전에, 예를 들어, 우리가 그룹 수준에서 자신의 중요성을 평가하기 위해 각각의 주제 결과에 T - 테스트를 실시 언급했다. 각 연구 여덟 과목을 참여, 이것은 파라메 트릭 테스트에 대한 매우 작은 제목 샘플을 고려해야합니다하지만, 우리는 (아래 참조) 상당한 것으로 평가 discriminations 많이 찾았어요.

7. 대표 결과 :

언급했듯이, 이전의 두 연구에서 우리는 소리하시는 비디오 클립을 예측하기위한(본 연구에서 사용되는 마스크 그림 2 참조)은 초기 청각 cortices의 신경 활동 ⁷ 기반으로하고 기본 somatosensory cortices ⁸ 활동에 기초하여 비디오 클립을 터치 암시. 이 시도가 성공적으로 : 두 연구에서 MVPA의 분류는 (N가 주어진 청각 연구 = 36가, 9 다른 자극되었다 자극 쌍 사이의 가능한 모든 양방향 discriminations 50 %의 확률 수준 이상의 수행, N = 10 거기에 주어진 somatosensory 연구, 5 가지 자극)했다. 청각 연구에서는 36 discriminations 26 밖은 통계적 의미에 도달, somatosensory 연구에, 이것은 10 discriminations 밖으로 8 사건이었다 (2 꼬리 T - 시험, N = 두 연구 8, 그림 3).

그림 1. 기본 somatosensory의 피질의 해부학적인 몸의 구조 정의된 마스크의 정도로 메이어 외., 2011에 사용. 분류알고리즘은 예측할 수있었습니다 터치 뜻 demarcated 지역 제한 두뇌 활동 패턴에서 비디오 클립을. 옥스포드 대학 출판부의 허가를 재현.

같은 메이어 외에 사용되는 초기 청각 cortices의 해부학적인 몸의 구조 정의된 마스크의 그림 2. 정도., 2010. 분류 알고리즘은 예측할 수 있었다 (자동) 사운드 뜻 demarcated 지역 제한 두뇌 활동 패턴에서 비디오 클립을. 자연 출판 그룹의 허가를 재현.

그림 3. 이전 크로스 모달 MVPA 연구의 결과를 요약. 분류는 각각 초기 청각 또는 기본 somatosensory cortices의 활동에서 사운드 또는 터치 중 하나를 암시 시각적 자극을 예측하는 데 사용되었다. 상단 패널 : 모두 스터드에이거야는 예측 성능은 자극의 쌍 사이의 모든 양방향 discriminations에 대한 0.5의 기회 해발했다. 하단 패널 : 청각 연구에 분류기의 성능이 36 discriminations의 26 통계적 의미에 도달, somatosensory 연구에, 이것은 10 discriminations 8의 경우되었다. 자연 출판 그룹과 옥스포드 대학 출판부의 허가를 재현.

Discussion

우리의 이전 연구의 결과는 크로스 모달 MVPA가 "마음의 귀"와 "마음의 손길"의 경험이 정신적 이미지의 신경 상호 연구를하는 유용한 도구입니다 보여줍니다. 특히, 그 결과는 이미지의 내용이 융합 - 발산 영역의 Damasio의 프레임 워크에 대한 직접적인 경험 지원을 제공, 각각 초기 청각과 somatosensory cortices의 신경 활동과 상관 것을 보여줍니다.

우리가 설명하는 기본적인 패러다임은 여러 가지 방법으로 확장될 수 있습니다. 대부분 분명, 유사한 연구는 감각 modalities의 다른 조합을 사용하여 수행하실 수 있습니다. 이러한 측면에서, 그것은 이전 실험 특정 크로스 모달 연관 관계를 확립하는 것이 성공의 기회를 증가 수도 있습니다. 예를 들어, 후각 cortices에서 크로스 모달 표현을 공부하기 위해, 하나는 시력 및 식품 항목의 숫자의 냄새 동시에 그들을 노출하여 주요 과목 수 있습니다. Shortly 후, fMRI 스캐너 안에 냄새의 후각 기억은 시각적인 단서에 의해 트리거 될 것이며, MVPA은 전적으로 후각 cortices의 활동에 따라 올바른 식품 항목에 시련을 지정하기 위해 사용될 수 있습니다.

관심의 또 다른 질문은 초기 감각 cortices의 활동의 상호 modally 유발 패턴은 사운드 또는 터치가 실제로 경험이 때 유도되는 패턴과 유사성을 부담하는지 여부이며 즉, 유리 꽃병이 산산조각과 비슷한 패턴을 호출 보는 않습니다 초기 청각 cortices의 신경 활동은 실제로 같은 이벤트를 듣고? 이 질문은, 다시, MVPA을 통해 해결하실 수 있습니다 주제가 제대로 과목 해당 비디오 클립을 시청하면서 기록된 데이터를 차별 할 수 특정한 소리를 듣고있는 동안 기록된 데이터에 대한 훈련이되어 버린 분류입니까? 우리의 청각 연구에서 우리는 그러한 분류를 시도했지만, 결과는 (그림 참조 3. 심판 인치 7 한계되었습니다). 그 연구에서는, 그러나, 참가자의 청각 협회는 어떠한 방법으로 제어되지 않은, 즉, 우리는 비디오와 관련된 각 과목의 분류를 양성하는 데 사용되는 오디오 트랙에 얼마나 유사한 청각 영상 모르겠어요. 다시 말하지만, 그것은 구체적인 크로스 모달 연관이로 visuo - 후각 협회 위에서 설명한, 과목 준비하는 후에 같은 질문을 해결하기 위해 흥미로운 수 있습니다. 이것은 안정적으로 비디오 재판을하는 동안 대상의 정신적 경험을 제어하기 때문에 분류의 예측 성능을 향상시킬 수 있도록합니다.

결론 위해, 우리는 자극이 시간뿐만 아니라 예측할 수 수 보여주는 고전적인 MVPA 패러다임의 확장을 도입뿐만 아니라, 감각 modalities에 걸쳐있다. 따라서, 우리는 MVPA의 사용은 외부 감각 자극에 의​​해 직접적으로 유도 지각 표현의 상호를 조사에 국한되지 것을 보여줍니다. 오히려 MVPA도 있습니다내부 트리거되는 정신적 이미지의 신경 기판을 평가 : Damasio의 융합 - 발산 영역 프레임 워크에 따라, 우리의 연구 결과는 기억에 따라 복원 아르 정신적 이미지의 의식 경험 초기 감각 콘텐츠 특정 신경 진술과 상관 것을 제안 cortices.