Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Science Education
Neuropsychology

A subscription to JoVE is required to view this content.
You will only be able to see the first 20 seconds.

다용적 패턴 분석으로 청각 이미지 디코딩
 
Click here for the English version

다용적 패턴 분석으로 청각 이미지 디코딩

Overview

출처: 조나스 T. 카플란과 사라 I. 짐벨의 연구소 - 서던 캘리포니아 대학

벨이 울리는 소리를 상상해 보십시오. 우리가 "마음의 귀"에서 이런 소리를 떠올립니다. 뇌가 지각에 사용하는 상상력에 동일한 메커니즘을 사용 한다는 증거가 증가하고 있습니다. 1 예를 들어, 시각적 이미지를 상상할 때, 시각 피질이 활성화되고, 상상할 때, 청각 피질이 종사한다. 그러나, 우리의 상상력의 내용에 특정 감각 코르티스의 이러한 활성화는 어느 정도?

이 질문에 대답하는 데 도움이 될 수있는 한 가지 기술은 기능성 뇌 이미지를 기계 학습 기술을 사용하여 분석되는 멀티 복셀 패턴 분석 (MPVA)입니다. 2-3 MPVA 실험에서, 우리는 다른 자극에 의해 연상 활동의 다양한 패턴을 구별하는 기계 학습 알고리즘을 훈련. 예를 들어, 종의 소리를 상상하는 것이 전기톱의 소리나 바이올린의 소리를 상상하는 것과 비교하여 청각 피질에서 다양한 활동 패턴을 생성하는지 물어볼 수 있습니다. 우리의 분류자가 이 세 자극에 의해 생성된 두뇌 활동 패턴을 구별하는 것을 배우는 경우에, 우리는 청각 피질이 각 자극에 의해 명백한 방법으로 활성화된다는 것을 결론을 내릴 수 있습니다. 이런 종류의 실험을 생각하는 한 가지 방법은 단순히 뇌 영역의 활동에 대한 질문을 하는 대신 해당 지역의 정보 내용에 대한 질문을 한다는 것입니다.

이 실험에서는 Meyer 외,2010,4를 기반으로 참가자들에게 청각 이미지를 불러 일으킬 가능성이 있는 조용한 비디오를 제시하여 여러 가지 사운드를 상상할 수 있도록 할 것입니다. 청각 피질의 상상력에 의해 유발되는 미묘한 패턴을 측정하는 데 관심이 있기 때문에 fMRI 스캐너가 만든 시끄러운 소음으로부터 간섭없이 자극이 완전한 침묵으로 제시되는 것이 바람직합니다. 이를 위해 스파스 측두시 샘플링이라고 하는 특수 한 종류의 기능MRI 시퀀스를 사용합니다. 이러한 접근법에서, 단일 fMRI 부피는 각 자극 후 4-5초씩 획득되며, 혈역학 반응의 피크를 포착하는 데 시간이 정해지한다.

Procedure

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

1. 참가자 모집

  1. 20명의 참가자를 모집합니다.
    1. 참가자는 오른손잡이여야 하며 신경학적 또는 심리적 장애의 병력이 없어야 합니다.
    2. 참가자는 시각적 신호를 제대로 볼 수 있도록 정상 또는 수정된 투 정상 시야를 가져야 합니다.
    3. 참가자는 몸에 금속이 없어야 합니다. 이것은 fMRI에 관련된 높은 자기장 때문에 중요한 안전 요구 사항입니다.
    4. fMRI는 스캐너 보어의 작은 공간에 누워 필요하기 때문에 참가자는 밀실 공포증때문에 손해를 입어서는 안됩니다.

2. 사전 스캔 절차

  1. 사전 스캔 서류를 작성합니다.
  2. 참가자가 fMRI 스캔을 위해 들어올 때, 먼저 MRI에 대한 반대 표시가 없는지 확인하기 위해 금속 스크린 양식을 작성하도록 지시하고, 방사선 전문의가 스캔을 검토하는 데 동의하는 부수적 인 연구 결과 양식및 연구의 위험과 이점을 자세히 설명하는 동의서를 작성하도록 지시하십시오.
  3. 벨트, 지갑, 휴대폰, 헤어 클립, 동전 및 모든 보석을 포함하여 몸에서 모든 금속을 제거하여 참가자가 스캐너에 들어갈 준비를하십시오.

3. 참가자에 대한 지침을 제공합니다.

  1. 참가자들에게 스캐너 내부에 여러 개의 짧은 비디오가 연이어 표시됩니다. 이 동영상은 조용할 것이지만, 그들은 그들의 "마음의 귀"에 소리를 불러 일으킬 수 있습니다. 참가자에게 이 청각 이미지에 집중하고 격려하고 가능한 한 최선을 다해 사운드를 "듣기"를 시도하도록 요청하십시오.
  2. 참가자에게 스캔 을 통해 머리를 가만히 유지하는 것이 중요하다고 강조합니다.

4. 참가자를 스캐너에 넣습니다.

  1. 참가자에게 스캐너와 이어폰의 소음으로부터 귀를 보호하여 스캔 중에 실험자의 소리를 들을 수 있도록 하고 코일에 머리를 대고 침대에 눕히도록 하십시오.
  2. 참가자에게 비상 압착 공을 주고 스캔 중에 비상 시 압박하도록 지시하십시오.
  3. 폼 패드를 사용하여 코일에 참가자가 머리를 고정하여 스캔 중에 과도한 움직임을 피하고, 가장 작은 움직임조차도 이미지를 흐리게하기 때문에 스캔 중에 가능한 한 가만히 있는 것이 매우 중요하다는 것을 참가자에게 상기시킵니다.

5. 데이터 수집

  1. 고해상도 해부학 검사를 수집합니다.
  2. 기능 적 스캐닝을 시작합니다.
    1. 자극 프레젠테이션의 시작을 스캐너의 시작과 동기화합니다.
    2. 희소한 시간적 샘플링을 달성하기 위해 볼륨 수집 사이에 9-s 지연으로 MRI 볼륨의 획득 시간을 2로 설정합니다.
    3. 프로젝터에 연결된 랩톱을 통해 무음 비디오를 제시합니다. 참가자는 스캐너 보어 의 뒷면에 화면을 반사, 자신의 눈 위에 거울이있다.
    4. 이전 MRI 수집이 시작된 후 각 5s 비디오 클립의 시작을 동기화하여 4초부터 시작합니다. 이렇게 하면 비디오 클립이 시작된 후 다음 MRI 볼륨이 7s를 획득하여 동영상 중간에 해당하는 혈역학 적 활동을 캡처할 수 있습니다.
    5. 생생한 청각 이미지를 연상시키는 세 가지 조용한 비디오를 제시: 앞뒤로 스윙 종, 나무를 통해 절단 전기 톱, 바이올린을 연주하는 사람.
    6. 각 기능 검사에서 각 비디오를 무작위로 10회 제시합니다. 각 시험이 11초동안 지속되면 스캔 330초(5.5분)가 길어집니다.
    7. 4개의 기능 검사를 수행합니다.

6. 데이터 분석

  1. 관심 영역(ROI)을 정의합니다.
    1. 각 참가자의 고해상도 해부학 검사를 사용하여 초기 청각 피질에 해당하는 복셀을 추적합니다(그림1). 이것은 평면 측두엽이라고 불리는 측두엽의 표면에 해당합니다. 각 사람의 뇌의 해부학적 특징을 사용하여 청각 피질에 특색있는 마스크를 만듭니다.

Figure 1
그림 1: 관심 영역 추적. 평면 측두색의 표면은이 참가자의 고해상도 해부학 적 이미지에 추적되었으며 여기에 파란색으로 표시됩니다. 녹색은 정면 극의 제어 마스크입니다. 이 복셀은 MVPA 분석에 사용됩니다.

  1. 데이터를 사전 처리합니다.
    1. 모션 보정을 수행하여 모션 아티팩트를 줄입니다.
    2. 시간적 필터링을 수행하여 신호 드리프트를 제거합니다.
  2. 분류자 알고리즘을 학습하고 테스트합니다.
    1. 데이터를 교육 및 테스트 집합으로 나눕니다. 교육 데이터는 분류기를 훈련하는 데 사용되며, 제외된 테스트 데이터를 사용하여 학습된 내용을 평가합니다. 교육 및 테스트 데이터의 독립성 극대화를 위해 테스트 세트로 하나의 기능 검사에서 데이터를 제외합니다.
    2. 각 피사체의 청각 피질에서 레이블이 표시된 교육 데이터에 대한 지원 벡터 기계 알고리즘을 학습합니다. 분류자의 레이블이 지정되지 않은 테스트 세트의 ID를 올바르게 추측하고 분류자의 정확도를 기록하는 기능을 테스트합니다.
    3. 이 절차를 4회 반복하여 각 스캔을 매번 테스트 데이터로 제외합니다. 데이터의 각 섹션이 한 번 제외되는 이 유형의 프로시저를 교차 유효성 검사라고 합니다.
    4. 평균화하여 4개의 교차 유효성 검사 접기에 분류기 정확도를 결합합니다.
  3. 통계 테스트
    1. 분류자가 확률(33%)보다 더 나은 성능을 발휘하는지 확인하려면 그룹 수준에서 결과를 우연히 비교할 수 있습니다. 이렇게 하려면 각 주제에 대한 정확도를 수집하고 배포가 비 파라메트릭 Wilcoxon 서명 순위 테스트를 사용하여 기회와 다르다는 것을 테스트합니다.
    2. 우리는 또한 분류자가 각 개인에 대한 기회보다 더 나은 수행 여부를 물어 볼 수 있습니다. 기회 데이터에서 지정된 정확도 레벨의 확률을 확인하려면 레이블이 무작위로 섞인 데이터에 대한 MVPA 알고리즘을 교육하고 테스트하여 null 배포를 만듭니다. 레이블을 10,000회 왜곡하여 정확도 값의 null 분포를 만든 다음 실제 정확도 값을 이 분포와 비교합니다.
    3. 청각 피질 내 정보의 특이성을 입증하기 위해, 우리는 훈련하고 뇌의 다른 위치에서 복셀에 분류자를 테스트 할 수 있습니다. 여기에서, 우리는 확률적 아틀라스에서 가져온 정면 극의 마스크를 사용하고 각 피사체의 개별 뇌에 맞게 뒤틀린다.

청각 이미지는 외부 청각 자극이 없는 경우에도 청각 소리의 경험을 불러일으킵니다.

예를 들어 휴대 전화가 울리는 소리를 듣는 것에 대해 생각해 보십시오. 메모리 내의 정보는이 가상의 사건의 기초동안, 증거는 개인의 뇌가 실제 지각에 관여하는 것과 같은 메커니즘을 상상력에 사용한다는 것을 시사한다.

울림을 상상하자마자 청각 피질 내의 영역이 활성화됩니다. 그러나 음향 자극전반에 걸쳐 사실이지만 초인종 차임과 라디오에서 재생되는 노래를 구별하는 것과 같은 독특한 사운드를 자세히 처리할 수 있도록 소리가 인코딩되는 방식은 중요한 질문입니다.

마이어와 동료의 이전 작품을 바탕으로 이 비디오는 기능성 자기 공명 영상(fMRI)을 융합하는 방법을 보여주며, 다양한 무음 동영상의 프레젠테이션과 함께 뇌가 청각 이미지에 어떻게 반응하는지 조사합니다.

또한 fMRI 세션 동안 획득한 활성화 패턴을 분석하여 어떤 과목이 상상했는지 예측하기 위해 짧은 시간 동안 MVPA라는 방법을 사용하는 방법을 설명합니다.

이 실험에서 참가자들은 fMRI 스캐너에 누워 있으며 일련의 무음 비디오가 표시됩니다. 수탉 이든, 나무를 자르는 전기톱이든, 피아노를 연주하는 사람이든, 독특하고 생생한 청각 이미지를 불러일으키며, 모든 프레젠테이션에서 소리를 상상하도록 요청받습니다.

이미징 획득 절차는 희소한 측두시 샘플링에 의존하며, 각 자극이 제시된 후 단일 fMRI 부피가 4~5s를 획득합니다. 이러한 타이밍은 혈역학 적 반응의 피크를 캡처하고 신호가 스캐너 소음에 의해 가려질 가능성을 줄입니다.

각 상상된 소리는 특히 청각 피질에서 신경 활동의 미묘하면서도 독특한 패턴을 유도할 것으로 예상됩니다. 여기서 패턴은 핵심 단어입니다: 이러한 데이터를 분석하는 고전적인 방법은 일정 수준의 활성화를 나타내는 개별 복셀이 단일 평균으로 축소되는 단변적 접근 방식을 사용합니다.

그런 다음 이러한 값은 소리간에 비교되며 활성화 수준에서 중요한 차이를 생성하지 못할 수 있습니다.

대신 다변량 분석을 사용하여 각 사운드에 대해 여러 복셀이 배치되고 활성화 레벨을 모든 복셀에서 전체적으로 비교할 수 있으며, 이는 각 상상된 사운드에 대한 고유한 전체 패턴에 기여합니다.

이 멀티 복셀 패턴 분석 또는 MVPA 접근 방식을 사용하면 패턴이 실제로 특정 콘텐츠에 민감한 경우 원래 자극을 예측하는 데 사용할 수 있습니다. MVPA는 종종 마음 읽기 기술로 불립니다.

이러한 예측 측면을 달성하려면 참가자의 데이터를 수집한 후 보다 집중적인 처리를 수행해야 하며, 이는 교육 및 테스트 집합으로 나뉩니다.

교육 집합의 레이블이 지정된 데이터는 먼저 기계 학습 계산, 특히 지원 벡터 기계 알고리즘의 적용을 받습니다. 이 프로세스는 세 가지 유형의 사운드를 서로 구별할 수 있는 신경 패턴의 특징을 인식하여 데이터를 정확하게 분류하는 데 사용됩니다.

분류기가 형식을 정확하게 식별하는 기능을 학습한 후 테스트 집합의 레이블이 지정되지 않은 데이터가 표시되고 해당 추측이 올바른 자극 레이블과 비교됩니다.

이 경우 분류 성능은 분류자의 정확도로 기록되는 종속 변수역할을 하며, 이는 전두엽 기둥과 같은 뇌의 다른 위치에서 발생되는 복셀과도 비교됩니다.

이 분류기는 청각 적 이미지의 식별을 예측하여 청각 피질 내에서 콘텐츠 별 활동을 감지하는 데 MVPA의 중요성을 드러냅니다.

실험 및 안전 문제에 따라 모든 참가자가 오른손잡이인지, 정상 또는 교정된 정상 시력, 신경 장애 또는 밀실 공포증의 병력이 없는지 확인하고, 몸에 금속을 가지고 있지 않습니다. 또한 필요한 동의서를 작성해야 합니다.

진행하기 전에 스캐너에서 소리를 불러 일으킬 수 있는 몇 가지 짧은 자동 비디오를 볼 수 있다고 설명합니다. 그들에게 상상된 소리에 집중하고, 가능한 한 최선을 다해 "듣기"하고, 작업 기간 동안 가만히 있게 해 달라고 부탁한다.

이제 참가자가 스캐너에 들어갈 수 있도록 준비합니다. 이러한 단계를 자세히 보려면 이 컬렉션에서 제작된 다른 fMRI 비디오를 참조하십시오.

준비 후 참가자를 정렬하고 보어 내부에 보냅니다. 인접한 방에서 먼저 고해상도 해부학 검사를 수집합니다. 그런 다음 무음 비디오 프레젠테이션의 시작을 기능 검사의 시작과 동기화합니다.

희소한 시간적 샘플링을 달성하기 위해 MRI 볼륨의 획득 시간을 2s로 설정하고 그 사이에 9-s 지연을 설정합니다.

중요한 것은, 이전 MRI 획득이 영화의 중간에 해당하는 혈역학 적 활동을 포착하기 시작한 후 각 5s 비디오 클립의 시작을 4 초 시작하도록 조정합니다.

각 비디오를 무작위로 10회 제시하여 5.5분 동안 지속되는 하나의 스캐닝 세션을 생성합니다. 이 기능적 획득 시퀀스를 세 번 더 반복합니다.

4개의 기능적인 검사가 수행된 후에, 스캐너에서 참가자를 데리고, 연구 결론을 요약하십시오.

관심 영역을 정의하려면 각 참가자의 고해상도 해부학 스캔을 사용하고 플라텀 측두엽이라고도 하는 초기 청각 피질에 해당하는 측두엽 표면에 복셀을 추적합니다. 또한 전두엽에 복셀이 함유된 마스크를 만들며, 이는 제어 영역으로 사용될 것이다.

그런 다음 모션 보정을 수행하여 이동 아티팩트를 줄이고 시간적 필터링을 사용하여 신호 드리프트를 제거하여 데이터를 사전 처리합니다.

다음으로 데이터를 교육 및 테스트의 두 집합으로 나눕니다. 한 데이터 세트에서는 지원 벡터 머신 알고리즘인 분류기를 학습하여 두 뇌 영역의 데이터를 각 피사체에 대해 분리되도록 합니다.

다른 세트에서는 분류기가 배운 것, 즉 레이블이 지정되지 않은 데이터의 ID를 올바르게 추측하고 실행 간에 알고리즘의 정확도를 기록하는 기능을 평가합니다. 이 절차를 총 4회 수행하여 매번 테스트 데이터(교차 유효성 검사)라는 프로세스로 하나의 기능 스캔을 남깁니다.

데이터를 시각화하려면 각 참가자에 대한 4개의 교차 유효성 검사 접기에 걸쳐 평균 분류기 정확도를 그래프로 지정합니다.

관심의 기본 영역,즉 평면 측두엽과 전두엽 기둥에 대해 이러한 평균을 플롯하여 분류자의 초점 특이성, 청각 피질과 같은 특정 영역이 청각 상상력에 참여할 것으로 예상되는 정도를 비교합니다.

이 경우 비파라메트릭 통계인 Wilcoxon 서명 순위 테스트를 실행하여 33%인 기회에 대한 성능을 테스트합니다. 청각 피질의 평균 분류자 정확도는 59%로 우연과 크게 다릅니다.

반면, 정면 극 마스크의 평균 성능은 33%로 우연과 크게 다르지 않습니다.

또한 분류자 성능은 개인마다 다양합니다. 순열 테스트를 사용하여 42%의 새로운 통계 임계값을 계산한 후, 20명의 피험자 중 19개피터는 플라텀 측두엽의 복셀을 사용하여 이 수준보다 정확도 값이 현저히 큰 반면, 정면 극에서 복셀을 사용할 확률보다 성능이 크지 않은 반면, 그 누구도 정확도를 보였습니다.

전반적으로, 이러한 결과는 MVPA 기술이 참가자가 신경 활동의 패턴에 따라 상상하고 있던 세 소리 중 어느 소리중 정확하게 예측했다는 것을 의미합니다. 이러한 예측은 청각 피질 내에서만 이루어졌으며, 음향 콘텐츠가 뇌 전체에서 전 세계적으로 표현되지 않는다는 것을 시사합니다.

이제 청각 이미지를 연구하기 위해 다중 복셀 패턴 분석을 적용하는 방법에 익숙해지면 신경 심리학자가 다변기 기술을 사용하여 정신 적 상태의 디코딩인 정신 독서에 대한 미래지향적 인 접근 방식을 발전시키는 방법을 살펴 보겠습니다.

분류기는 예를 들어, 열반 측두피질에서 얻은 fMRI 데이터에 사용되어 참가자가 본 개체의 종류를 예측하고 집과 얼굴을 구별합니다.

한 걸음 더 나아가, 개인이 그 집을 살 것인지 또는 즐거운 사람을 찾을 지 여부를 예측할 수도 있습니다. 그 소리로 소름, 이러한 신경 마케팅 의미는 멀리 가져 오지 않는다!

같은 접근 방식은 또한 쇼를 본 후 감정 상태를 감지하는 데 사용할 수 있습니다 - 무서운 영화가 실제로 무서운 것을 인식 - 또는 영화 장르; 예를 들어, 무서운 영화는 전두엽 피질을 안정적으로 수반하는 명상을 통해 편도체를 더 예측 가능하게 참여시킬 수 있습니다.

또한, 뇌 컴퓨터 인터페이스는 사지의 절단으로 고통받은 사람들을 위해 음성 치료 또는 운동을 겪고개인의 경우, 통신을 향상시킬 신호로 정신 상태를 변환 할 수 있습니다.

멀티 복셀 패턴 분석을 사용하여 청각 이미지를 이해하는 JoVE의 비디오를 방금 시청했습니다. 이제 기능성 신경 이미징과 함께 청각 이미지 실험을 설계하고 수행하는 방법과 마지막으로 뇌 활동의 특정 패턴을 분석하고 해석하는 방법에 대한 좋은 이해를 가져야 합니다.

시청해 주셔서 감사합니다!

Subscription Required. Please recommend JoVE to your librarian.

Results

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

20명의 참가자 모두에게 걸쳐 플래텀 측두식의 평균 분류자 정확도는 59%였습니다. 윌콕슨 사인랭크 테스트에 따르면, 이것은 33%의 확률 수준과 크게 다릅니다. 전두엽 극 마스크의 평균 성능은 32.5%로 우연(그림 2)보다크지 않다.

Figure 2
그림 2. 각 참가자의 분류 성과입니다. 3방향 분류의 경우 확률 성능은 33%입니다. 순열 테스트에 따르면, p < 0.05의 알파 수준은 42%에 해당한다.

순열 테스트는 순열의 5%만이 42%보다 더 큰 정확도를 달성했다는 것을 발견했습니다. 따라서 개별 과목에 대한 통계 적 임계값은 42 %입니다. 20명의 과목 중 19개 피험자는 플라텀 측두엽의 복셀을 사용하여 확률보다 훨씬 큰 성능을 보였으며, 정면 극에서 복셀을 사용할 확률보다 성능이 크지 않았습니다.

따라서, 우리는 성공적으로 참가자가 상상했다 소리 세 소리 청각 피질의 활동 패턴에서 예측 할 수 있습니다. 우리는 전두엽 극에서 활동 패턴에 근거를 둔 이 예측을 할 수 없었습니다, 정보가 두뇌를 통해 글로벌하지 않다는 것을 건의합니다.

Subscription Required. Please recommend JoVE to your librarian.

Applications and Summary

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

MVPA는 뇌가 정보를 나타내는 방법을 이해하는 데 유용한 도구입니다. 기존의 활성화 분석과 같이 각 복셀의 시간 과정을 별도로 고려하는 대신, 이 기술은 한 번에 많은 복셀에 걸쳐 패턴을 고려하여 단변기 기술에 비해 감도가 증가합니다. 종종 다변량 분석은 단변기 기술이 할 수없는 차이를 발견합니다. 이 경우, 우리는 뇌의 특정 영역, 청각 피질의 정보 내용을 조사하여 정신 이미지의 메커니즘에 대해 뭔가를 배웠습니다. 이러한 활성화 패턴의 콘텐츠 별 특성은 단변적 접근으로 테스트하기가 어려울 것입니다.

이러한 종류의 분석에서 추론의 방향에서 오는 추가 이점이 있습니다. MVPA에서 우리는 뇌 활동의 패턴으로 시작하고 참가자의 정신 상태에 대해 뭔가를 추론하려고합니다. 이러한 종류의 "뇌 읽기" 접근법은 뇌-컴퓨터 인터페이스의 개발로 이어질 수 있으며, 음성이나 움직임이 손상된 사람들과 의소통할 수 있는 새로운 기회를 허용할 수 있습니다.

Subscription Required. Please recommend JoVE to your librarian.

References

  1. Kosslyn, S.M., Ganis, G. & Thompson, W.L. Neural foundations of imagery. Nat Rev Neurosci 2, 635-642 (2001).
  2. Haynes, J.D. & Rees, G. Decoding mental states from brain activity in humans. Nat Rev Neurosci 7, 523-534 (2006).
  3. Norman, K.A., Polyn, S.M., Detre, G.J. & Haxby, J.V. Beyond mind-reading: multi-voxel pattern analysis of fMRI data. Trends Cogn Sci 10, 424-430 (2006).
  4. Meyer, K., et al. Predicting visual stimuli on the basis of activity in auditory cortices. Nat Neurosci 13, 667-668 (2010).

Transcript

Please note that all translations are automatically generated.

Click here for the English version.

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter