Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Neuroscience
Click here for the English version

Neuroscience

Inter-Brain Synchrony i Open-Ended Collaborative Learning: En fNIRS-Hyperscanning Study

Published: July 21, 2021 doi: 10.3791/62777
Automatic Translation
1,2, 1,2, 1,2
1School of Psychology and Cognitive Science, East China Normal University, 2Shanghai Key Laboratory of Mental Health and Crisis Intervention, East China Normal University

Summary

Protokollen for udførelse af fNIRS hyperscanning eksperimenter på kollaborative læring dyads i et naturalistisk læringsmiljø er skitseret. Desuden præsenteres en rørledning til analyse af Inter-Brain Synchrony (IBS) af iltede hæmoglobin (Oxy-Hb) signaler.

Abstract

fNIRS hyperscanning er meget udbredt til at opdage de neurobiologiske fundamenter af social interaktion. Med denne teknik kvalificerer forskere den samtidige hjerneaktivitet hos to eller flere interaktive personer med et nyt indeks kaldet inter-brain synkron (IBS) (dvs. fase og / eller amplitudjustering af de neuronale eller hæmodynamiske signaler over tid). En protokol til udførelse af fNIRS hyperscanning eksperimenter på kollaborative læring dyads i et naturalistisk læringsmiljø præsenteres her. Endvidere forklares en rørledning til analyse af IBS af iltet hæmoglobin (Oxy-Hb) signal. Specifikt diskuteres det eksperimentelle design, processen med NIRS-dataregistrering, dataanalysemetoder og fremtidige retninger. Samlet set er implementering af en standardiseret fNIRS hyperscanning pipeline en grundlæggende del af andenpersons neurovidenskab. Dette er også i overensstemmelse med opfordringen til åben videnskab for at støtte forskningens reproducerbarhed.

Introduction

For nylig, at afsløre den samtidige hjerneaktivitet på tværs af de interaktive dyads eller medlemmer af en gruppe, forskere anvender hyperscanning tilgang1,2. Specifikt anvendes elektroencefalogram (EEG), funktionel magnetisk resonansbilleddannelse (fMRI) og funktionel nær-infrarød spektroskopi (fNIRS) til at registrere neurale og hjerneaktiviteter fra to eller flere forsøgspersoner samtidigt3,4,5. Forskere udtrække en neural indeks indebærer samtidig hjerne kobling baseret på denne teknik, som refererer til inter-brain synkron (IBS) (dvs. fase og / eller amplitud tilpasning af neuronal eller hæmodynamiske signaler over tid). Et stort udvalg af hyperscanning forskning fundet IBS under social interaktion mellem flere personer (f.eks spiller-publikum, instruktør-elev, og leder-follower)6,7,8. Desuden har IBS specifikke konsekvenser af effektiv læring og instruktion9,10,11,12,13,14. Med bølgende hyperscanning forskning i naturalistiske læring scenarier, oprettelse af en standard protokol af hyperscanning eksperimenter og pipeline af dataanalyse på dette område er nødvendig.

Således giver dette papir en protokol til udførelse af fNIRS-baseret hyperscanning af kollaborative læringsdyader og en pipeline til analyse af IBS. fNIRS er et optisk billeddannelsesværktøj, som udstråler nær-infrarødt lys til at vurdere den spektrale absorption af hæmoglobin indirekte, og derefter måles hæmodynamisk / iltning aktivitet15,16,17. Sammenlignet med fMRI er fNIRS mindre tilbøjelig til at bevægelsesartefakter, hvilket giver målinger fra forsøg fra det virkelige liv (f.eks. efterligning, tale og ikke-verbal kommunikation)18,7,19. I sammenligning med EEG har fNIRS en højere rumlig opløsning, hvilket gør det muligt for forskere at registrere placeringen af hjerneaktivitet20. Således kvalificerer disse fordele i rumlig opløsning, logistik og gennemførlighed fNIRS til at udføre hyperscanning måling1. Ved hjælp af denne teknologi registrerer en ny forskningskrop et indeksudtryk som IBS-den neurale tilpasning af to (eller flere) menneskers hjerneaktivitet i forskellige former for naturalistiske sociale indstillinger9,10,11,12,13,14. I disse undersøgelser anvendes forskellige metoder (dvs. korrelationsanalyse og WTC-analyse (Wavelet Transform Coherence) til at beregne dette indeks. I mellemtiden er en standardpipeline til en sådan analyse afgørende, men mangler. Som følge heraf præsenteres en protokol til udførelse af fNIRS-baseret hyperscanning og en pipeline, der bruger WTC-analyse til at identificere IBS, i dette arbejde

Denne undersøgelse har til formål at evaluere IBS i kollaborative læring dyads ved hjælp af fNIRS hyperscanning teknik. For det første registreres en hæmodynamisk respons samtidigt i hver dyads præfrontale og venstre temporoparietale regioner under en kollaborativ læringsopgave. Disse områder er blevet identificeret som forbundet med interaktiv undervisning og læring9,10,11,12,13,14. For det andet beregnes IBS på hver tilsvarende kanal. FNIRS-dataregistreringsprocessen består af to dele: hviletilstandssession og samarbejdssession. Hviletilstandssessionen varer i 5 minutter, hvor begge deltagere (siddende ansigt til ansigt, bortset fra hinanden ved et bord (0,8 m)) skal forblive stille og slappe af. Denne hviletilstandssession fungerer som udgangspunkt. Derefter bliver deltagerne i den kollaborative session bedt om at studere hele undervisningsmaterialerne sammen, fremkalde forståelse, opsummere reglerne og sørge for, at alle læringsmaterialer mestres. Her præsenteres de specifikke trin til at udføre eksperimentet og fNIRS-dataanalysen.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Alle rekrutterede deltagere (40 dyads, gennemsnitsalder 22,1 ± 1,2 år; 100% højrehåndet, normal eller korrigeret til normal vision) var sunde. Før eksperimentet gav deltagerne informeret samtykke. Deltagerne blev økonomisk kompenseret for deres deltagelse. Undersøgelsen blev godkendt af University Committee of Human Research Protection (HR-0053-2021), East China Normal University.

1. Forberedelsestrin, før der vedtages data

  1. Hjemmelavede NIRS-hætter
    1. Vedtage elastisk badehætte til at placere optode holder gitter.
      BEMÆRK: I betragtning af at deltagernes hovedstørrelser er forskellige, anvendes to størrelser hætter. Der tilberedes kapitæler til deltagere med en hovedomkreds på 55,4 ± 1,1 cm, og store kasketter er til deltagerne med en hovedomkreds på 57,9 ± 1,2 cm.
    2. Anvært placeringen af EEG-elektroderne (inion, Cz, T3, T4, Fpz og P5) som referenceoptoder i henhold til det internationale standard 10-10-system på elastiske svømmehætter (se Materialetabel).
      1. Først skal du placere standard 10-10 EEG cap (se Tabel af materialer)på hovedet skimmel, og sætte den elastiske badehætte på EEG cap. For det andet skal du markere referenceoptoder (inion, Cz, T3, T4, Fpz og P5) med kridt på hver hætte. Til sidst skæres to huller med en diameter på ca. 15 mm for at placere de to referenceoptoder (dvs. Fpz og P5, figur 1).
        BEMÆRK: Specifikt placeres et 3 x 5 optodesondesæt og et 4 x 4 optodesondesæt separat over det præfrontale område (referenceoptode placeres ved Fpz, figur 1B) og venstre temporoparietale regioner (referenceoptode er placeret på P5, Figur 1B).
    3. Skær huller for at placere de andre optoder. Arranger en badehætte med to gitterholdere direkte på hovedformen. Marker derefter placeringen af andre optoder med kridt. Derefter skæres resten hullerne for at sikre, at gitterholderen passer ind.
    4. Monter to sondesæt (dvs. 3 x 5 og 4 x 4) på svømmehætterne (se Materialetabel).
      BEMÆRK: NIRS-målesystemet (se Materialetabel)giver disse standardsondesæt (dvs. 3 x 5 og 4 x 4) med standardholderstik, der sikrer 30 mm optodeadskillelse.
    5. Åbn sondesættets skærmvindue ved NIRS-målesystemet, og vælg fire sondesæt, der er arrangeret i 3 x 5 og 4 x 4 for hver person, separat.
      BEMÆRK: Sondearrangementerne for de to hætter skal svare til strukturerne i sondesættets vindue (dvs. den nøjagtige placering af modtagerens sondenumre og den respektive udleder).
  2. Forberedelse af eksperimentet
    1. Før du registrerer data, skal du sikre dig, at NIRS-systemet holder en stabil driftstemperatur ved at starte systemet i mindst 30 min.
      BEMÆRK: Den stabile driftstemperatur varierede fra 5 °C til 35 °C.
    2. Indstil måletilstanden til hændelsesrelateret måling. Sørg for, at udløsermodtageren er aktiv (dvs. den serielle RS232-indgang).
      BEMÆRK: Eksperimentet er programmeret i kommercielt tilgængelig psykologisoftware (se Materialetabel). Absorptionen af nær-infrarødt lys (to bølgelængder: 695 og 830 nm) måles med en prøvetagningshastighed på 10 Hz.
    3. Forbered den tændte fiberoptiske sonde, som kan bruges til at flytte hår til side.
    4. Indstil eksperimentet med et bord med to stole for at holde deltagernes pladser ansigt til ansigt.

2. Vedtagelse af data ved at instruere deltagerne

  1. Forbered deltagerne
    1. Instruer deltagerne, herunder detaljerne i NIRS målemetoder.
      BEMÆRK: Alle deltagere var sunde og blev økonomisk kompenseret for deltagelse. Ingen deltagere trak sig ud af eksperimentet halvvejs igennem. Laserstrålen i NIRS kan være skadelig for deltagernes øjne, og de blev instrueret om ikke at se direkte ind i disse laserstråler.
    2. Få deltagerne til at sidde ansigt til ansigt (bortset fra et bord (0,8 m)) for at sikre, at de kan se hinanden direkte. Juster stolen-til-bord afstand (dvs. næsten 0,3 m) for at få deltagerne til at sidde komfortabelt.
    3. Tænd laserknappen, og placer hætterne med sondesættene på deltagernes hoveder.
      BEMÆRK: De 3 x 5 sondesæt dækker deltagernes pande (midtersonden i nederste række er placeret på Fpz); 4 x 4 sondesæt dækker venstre temporoparietal cortex (den tredje sonde i tredje række er placeret på P5).
    4. Sæt de fire optiske fiber bundter løst på holderens arme uden kontakt med deltagerne eller stole.
      BEMÆRK: Her har NIRS målesystemet fire bundter optiske fibre. Derudover skal du sørge for, at deltagerne ikke føler sig for tunge til at trække hætterne af.
    5. Lad sondespidserne røre deltagernes hovedbund ved forsigtigt at skubbe hver fjederbelastningssonde længere ind i soklen.
    6. Udfør signalkalibrering.
      1. Først skal du kontrollere kvaliteten af signalet ved at klikke på Auto Gain i sonde indstillet skærm vindue af fNIRS maskine. Derefter er en kanals dårlige signal og tilstrækkeligt signal markeret med henholdsvis gult og grønt i sondesættets skærmvindue.
        BEMÆRK: For en kanal med utilstrækkelige signaler bruges tændte fiberoptiske sonder til at flytte håret under sondens spids til den ene side.
      2. Skub derefter sonderne længere ind i deres stikkontakter for at få tilstrækkelige signaler. Gentag denne proces, indtil alle kanaler er markeret med grønt i sondesættets skærmvindue i NIRS-målesystemet, hvilket indikerer, at signalkvaliteten er tilgængelig.
  2. Kør eksperimentet
    1. Start eksperimentet med en 5 minutters hviletilstand, der tjener som basislinje. Derefter skal to deltagere være med til at lære undervisningsmaterialerne.
    2. Efter eksperimentet skal du klikke på Tekstfil ud for at eksportere de rå lysintensitetsdata og gemme dataene som en tekstfil.
      BEMÆRK: Der anvendes ingen filtre i NIRS-målesystemet.
    3. Brug den tredimensionelle (3D)-digitaliseringsfunktion (se Materialetabel)til at bestemme placeringen af udledere, modtagere og andre referencer (dvs. inion, nasion, Cz og venstre og højre ører) for hver deltager.
      1. Hent MNI-koordinaterne for optagelseskanalerne ved hjælp af den kommercielt tilgængelige numeriske computerplatform21 (se Materialetabel). Supplerende tabel S1 viser de tilsvarende anatomiske placeringer af hver kanal.
    4. Rengør sonder og sondeholdere med ethanol. Vask hætter med mildt rengøringsmiddel og lad hætterne lufttørre.

3. Dataanalyse

  1. Forbehandling af data
    BEMÆRK: Tidligere forskning har vedtaget variable ikke-kommercielle softwarepakker (f.eks Homer222, AnalyzIR23, eller nirs LAB24) med numeriske computerplatforme (se Materialetabel) om fNIRS-dataanalyse, og de er alle tilgængelige på hjemmesiden. Her homer2 blev brugt til at gøre forbehandling af NIRS data. Derudover deler både fNIRS-registreringsdata indsamlet i resten og kollaborative læringsfaser den samme forbehandlings- og analysepipeline.
    1. Kopier datasættet fra fNIRS-maskinen. Konverter den oprindelige datadannelse til den korrekte dannelse (dvs. konverter cvs-filen til nirs-fil).
    2. Konverter rå data til OD-data (Optical Density) med funktionen "hmrIntensity2OD", der findes i den numeriske computerplatform (se Materialetabel).
    3. Slet de dårlige kanaler. Derefter beregnes OD-værdien for hver deltager på hver kanal og de fulde eksempelpoint.
      BEMÆRK: Her opnås 46 gennemsnitlige OD-værdier.
      1. Beregn standardafvigelsen (SD) for hver deltager.
      2. Markér som ubrugelig og fjern kanalerne med meget lav eller høj OD (som oversteg 5 stk.er) fra analysen for hver deltager.
        BEMÆRK: Dette trin kan udføres før og/eller efter fNIRS-dataforbehandling. I denne dataanalysepipeline registreres de dårlige kanaler før fNIRS-dataforbehandlingen.
    4. Konverter OD-tidsdata til Oxy-Hb, DeOxy-Hb og kombineret signal baseret på den ændrede Beer-Lambert Law25.
      BEMÆRK: Reference25 siger: "Alle dataanalyse trin udføres på Oxy-Hb data, som er en indikator for ændringen i den regionale cerebral blodgennemstrømning har højere signal-til-støj-forhold26. Derudover har tidligere forskning anvendt fNIRS hyperscanning i undervisnings- og læringsscenarier, der primært fokuserede på Oxy-Hb koncentration11,12,13,14."
    5. Kalibrer Oxy-Hb-tidsserien fra bevægelsesartefakter efter den kanal-for-kanal-bølgebaserede metode.
      BEMÆRK: Specifikt er Daubechies 5 (db5) wavelet med tuning parameter på 0,1 (se detaljer i Homer2 manual)27,28 er vedtaget i at fjerne bevægelse artefakter.
    6. Påfør båndpasfilteret (dvs. 0,01-1 Hz) på de kalibrerede Oxy-Hb-data for at reducere højfrekvent støj og langsom drift.
    7. Udfør analyse af hovedkomponenter (PCA) på OxyHb-signalet for at fjerne ikke-neurale globale komponenter (f.eks. blodtryk, åndedræt og variation i blodgennemstrømningen)29.
      BEMÆRK: Pca-analysen foreslået af Zhang og kolleger29 er vedtaget her.
      1. Først nedbrydes signalet.
        BEMÆRK: Den specifikke formel for nedbrydning af fNIRS-signal er: H = UΣVT. Her præsenteres tidsmæssige og rumlige mønstre af fNIRS-data i to matricer (dvs. dig og V). U er en matrix af 2D (eksempelpunkt x hovedkomponent). V er også en matrix af 2D (hovedkomponent x hovedkomponent). Kolonnen i V angiver én hovedkomponent (pc), og styrken af den pågældende pc for en bestemt kanal estimeres i hver post i kolonnen. Den relative betydning af hver pc repræsenteres af værdien af den diagonale matrix Σ.
      2. For det andet, foretage rumlig udjævning.
        BEMÆRK: Gaussisk kernekonvolution anvendes til at fjerne lokaliserede signaler og få den globale komponent.
      3. For det tredje rekonstruer signalet.
        BEMÆRK: For at beregne den globale komponent i fNIRS-dataene sættes den udjævnede rumlige mønstermatrix V* tilbage i nedbrydningsformlen: HGlobal = UΣ(V*)T. Derefter kan lokaliseret afledt neuronalsignal opnås ved hjælp af originale data H til at trække HGlobal : HNeuronal = H - HGlobal.
  2. Inter-hjerne synkron
    BEMÆRK: For at afsløre hjernekobling i andenpersons neurovidenskab, wavelet transform sammenhæng (WTC) er vedtaget her. Kort sagt måler WTC sammenhængen mellem to-tiden serier som en funktion af frekvens og tid. Den specifikke formel for wavelet sammenhæng i to-tiden serie x og y er:
    Equation 1
    T og angiver tids- og bølgeskalaen separat, ‹·› angiver en udjævningsoperation i omfang og tid. W repræsenterer den kontinuerlige bølgetransformation. Derefter genereres en WTC-matrix med 2D (time x frekvens)30. Flere værktøjskasser bruges til at beregne WTC-værdien. Her blev værktøjskassen skabt af Grinsted og kolleger brugt30.
    1. Vedtage WTC-funktionen for den numeriske computerplatform (se Materialetabel).
      BEMÆRK: Her bruges standardindstillingen for moderbølgen (dvs. Generaliseret morsebølge med parametrene beta og gamma). Mor wavelet konverterer hver gang serie til frekvens og tid domæne.
    2. Angiv standardindstillingen for de andre parametre (dvs. MonteCarloCount, der repræsenterer antallet af surrogatdatasæt i signifikansberegningen).
    3. Beregn WTC-værdien for to tilsvarende kanaler (den samme kanal i to deltagere) i en numerisk computerplatform (se Materialetabel). Efter samme procedure genereres 46 WTC-matricer fra 46 kanaler.
    4. Bestem frekvensbåndet af interesse (FOI), som er følsomt over for kollaborativ læring.
      BEMÆRK: Her anvendes en klyngebaseret permutationsmetode til at opdage en sådan FOI31, som giver en løsning på flere sammenligninger i multikanal- og multifrekvensdata.
      1. Udfør timegennemsnittet af WTC-værdierne i henholdsvis hvile- og samarbejdslæringsfaserne for hver kanalkombination. Udfør derefter parrede prøve t-testssammen med hele frekvensen (frekvensområde: 0,01-1Hz32) på disse tidsgennemsnitsviste WTC-værdier (kollaborativ læring vs. hvile). Identificer derefter frekvensplaceringer, hvor opgaveeffekten er betydelig (kollaborativ læring > hvile, s. < 0,05).
      2. Opnå betydelige frekvens tilstødende punkter (≥2) som observerede klynger og tilsvarende T-værdier.
      3. Udfør en række parrede stikprøver t-tests på permuterede data for at generere T-værdierne for hver klynge, der er kvalificeret i trin 3.2.4.2 for 1000 gange.
        BEMÆRK: Ved dannelse af permuterede data tildeles deltagerne tilfældigt til at danne nye to-medlem par. Da længden af datasæt varierede på tværs af dyads for hvert tilfældigt par, trimmes det længere datasæt til samme længde som den kortere33.
      4. Sammenlign de gennemsnitlige klyngebaserede T-værdier fra oprindelige par med T-værdierne på 1000 permutationer.
        BEMÆRK: De p-værdier, der evalueres af denne formel34:
        Equation 2, hvor S0 angiver observeret gennemsnitlig t-værdi for klynger, μp og σp angiver middel- og standardafvigelsen af permutationsværdier.
      5. Gennemsnitlige WTC-værdier i den identificerede FOI i hver kanal i hver dyad. Derefter skal du anvende fisher z-transformation på WTC-værdierne for at få en normal fordeling af WTC-værdier. Brug denne værdi til at indeksere IBS til yderligere statistisk analyse.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Figur 1 illustrerer den eksperimentelle protokol og sonde placering. FNIRS-dataregistreringsprocessen består af to dele: hviletilstandssession (5 min) og samarbejdssession (15-20 min). De kollaborative læringsdyader er nødvendige for at slappe af og holde sig i ro i hviletilstandssessionen. Derefter bliver deltagerne bedt om at være med til at lære læringsmaterialet (figur 1A). Deres præfrontale og venstre temporoparietale regioner er omfattet af det tilsvarende sondesæt (figur 1B).

Figur 2 illustrerer fNIRS-dataanalysepipelinen. FNIRS-dataanalysen anvendes på alle fNIRS-data, der registreres fra hver deltager og hver kanal. For det første visualiseres optodetætheden i kanal 33 for en bestemt dyad i figur 2A. Optodetæthed registreres i 46 kanaler (CH'er) af hver kollaborativ læringsdyad af fNIRS-målesystemet. For det andet, Med operationen præciseret i trin 3.1.5 og 3.1.7, levedygtige data er udarbejdet til WTC analyse. Her repræsenterer den røde kurve de data, der udtrækkes af den bølgebaserede bevægelsesartefakter, der fjerner metoden; den blå kurve repræsenterer de data, der udtrækkes af både wavelet-baserede bevægelse artefakter fjerne metode og PCA. Visualiseret forskel mellem to kurver tyder pca er effektiv til at fjerne ikke-neurale signaler (Figur 2B). For det tredje visualiseres WTC-matrixen i figur 2C. Farvekortet varierer fra blå til gul, hvilket repræsenterer værdien af IBS raset fra 0 til 1 (korrelationskoefficienter som funktion af tid og frekvens). Her angiver 1 den største sammenhæng mellem to fNIRS-signaler, og 0 angiver, at der ikke opdages sammenhæng. Et rødt rektangel i plottet markerer betydelige koefficienter. Derudover viser resultaterne en stærk sammenhæng omkring 1 Hz, der repræsenterer dyadens hjerterytmesammenhæng. Endelig viser sammenligningen mellem den observerede T-værdi og fordelingen af tilfældig T-værdi (dvs. 1000 gange) med den i trin 3.2.4 signifikante resultater (t (38) = 3,31, FDR korrigeret p < 0,05, Cohens d = 1,05) i identificeret FOI (0,015 Hz-0,021 Hz) (figur 2D)

Figur 3 præsenterer de kritiske trin i den klyngebaserede permutationsmetode, der bruges til at registrere det kollaborative læringsrelevante frekvensbånd.

Samlet set identificeres frekvensbåndet (raset fra 0,015 Hz til 0,021 Hz), som er følsomt over for kollaborativ læring, efter dataanalysepipelinen (rasede fra 0,015 Hz til 0,021 Hz), som er følsomt over for kollaborativ læring. For hver kanal sammenlignes den tidsgennemsnitsgennemsnitsede IBS-værdi desuden mellem resten og de kollaborative læringsfaser ved hjælp af en række parrede prøve t-tests. Til løsning af problemet med flere sammenligninger korrigeres alle de observerede p-værdier i 46 kanaler ved hjælp af FDR-metoderne35,36. Resultaterne viser, at IBS på kanal 33 når betydning under kollaborativ læring (FDR korrigeret p < 0,05). Ingen andre tilsvarende kanaler angav væsentlige virkninger (p > 0,05).

Figure 1
Figur 1: Eksperimentel protokol og sondeplacering. (A) Forsøgsprocedure. Hjerneaktivitet fra dyads erhverves samtidigt ved hjælp af fNIRS. Hviletilstandssessionen varer i 5 minutter, hvor dyads er forpligtet til at slappe af og holde sig i ro. Derefter bliver deltagerne bedt om at co-lære læringsmaterialet (15-20 min). (B) Optoderne sonde sæt. To sondesæt dækker de præfrontale og venstre temporoparietale regioner. Klik her for at se en større version af dette tal.

Figure 2
Figur 2: Oversigt over fNIRS-dataanalysen. (A) Optodetæthed i kanal 33 for en eksemplarisk dyad. Optodetæthed registreres i 46 kanaler (CH'er) i hver kollaborativ læringsdyad. i, j, Optode tæthed af to deltagere i et samarbejde læring dyad; t, tid. (B) Proceduren for forbehandling af data. Wavelet-baserede bevægelse artefakter fjerne metode og PCA anvendes på Oxy-Hb data i rækkefølge. Her repræsenterer den røde kurve de data, der udtrækkes af den bølgebaserede bevægelsesartefakter, der fjerner metoden; den blå kurve repræsenterer de data, der udtrækkes af både wavelet-baserede bevægelse artefakter fjerne metode og PCA. kbølgebaseret metode, data udvundet af Wavelet-baserede bevægelse artefakter eliminere processen. kbølge-baseret metode + PCA, data udvundet af både Wavelet-baserede bevægelse artefakter fjerne metode og PCA. (C) WTC plot i kanal 33 for en eksemplarisk dyad. Farvekortet varierer fra blå til gult, der repræsenterer værdien af IBS varierede fra 0 til 1 (korrelationskoefficienter som funktion af tid og frekvens). Her angiver 1 den største sammenhæng mellem to fNIRS-signaler, og 0 indikerer, at der ikke opdages sammenhæng. Et rødt rektangel i plottet markerer betydelige koefficienter. WTC anslår IBS på to rene Oxy-Hb tidsserier. (D) Klyngebaseret permutationsmetode. Sammenlign den observerede T-værdi med fordelingen af tilfældige T-værdier i identificeret FOI (0,015 Hz-0,021 Hz). Klik her for at se en større version af dette tal.

Figure 3
Figur 3: Rutediagram for at identificere den kollaborative læringsrelaterede FOI. Klik her for at se en større version af dette tal.

Supplerende tabel S1. Klik her for at downloade denne tabel.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

For det første, i den nuværende protokol, de specifikke trin til at gennemføre fNIRS hyperscanning eksperimenter i et samarbejde læring scenario er angivet. For det andet præsenteres også dataanalysepipelinen, der vurderer IBS af hæmodynamiske signaler i kollaborative læringsdyader. Den detaljerede operation om gennemførelse af fNIRS hyperscanning eksperimenter ville fremme udviklingen af åben videnskab. Desuden er analysen pipeline leveres her for at øge reproducerbarheden af hyperscanning forskning. I det følgende fremhæves de kritiske spørgsmål om eksperimentdesign, udførelse af et eksperiment, dataanalyse i (fNIRS) hyperscanningseksperimenter alle. Derudover diskuteres mulige løsninger på nuværende begrænsninger også.

Eksperimentelt design
Det eksperimentelle design til fNIRS hyperscanning-undersøgelsen er fleksibelt. Her anvendes fNIRS hyperscanning teknik i det kollaborative læringsscenarie. To deltagere blev bedt om at lære specifikke regler for figuren matrix sammen, og deres hjerneaktiviteter blev registreret af fNIRS samtidigt. Denne tilgang gør det muligt for forskere at udforske real-time samtidig neurale dynamik (dvs. IBS) i samarbejde læring dyads. Ifølge tidligere forskning er IBS blevet opdaget i undervisnings- og læringsscenarier og sporer den effektive undervisningstilstand11. Neural tilpasning opdaget i kollaborative læring dyads kan tjene som en potentiel neural mekanisme, der understøtter vellykket læring og giver konsekvenser for at designe effektive kollaborative læringsmønstre. I mellemtiden skal kritiske spørgsmål om eksperimentel design løses: eksperimentet er begrænset til 30 min i dette eksperiment. To grunde højde for denne indstilling: For det første, iført hætter med fNIRS optoder på hovedet er ikke behageligt, kan deltagerne ikke stå i lang tid. For det andet er det svært at bede deltagerne om at holde sig i ro under co-learning i lang tid. Den begrænsede forsøgstid vil gøre det muligt at opnå signaler af god kvalitet.

Udførelse af eksperimentet
Den mest udfordrende del af at gøre fNIRS hyperscanning i et samarbejde læring scenario er at få høj kvalitet hjernesignaler. Baseret på denne protokol fremhæves tre kritiske trin: at lave passende lofter, placere optoder og gennemføre geografisk registrering af tilsvarende kanaler. For det første, da hovedomkreds varierer på tværs af deltagerne, er det vigtigt at lave hætter, der passer til forskellige individer. For det andet, når du placerer en passende hætte på deltagernes hoveder, sikre spidsen af optoder kan direkte kontakte hovedbunden hud. For at nå dette mål, øve denne operation, før eksperimentet er nødvendigt. For det tredje kan udførelse af rumlig registrering med en 3D-digitalisering identificere de tilsvarende anatomiske placeringer af NIRS-kanaler (CH'er) på hjernebarken37,38,39. Denne protokol foreslår at udfylde rumlig registrering for alle deltagere for at få gennemsnitlige og robuste resultater. Langs denne linje bad tidligere forskning deltagerne om at foretage en pre-test for at sikre, at nøjagtige hæmodynamiske signaler kan opnås. Specifikt udførte deltagerne en klassisk finger-tommelfinger tappe opgave med deres højre hånd, hvor fNIRS indspillede hæmodynamiske dynamik. Deltagere, der opdagede et signifikant fNIRS-signal (p < 0,05) i venstre motorbark, er kvalificerede til at deltage i undersøgelsen. Denne teknik sikrer, at optagede signaler kan anvendes på alle deltagere40.

Dataanalyse
Dataanalyseprocessen i denne protokol består af to dele: forbehandling og WTC-analyse. Tre kritiske dataanalyse trin bør fremhæves her: For det første, gennemføre den vigtigste komponent rumlige filter algoritme (PCA) på neurale data. Zhang og couleage29 foreslog denne tilgang til adskillelse af de globale og lokale virkninger. Selvom fNIRS tillader relativt fri bevægelighed og kommunikation, pca er nødvendig for at udtrække nøjagtige signaler fra systemiske ændringer (f.eks vejrtrækning, blodtryk, puls, vejrtrækning, og autonom nervesystem aktivitet). Protokollen her tyder på PCA er effektiv til at fjerne de globale virkninger. Denne metode er meget udbredt i fNIRS hyperscanning undersøgelser13. Alt i alt kan ikke-neurale komponenter fjernes med succes ved hjælp af rumlig filtrering. For det andet er WTC vedtaget for at identificere IBS af kollaborative læring dyads. WTC er en metode til vurdering af korrelationskoefficienterne mellem to-tidsserier som funktion af tid og frekvens41. Denne metode kan afsløre lokalt faselåst funktionsmåde, der muligvis ikke registreres med en traditionel tilgang,f.eks. Og denne metode er meget udbredt til at estimere IBS i fNIRS hyperscanning med forskellige paradigmer, såsom kooperativ og konkurrencedygtig adfærd4,42, studere handling overvågning43, efterligning44, verbal kommunikation8, ikke-verbal kommunikation19,undervisning og læring aktivitet11,12,13,14 og mor-barn social interaktion45.

I mellemtiden anvendes andre teknikker, såsom Granger Causality Analyze (GCA), korrelationsanalyse og fasesynkron analyse, i hyperscanning af forskning. GCA er en metode til at afsløre direkte (kausale) oplysninger mellem to tidsseriedata46. Denne metode er engang blevet brugt til at teste retningen af informationsstrømmen mellem instruktør og elev12. Korrelationsanalyse er også vedtaget i fNIRS-baserede hyperscanning område til at estimere IBS i dyads, der udfører kooperative eller konkurrencedygtige opgaver47,48. Sammenlignet med WTC-analyse karakteriserer denne metode kun de kovariansiske funktioner i to fNIRS-tidsserier langs tidsstrømmen og savnede potentielle oplysninger i frekvens.

Derudover blev der anvendt andre tilgange, der kvantificerede fasesynkron med faselåsningsværdi (PLV), i EEG-hyperscanningsundersøgelser. PLV anslår konsistensen af faseforskellen mellem to signaler49. Men Burgess foreslog PLV viser bias på detektering hyperconnectivity, der ikke eksisterer, især når små prøver er ansat50. For det tredje er det vigtigt at vedtage en ikke-parametrisk statistisk test for at opdage den kollaborative læringsrelaterede frekvens. I første omgang vælges opgaverelateret FOI ved enten at følge forslag i tidligere forskning eller i henhold til specifikt eksperimentdesign (dvs. hvor lang tid for et opgaveforsøg i et eksperiment). For nylig, for at opnå robuste og reproduktive resultater i FOI udvælgelsesprocessen, ikke-parametriske statistiske test tilgange er vedtaget. Her fungerede denne teknik effektivt. Den kollaborative læringsrelaterede FOI (0,015-0,021 Hz) er identificeret, og lignende frekvensbånd er blevet identificeret i fNIRS hyperscanning forskning i undervisning scenario13 og i verbal kommunikation paradigmer8. Det er nødvendigt at anvende denne teknik i multi-hjerne dataanalyse pipeline. Alt i alt vil etablering af egnede algoritmer og metoder til analyse af hyperscanningsdata være et fremtrædende felt.

Begrænsning og fremtidig retning
Flere begrænsninger kan forbedres i fremtiden for at opnå reproduktiv og robust IBS inden for en realistisk social interaktionskontekst fra en multihjerne. For det første er vægten af fiberen for tung og ubehagelig at bære i lang tid; således er tidspunktet for eksperimentet begrænset til 30 min. I fremtiden, hvis registrering af multi-hjerne aktivitet i klasseværelset, er det svært at bede eleverne om at bære fNIRS caps i løbet af en skoleperiode (dvs. 50 min). Således er bærbare fNIRS-indstillinger påkrævet i faktiske forelæsninger og læringsscenarie. For det andet, selv om fNIRS viser højere tolerance over for hoved bevægelse end fMRI, denne teknik kan kun detektere hjernens aktivitet af overfladen cortex15. FNIRS hyperscanning kan således ikke bruges i den belønningsrelaterede neurale mekanisme, der udforsker paradigme, hvor amygdala spiller en afgørende rolle51. I mellemtiden tyder det begrænsede antal kilder og detektorer i fNIRS-opsætningen på, at ikke hele hjernebarken ville blive målt. Det betyder, at forskere er nødt til at vælge den region af interesse (ROI) til at måle. For det tredje er PCA vedtaget for at fjerne systemforurenende stoffer. Mens denne teknik er effektiv, i fremtiden, tilføje korte kanaler, der tegner sig for ekstra-cerebellar blodgennemstrømning, som kan forurene fNIRS signaler, er også en effektiv tilgang29,39. For det fjerde kan dataanalyseproceduren i denne protokol anvendes i andre naturalistiske fNIRS hyperscanning undersøgelser. Det næste skridt er at udvikle fNIRS-specifikke dataanalysepakker med standardretningslinjen. For det femte anvendes WTC i denne protokol til at identificere den samtidige hjerneaktivitet (dvs. IBS). Med udviklingen af en teknik til beregning af kovaried neural aktivitet, andre metoder såsom grafteori og GCA også kan anvendes. For det sjette er det nødvendigt at rekruttere kontrolbetingelser, såsom talebetingelser, der kræver dyads at tale om specifikke emner for at udelukke forvirrende virkninger. I mellemtiden, at afsløre, hvilken læringsaktivitet i kollaborativ læring (dvs. viden co-konstruktion52)ville føre til IBS. Og om disse opdagede IBS kan bruges til at spore læringspræstationer af kollaborative læringsdyader er også vigtige. Endelig haster det også med at skabe en ramme for at forklare IBS's mekanisme. Forskere forsøger at skelne, om dette kun er epiphenomenon eller en neural mekanisme af social interaktion af Hamilton53. For at nå dette mål foreslog Hamilton på den ene side en xGLM-tilgang, der modellerer hjerneaktivitet, adfærdsdata og fysiologiske data sammen for at udforske den pålidelige forklaring af hjernekobling53. På den anden side foreslog Novembre og Lannetti at udføre multi-hjernestimulering (MBS) for at afsløre mekanismen for samtidig hjerneaktivitet54.

Konklusion
fNIRS hyperscanning fører til et paradigmeskift fra traditionelt eksperimentdesign til realistiske sociale interaktionsscenarier inden for social neurovidenskab. IBS udvundet af denne metode giver et nyt syn på at forklare den neurobiologiske mekanisme af sociale interaktioner. Endelig vil den etablerede standardiserede pipeline til indsamling og analyse af data være milepælen for at generere gyldige resultater og fremme det nylige hyperscanningseksperiment.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Forfatterne har intet at afsløre.

Acknowledgments

Dette arbejde er støttet af ECNU Academic Innovation Promotion Program for Excellent Ph.d.-studerende (YBNLTS2019-025) og National Natural Science Foundation of China (31872783 og 71942001).

Materials

Name Company Catalog Number Comments
EEG caps Compumedics Neuroscan,Charlotte,USA 64-channel Quik-Cap We choose two sizes of cap(i.e.medium and large).
NIRS measurement system with probe sets and probe holder grids Hitachi Medical Corporation, Tokyo, Japan ETG-7100 Optical Topography System The current study protocol requires an optional second adult probe set for 92 channels of measurement in total.
Numeric computing platform The MathWorks, Inc., Natick, MA MATLAB R2020a Serves as base for Psychophysics Toolbox extensions (stimulus presentation), Homer2  (fNIRS preprocess analysis), and "wtc" function(WTC computation).
Psychology software psychology software tools,Sharpsburg, PA,USA E-prime 2.0 We apply E-prime to start the fNIRS measurement system and send triggers which marking the rest phase and collaborative learning phase for fNIRS recording data.
Swimming caps Zoke corporation,Shanghai,China 611503314 We first placed the standard 10-20 EEG cap on the head mold, and placed the swimming cap on the EEG cap. Second, we marked (inion, Cz, T3, T4, PFC and P5) with chalk.
Three-dimensional (3-D) digitizer Polhemus, Colchester, VT, USA; Three-dimensional (3-D) digitizer Anatomical locations of optodes in relation to standard head landmarks were determined for each participant using a Patriot 3D Digitizer

DOWNLOAD MATERIALS LIST

References

  1. Babiloni, F., Astolfi, L. Social neuroscience and hyperscanning techniques: past, present and future. Neuroscience & Biobehavioral Reviews. 44, 76-93 (2014).
  2. Schilbach, L., et al. Toward a second-person neuroscience. Behavior Brain Science. 36, 393-414 (2013).
  3. Montague, P. Hyperscanning: simultaneous fMRI during linked social interactions. NeuroImage. 16, 1159-1164 (2002).
  4. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  5. Dikker, S., et al. Brain-to-brain synchrony tracks real-world dynamic group interactions in the classroom. Current Biology. 27 (9), 1375-1380 (2017).
  6. Abrams, D. A., et al. Inter-subject synchronization of brain responses during natural music listening. European Journal of Neuroscience. 37 (9), 1458-1469 (2013).
  7. Pan, Y., et al. Instructor-learner brain coupling discriminates between instructional approaches and predicts learning. NeuroImage. 211, 116657 (2020).
  8. Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
  9. Bevilacqua, D., et al. Brain-to-brain synchrony and learning outcomes vary by student-teacher dynamics: Evidence from a real-world classroom electroencephalography study. Journal of Cognitive Neuroscience. 31 (3), 401-411 (2019).
  10. Dikker, S., et al. Morning brain: real-world neural evidence that high school class times matter. Social Cognitive and Affective Neuroscience. 15 (11), 1193-1202 (2020).
  11. Pan, Y., Guyon, C., Borragán, G., Hu, Y., Peigneux, P. Interpersonal brain synchronization with instructor compensates for learner's sleep deprivation in interactive learning. Biochemical Pharmacology. , 114111 (2020).
  12. Pan, Y., Novembre, G., Song, B., Li, X., Hu, Y. Interpersonal synchronization of inferior frontal cortices tracks social interactive learning of a song. NeuroImage. 183, 280-290 (2018).
  13. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students' knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  14. Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
  15. Kleinschmidt, A., et al. Simultaneous recording of cerebral blood oxygenation changes during human brain activation by magnetic resonance imaging and near-infrared spectroscopy. Journal of Cerebral Blood Flow & Metabolism. 16 (5), 817-826 (1996).
  16. Strangman, G., Culver, J. P., Thompson, J. H., Boas, D. A. A quantitative comparison of simultaneous BOLD fMRI and NIRS recordings during functional brain activation. NeuroImage. 17 (2), 719-731 (2002).
  17. Huppert, T. J., Hoge, R. D., Diamond, S. G., Franceschini, M. A., Boas, D. A. A temporal comparison of BOLD, ASL, and NIRS hemodynamic responses to motor stimuli in adult humans. NeuroImage. 29 (2), 368-382 (2006).
  18. Holper, L., Scholkmann, F., Wolf, M. Between-brain connectivity during imitation measured by fNIRS. NeuroImage. 63, 212-222 (2012).
  19. Hirsch, J., Zhang, X., Noah, J. A., Ono, Y. Frontal temporal and parietal systems synchronize within and across brains during live eye-to-eye contact. NeuroImage. 157, 314-330 (2017).
  20. Wilcox, T., Biondi, M. fNIRS in the developmental sciences. Wiley Interdisciplinary Reviews: Cognitive Science. 6 (3), 263-283 (2015).
  21. Ye, J. C., Tak, S., Jang, K. E., Jung, J., Jang, J. NIRS-SPM: statistical parametric mapping for nearinfrared spectroscopy. NeuroImage. 44 (2), 428-447 (2009).
  22. Huppert, T. J., Diamond, S. G., Franceschini, M. A., Boas, D. A. HomER: A review of time-series analysis methods for near-infrared spectroscopy of the brain. Applied Optics. 48 (10), 280-298 (2009).
  23. Santosa, H., Zhai, X., Fishburn, F., Huppert, T. The NIRS Brain AnalyzIR toolbox. Algorithms. 11 (5), 73 (2018).
  24. Xu, Y., Graber, H. L., Barbour, R. L. nirsLAB: a computing environment for fNIRS neuroimaging data analysis. Biomedical Optics. , BM3A-1 (2014).
  25. Cope, M., Delpy, D. T. System for long-term measurement of cerebral blood and tissue oxygenation on newborn infants by near infra-red transillumination. Medical and Biological Engineering and Computing. 26 (3), 289-294 (1988).
  26. Hoshi, Y. Functional near-infrared spectroscopy: current status and future prospects. Journal of Biomedical Optics. 12 (6), 062106 (2007).
  27. Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259 (2012).
  28. Cooper, R., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. 6, 147 (2012).
  29. Zhang, X., Noah, J. A., Hirsch, J. Separation of the global and local components in functional near-infrared spectroscopy signals using principal component spatial filtering. Neurophotonics. 3 (1), 015004 (2016).
  30. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
  31. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG-and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  32. Nozawa, T., Sasaki, Y., Sakaki, K., Yokoyama, R., Kawashima, R. Interpersonal frontopolar neural synchronization in group communication: an exploration toward fNIRS hyperscanning of natural interactions. NeuroImage. 133, 484-497 (2016).
  33. Reindl, V., Gerloff, C., Scharke, W., Konrad, K. Brain-to-brain synchrony in parent-child dyads and the relationship with emotion regulation revealed by fNIRS-based hyperscanning. NeuroImage. 178, 493-502 (2018).
  34. Theiler, J., Eubank, S., Longtin, A., Galdrikian, B., Farmer, J. D. Testing for nonlinearity in time series: the method of surrogate data. Physica D: Nonlinear Phenomena. 58 (1-4), 77-94 (1992).
  35. Genovese, C. R., Lazar, N. A., Nichols, T. Thresholding of statistical maps in functional neuroimaging using the false discovery rate. NeuroImage. 15 (4), 870-878 (2002).
  36. Nichols, T., Hayasaka, S. Controlling the familywise error rate in functional neuroimaging: a comparative review. Statistical Methods in Medical Research. 12 (5), 419-446 (2003).
  37. Tsuzuki, D., et al. Virtual spatial registration of stand-alone fNIRS data to MNI space. NeuroImage. 34 (4), 1506-1518 (2007).
  38. Singh, A. K., Okamoto, M., Dan, H., Jurcak, V., Dan, I. Spatial registration of multi-channel multi-subject fNIRS data to MNI space without MRI. NeuroImage. 27 (4), 842-851 (2005).
  39. Noah, J. A., et al. Comparison of short-channel separation and spatial domain filtering for removal of non-neural components in functional near-infrared spectroscopy signals. Neurophotonics. 8 (1), 015004 (2021).
  40. Noah, J. A., et al. Real-time eye-to-eye contact is associated with cross-brain neural coupling in angular gyrus. Frontiers in Human Neuroscience. 14 (19), (2020).
  41. Torrence, C., Compo, G. P. A practical guide to wavelet analysis. Bulletin of the American Meteorological Society. 79 (1), 61-78 (1998).
  42. Osaka, N., Minamoto, T., Yaoi, K., Azuma, M., Osaka, M. Neural synchronization during cooperated humming: a hyperscanning study using fNIRS. Procedia-Social and Behavioral Sciences. 126, 241-243 (2014).
  43. Dommer, L., Jäger, N., Scholkmann, F., Wolf, M., Holper, L. Between-brain coherence during joint n-back task performance: a two-person functional near-infrared spectroscopy study. Behavioural Brain Research. 234 (2), 212-222 (2012).
  44. Holper, L., Scholkmann, F., Wolf, M. Between-brain connectivity during imitation measured by fNIRS. Neuroimage. 63, 212-222 (2012).
  45. Nguyen, T., et al. The effects of interaction quality on neural synchrony during mother-child problem solving. Cortex. 124, 235-249 (2020).
  46. Seth, A. K., Barrett, A. B., Barnett, L. Granger causality analysis in neuroscience and neuroimaging. Journal of Neuroscience. 35 (8), 3293-3297 (2015).
  47. Funane, T., et al. Synchronous activity of two people's prefrontal cortices during a cooperative task measured by simultaneous near-infrared spectroscopy. Journal of Biomedical Optics. 16 (7), 077011 (2011).
  48. Liu, T., Saito, H., Oi, M. Role of the right inferior frontal gyrus in turn-based cooperation and competition: a near-infrared spectroscopy study. Brain and Cognition. 99, 17-23 (2015).
  49. Lachaux, J. P., Rodriguez, E., Martinerie, J., Varela, F. J. Measuring phase synchrony in brain signals. Human Brain Mapping. 8 (4), 194-208 (1999).
  50. Burgess, A. P. On the interpretation of synchronization in EEG hyperscanning studies: a cautionary note. Frontiers in Human Neuroscience. 7, 881 (2013).
  51. Burgos-Robles, A., et al. Amygdala inputs to prefrontal cortex guide behavior amid conflicting cues of reward and punishment. Nature Neuroscience. 20 (6), 824-835 (2017).
  52. Mende, S., Proske, A., Narciss, S. Individual preparation for collaborative learning: Systematic review and synthesis. Educational Psychologist. , 1-25 (2020).
  53. Hamilton, A. F. D. C. Hyperscanning: Beyond the hype. Neuron. 109 (3), 404-407 (2021).
  54. Novembre, G., Iannetti, G. D. Hyperscanning alone cannot prove causality. Multibrain stimulation can. Trends in Cognitive Sciences. 25 (2), 96-99 (2021).

Tags

Neurovidenskab Inter-Brain Synchrony fNIRS hyperscanning Wavelet Transform Sammenhæng åben videnskab
Inter-Brain Synchrony i Open-Ended Collaborative Learning: En fNIRS-Hyperscanning Study
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhao, N., Zhu, Y., Hu, Y.… More

Zhao, N., Zhu, Y., Hu, Y. Inter-Brain Synchrony in Open-Ended Collaborative Learning: An fNIRS-Hyperscanning Study. J. Vis. Exp. (173), e62777, doi:10.3791/62777 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter