Summary
Protokollet för att genomföra fNIRS hyperscanning experiment på kollaborativa inlärningsdyader i en naturalistisk inlärningsmiljö beskrivs. Vidare presenteras en pipeline för att analysera Inter-Brain Synchrony (IBS) av syresatt hemoglobin (Oxy-Hb) signaler.
Abstract
fNIRS hyperscanning används ofta för att upptäcka neurobiologiska underbyggnader av social interaktion. Med denna teknik kvalificerar forskare den samtidiga hjärnaktiviteten hos två eller flera interaktiva individer med ett nytt index som kallas inter-brain synchrony (IBS) (dvs. fas- och/eller amplitudjustering av neuronala eller hemodynamiska signaler över tiden). Ett protokoll för att genomföra fNIRS hyperscanning experiment på kollaborativa lärande dyads i en naturalistisk inlärningsmiljö presenteras här. Vidare förklaras en pipeline för att analysera IBS av syresatt hemoglobin (Oxy-Hb) signal. Specifikt diskuteras den experimentella designen, processen för NIRS-dataregistrering, dataanalysmetoder och framtida riktningar. Sammantaget är implementering av en standardiserad fNIRS hyperscanning pipeline en grundläggande del av andrapersons neurovetenskap. Detta ligger också i linje med kravet på öppen vetenskap för att underlätta forskningens reproducerbarhet.
Introduction
Nyligen, för att avslöja den samtidiga hjärnaktiviteten över de interaktiva dyaderna eller medlemmarna i en grupp, använder forskare hyperscanningsmetoden1,2. Specifikt används elektroencefalogram (EEG), funktionell magnetisk resonanstomografi (fMRI) och funktionell nära infraröd spektroskopi (fNIRS) för att registrera neurala och hjärnaktiviteter från två eller flera ämnen samtidigt3,4,5. Forskare extraherar ett neuralt index som innebär samtidig hjärnkoppling baserat på denna teknik, som hänvisar till inter-brain synkrony (IBS) (dvs. fas och/eller amplitud justering av neuronala eller hemodynamiska signaler över tiden). Ett stort utbud av hyperscanning forskning hittade IBS under social interaktion mellan flera individer (t.ex. spelar-publik, instruktör-elev och leader-följare)6,7,8. Dessutom har IBS särskilda konsekvenser av effektivt lärande och undervisning9,10,11,12,13,14. Med den växande hyperscanning av forskning i naturalistiska inlärningsscenarier är det nödvändigt att upprätta ett standardprotokoll för hyperscanning experiment och pipeline av dataanalys inom detta område.
Således ger detta dokument ett protokoll för att genomföra fNIRS-baserad hyperscanning av kollaborativa inlärningsdyader och en pipeline för att analysera IBS. fNIRS är ett optiskt avbildningsverktyg som utstrålar nära infrarött ljus för att bedöma spektral absorptionen av hemoglobin indirekt, och sedan mäts hemodynamisk/syresättningsaktivitet15,16,17. Jämfört med fMRI är fNIRS mindre benägna att rörelseartefakter, vilket möjliggör mätningar från ämnen som gör verkliga experiment (t.ex. imitation, samtal och icke-verbal kommunikation)18,7,19. I jämförelse med EEG har fNIRS högre rumslig upplösning, vilket gör det möjligt för forskare att upptäcka platsen för hjärnaktivitet20. Dessa fördelar i rumslig upplösning, logistik och genomförbarhet kvalificerar fNIRS för att utföra hyperscanning mätning1. Med hjälp av denna teknik upptäcker ett framväxande forskningsorgan en indexterm som IBS-den neurala justeringen av två (eller flera) människors hjärnaktivitet - i olika former av naturalistiska sociala inställningar9,10,11,12,13,14. I dessa studier tillämpas olika metoder (dvs. korrelationsanalys och WTC-analys (Wavelet Transform Coherence) för att beräkna detta index. Under tiden är det nödvändigt med en standardpipeline för en sådan analys, men saknas. Som ett resultat presenteras ett protokoll för att genomföra fNIRS-baserad hyperscanning och en pipeline med WTC-analys för att identifiera IBS i detta arbete
Denna studie syftar till att utvärdera IBS i kollaborativa inlärningsdyader med hjälp av fNIRS hyperscanningsteknik. För det första registreras ett hemodynamiskt svar samtidigt i varje dyads prefrontala och vänstra temporoparietala regioner under en samarbetsuppgift. Dessa regioner har identifierats som associerade med interaktiv undervisning och lärande9,10,11,12,13,14. För det andra beräknas IBS på varje motsvarande kanal. FNIRS-datainspelningsprocessen består av två delar: vilotillståndssession och samarbetssession. Vilotillståndssessionen varar i 5 minuter, under vilken båda deltagarna (sittande ansikte mot ansikte, förutom varandra vid ett bord (0,8 m)) måste vara stilla och koppla av. Den här vilotillståndssessionen används som baslinje. Sedan, i samarbetssessionen, uppmanas deltagarna att studera hela läromaterialet tillsammans, framkalla förståelse, sammanfatta reglerna och se till att allt läromedel behärskas. Här presenteras de specifika stegen för att genomföra experimentet och fNIRS-dataanalysen.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Alla rekryterade deltagare (40 dyads, medelålder 22,1 ± 1,2 år; 100% högerhänta; normala eller korrigerade till normala vision) var friska. Före experimentet gav deltagarna informerat samtycke. Deltagarna fick ekonomisk ersättning för sitt deltagande. Studien godkändes av University Committee of Human Research Protection (HR-0053-2021), East China Normal University.
1. Förbereda steg innan data antas
- Hemlagade NIRS-kepsar
- Använd elastisk badmössa för att placera optodenhållare galler.
OBS: Med tanke på att deltagarnas huvudstorlekar är olika används två storlekar av kepsar. Små kepsar är förberedda för deltagare med en huvudomkrets på 55,4 ± 1,1 cm, och stora kepsar är för deltagarna med en huvudomkrets på 57,9 ± 1,2 cm. - Förankra placeringen av EEG-elektroderna (injon, Cz, T3, T4, Fpz och P5) som referens optoder enligt det vanliga internationella 10-10-systemet på elastiska badlock (se Tabell över material).
- Placera först standard 10-10 EEG-locket (se Tabell över material) på huvudformen och sätt den elastiska badlocket på EEG-locket. För det andra, markera referens optoder (injon, Cz, T3, T4, Fpz och P5) med krita på varje keps. Slutligen skär du två hål med ca 15 mm i diameter för att placera de två referens optoderna (dvs. Fpz och P5, figur 1).
Obs: Specifikt placeras en 3 x 5 optode sonduppsättning och en 4 x 4 optode sonduppsättning separat över det prefrontala området (referens optod placeras vid Fpz, figur 1B) och vänster temporoparietal regioner (referens optod placeras på P5, figur 1B).
- Placera först standard 10-10 EEG-locket (se Tabell över material) på huvudformen och sätt den elastiska badlocket på EEG-locket. För det andra, markera referens optoder (injon, Cz, T3, T4, Fpz och P5) med krita på varje keps. Slutligen skär du två hål med ca 15 mm i diameter för att placera de två referens optoderna (dvs. Fpz och P5, figur 1).
- Skär hål för att placera de andra optoderna. Ordna en badmössa med två gallerhållare direkt på huvudformen. Markera sedan platsen för andra optoder med krita. Därefter skär du vilohålen för att se till att gallerhållaren passar in.
- Montera två sonderuppsättningar (dvs. 3 x 5 och 4 x 4) på badlocken (se Materialtabell).
OBS: NIRS-mätsystemet (se Materialtabellen)förser dessa standardsondsatser (dvs. 3 x 5 och 4 x 4) med standardhållares uttag som säkerställer 30 mm optodseparation. - Öppna övervakningsfönstret för sonduppsättningen vid NIRS-mätsystemet och välj fyra sonduppsättningar ordnade i 3 x 5 och 4 x 4 för varje person, separat.
OBS: Sondarrangemangen för de två kapslarna bör motsvara strukturerna i sonduppsättningsfönstret (dvs. den exakta platsen för mottagarens sondnummer och respektive emitter).
- Använd elastisk badmössa för att placera optodenhållare galler.
- Förberedelse av experimentet
- Innan du registrerar data, se till att NIRS-systemet håller en stabil driftstemperatur genom att starta systemet i minst 30 minuter.
OBS: Den stabila driftstemperaturen varierade från 5 °C till 35 °C. - Ställ in mätläget på händelserelaterad mätning. Se till att utlösarmottagaren är aktiv (dvs. den seriella ingången RS232).
OBS: Experimentet är programmerat i kommersiellt tillgänglig psykologiprogramvara (se Tabell över material). Absorptionen av nära infrarött ljus (två våglängder: 695 och 830 nm) mäts med en samplingshastighet på 10 Hz. - Förbered den upplysta fiberoptiska sonden, som kan användas för att flytta håret åt sidan.
- Ställ in experimentmiljön med ett bord med två stolar för att hålla deltagarnas platser ansikte mot ansikte.
- Innan du registrerar data, se till att NIRS-systemet håller en stabil driftstemperatur genom att starta systemet i minst 30 minuter.
2. Anta uppgifter genom att instruera deltagarna
- Förbered deltagarna
- Instruera deltagarna, inklusive detaljer om NIRS mätmetoder.
OBS: Alla deltagare var friska och fick ekonomisk ersättning för deltagande. Inga deltagare drog sig ur experimentet halvvägs igenom. NIRS laserstråle kan vara skadlig för deltagarnas ögon, och de instruerades att inte titta direkt in i dessa laserstrålar. - Få deltagarna att sitta ansikte mot ansikte (förutom ett bord (0,8 m)) för att se till att de kan se varandra direkt. Justera avståndet från stol till bord (dvs. nästan 0,3 m) så att deltagarna sitter bekvämt.
- Slå på laserknappen och placera kepsarna med sondens uppsättningar på deltagarnas huvuden.
OBS: 3 x 5 sondens uppsättningar täcker deltagarnas panna (mittensonden på den nedre raden placeras på Fpz); 4 x 4 sonden täcker den vänstra temporoparietala cortexen (den tredje sonden i den tredje raden placeras på P5). - Sätt de fyra optiska fiberbuntarna löst på hållarens armar utan kontakt med deltagarna eller stolarna.
OBS: Här har NIRS-mätsystemet fyra buntar med optiska fibrer. Se dessutom till att deltagarna inte känner sig för tunga för att dra av kepsarna. - Låt sondens spetsar vidröra deltagarnas hårbotten genom att försiktigt trycka varje fjäderbelastningssond längre in i uttaget.
- Utför signalkalibrering.
- Kontrollera först signalens kvalitet genom att klicka på Auto Gain i övervakningsfönstret för fNIRS-datorn. Sedan markeras en kanals dåliga signal och tillräcklig signal i gult och grönt i övervakningsfönstret för sonduppsättningen.
OBS: För en kanal med otillräckliga signaler används upplysta fiberoptiska sonder för att flytta håret under sondens spets åt ena sidan. - Tryck sedan sonder längre in i deras uttag för att få tillräckligt med signaler. Upprepa denna process tills alla kanaler är markerade i grönt i dunderuppsättningens monitorfönster i NIRS-mätsystemet, vilket indikerar att signalkvaliteten är tillgänglig.
- Kontrollera först signalens kvalitet genom att klicka på Auto Gain i övervakningsfönstret för fNIRS-datorn. Sedan markeras en kanals dåliga signal och tillräcklig signal i gult och grönt i övervakningsfönstret för sonduppsättningen.
- Instruera deltagarna, inklusive detaljer om NIRS mätmetoder.
- Kör experimentet
- Starta experimentet med ett vilotillstånd på 5 minuter, som fungerar som bas linje. Därefter måste två deltagare vara med och lära sig läromaterialet.
- Efter experimentet klickar du på Textfil ut för att exportera råa ljusintensitetsdata och spara data som en textfil.
OBS: Inga filter används i NIRS-mätsystemet. - Använd den tredimensionella (3D) digitizern (se Materialtabell) för att bestämma platserna för emittrar, mottagare och andra referenser (dvs. injon, nasion, Cz och vänster och höger öron) för varje deltagare.
- Skaffa MNI-koordinaterna för inspelningskanalerna med hjälp av den kommersiellt tillgängliga numeriska datorplattformen21 (se Materialförteckning). Tilläggstabell S1 visar motsvarande anatomiska platser för varje kanal.
- Rengör sonder och sondhållare med etanol. Tvätta locken med milt rengöringsmedel och låt locken lufttorka.
3. Dataanalys
- Förbearbetning av data
OBS: Tidigare forskning har antagit variabla icke-kommersiella programvarupaket (t.ex. Homer222, AnalyzeIR23, eller nirs LAB24) med numeriska datorplattformar (se Tabell över material) på fNIRS-dataanalys, och de finns alla tillgängliga på webbplatsen. Här användes Homer2 för att göra förbearbetningen av NIRS-data. Dessutom delar både fNIRS-inspelningsdata som samlats in i resten och samarbetsfaserna för lärande samma förbearbetnings- och analyspipeline.- Kopiera datauppsättningen från fNIRS-datorn. Konvertera den ursprungliga databildningen till rätt bildning (dvs. konvertera cvs-fil till nirs-fil).
- Konvertera rådata till OD-data (Optical Density) med funktionen "hmrIntensity2OD" som tillhandahålls i den numeriska datorplattformen (se Tabell över material).
- Ta bort de felaktiga kanalerna. Beräkna sedan od-värdet för varje deltagare på varje kanal respektive fullständiga provpunkter.
OBS: Här erhålls 46 genomsnittliga OD-värden.- Beräkna standardavvikelsen (SD) för varje deltagare.
- Markera som oanvändbar och ta bort kanalerna med mycket låg eller hög OD (som överskred 5 SDs) från analysen för varje deltagare.
OBS: Det här steget kan utföras före och/eller efter förbearbetning av fNIRS-data. I den här data analys pipelinen identifieras de felaktiga kanalerna före fNIRS-data förbearbetning.
- Konvertera OD-tidsdata till Oxy-Hb, DeOxy-Hb och kombinerad signal baserad på den modifierade Beer-Lambert Law25.
OBS: Referens25 säger, "Alla dataanalyssteg utförs på Oxy-Hb-data, vilket är en indikator på förändringen i regionalt cerebralt blodflöde med högre signal-till-brus-förhållande26. Dessutom använde tidigare forskning fNIRS hyperscanning i undervisnings- och inlärningsscenarier främst fokuserade på Oxy-Hb-koncentration11,12,13,14." - Kalibrera Oxy-Hb-tidsserier från rörelseartefakter med den waveletbaserade metoden kanal för kanal.
OBS: Specifikt antas Daubechies 5 (db5) wavelet med justeringsparametern vid 0,1 (se detaljer i Homer2-handboken)27,28 för att ta bort rörelseartefakter. - Applicera bandpassfiltret (dvs. 0,01-1 Hz) på de kalibrerade Oxy-Hb-data för att minska högfrekvent brus och långsam drift.
- Utför huvudkomponenter analys (PCA) på OxyHb signalen för att ta bort icke-neurala globala komponenter (t.ex. blodtryck, andning, och blodflöde variation)29.
OBS: Den PCA-analys som föreslagits av Zhang ochkollegorna 29 antas här.- Först, sönderdela signalen.
OBS: Den specifika formeln för nedbrytning av fNIRS-signal är: H = UΣVT. Här presenteras temporala och rumsliga mönster av fNIRS-data i två matriser (dvs. du och V). U är en 2D-matris (exempelpunkt x huvudkomponent). V är också en matris för 2D (huvudkomponent x huvudkomponent). Kolumnen i V anger en huvudkomponent (PC) och datorns styrka för en viss kanal uppskattas i varje post i kolumnen. Den relativa betydelsen av varje dator representeras av värdet för den diagonala matrisen Σ. - För det andra, utför rumslig utjämning.
NOTERA: Gaussisk kernel-faltning används för att ta bort lokaliserade signaler och få den globala komponenten. - För det tredje, rekonstruera signalen.
OBS: För att beräkna den globala komponenten i fNIRS-data är den utjämnade rumsliga mönstermatrisen V* ansluten tillbaka till nedbrytningsformeln: HGlobal = UΣ(V*)T. Sedan kan lokaliserad härledd neuronal signal erhållas med hjälp av ursprungliga data H för att subtrahera HGlobal : HNeuronal = H - HGlobal.
- Först, sönderdela signalen.
- Synkron mellan hjärnor
OBS: För att avslöja hjärnkoppling i andrapersons neurovetenskap antas wavelet transform coherence (WTC) här. Kortfattat mäter WTC korrelationen mellan tvåfaldiga serier som en funktion av frekvens och tid. Den specifika formeln för vågsammanhållning i tvåfaldiga serier x och y är:
T och s anger tids- och vågskalan separat, ▼·› indikerar en utjämning i skala och tid. W representerar den kontinuerliga vågloppstransformen. Sedan genereras en WTC-matris för 2D (tid x frekvens)30. Flera verktygslådor används för att beräkna WTC-värdet. Här användes verktygslådan skapad av Grinsted ochkollegorna 30.- Anta WTC-funktionen för den numeriska datorplattformen (se Tabell över material).
OBS: Här används standardinställningen för modervågen (dvs. Generaliserad morse wavelet med dess parametrar beta och gamma). Mother wavelet konverterar varje tids serie till frekvens- och tidsdomänen. - Ange standardinställningen för de andra parametrarna (dvs. MonteCarloCount, som representerar antalet surrogatdatauppsättningar i signifikansberäkningen).
- Beräkna WTC-värdet för två motsvarande kanaler (samma kanal i två deltagare) i en numerisk datorplattform (se Tabell över material). Enligt samma procedur genereras 46 WTC-matriser från 46 kanaler.
- Bestäm frekvensbandet av intresse (FOI), som är känsligt för samarbetsinlärning.
OBS: Här används en klusterbaserad permutationsmetod för att upptäcka sådana FOI31, som erbjuder en lösning på flera jämförelser i data med flera kanaler och flera frekvenser.- Utför tidsgenomsnittet av WTC-värdena i vilo- respektive samarbetsfaserna för varje kanalkombination. Utför sedan parade prov t-testertillsammans med hela frekvensen (frekvensområde: 0,01-1Hz32) på dessa tidsgenomsnitt WTC-värden (samarbetsinlärning kontra vila). Identifiera sedan frekvenslager där uppgiftseffekten är betydande (samarbetsinlärning > vila, s < 0,05).
- Få betydande frekvens närliggande punkter (≥2) som observerade kluster och motsvarande T-värden.
- Utför en serie parkopplade exempel-t-testerpå permuterade data för att generera T-värdena för varje kluster som är kvalificerat i steg 3.2.4.2 för 1000 gånger.
OBS: För att bilda permuterade data tilldelas deltagarna slumpmässigt att bilda nya par med två medlemmar. Eftersom datamängdernas längd varierade mellan dyads för varje slumpmässigt par trimmas den längre datauppsättningen till samma längd som den kortare33. - Jämför de genomsnittliga klusterbaserade T-värdena från ursprungliga par med T-värdena för 1000 permutationer.
OBS: De p-värden som utvärderas av denna formel34:
, där S0 betecknar observerat genomsnittligt kluster t-värde, μp och σp anger medelvärdet och standardavvikelsen för permutationsvärden. - Genomsnittliga WTC-värden i den identifierade FOI i varje kanal i varje dyad. Använd sedan fisher z-omvandlingen på WTC-värdena för att få en normal fördelning av WTC-värden. Använd det här värdet för att indexera IBS för ytterligare statistisk analys.
- Anta WTC-funktionen för den numeriska datorplattformen (se Tabell över material).
, där S0 betecknar observerat genomsnittligt kluster t-värde, μp och σp anger medelvärdet och standardavvikelsen för permutationsvärden.Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Figur 1 illustrerar experimentprotokollet och sondplatsen. FNIRS-datainspelningsprocessen består av två delar: vilotillståndssession (5 min) och samarbetssession (15-20 min). De kollaborativa inlärningsdyaderna måste slappna av och hålla sig stilla i vilotillståndssessionen. Därefter uppmanas deltagarna att vara med och lära sig inlärningsmaterialet (figur 1A). Deras prefrontala och vänstra temporoparietala regioner omfattas av motsvarande sonduppsättning (figur 1B).
Figur 2 illustrerar fNIRS dataanalyspipeline. FNIRS-dataanalysen tillämpas på alla fNIRS-data som registreras från varje deltagare och varje kanal. För det första visualiseras optodtätheten i kanal 33 för en viss dyad i figur 2A. Optoddensiteten registreras i 46 kanaler (CHs) i varje samarbetsinlärningsdyad av fNIRS-mätsystemet. För det andra, Med operationen klar i steg 3.1.5 och 3.1.7, utarbetas livskraftiga data för WTC-analys. Här representerar den röda kurvan de data som extraheras av den wavelet-baserade rörelseartefaktermetoden. den blå kurvan representerar data som extraheras av både Wavelet-baserade rörelseartefakter som tar bort metoden och PCA. Visualiserad skillnad mellan två kurvor tyder på att PCA är effektivt för att ta bort icke-neurala signaler (figur 2B). För det tredje visualiseras WTC-matrisen i figur 2C. Färgkartan varierar från blått till gult, vilket representerar värdet på IBS rasade från 0 till 1 (korrelationskoefficienter som en funktion av tid och frekvens). Här betecknar 1 den största samstämmigheten mellan två fNIRS-signaler, och 0 betecknar att ingen koherens upptäcks. En röd rektangel i ritytan markerar signifikanta koefficienter. Dessutom visar resultaten en stark koherens runt 1 Hz, vilket representerar dyadens hjärtrytmsammanhållning. Slutligen, med den operation som anges i steg 3.2.4, visar jämförelsen mellan det observerade T-värdet och fördelningen av slumpmässigt T-värde (dvs. 1000 gånger) signifikanta resultat (t (38) = 3,31, FDR korrigerade p < 0,05, Cohens d = 1,05) i identifierade FOI (0,015 Hz- 0,02) (figur 0,015 Hz)(figur0,02).
I figur 3 presenteras de kritiska stegen i den klusterbaserade permutationsmetoden som används för att identifiera det relevanta frekvensbandet för lärande i samarbete.
Tillsammans identifieras frekvensbandet (rasat från 0,015 Hz till 0,021 Hz) efter dataanalyspipelinen genom klusterbaserad permutationsmetod. För varje kanal jämförs dessutom det tidsgenomsnittade IBS-värdet mellan resten och samarbetsfaserna med hjälp av en serie parade urvals-t-tester. För att lösa problemet med flera jämförelser korrigeras alla observerade p-värden i 46 kanaler med FDR-metoder35,36. Resultaten visar att IBS vid kanal 33 når betydelse under kollaborativt lärande (FDR korrigerat s < 0,05). Inga andra motsvarande kanaler indikerade signifikanta effekter (p > 0,05).
Figur 1: Experimentellt protokoll och sondplats. (A) Experimentellt förfarande. Hjärnaktivitet från dyads förvärvas samtidigt med hjälp av fNIRS. Vilotillståndssessionen varar i 5 minuter, där dyads måste koppla av och hålla sig stilla. Därefter uppmanas deltagarna att lära sig inlärningsmaterialet (15-20 min). b)Optodes sonduppsättning. Två sonduppsättningar täcker de prefrontala och vänstra temporoparietalregionerna. Klicka här för att se en större version av den här figuren.
Figur 2: Översikt över fNIRS-dataanalysen. (A) Optodetäthet i kanal 33 för en exemplarisk dyad. Optodedensitet registreras i 46 kanaler (CHs) av varje samarbetsinlärningsdyad. i, j, Optode densitet av två deltagare i en samarbetsinlärning dyad; t, dags. b)Förbearbetning av uppgifter. Wavelet-baserade rörelseartefakter tar bort metod och PCA tillämpas på Oxy-Hb-data i följd. Här representerar den röda kurvan de data som extraheras av den wavelet-baserade rörelseartefaktermetoden. den blå kurvan representerar data som extraheras av både Wavelet-baserade rörelseartefakter som tar bort metoden och PCA. kwavelet-baserad metod, data som extraheras av wavelet-baserade rörelseartefakter som eliminerar processen. kwavelet-baserad metod + PCA, data som extraheras av både Wavelet-baserade rörelseartefakter som tar bort metod och PCA. C)WTC-tomt i kanal 33 för en exemplarisk dyad. Färgkartan varierar från blått till gult, vilket representerar värdet för IBS varierade från 0 till 1 (korrelationskoefficienter som en funktion av tid och frekvens). Här betecknar 1 den största samstämmigheten mellan två fNIRS-signaler, och 0 indikerar att ingen koherens upptäcks. En röd rektangel i ritytan markerar signifikanta koefficienter. WTC uppskattar IBS på två rena Oxy-Hb-tidsserier. (D)Klusterbaserad permutationsmetod. Jämför det observerade T-värdet med fördelningen av slumpmässiga T-värden i identifierade FOI (0,015 Hz-0,021 Hz). Klicka här för att se en större version av den här figuren.
Bild 3: Flödesschema för att identifiera den samarbetsbaserade inlärningsrelaterade FOI. Klicka här för att se en större version av denna siffra.
Tilläggstabell S1. Klicka här för att ladda ner den här tabellen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
För det första anges i det nuvarande protokollet de specifika stegen för att utföra fNIRS hyperscanning experiment i ett samarbetsscenario. För det andra presenteras också den dataanalyspipeline som bedömer IBS av hemodynamiska signaler i kollaborativa inlärningsdyader. Den detaljerade operationen för att genomföra fNIRS hyperscanning experiment skulle främja utvecklingen av öppen vetenskap. Dessutom tillhandahålls analyspipelinen här för att öka reproducerbarheten av hyperscanning forskning. I följande markeras alla kritiska frågor om experimentdesign, ett experiment, dataanalys i (fNIRS) hyperscanning experiment. Dessutom diskuteras möjliga lösningar för att presentera begränsningar.
Experimentell design
Den experimentella designen för fNIRS hyperscanning-studien är flexibel. Här tillämpas fNIRS hyperscanning-tekniken i samarbets inlärnings scenariot. Två deltagare ombads att lära sig specifika regler för figurmatrisen tillsammans, och deras hjärnaktiviteter registrerades av fNIRS samtidigt. Detta tillvägagångssätt gör det möjligt för forskare att utforska samtidig neural dynamik i realtid (dvs. IBS) i kollaborativa inlärningsdyade dyader. Enligt tidigare forskning har IBS upptäckts i undervisnings- och inlärningsscenarier och spårar det effektiva undervisningsläget11. Neural justering upptäckt i kollaborativa inlärningsdyader kan fungera som en potentiell neural mekanism som stöder framgångsrikt lärande och ger konsekvenser för att utforma effektiva samarbetsinlärningsmönster. Under tiden måste kritiska frågor om experimentell design tas upp: experimenttiden är begränsad till 30 min i detta experiment. Två skäl till den här inställningen: För det första är det inte bekvämt att bära kepsar med fNIRS-optoder på huvudet, deltagarna kan inte stå länge. För det andra är det svårt att be deltagarna att hålla sig stilla under samundervisningen under lång tid. Den begränsade experimenttiden skulle göra det möjligt att erhålla signaler av god kvalitet.
Genomföra experimentet
Den mest utmanande delen av att göra fNIRS hyperscanning i ett samarbetsscenario är att få högkvalitativa hjärnsignaler. Baserat på det nuvarande protokollet markeras tre kritiska steg: att göra lämpliga tak, placera optoder och genomföra rumslig registrering av motsvarande kanaler. För det första, eftersom huvudets omkrets varierar mellan deltagarna, är det viktigt att göra kepsar som passar olika individer. För det andra, när du placerar ett lämpligt lock på deltagarnas huvuden, se till att tipsen på optoder kan komma i kontakt direkt med hårbotten. För att uppnå detta mål måste du öva den här åtgärden innan experimentet behövs. För det tredje kan rumslig registrering med en 3D-digitizer identifiera motsvarande anatomiska platser för NIRS-kanaler (CHs) på hjärnbarken37,38,39. Detta protokoll föreslår att du slutför rumslig registrering för alla deltagare för att få genomsnittliga och robusta resultat. Längs denna linje bad tidigare forskning deltagarna att genomföra ett förtest för att säkerställa att exakta hemodynamiska signaler kan erhållas. Specifikt utförde deltagarna en klassisk finger-tumme tappning uppgift med sin högra hand, under vilken fNIRS spelade in hemodynamisk dynamik. Deltagare som upptäckte en signifikant fNIRS-signal (p < 0,05) i den vänstra motoriska cortex är kvalificerade att delta i studien. Denna teknik säkerställer att inspelade signaler kan tas till alla deltagare40.
Dataanalys
Dataanalysprocessen i detta protokoll består av två delar: förbearbetning och WTC-analys. Tre steg för kritisk dataanalys bör markeras här: För det första att genomföra den viktigaste komponentens rumsliga filteralgoritm (PCA) på neurala data. Zhang och couleage29 föreslog detta tillvägagångssätt för att skilja de globala och lokala effekterna åt. Även om fNIRS tillåter relativt fri rörlighet och kommunikation, PCA är nödvändigt för att extrahera exakta signaler från systemiska förändringar (t.ex. andningshastighet, blodtryck, hjärtfrekvens, andningsfrekvens och autonom nervsystemaktivitet). Protokollet här antyder att PCA är effektivt för att ta bort de globala effekterna. Denna metod används ofta i fNIRS hyperscanning studier13. Sammantaget kan icke-neurala komponenter tas bort framgångsrikt med hjälp av rumslig filtrering. För det andra antas WTC för att identifiera IBS för samarbetsinlärningsdyader. WTC är en metod för att bedöma korrelationskoefficienterna mellan tvågångsserier som en funktion av tid och frekvens41. Den här metoden kan visa lokalt faslåst beteende som kanske inte identifieras med en traditionell metod, till exempel Fourier analysis30. Och denna metod används ofta för att uppskatta IBS i fNIRS hyperscanning med olika paradigm, såsom kooperativa och konkurrenskraftiga beteenden4,42, studera åtgärdsövervakning43,imitation44, verbal kommunikation8, icke-verbal kommunikation19, undervisnings- och inlärningsaktivitet11,12,13,14 och moder-barn social interaktion45.
Samtidigt används andra tekniker, såsom Granger Causality Analyze (GCA), korrelationsanalys och fassynkronanalys, i hyperscanning forskning. GCA är en metod för att avslöja riktad (kausal) information mellan två tidsseriedata46. Den här metoden har en gång använts för att testa informationsflödets riktning mellan lärare och elev12. Korrelationsanalys antas också inom det fNIRS-baserade hyperscanningsområdet för att uppskatta IBS i dyads som utför samarbets- eller konkurrensuppgifter47,48. Jämfört med WTC-analys karakteriserar denna metod endast de kovarianade funktionerna i två fNIRS-tidsserier längs tidsströmmen och missade potentiell information i frekvens.
Dessutom användes andra metoder som kvantifierade fassynkronitet med faslåsningsvärde (PLV) i EEG-hyperscanning studier. PLV uppskattar konsekvensen i fasskillnaden mellan två signaler49. Burgess föreslog dock att PLV visar partiskhet för att upptäcka hyperconnectivity som inte finns, särskilt när små prover används50. För det tredje är det viktigt att anta ett icke-parametriskt statistiskt test för att upptäcka den kollaborativa inlärningsrelaterade frekvensen. Till en början väljs uppgiftsrelaterad FOI ut genom att antingen följa förslag i tidigare forskning eller enligt specifik experimentdesign (dvs. hur länge en uppgiftsprövning i ett experiment). För att få robusta och reproduktiva resultat i FOI-urvalsprocessen antas nyligen icke-parametriska statistiska testmetoder. Här fungerade denna teknik effektivt. Den kollaborativa inlärningsrelaterade FOI (0,015-0,021 Hz) identifieras, och liknande frekvensband har identifierats i fNIRS hyperscanning forskning i undervisningsscenario13 och i verbala kommunikationsparadigm8. Det är nödvändigt att tillämpa denna teknik i multi-brain data analys pipeline. Sammantaget kommer upprättandet av lämpliga algoritmer och metoder för analys av hyperscanningsdata att vara ett framträdande område.
Begränsning och framtida riktning
Flera begränsningar kan förbättras i framtiden för att få reproduktiv och robust IBS inom ett realistiskt socialt interaktionssammanhang från en multi-brain. För det första är fiberns vikt för tung och obekväm att bära under lång tid; Således är tiden för experimentet begränsad till 30 min. I framtiden, om man registrerar multihjärnaktiviteten i klassrummet, är det svårt att be eleverna att bära fNIRS-kepsar under en skolperiod (dvs. 50 min). Således krävs bärbara fNIRS-inställningar i det faktiska föreläs- och inlärningsscenariot. För det andra, även om fNIRS visar högre tolerans mot huvudrörelse än fMRI, kan denna teknik bara upptäcka hjärnaktiviteten i ytbarken15. Således kan fNIRS hyperscanning inte användas i den belöningsrelaterade neurala mekanismen som utforskar paradigmet, där amygdala spelar en avgörande roll51. Samtidigt tyder det begränsade antalet källor och detektorer i fNIRS-installationen på att inte hela hjärnbarken skulle mätas. Det innebär att forskare måste välja den region av intresse (ROI) som ska mätas. För det tredje antas PCA för att eliminera systemets föroreningar. Även om denna teknik är effektiv, i framtiden, lägga till korta kanaler som står för extra cerebellar blodflöde, som kan förorena fNIRS signaler, är också ett effektivt tillvägagångssätt29,39. För det fjärde kan dataanalysförfarandet i detta protokoll tillämpas i andra naturalistiska fNIRS hyperscanning studier. Nästa steg är att utveckla fNIRS-specifika dataanalyspaket med standardriktlinjen. För det femte används WTC i detta protokoll för att identifiera den samtidiga hjärnaktiviteten (dvs. IBS). Med utvecklingen av en teknik för beräkning av kovarianad neural aktivitet kan även andra metoder som grafteori och GCA användas. För det sjätte är det nödvändigt att rekrytera kontrollvillkor, till exempel samtalsvillkor som kräver att dyads talar om specifika ämnen för att utesluta förvirrande effekter. För att avslöja vilken inlärningsaktivitet i samverkande lärande (dvs. medkonstruktion av kunskap52)skulle det leda till IBS. Och om dessa upptäckta IBS kan användas för att spåra inlärningsprestandan för samarbetsinlärningsdyader är också viktigt. Slutligen är det också angeläget att tillhandahålla en ram för att förklara IBS-mekanismen. Forskare försöker urskilja om detta bara är epiphenomenon eller en neural mekanism för social interaktion av Hamilton53. För att uppnå detta mål föreslog Hamilton å ena sidan en xGLM-metod som modellerar hjärnaktivitet, beteendedata och fysiologiska data tillsammans för att utforska den tillförlitliga förklaringen av hjärnkoppling53. Å andra sidan föreslog Novembre och Lannetti att genomföra multi-brain stimulering (MBS) för att avslöja mekanismen för samtidig hjärnaktivitet54.
Slutsats
fNIRS hyperscanning leder till ett paradigmskifte från traditionell experimentdesign till realistiska sociala interaktionsscenarier inom social neurovetenskap. IBS extraheras med denna metod ger en ny syn för att förklara den neurobiologiska mekanismen för sociala interaktioner. Slutligen skulle den etablerade standardiserade pipelinen för insamling och analys av data vara milstolpen för att generera giltiga resultat och främja det senaste hyperscannings experimentet.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna har inget att avslöja.
Acknowledgments
Detta arbete stöds av ECNU Academic Innovation Promotion Program for Excellent Doctoral Students (YBNLTS2019-025) och National Natural Science Foundation of China (31872783 and 71942001).
Materials
| Name | Company | Catalog Number | Comments |
| EEG caps | Compumedics Neuroscan,Charlotte,USA | 64-channel Quik-Cap | We choose two sizes of cap(i.e.medium and large). |
| NIRS measurement system with probe sets and probe holder grids | Hitachi Medical Corporation, Tokyo, Japan | ETG-7100 Optical Topography System | The current study protocol requires an optional second adult probe set for 92 channels of measurement in total. |
| Numeric computing platform | The MathWorks, Inc., Natick, MA | MATLAB R2020a | Serves as base for Psychophysics Toolbox extensions (stimulus presentation), Homer2 (fNIRS preprocess analysis), and "wtc" function(WTC computation). |
| Psychology software | psychology software tools,Sharpsburg, PA,USA | E-prime 2.0 | We apply E-prime to start the fNIRS measurement system and send triggers which marking the rest phase and collaborative learning phase for fNIRS recording data. |
| Swimming caps | Zoke corporation,Shanghai,China | 611503314 | We first placed the standard 10-20 EEG cap on the head mold, and placed the swimming cap on the EEG cap. Second, we marked (inion, Cz, T3, T4, PFC and P5) with chalk. |
| Three-dimensional (3-D) digitizer | Polhemus, Colchester, VT, USA; | Three-dimensional (3-D) digitizer | Anatomical locations of optodes in relation to standard head landmarks were determined for each participant using a Patriot 3D Digitizer |
References
- Babiloni, F., Astolfi, L. Social neuroscience and hyperscanning techniques: past, present and future. Neuroscience & Biobehavioral Reviews. 44, 76-93 (2014).
- Schilbach, L., et al. Toward a second-person neuroscience. Behavior Brain Science. 36, 393-414 (2013).
- Montague, P. Hyperscanning: simultaneous fMRI during linked social interactions. NeuroImage. 16, 1159-1164 (2002).
- Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
- Dikker, S., et al. Brain-to-brain synchrony tracks real-world dynamic group interactions in the classroom. Current Biology. 27 (9), 1375-1380 (2017).
- Abrams, D. A., et al. Inter-subject synchronization of brain responses during natural music listening. European Journal of Neuroscience. 37 (9), 1458-1469 (2013).
- Pan, Y., et al. Instructor-learner brain coupling discriminates between instructional approaches and predicts learning. NeuroImage. 211, 116657 (2020).
- Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
- Bevilacqua, D., et al. Brain-to-brain synchrony and learning outcomes vary by student-teacher dynamics: Evidence from a real-world classroom electroencephalography study. Journal of Cognitive Neuroscience. 31 (3), 401-411 (2019).
- Dikker, S., et al. Morning brain: real-world neural evidence that high school class times matter. Social Cognitive and Affective Neuroscience. 15 (11), 1193-1202 (2020).
- Pan, Y., Guyon, C., Borragán, G., Hu, Y., Peigneux, P. Interpersonal brain synchronization with instructor compensates for learner's sleep deprivation in interactive learning. Biochemical Pharmacology. , 114111 (2020).
- Pan, Y., Novembre, G., Song, B., Li, X., Hu, Y. Interpersonal synchronization of inferior frontal cortices tracks social interactive learning of a song. NeuroImage. 183, 280-290 (2018).
- Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students' knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
- Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
- Kleinschmidt, A., et al. Simultaneous recording of cerebral blood oxygenation changes during human brain activation by magnetic resonance imaging and near-infrared spectroscopy. Journal of Cerebral Blood Flow & Metabolism. 16 (5), 817-826 (1996).
- Strangman, G., Culver, J. P., Thompson, J. H., Boas, D. A. A quantitative comparison of simultaneous BOLD fMRI and NIRS recordings during functional brain activation. NeuroImage. 17 (2), 719-731 (2002).
- Huppert, T. J., Hoge, R. D., Diamond, S. G., Franceschini, M. A., Boas, D. A. A temporal comparison of BOLD, ASL, and NIRS hemodynamic responses to motor stimuli in adult humans. NeuroImage. 29 (2), 368-382 (2006).
- Holper, L., Scholkmann, F., Wolf, M. Between-brain connectivity during imitation measured by fNIRS. NeuroImage. 63, 212-222 (2012).
- Hirsch, J., Zhang, X., Noah, J. A., Ono, Y. Frontal temporal and parietal systems synchronize within and across brains during live eye-to-eye contact. NeuroImage. 157, 314-330 (2017).
- Wilcox, T., Biondi, M. fNIRS in the developmental sciences. Wiley Interdisciplinary Reviews: Cognitive Science. 6 (3), 263-283 (2015).
- Ye, J. C., Tak, S., Jang, K. E., Jung, J., Jang, J. NIRS-SPM: statistical parametric mapping for nearinfrared spectroscopy. NeuroImage. 44 (2), 428-447 (2009).
- Huppert, T. J., Diamond, S. G., Franceschini, M. A., Boas, D. A. HomER: A review of time-series analysis methods for near-infrared spectroscopy of the brain. Applied Optics. 48 (10), 280-298 (2009).
- Santosa, H., Zhai, X., Fishburn, F., Huppert, T. The NIRS Brain AnalyzIR toolbox. Algorithms. 11 (5), 73 (2018).
- Xu, Y., Graber, H. L., Barbour, R. L. nirsLAB: a computing environment for fNIRS neuroimaging data analysis. Biomedical Optics. , BM3A-1 (2014).
- Cope, M., Delpy, D. T. System for long-term measurement of cerebral blood and tissue oxygenation on newborn infants by near infra-red transillumination. Medical and Biological Engineering and Computing. 26 (3), 289-294 (1988).
- Hoshi, Y. Functional near-infrared spectroscopy: current status and future prospects. Journal of Biomedical Optics. 12 (6), 062106 (2007).
- Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259 (2012).
- Cooper, R., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. 6, 147 (2012).
- Zhang, X., Noah, J. A., Hirsch, J. Separation of the global and local components in functional near-infrared spectroscopy signals using principal component spatial filtering. Neurophotonics. 3 (1), 015004 (2016).
- Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
- Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG-and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
- Nozawa, T., Sasaki, Y., Sakaki, K., Yokoyama, R., Kawashima, R. Interpersonal frontopolar neural synchronization in group communication: an exploration toward fNIRS hyperscanning of natural interactions. NeuroImage. 133, 484-497 (2016).
- Reindl, V., Gerloff, C., Scharke, W., Konrad, K. Brain-to-brain synchrony in parent-child dyads and the relationship with emotion regulation revealed by fNIRS-based hyperscanning. NeuroImage. 178, 493-502 (2018).
- Theiler, J., Eubank, S., Longtin, A., Galdrikian, B., Farmer, J. D. Testing for nonlinearity in time series: the method of surrogate data. Physica D: Nonlinear Phenomena. 58 (1-4), 77-94 (1992).
- Genovese, C. R., Lazar, N. A., Nichols, T. Thresholding of statistical maps in functional neuroimaging using the false discovery rate. NeuroImage. 15 (4), 870-878 (2002).
- Nichols, T., Hayasaka, S. Controlling the familywise error rate in functional neuroimaging: a comparative review. Statistical Methods in Medical Research. 12 (5), 419-446 (2003).
- Tsuzuki, D., et al. Virtual spatial registration of stand-alone fNIRS data to MNI space. NeuroImage. 34 (4), 1506-1518 (2007).
- Singh, A. K., Okamoto, M., Dan, H., Jurcak, V., Dan, I. Spatial registration of multi-channel multi-subject fNIRS data to MNI space without MRI. NeuroImage. 27 (4), 842-851 (2005).
- Noah, J. A., et al. Comparison of short-channel separation and spatial domain filtering for removal of non-neural components in functional near-infrared spectroscopy signals. Neurophotonics. 8 (1), 015004 (2021).
- Noah, J. A., et al. Real-time eye-to-eye contact is associated with cross-brain neural coupling in angular gyrus. Frontiers in Human Neuroscience. 14 (19), (2020).
- Torrence, C., Compo, G. P. A practical guide to wavelet analysis. Bulletin of the American Meteorological Society. 79 (1), 61-78 (1998).
- Osaka, N., Minamoto, T., Yaoi, K., Azuma, M., Osaka, M. Neural synchronization during cooperated humming: a hyperscanning study using fNIRS. Procedia-Social and Behavioral Sciences. 126, 241-243 (2014).
- Dommer, L., Jäger, N., Scholkmann, F., Wolf, M., Holper, L. Between-brain coherence during joint n-back task performance: a two-person functional near-infrared spectroscopy study. Behavioural Brain Research. 234 (2), 212-222 (2012).
- Holper, L., Scholkmann, F., Wolf, M. Between-brain connectivity during imitation measured by fNIRS. Neuroimage. 63, 212-222 (2012).
- Nguyen, T., et al. The effects of interaction quality on neural synchrony during mother-child problem solving. Cortex. 124, 235-249 (2020).
- Seth, A. K., Barrett, A. B., Barnett, L. Granger causality analysis in neuroscience and neuroimaging. Journal of Neuroscience. 35 (8), 3293-3297 (2015).
- Funane, T., et al. Synchronous activity of two people's prefrontal cortices during a cooperative task measured by simultaneous near-infrared spectroscopy. Journal of Biomedical Optics. 16 (7), 077011 (2011).
- Liu, T., Saito, H., Oi, M. Role of the right inferior frontal gyrus in turn-based cooperation and competition: a near-infrared spectroscopy study. Brain and Cognition. 99, 17-23 (2015).
- Lachaux, J. P., Rodriguez, E., Martinerie, J., Varela, F. J. Measuring phase synchrony in brain signals. Human Brain Mapping. 8 (4), 194-208 (1999).
- Burgess, A. P. On the interpretation of synchronization in EEG hyperscanning studies: a cautionary note. Frontiers in Human Neuroscience. 7, 881 (2013).
- Burgos-Robles, A., et al. Amygdala inputs to prefrontal cortex guide behavior amid conflicting cues of reward and punishment. Nature Neuroscience. 20 (6), 824-835 (2017).
- Mende, S., Proske, A., Narciss, S. Individual preparation for collaborative learning: Systematic review and synthesis. Educational Psychologist. , 1-25 (2020).
- Hamilton, A. F. D. C. Hyperscanning: Beyond the hype. Neuron. 109 (3), 404-407 (2021).
- Novembre, G., Iannetti, G. D. Hyperscanning alone cannot prove causality. Multibrain stimulation can. Trends in Cognitive Sciences. 25 (2), 96-99 (2021).
