Summary
Detta protokoll beskriver partiell wavelet transform koherens (pWTC) för beräkning av det tidsfördröjningsmönstret för interpersonell neural synkronisering (INS) för att härleda riktningen och det tidsmässiga mönstret för informationsflödet under social interaktion. Effektiviteten av pWTC för att avlägsna förvirringen av signalautokorrelation på INS bevisades av två experiment.
Abstract
Social interaktion är av avgörande betydelse för människor. Medan hyperscanning-metoden i stor utsträckning har använts för att studera interpersonell neural synkronisering (INS) under sociala interaktioner, är funktionell nära-infraröd spektroskopi (fNIRS) en av de mest populära teknikerna för hyperskanning av naturalistiska sociala interaktioner på grund av dess relativt höga rumsliga upplösning, ljudanatomiska lokalisering och exceptionellt hög tolerans för rörelseartefakter. Tidigare fNIRS-baserade hyperscanningstudier beräknar vanligtvis en tidsfördröjning INS med hjälp av wavelet transform coherence (WTC) för att beskriva riktningen och det tidsmässiga mönstret för informationsflödet mellan individer. Resultaten av denna metod kan emellertid förväxlas av autokorrelationseffekten av fNIRS-signalen för varje individ. För att ta itu med denna fråga introducerades en metod som kallades partiell wavelet transform coherence (pWTC), som syftade till att ta bort autokorrelationseffekten och upprätthålla den höga tidsspektrumupplösningen för fNIRS-signalen. I denna studie utfördes ett simuleringsexperiment först för att visa effektiviteten av pWTC för att ta bort effekten av autokorrelation på INS. Därefter erbjöds steg-för-steg-vägledning om driften av pWTC baserat på fNIRS-datasetet från ett socialt interaktionsexperiment. Dessutom gjordes en jämförelse mellan pWTC-metoden och den traditionella WTC-metoden och den mellan pWTC-metoden och Granger-kausalitetsmetoden (GC). Resultaten visade att pWTC kunde användas för att bestämma INS-skillnaden mellan olika experimentella förhållanden och INS: s riktnings- och tidsmönster mellan individer under naturalistiska sociala interaktioner. Dessutom ger den bättre tids- och frekvensupplösning än den traditionella WTC och bättre flexibilitet än GC-metoden. Således är pWTC en stark kandidat för att härleda riktningen och det tidsmässiga mönstret för informationsflödet mellan individer under naturalistiska sociala interaktioner.
Introduction
Social interaktion är av avgörande betydelse för människor 1,2. För att förstå den neurokognitiva mekanismen med dubbla hjärnor för social interaktion har hyperscanningsmetoden nyligen använts i stor utsträckning, vilket visar att mönstren för interpersonell neural synkronisering (INS) mycket väl kan karakterisera den sociala interaktionsprocessen 3,4,5,6,7,8,9,10,11,12 ,13,14. Bland de senaste studierna är ett intressant resultat att rollskillnaden hos individer i en dyad kan leda till ett tidsfördröjningsmönster av INS, dvs INS uppstår när hjärnaktiviteten hos en individ släpar efter en annan individs med sekunder, såsom den från lyssnare till talare 5,9, från ledare tillanhängare 4, från lärare till elever8, från mödrar till barn13,15 och från kvinnor till män i ett romantiskt par6. Viktigast av allt är att det finns en bra korrespondens mellan intervallet för den tidsfördröjningen INS och det för sociala interaktionsbeteenden, till exempel mellan lärare som ifrågasätter och elever som svararpå 8 eller mellan föräldrabeteenden hos mödrar och efterlevnadsbeteenden hos barn15. Således kan tidsfördröjning ins återspegla ett riktat informationsflöde från en individ till en annan, vilket föreslås i en ny hierarkisk modell för interpersonell verbal kommunikation16.
Tidigare beräknades den tidsfördröjningen INS huvudsakligen på den funktionella nära-infraröda spektroskopisignalen (fNIRS) på grund av dess relativt höga rumsliga upplösning, ljudanatomiska lokalisering och exceptionellt hög tolerans för rörelseartefakter17 när man studerade naturalistiska sociala interaktioner. För att exakt karakterisera korrespondensen mellan den neurala tidsfördröjningen och beteendemässig tidsfördröjning under social interaktion är det dessutom viktigt att erhålla INS-styrkan för varje tidsfördröjning (t.ex. från ingen tidsfördröjning till en tidsfördröjning på 10 s). För detta ändamål tillämpades tidigare proceduren för wavelet transform coherence (WTC) i stor utsträckning efter att ha flyttat hjärnsignalen för en individ framåt eller bakåt i förhållande till en annanindivids 5,6,18. När du använder detta traditionella WTC-förfarande för fNIRS-signaler finns det en potentiell utmaning eftersom den observerade tidsfördröjningen INS kan förväxlas av autokorrelationseffekten av fNIRS-signalen för en individ 19,20,21. Till exempel, under en dyadisk social interaktionsprocess, kan signalen från deltagare A vid tidpunkten t synkroniseras med deltagarens B vid samma tidpunkt. Under tiden kan signalen från deltagare A vid tidpunkten t synkroniseras med deltagarens A vid en senare tidpunkt t + 1 på grund av autokorrelationseffekten. Därför kan en falsk tidsfördröjning inträffa mellan signalen från deltagare A vid tidpunkten t och den från deltagare B vid tidpunkten t + 1.
Mihanović och hans kollegor22 introducerade först en metod som kallades partiell wavelet transform coherence (pWTC) och tillämpade den sedan i marin vetenskap23,24. Det ursprungliga syftet med denna metod var att kontrollera det exogena förvirrande bruset när man uppskattade koherensen mellan två signaler. Här, för att ta itu med autokorrelationsproblemet i fNIRS hyperscanningsdata, utvidgades pWTC-metoden för att beräkna tidsfördröjning ins på fNIRS-signalen. Exakt kan en tidsfördröjning INS (och ett riktat informationsflöde) från deltagare A till deltagare B beräknas med hjälp av ekvationen nedan (ekvation 1) 23.
Här antas det att det finns två signaler, A och B, från deltagarna A respektive B. Förekomsten av signal B föregår alltid signal A med en tidsfördröjning på n, där WTC (At, Bt + n) är den traditionella tidsfördröjningen WTC. WTC (At, At + n) är den autokorrelerade WTC i deltagare A. WTC (At, Bt) är den tidsjusterade WTC vid tidpunkten t mellan deltagare A och B. * är den komplexa konjugatoperatören (figur 1A).
Bild 1: Översikt över pWTC. (A) Logiken i pWTC. Det finns två signaler A och B, inom en dyad. Förekomsten av A följer alltid B med en fördröjning n. En grå låda är ett wavelet-fönster vid en viss tidpunkt t eller t + n. Baserat på pWTC-ekvationen (representerad i figuren) måste tre WTC beräknas: den tidsfördröjningade WTC för At + n och Bt; den autokorrelerade WTC i deltagare A av At och At + n; och den tidsjusterade WTC vid tidpunkten t, At och Bt. (B) Layouten för optodsonduppsättningar. CH11 placerades vid T3 och CH25 placerades vid T4 efter det internationella 10-20-systemet27,28. Klicka här för att se en större version av denna figur.
Detta protokoll introducerade först ett simuleringsexperiment för att visa hur väl pWTC löser autokorrelationsutmaningen. Sedan förklarade den hur man utför pWTC på ett steg-för-steg-sätt baserat på ett empiriskt experiment av naturalistiska sociala interaktioner. Här användes ett kommunikationssammanhang för att introducera metoden. Detta beror på att den tidsfördröjningade INS tidigare vanligtvis beräknades i ett naturalistiskt kommunikationssammanhang 3,4,6,8,13,15,18. Dessutom genomfördes en jämförelse mellan pWTC och den traditionella WTC och validering med Granger-kausalitetstestet (GC).
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Det mänskliga experimentprotokollet godkändes av Institutional Review Board och Ethics Committee of the State Key Laboratory of Cognitive Neuroscience and Learning vid Beijing Normal University. Alla deltagare gav skriftligt informerat samtycke innan experimentet började.
1. Simuleringsexperimentet
- Generera två tidsserier av signaler som korrelerar med varandra, där en signal har autokorrelation vid en tidsfördröjning på 4 s. Ställ in korrelationskoefficienten för r mellan de två signalerna till 0,4.
- Dessutom generera två tidsserier av signaler utan någon korrelation men med autokorrelation i en signal.
- Beräkna värden för traditionella 4 s tidsfördröjning ins med ekvation 2 baserat på de genererade signalerna med eller utan korrelation, som kan kallas tidsfördröjning INSWTC med autokorrelation och tidsfördröjning insWTC med autokorrelation.
OBS: Här uttrycks den traditionella tidsfördröjningen WTC med följande ekvation (ekvation 2)25
där C betecknar den kontinuerliga wavelettransformoperatorn vid olika skalor i och tidpunkter t. S betecknar utjämningsoperatören. * betecknar den komplexa konjugatoperatören. W och M anger två individuella tidsserier av signaler. - Ta bort autokorrelation från de genererade signalerna. Beräkna sedan värdena för traditionell 4 s tidsfördröjning INSWTC med ekvation 2 baserat på de genererade signalerna med eller utan korrelation, som kan kallas tidsfördröjning INSWTC utan autokorrelation och tidsfördröjning baslinje INSWTC utan autokorrelation.
- Beräkna värdena för 4 s tidsfördröjning pWTC med ekvation 3 baserat på de genererade signalerna med eller utan korrelation, namngivna tidsfördröjning inspWTC och tidsfördröjning inspWTC.
OBS: pWTC kan beräknas baserat på följande ekvation (ekvation 3)23
där WTC (Wt, Mt + n) är den traditionella tidsfördröjningen WTC. WTC (Mt, Mt + n) är den autokorrelerade WTC för en individ. WTC (Wt, Mt) är den tidsjusterade WTC. * är den komplexa konjugatoperatören. - Upprepa ovanstående procedurer 1000 gånger.
- Efter att ha subtraherat baslinjen INS, jämför resultaten av tidsfördröjning insWTC med autokorrelation, tidsfördröjning INSWTC utan autokorrelation och tidsfördröjning INSpWTC med hjälp av analyserna av varians (ANOVA) -metoden.
OBS: Här förväntas den tidsfördröjningade INSWTC med autokorrelation vara betydligt högre än den tidsfördröjningen INSWTC utan autokorrelation och den tidsfördröjningen INSpWTC, och ingen signifikant skillnad förväntas mellan den tidsfördröjningade INSWTC utan autokorrelation och den tidsfördröjningade INSpWTC.
2. Det empiriska experimentet
- Deltagare och förfarande
- Rekrytera lämpliga deltagare.
OBS: I denna studie rekryterades tjugotvå par nära vänner av motsatt kön (medelålder för kvinnor = 20,95, standardavvikelse (SD) = 1,86; medelålder för män = 20,50, SD = 1,74) genom reklam från studenter vid universitet i Peking. Alla deltagare var högerhänta och hade normal eller korrigerad till normal syn. Dessutom hade inga deltagare några språkliga, neurologiska eller psykiatriska störningar. - Be varje par deltagare att sitta ansikte mot ansikte under experimentet. Be dem att kommunicera fritt om ett stödjande ämne i en session och om ett konfliktämne i den andra sessionen.
OBS: Ämnena användes för att inducera den avsedda positiva eller negativa känslomässiga valensen. Varje kommunikationssession varade i 10 minuter och ämnesordningen motverkades. - Be deltagarna att rapportera om de stödjande och konfliktämnena som en standarduppsättningsregel. Be varje partner att betygsätta den positiva eller negativa valensnivån som kan ha inducerats på en bestämd punktskala. Rangordna sedan de rapporterade ämnena enligt betyget.
OBS: I det här arbetet valdes ämnena med följande tre steg. För det första, för de stödjande ämnena, var varje deltagare skyldig att rapportera 1-3 personliga problem relaterade till vad hon / han ville förbättra i sitt liv. Varje deltagare var skyldig att rapportera 1-3 fall som hade inducerat eller skulle framkalla konflikt mellan dem eller som kan äventyra deras förhållande för konfliktämnena. För det andra var varje partner skyldig att betygsätta nivån av positiv eller negativ valens som varje ämne kan inducera på en 7-punkts skala (1 = inte alls och 7 = väldigt mycket). För det tredje rankades de rapporterade ämnena enligt betyget. De två första ämnena i listan över stödjande ämnen och konfliktämnen valdes.
- Rekrytera lämpliga deltagare.
- insamling av fNIRS-data
- Använd 26-kanals fNIRS-topografisystem (se Materialtabell) för att samla in fNIRS-data.
OBS: Två anpassade optodprober täckte de bilaterala frontala, temporala och parietala kortikorna (figur 1B). - Be exakt varje deltagare att bära en keps med två anpassade sonduppsättningar (se Materialtabell).
- Rikta in nasion-, injon- och öronmastoider med Fpz, Opz, T7 och T8, som är typiska landmärken för 10-20 internationella system26.
- Rikta in kanal (CH) 11 till T3 och CH25 till T4 efter det internationella 10-20-systemet för de två sonduppsättningarna27,28.
- Validera de anatomiska placeringarna av sonduppsättningar genom att skanna magnetisk resonanstomografi (MRT) från en typisk deltagare med en högupplöst T1-viktad magnetiseringsberedd snabb gradient-ekosekvens (TR = 2530 ms; TE = 3,39 ms; vänd vinkel = 7 °; skivans tjocklek = 1,3 mm; voxel storlek = 1,3 x 1 x 1,3 mm).
- Använd Statistical Parametric Mapping 12 (SPM12) för att normalisera bilden till standard Montreal Imaging Institute koordinat (MNI-koordinat) utrymme29. Använd sedan verktygslådan NIRS_SPM (se Materialtabell) för att projicera MNI-koordinaterna för sonderna till den automatiserade anatomiska märkningsmallen (AAL).
- Samla in optiska densitetsdata för nära infrarött ljus vid tre våglängder (780, 805 och 830 nm) med en samplingsfrekvens på 55,6 Hz (utrustningens standardparametrar).
- Testa signalkvaliteten med hjälp av fNIRS topografisystem inbyggd utrustningsprogramvara (se Materialtabell).
- Börja signalinspelning.
OBS: Vissa publicerade protokoll har visat hur man samlar in fNIRS-signaler med olika utrustningar och system 30,31,32.
- Använd 26-kanals fNIRS-topografisystem (se Materialtabell) för att samla in fNIRS-data.
- förbehandling av fNIRS-data
- Exportera datafilerna från utrustningen.
OBS: I det aktuella experimentet konverterade den inbyggda programvaran automatiskt alla optiska densitetsdata till oxyhemoglobin (HbO) koncentrationsförändringar baserat på den modifierade Beer-Lambert-lagen. - Ta bort de första och sista 15 s data för varje session för att undvika tillfälliga svar.
- Använd den inbyggda funktionen MATLAB decimera för att nedsampla data från 55,6 Hz till 11,1 Hz.
OBS: Effektspektrummönstren mellan 55,6 Hz och 11,1 Hz är ganska lika (kompletterande figur 1). - Använd den inbyggda MATLAB-applikationsfunktionen (Homer3, se Materialtabell) med lämplig filtreringsfunktion för att tillämpa den diskreta wavelettransformfiltermetoden för att korrigera rörelseartefakter.
- Använd den inbyggda funktionen MATLAB pca för att ta bort globalt fysiologiskt brus. Ta bort de översta 80% av variansen från signalerna.
- Ta bort fysiologiskt brus baserat på tidigare studier33. Ta exakt bort frekvensbanden för varje signal över 0,7 Hz för att undvika aliasing av högfrekvent fysiologiskt brus (t.ex. hjärtaktivitet).
- Ta sedan bort frekvensbanden för varje signal under 0,01 Hz för att filtrera bort mycket lågfrekventa fluktuationer.
- Slutligen, ta bort frekvensband för varje signal inom 0,15-0,3 Hz för att utesluta den potentiella effekten av andningsaktivitet.
- Exportera datafilerna från utrustningen.
- FNIRS databehandling på första nivån
- Beräkna först INS med traditionell WTC (INSWTC).
OBS: Här förutspåddes ett kvinnolett tidsfördröjningsmönster av INSWTC att inträffa mellan kvinnors hjärnaktivitet och mäns eftersom tidigare studier har föreslagit olika roller hos kvinnor och män under en konversation34,35. Den traditionella WTC beräknade detta mönster av INSWTC genom att flytta hjärnaktiviteten hos män bakåt i förhållande till kvinnors (se ekvation 2). - Beräkna det kvinnoledda 2 s-lagged INSWTC-värdet efter att ha tagit bort de första 2 s data från kvinnor och de sista 2 s data från män med ekvation 2. På samma sätt, efter att ha tagit bort de första 2 s data från män och de sista 2 s data från kvinnor, beräkna det mansledda 2 s-lagged INSWTC-värdet med ekvation 4.
OBS: Här användes wcoherence-funktionen, som är en inbyggd funktion av MATLABs wavelet-verktygslåda, (se Materialtabell). - Upprepa denna procedur med olika tidsfördröjningar n, dvs n = 2 s, 4 s, 6 s, 8 s över alla potentiella CH-par (t.ex. CH2 hos kvinnor och CH10 hos män, totalt 676 par). Beräkna dessutom styrkan hos mansledd tidsfördröjning INSWTC på samma sätt (ekvation 4).
- För det andra, beräkna INS med pWTC (INSpWTC).
OBS: pWTC beräknades baserat på ekvation 3. Beräkningen av INSpWTC upprepades med olika tidsfördröjningar n, dvs n = 2 s, 4 s, 6 s, 8 s över alla potentiella kanalpar (t.ex. CH2 hos kvinnor och CH10 hos män, totalt 676 par). Dessutom beräknades styrkan hos den mansledda tidsfördröjningen INSpWTC på samma sätt (ekvation 5).
- Generera tidsfördröjning av fNIRS-signaler vid olika tidsfördröjningar.
- Beräkna värdena för den tidsfördröjningen WTC vid olika tidsfördröjningar.
- Generera autokorrelerade tidsserier för fNIRS-signaler vid olika tidsfördröjningar. För att beräkna 2 s-autokorrelerat värde för män, ta bort de första 2 s data från männen och de sista 2 s data från männen.
- Beräkna de autokorrelerade WTC-värdena vid olika tidsfördröjningar.
- Generera tidsjusterade tidsserier för fNIRS-signaler vid olika tidsfördröjningar. För att beräkna 2 s tidsjusterade WTC, ta bort de första 2 s data från männen och kvinnornas första 2 s data.
- Beräkna de tidsjusterade WTC-värdena.
- Ange tidsjusterad WTC, tidsfördröjning WTC och autokorrelerade WTC-värden vid olika tidsfördröjningar i ekvation 3 och ekvation 5 - ekvationen för pWTC, vilket genererar INSpWTC.
- Slutligen beräkna INS med GC-metoden (INSGC).
OBS: För att ytterligare validera pWTC-metoden och utvärdera dess fördelar och nackdelar beräknades GC-baserad INS med GC-metoden (INSGC). - Baserat på pWTC-resultatet filtrerar bandpass HbO-signalen för varje individ vid SMC (dvs. 0,4-0,6 Hz, se Representativa resultat).
- Genomför ett GC-test (Econometric toolbox, MATLAB) inom varje dyad i de stödjande och konfliktämnena separat.
OBS: Fyra grupper av F-värden erhålls för INSGC: (1) från kvinnor till män om det stödjande ämnet (W2M_supp); (2) från män till kvinnor i det stödjande ämnet (M2W_supp); (3) från kvinnor till män om konfliktämnet (W2M_conf); och (4) från män till kvinnor i konfliktämnet (M2 W_conf). F-värdena används för att indexera INSGC.
- Beräkna först INS med traditionell WTC (INSWTC).
- FNIRS-databehandling på andra nivån
- Transformera INS med Fisher-z-transformation och sedan genomsnittlig INS vid den tidsmässiga dimensionen.
OBS: Här genomfördes Fisher-z-transformation med hjälp av ett anpassat MATLAB-skript med ekvation 636:
där r är värdet på WTC eller pWTC och z är Fisher-z-transformerat värde för WTC eller pWTC. - För den genomsnittliga INS vid varje tidsfördröjning, utför ett parat t-test med två prover (stödjande kontra konflikt) på varje CH-par över frekvensområdet. Identifiera sedan alla signifikanta frekvenskluster (P < 0,05).
- Utför ett klusterbaserat permutationstest för att fastställa ett tröskelvärde för resultaten.
- Omfördela dyadiska relationer genom att slumpmässigt tilldela deltagarna till nya par med två medlemmar, dvs deltagarna i en dyad som aldrig hade kommunicerat med varandra. Beräkna om INS vid varje tidpunktsfördröjning, utför parade t-tester igen i det nya provet och identifiera signifikanta frekvenskluster igen.
- Välj klustret med det största summerade t-värdet. Upprepa ovanstående procedurer 1000 gånger för att generera en null-distribution av de maximala falskt positiva t-värdena.
OBS: Fördelningen serveras som chansnivå. Den familjevisa felfrekvensen (FWER) styrs vid q = 0,05, vilket innebär att endast de översta 5 % av nollfördelningen av de falskt positiva t-värdena överskrider tröskelvärdet (R*). - Jämför det summerade t-värdet för varje identifierat frekvenskluster i det ursprungliga provet med nollfördelningen för att få signifikanta statistiska resultat.
- Genomföra en kontext (stödjande, konflikt) x riktning (kvinnor till män, män till kvinnor) analys av varians (ANOVA) för att testa skillnaden i INS-riktning mellan olika förhållanden (dvs ämnen) (p < 0,05).
- Utför ett parat två-provs två-tailed t-test mellan resultaten av WTC (Wt, Mt + n) och WTC (Mt, Mt + n) för att testa den potentiella effekten av autokorrelation på INS.
OBS: INS för WTC (Mt, Mt + n) återspeglar autokorrelation.
- Transformera INS med Fisher-z-transformation och sedan genomsnittlig INS vid den tidsmässiga dimensionen.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Simuleringsresultat
Resultaten visade att den tidsfördröjningen INSWTC med autokorrelation var signifikant högre än den tidsfördröjningen INSWTC utan autokorrelation (t (1998) = 4,696, p < 0,001) och tidsfördröjning inspWTC (t (1998) = 5,098, p < 0,001). Dessutom fanns det ingen signifikant skillnad mellan tidsfördröjning INSWTC utan autokorrelation och INSpWTC (t (1998) = 1.573, p = 0.114, figur 2A). Dessa resultat indikerar att pWTC effektivt kan ta bort effekten av autokorrelationseffekten på INS. Dessutom, när WTC-värdet var inställt på att vara nära 0 eller 1, visade den tidsfördröjningen INSpWTC fortfarande tillförlitliga resultat när WTC-värdet var borta från 0 eller 1 (kompletterande figur 2).
Empiriska experimentresultat
INS-mönster med den traditionella WTC-metoden
Resultaten visade att vid 0,04-0,09 Hz var INSWTCi sensorimotorisk cortex (SMC, CH20) hos både kvinnor och män signifikant högre i det stödjande ämnet än i konfliktämnet när hjärnans aktivitet hos män släpade efter kvinnornas med 2 s, 4 s och 6 s (2 s: t (21) = 3,551, p = 0,0019; fördröjning 4 s: t (21) = 3,837, p = 0,0009; fördröjning 6 s: t (21) = 3,725, p = 0,0013). Dessutom, vid 0,4-0,6 Hz, var INSWTC i SMC signifikant högre i konfliktämnet än i det stödjande ämnet när mäns hjärnaktivitet släpade efter kvinnors med 4 s (t (21) = 2,828, p = 0,01, figur 2B).
Dessutom, för att jämföra riktningen för INSWTC i olika ämnen, genomfördes ett ämne (stödjande, konflikt) x riktning (kvinnor till män, män till kvinnor) ANOVA först på INSWTC i SMC under en tidsfördröjning på 2-6 s. Resultaten från 0,04-0,09 Hz visade inga signifikanta interaktionseffekter vid någon tidpunkt (ps > 0,05). För frekvensområdet 0,4-0,6 Hz visade resultaten att interaktionseffekten var marginellt signifikant (F(1, 21) = 3,23, p = 0,086). Parvisa jämförelser visade att INSWTC från kvinnor till män var signifikant högre i konfliktämnet än i det stödjande ämnet (M.D. = 0.014, S.E. = 0.005, p = 0.015), medan INSWTC från män till kvinnor inte skilde sig signifikant mellan ämnen (M.D. = 0.002, S.E. = 0.006, p = 0.695).
Slutligen, för att testa effekten av autokorrelation på resultaten av traditionell tidsfördröjning INSWTC, jämfördes INSWTC mellan WTC (Wt, Mt + 4) och WTC (Mt, Mt + 4) vid 0,04-0,09 Hz respektive 0,4-0,6 Hz. Observera att INSWTC för WTC (Mt, Mt + 4) återspeglar autokorrelation. Resultaten visade att vid 0,4-0,6 Hz fanns det ingen signifikant skillnad mellan INSWTC för WTC (Wt, Mt + 4) och WTC (Mt, Mt + 4) (t (21) = 0,336, p = 0,740). Vid 0,04-0,09 Hz var INSWTC för WTC(Mt, Mt+4) signifikant högre än för WTC (Wt, Mt+4) (t(21) = 4,064, p < 0,001). En jämförelse gjordes också mellan frekvensområdena 0,04-0,09 Hz och 0,4-0,6 Hz avseende INSWTC för WTC(Mt, Mt+4). Resultaten visade att INSWTC för WTC(Mt, Mt+4) var signifikant högre vid 0,04-0,09 Hz än vid 0,4-0,6 Hz (t(21) = 5,421, p < 0,001). Dessa resultat indikerar att den tidsfördröjningen INSWTC påverkades av autokorrelation i både låg- och högfrekvensområdena, men effekten var större för det lägre frekvensområdet än för det högre frekvensområdet.
INS-mönster med pWTC-metoden
Resultaten visade att skillnaden i INSpWTC mellan konflikten och stödjande ämnen nådde betydelse vid SMC för både kvinnor och män vid 0,4-0,6 Hz när manlig hjärnaktivitet släpade efter kvinnors med 4 s (t (21) = 4,224, p = 0,0003). vid 0,04-0,09 Hz; Inga signifikanta resultat hittades dock, inte heller deras effektiva resultat vid andra frekvensområden (Ps > 0,05, figur 2C).
Ett ytterligare ANOVA-test utfördes på INSpWTC för SMC vid 0,4-0,6 Hz. Resultaten visade att interaktionen mellan ämne och riktning var marginellt signifikant (F(1,21) = 3,48, p = 0,076). Ytterligare parvisa jämförelser visade att INSpWTC från kvinnor till män var signifikant högre i konfliktämnet än i det stödjande ämnet (M.D. = 0.016, S.E. = 0.004, p = 0.002), medan INSpWTC från män till kvinnor inte skilde sig signifikant mellan ämnen (M.D. = 0.0007, S.E. = 0.006, p = 0.907, Figur 2D).
INS-mönster med GC-metoden
Ett ANOVA-test utfördes endast på INSGC vid SMC inom 0,4-0,6 Hz. Resultaten visade en signifikant interaktion mellan ämne och riktning (F (1,21) = 8,116, p = 0,010). Parvis analys visade att INSGC från kvinnor till män var signifikant högre i konfliktämnet än i det stödjande ämnet (MD = 5.50, SE = 2.61, p = 0.043). Däremot var INSGC från män till kvinnor inte signifikant annorlunda mellan ämnen (MD = 1.42, SE = 2.61, p = 0.591, Figur 2E).
Figur 2: Resultat av simuleringen och det empiriska experimentet. (A) Simuleringsresultaten från tre simulerade prover. Den tidsfördröjningen INSWTC med autokorrelation var signifikant högre än tidsfördröjningen INSWTC utan autokorrelation och INSpWTC. Det fanns ingen signifikant skillnad mellan tidsfördröjning INSWTC utan autokorrelation och pWTC. (B) T-kartan för INSWTC i det empiriska experimentet, som visar signifikanta kontexteffekter inom 0,04-0,09 Hz när SMC-aktiviteten hos män släpade efter kvinnornas med 2-6 s. Det fanns också en marginellt betydande kontexteffekt inom 0,4-0,6 Hz när SMC-aktiviteten hos män släpade efter kvinnornas med 4 s. (C) T-kartan för INSpWTC, som visade en signifikant kontexteffekt inom 0,4-0,6 Hz när SMC-aktiviteten hos män släpade efter kvinnornas med 4 s. (D) Jämförelse av riktad INSpWTC vid olika ämnen av pWTC. Riktad INS från kvinnor till män är betydligt högre i konfliktsammanhang än i stödjande sammanhang. (E) Validering av riktad INS genom GC-test (INSGC). Det resulterande mönstret för INSGC liknar INSpWTC. Klicka här för att se en större version av denna figur.
Kompletterande figur 1: Effektspektrumdiagrammet för samplingsfrekvens vid 11,1 Hz (blå linje) och 55,6 Hz (röd linje). Effektspektrummönstret för de två är ganska lika. Klicka här för att ladda ner den här filen.
Kompletterande figur 2: pWTC-kartorna över golv och ceil WTC. (A) Vänster panel: den tidsfördröjningade WTC-kartan som genereras av två samma signaler, x-axeln är tidspunkt och y-axeln är frekvensband. Medelvärdet av WTC vid alla punkter är ~ 1. Höger panel: pWTC-kartan över två liknande signaler. PWTC-kartan är ganska lik WTC-kartan. (B) Vänster panel: den tidsfördröjningade WTC-kartan som genereras av två slumpmässiga signaler, x-axeln är tidpunkten och y-axeln är frekvensbandet. Medelvärdet av WTC vid alla punkter är ~ 0. Höger panel: pWTC-kartan över två liknande signaler. PWTC-kartan är ganska lik WTC-kartan. Klicka här för att ladda ner den här filen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
I hyperscanningstudier är det vanligtvis viktigt att beskriva riktnings- och tidsmönstren för informationsflödet mellan individer. De flesta tidigare fNIRS hyperscanning-studier har använt traditionell WTC25 för att härleda dessa egenskaper genom att beräkna den tidsfördröjningen INS. Men som en av de inneboende egenskaperna hos fNIRS-signalen20,21 kan autokorrelationseffekten förvirra den tidsfördröjningade INS. För att lösa denna fråga infördes i protokollet häri en metod som kallas pWTC22. Denna metod uppskattar den tidsfördröjningen INS efter delvis ut autokorrelation och bibehåller fördelarna med WTC-metoden. Detta protokoll erbjuder steg-för-steg-vägledning om hur man utför pWTC och validerar resultaten av pWTC genom att jämföra dess resultat med de traditionella WTC- och GC-testerna.
De kritiska stegen för att tillämpa pWTC i fNIRS-baserade hyperskanningsdata demonstreras i detta protokoll. Specifikt, för att beräkna den tidsfördröjningade WTC, den autokorrelerade WTC och tidsjusterade WTC måste beräknas baserat på den tidsfördröjningade fNIRS-tidsserien. Därefter beräknas pWTC vid olika tidsfördröjningar enligt ekvation 1. Resultaten av pWTC returnerar en tid x frekvensmatris, och värdena i matrisen sträcker sig från 0 till 1. Således kan ytterligare statistiska tester utföras på dessa värden.
I demonstrationsprotokollet visade de representativa resultaten av den traditionella WTC två signifikanta effekter vid två frekvensband: 0,4-0,6 Hz. Påverkan inom 0,04-0,09 Hz överlevde emellertid inte tröskelvärdet i pWTC-resultaten, vilket tyder på att denna effekt kan förväxlas av fNIRS-signalens autokorrelationseffekt. Å andra sidan replikerades resultaten inom intervallet 0,4-0,6 Hz väl med pWTC-metoden. Dessa resultat indikerar att efter att ha tagit bort autokorrelationseffekten ger pWTC mer känslig och specifik utveckling när det gäller att härleda INS: s riktnings- och tidsmönster mellan individer. En annan möjlighet är dock att pWTC inte är mottagligt för INS: s riktnings- och tidsmönster i lägre frekvensområden än i de högre frekvensområdena, vilket resulterar i underskattning av INS-effekten. Framtida studier behövs för att klargöra dessa möjligheter ytterligare.
En jämförelse med GC-testet stöder ytterligare denna slutsats. Resultaten av GC-testet var ganska lika pWTC: s, vilket visade viktigt informationsflöde från kvinnor till män men inte från män till kvinnor. Det fanns en liten skillnad mellan resultaten från GC-testet och pWTC, dvs interaktionseffekten mellan ämne och riktning var marginellt signifikant i resultaten av pWTC men nådde betydelse i GC-testet. Denna skillnad kan bero på att pWTC beräknas på en finare tidsskala än GC-testet. Således, även om både pWTC- och GC-testerna kan ge tillförlitliga resultat vid kontroll av autokorrelationseffekten, är pWTC fördelaktigt eftersom det inte är nödvändigt att göra stationära antaganden och har en hög tidsspektrumstruktur.
PWTC-metoden har också sina begränsningar. I likhet med GC-testet är orsakssambandet som härleds från pWTC inte en verklig kausalitet37,38. Istället indikerar det bara ett tidsmässigt förhållande mellan signalerna från A och B. Denna fråga bör hållas i åtanke när du tillämpar pWTC-metoden. För det andra delar pWTC bara ut autokorrelationseffekten. Således kan andra potentiella samtidiga variabler, till exempel delade miljöer eller liknande åtgärder, fortfarande påverka resultaten. Följaktligen bör slutsatser om informationsflödets riktning och tidsmässiga mönster dras efter att ha kontrollerat dessa förvirrande faktorer.
Dessutom fanns det några komplicerade frågor om förbehandling av fNIRS-data. Även om fNIRS har en hög tolerans för huvudrörelser, är rörelseartefakter fortfarande den viktigaste källan till bullret39. Stora huvudrörelser skulle fortfarande leda till en positionsförskjutning av optoderna, vilket genererar rörelseartefakter som skarp spik och baslinjeförskjutningar. För att ta itu med dessa problem utvecklades många metoder för artefaktkorrigering, såsom splineinterpolering40, wavelet-baserad filtrering39, principkomponentanalys41 och korrelationsbaserad signalförbättring42, etc. Cooper och hanskollegor 43 har jämfört dessa metoder baserat på verkliga fNIRS-data från vilotillstånd och funnit att wavelet-baserad filtrering gav den högsta ökningen av kontrast-till-brusförhållandet. Vidare har Brigadoi och henneskollegor 44 också jämfört dessa metoder i verkliga språkliga uppgiftsdata och fann också att wavelet-baserad filtrering var det mest effektiva tillvägagångssättet för att korrigera rörelseartefakter. Således tillämpades i denna studie wavelet-baserad filtrering och rekommenderades också för framtida fNIRS hyperscanningstudier.
I allmänhet är pWTC ett värdefullt tillvägagångssätt för att uppskatta riktnings- och tidsmönstren för informationsflödet under social interaktion. Ännu viktigare är att man tror att pWTC-metoden också är lämplig för pseudo-hyperskanningsstudier (dvs signaler från två eller flera hjärnor samlas inte samtidigt45,46). I sådana experiment, även om informationsflödets riktning är fixerad, är det också av intresse att undersöka varaktigheten av tidsfördröjningen mellan signalens ingång och signalens process. Därför kan autokorrelation också förvirra resultaten av den tidsfördröjningen INS. I framtiden kan denna metod svara på många frågor i hyperscanning och andra interbrainstudier. Till exempel för att bestämma den dominerande rollen i olika sociala relationer, såsom lärare och studenter, läkare och patienter, och artister och publik. Dessutom, eftersom pWTC upprätthåller ins tidsmässiga strukturer, är det också möjligt att testa det dynamiska mönstret för INS, såsom gruppinställningskonvergens.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna förklarar inga konkurrerande ekonomiska intressen.
Acknowledgments
Detta arbete stöddes av National Natural Science Foundation of China (61977008) och Young Top Notch Talents of Ten Thousand Talent Program.
Materials
| Name | Company | Catalog Number | Comments |
| fNIRS topography system | Shimadzu Corporation | Shimadzu LABNIRS systen | LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export. |
| MATLAB | The MathWorks, Inc. | MATLAB 2019a | In this protocol, several toolboxs and functions bulit in MATLAB were used: SPM12 toolbox was used to normalize the valided MRI data through its GUI. NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI. Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters. Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence. |
| MRI scanner | Siemens Healthineers | TRIO 3-Tesla scanner | In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text. |
| customized caps | In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks. |
References
- Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
- Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
- Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
- Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
- Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
- Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), New York, N.Y. 1647-1659 (2021).
- Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
- Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students' knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
- Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
- Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
- Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
- Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
- Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
- Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
- Zhao, H., et al. How mother-child interactions are associated with a child's compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
- Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
- Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
- Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
- Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
- Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
- Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
- Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, SUPPL. 1 157-168 (2009).
- Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
- Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
- Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
- Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
- Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
- Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. Statistical Parametric Mapping: The Analysis of Functional Brain Images. , Academic Press. (2007).
- Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
- Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
- Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
- Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
- Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
- Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
- Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
- Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0-3 (2020).
- Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), Switzerland. 1345 (2019).
- Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
- Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
- Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
- Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
- Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. 0, 147 (2012).
- Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
- Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
- Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).
