Meting van de directionele informatiestroom in fNIRS-Hyperscanning-gegevens met behulp van de Partial Wavelet Transform Coherence Method

Summary

Dit protocol beschrijft partiële wavelettransformatiecoherentie (pWTC) voor het berekenen van het tijd-vertraagde patroon van interpersoonlijke neurale synchronisatie (INS) om de richting en het temporele patroon van informatiestroom tijdens sociale interactie af te leiden. De effectiviteit van pWTC bij het verwijderen van de confounds van signaalautocorrelatie op INS werd bewezen door twee experimenten.

Abstract

Sociale interactie is van vitaal belang voor de mens. Hoewel de hyperscanning-benadering uitgebreid is gebruikt om interpersoonlijke neurale synchronisatie (INS) tijdens sociale interacties te bestuderen, is functionele nabij-infraroodspectroscopie (fNIRS) een van de meest populaire technieken voor hyperscanning naturalistische sociale interacties vanwege de relatief hoge ruimtelijke resolutie, geluidsanatomische lokalisatie en uitzonderlijk hoge tolerantie voor bewegingsartefacten. Eerdere op fNIRS gebaseerde hyperscanningstudies berekenen meestal een in de tijd vertraagde INS met behulp van wavelettransformatiecoherentie (WTC) om de richting en het temporele patroon van informatiestroom tussen individuen te beschrijven. De resultaten van deze methode kunnen echter worden verstoord door het autocorrelatie-effect van het fNIRS-signaal van elk individu. Om dit probleem aan te pakken, werd een methode geïntroduceerd die partiële wavelettransformatiecoherentie (pWTC) werd genoemd, die tot doel had het autocorrelatie-effect te verwijderen en de hoge temporele spectrumresolutie van het fNIRS-signaal te behouden. In deze studie werd eerst een simulatie-experiment uitgevoerd om de effectiviteit van de pWTC aan te tonen bij het verwijderen van de impact van autocorrelatie op INS. Vervolgens werd stapsgewijze begeleiding geboden over de werking van de pWTC op basis van de fNIRS-dataset uit een sociaal interactie-experiment. Daarnaast werd een vergelijking gemaakt tussen de pWTC-methode en de traditionele WTC-methode en die tussen de pWTC-methode en de Granger causaliteit (GC) methode. De resultaten toonden aan dat pWTC kon worden gebruikt om het INS-verschil tussen verschillende experimentele omstandigheden en het directionele en temporele patroon van INS tussen individuen tijdens naturalistische sociale interacties te bepalen. Bovendien biedt het een betere temporele en frequentieresolutie dan het traditionele WTC en een betere flexibiliteit dan de GC-methode. PWTC is dus een sterke kandidaat voor het afleiden van de richting en het temporele patroon van informatiestroom tussen individuen tijdens naturalistische sociale interacties.

Introduction

Sociale interactie is van levensbelang voor de mens ^1,2. Voor het begrijpen van het neurocognitieve mechanisme van sociale interactie in de dubbele hersenen, is de hyperscanning-benadering onlangs uitgebreid gebruikt, waaruit blijkt dat de patronen van interpersoonlijke neurale synchronisatie (INS) het sociale interactieproces goed kunnen karakteriseren 3,4,5,6,7,8,9,10,11,12 ^,13,14. Onder recente studies is een interessante bevinding dat het rolverschil van individuen in een dyade kan leiden tot een tijdsvertragingspatroon van INS, d.w.z. INS treedt op wanneer de hersenactiviteit van een individu seconden achterblijft bij die van een ander individu, zoals die van luisteraars tot sprekers ^5,9, van leiders tot volgers⁴, van leerkrachten tot leerling⁸, van moeders tot kinderen^{van 13,15}, en van vrouwen tot mannen in een romantisch koppel⁶. Het belangrijkste is dat er een goede overeenkomst is tussen het interval van de ins met een tijdsachterstand en dat van sociaal interactiegedrag, zoals tussen leraren die vragen stellen en studenten die⁸ beantwoorden of tussen ouderschapsgedrag van moeders en volgzaam gedrag van kinderen¹⁵. Ins met een tijdsachterstand kan dus een directionele informatiestroom van het ene individu naar het andere weerspiegelen, zoals voorgesteld in een recent hiërarchisch model voor interpersoonlijke verbale communicatie¹⁶.

Voorheen werd de in de tijd vertraagde INS voornamelijk berekend op het functionele nabij-infraroodspectroscopie (fNIRS) signaal vanwege de relatief hoge ruimtelijke resolutie, geluidsanatomische lokalisatie en uitzonderlijk hoge tolerantie voor bewegingsartefacten¹⁷ bij het bestuderen van naturalistische sociale interacties. Bovendien, om de overeenkomst tussen de neurale tijdsvertraging en de gedragsmatige tijdsvertraging tijdens sociale interactie nauwkeurig te karakteriseren, is het essentieel om de INS-sterkte voor elke vertraging te verkrijgen (bijvoorbeeld van geen tijdsvertraging tot een vertraging van 10 s). Voor dit doel werd eerder de wavelet transform coherence (WTC) -procedure uitgebreid toegepast na het verschuiven van het hersensignaal van een individu naar voren of naar achteren ten opzichte van dat van een ander individu ^5,6,18. Bij het gebruik van deze traditionele WTC-procedure voor fNIRS-signalen is er een potentiële uitdaging omdat de waargenomen ins met een vertraagde tijd kan worden verstoord door het autocorrelatie-effect van het fNIRS-signaal voor een individuele 19,20,21. Tijdens een dyadisch sociaal interactieproces kan bijvoorbeeld het signaal van deelnemer A op tijdstip t worden gesynchroniseerd met dat van deelnemer B op hetzelfde tijdstip. Ondertussen kan het signaal van deelnemer A op tijdstip t worden gesynchroniseerd met dat van deelnemer A op een later tijdstip t+1 vanwege het autocorrelatie-effect. Daarom kan een valse tijdsachterstand ins optreden tussen het signaal van deelnemer A op tijdstip t en dat van deelnemer B op tijdstip t+1.

Mihanović en zijn collega’s²² introduceerden eerst een methode genaamd partiële wavelettransformatiecoherentie (pWTC) en pasten deze vervolgens toe in de mariene wetenschap^23,24. Het oorspronkelijke doel van deze methode was om de exogene verstorende ruis te beheersen bij het schatten van de samenhang van twee signalen. Hier, om het autocorrelatieprobleem in de fNIRS-hyperscanninggegevens aan te pakken, werd de pWTC-methode uitgebreid om tijd-vertraagde INS op het fNIRS-signaal te berekenen. Precies, een in de tijd vertraagde INS (en een directionele informatiestroom) van deelnemer A naar deelnemer B kan worden berekend met behulp van de onderstaande vergelijking (vergelijking 1)²³.

Hier wordt aangenomen dat er twee signalen zijn, A en B, van respectievelijk deelnemers A en B. Het optreden van signaal B gaat altijd vooraf aan dat van signaal A met een tijdsvertraging van n, waarbij WTC (A_t, B_t+n) het traditionele wtc met tijdsachterstand is. WTC (A_t, A_t+n) is het autocorrele WTC in deelnemer A. WTC (A_t, B_t) is het tijd-uitgelijnde WTC op tijdstip t tussen deelnemer A en B. * is de complexe geconjugeerde operator (Figuur 1A).

Figuur 1: Overzicht van pWTC. (A) De logica van de pWTC. Er zijn twee signalen A en B, binnen een dyade. Het voorkomen van A volgt altijd dat van B met een vertraging n. Een grijs vak is een waveletvenster op een bepaald tijdstip t of t+n. Op basis van de pWTC-vergelijking (weergegeven in de figuur) moeten drie WTC’s worden berekend: het WTC met de tijdsachterstand van A_t+n en B_t; het autocorrele WTC in deelnemer A van A_t en A_t+n; en het op tijd uitgelijnde WTC op tijdstip t, A_t en B_t. B) De lay-out van optode sonde sets. CH11 werd geplaatst op T3 en CH25 werd geplaatst op T4 na het internationale 10-20 systeem^27,28. Klik hier om een grotere versie van deze figuur te bekijken.

Dit protocol introduceerde eerst een simulatie-experiment om aan te tonen hoe goed de pWTC de autocorrelatie-uitdaging oplost. Vervolgens werd uitgelegd hoe pWTC stap voor stap kon worden uitgevoerd op basis van een empirisch experiment van naturalistische sociale interacties. Hier werd een communicatiecontext gebruikt om de methode te introduceren. Dit komt omdat voorheen de in de tijd vertraagde INS meestal werd berekend in een naturalistische communicatiecontext 3,4,6,8,13,15,18. Daarnaast werd ook een vergelijking uitgevoerd tussen de pWTC en het traditionele WTC en validatie met de Granger causaliteitstest (GC).

Protocol

Het menselijke experimentprotocol werd goedgekeurd door de Institutional Review Board en de Ethische Commissie van het State Key Laboratory of Cognitive Neuroscience and Learning aan de Beijing Normal University. Alle deelnemers gaven schriftelijke geïnformeerde toestemming voordat het experiment begon. 1. Het simulatie-experiment Genereer twee tijdreeksen van signalen die met elkaar correleren, waarbij één signaal autocorrelatie heeft met een tijdsvertraging van 4 s. Stel de corr…

Representative Results

Simulatie resultatenDe resultaten toonden aan dat de tijd-vertraagde INSWTC met autocorrelatie significant hoger was dan de tijd-vertraagde INSWTC zonder autocorrelatie (t(1998) = 4,696, p < 0,001) en tijd-vertraagde INSpWTC (t(1998) = 5,098, p < 0,001). Bovendien was er geen significant verschil tussen in de tijd vertraagd INSWTC zonder autocorrelatie en INSpWTC (t(1998) = 1,573, p = 0,114, <strong cl…

Discussion

In hyperscanningstudies is het meestal essentieel om de directionele en temporele patronen van informatiestroom tussen individuen te beschrijven. De meeste eerdere fNIRS-hyperscanningstudies hebben traditionele WTC²⁵ gebruikt om deze kenmerken af te leiden door de in de tijd vertraagde INS te berekenen. Als een van de intrinsieke kenmerken van het fNIRS-signaal ^20,21 kan het autocorrelatie-effect de in de tijd vertraagde INS verstoren. Om …

Materials

fNIRS topography system	Shimadzu Corporation	Shimadzu LABNIRS systen	LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB	The MathWorks, Inc.	MATLAB 2019a	In this protocol, several toolboxs and functions bulit in MATLAB were used: SPM12 toolbox was used to normalize the valided MRI data through its GUI. NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI. Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters. Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner	Siemens Healthineers	TRIO 3-Tesla scanner	In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps			In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.