Summary

Måling af retningsbestemt informationsstrøm i fNIRS-hyperscanningsdata ved hjælp af metoden Delvis Wavelet Transform Coherence Method

Published: September 03, 2021
doi:

Summary

Denne protokol beskriver delvis wavelet transform coherence (pWTC) til beregning af det tidslaggede mønster af interpersonel neural synkronisering (INS) for at udlede retningen og det tidsmæssige mønster af informationsstrømmen under social interaktion. Effektiviteten af pWTC til fjernelse af forvirringen af signalautokorrelation på INS blev bevist ved to eksperimenter.

Abstract

Social interaktion er af afgørende betydning for mennesker. Mens hyperscanningsmetoden i vid udstrækning er blevet brugt til at studere interpersonel neural synkronisering (INS) under sociale interaktioner, er funktionel nær-infrarød spektroskopi (fNIRS) en af de mest populære teknikker til hyperscanning af naturalistiske sociale interaktioner på grund af dens relativt høje rumlige opløsning, lydanatomiske lokalisering og usædvanligt høje tolerance for bevægelsesartefakter. Tidligere fNIRS-baserede hyperscanningsundersøgelser beregner normalt en tidslagged INS ved hjælp af wavelet transform coherence (WTC) til at beskrive retningen og det tidsmæssige mønster af informationsstrømmen mellem individer. Resultaterne af denne metode kan imidlertid blive forvirret af autokorrelationseffekten af fNIRS-signalet for hver enkelt person. For at løse dette problem blev der indført en metode betegnet partial wavelet transform coherence (pWTC), som havde til formål at fjerne autokorrelationseffekten og opretholde den høje tidsmæssige spektrumopløsning af fNIRS-signalet. I denne undersøgelse blev der først udført et simuleringseksperiment for at vise effektiviteten af pWTC til at fjerne virkningen af autokorrelation på INS. Derefter blev der tilbudt trinvis vejledning om driften af pWTC baseret på fNIRS-datasættet fra et socialt interaktionseksperiment. Derudover blev der draget en sammenligning mellem pWTC-metoden og den traditionelle WTC-metode og sammenligningen mellem pWTC-metoden og Granger-kausalitetsmetoden (GC). Resultaterne viste, at pWTC kunne bruges til at bestemme INS-forskellen mellem forskellige eksperimentelle tilstande og INS’s retnings- og tidsmæssige mønster mellem individer under naturalistiske sociale interaktioner. Desuden giver det bedre tidsmæssig og frekvensopløsning end den traditionelle WTC og bedre fleksibilitet end GC-metoden. Således er pWTC en stærk kandidat til at udlede retningen og det tidsmæssige mønster af informationsstrømmen mellem individer under naturalistiske sociale interaktioner.

Introduction

Social interaktion er af afgørende betydning for mennesker 1,2. For at forstå den neurokognitive mekanisme med dobbelt hjerne for social interaktion er hyperscanningsmetoden for nylig blevet anvendt i vid udstrækning, hvilket viser, at mønstrene for interpersonel neural synkronisering (INS) godt kan karakterisere den sociale interaktionsproces 3,4,5,6,7,8,9,10,11,12 ,13,14. Blandt nyere undersøgelser er et interessant fund, at rolleforskellen mellem individer i en dyad kan føre til et tidsforlænget mønster af INS, dvs. INS opstår, når et individs hjerneaktivitet halter efter et andet individs hjerneaktivitet med sekunder, såsom det fra lyttere til højttalere 5,9, fra ledere til tilhængere4, fra lærere til elever8, fra mødre til børn13,15 og fra kvinder til mænd i et romantisk par6. Vigtigst er det, at der er en god korrespondance mellem intervallet for den tidslaggede INS og intervallet for social interaktionsadfærd, såsom mellem lærere, der stiller spørgsmålstegn ved, og studerende, der besvarer8 eller mellem mødres forældreadfærd og børns overholdelsesadfærd15. Således kan tidsforlænget INS afspejle en retningsbestemt informationsstrøm fra et individ til et andet, som foreslået i en nylig hierarkisk model for interpersonel verbal kommunikation16.

Tidligere blev den tidslaggede INS hovedsageligt beregnet på det funktionelle nær-infrarøde spektroskopi (fNIRS) signal på grund af dets relativt høje rumlige opløsning, lydanatomiske lokalisering og usædvanligt høje tolerance for bevægelsesartefakter17, når man studerede naturalistiske sociale interaktioner. For præcist at karakterisere korrespondancen mellem den neurale tidsforsinkelse og den adfærdsmæssige tidsforsinkelse under social interaktion er det desuden vigtigt at opnå INS-styrken for hver tidsforsinkelse (f.eks. Fra ingen tidsforsinkelse til en tidsforsinkelse på 10 s). Til dette formål blev wavelet transform coherence (WTC) -proceduren tidligere anvendt i vid udstrækning efter at have flyttet hjernesignalet fra et individ frem eller tilbage i forhold til et andetindivids 5,6,18. Når man bruger denne traditionelle WTC-procedure for fNIRS-signaler, er der en potentiel udfordring, fordi den observerede tidslaggede INS kan blive forvirret af autokorrelationseffekten af fNIRS-signalet for en individuel 19,20,21. For eksempel kan signalet fra deltager A på tidspunktet t under en dyadisk social interaktionsproces synkroniseres med deltager B’s signal på samme tidspunkt. I mellemtiden kan signalet fra deltager A på tidspunktet t synkroniseres med signalet fra deltager A på et senere tidspunkt t + 1 på grund af autokorrelationseffekten. Derfor kan der forekomme en falsk tidsfornægtet INS mellem signalet fra deltager A på tidspunktet t og signalet fra deltager B på tidspunktet t + 1.

Mihanović og hans kolleger22 introducerede først en metode trykket partial wavelet transform coherence (pWTC) og anvendte den derefter i havvidenskab 23,24. Det oprindelige formål med denne metode var at kontrollere den eksogene forvirrende støj, når man estimerede sammenhængen mellem to signaler. For at løse autokorrelationsproblemet i fNIRS-hyperscanningsdataene blev pWTC-metoden udvidet til at beregne tidslagged INS på fNIRS-signalet. Netop en tidsforanket INS (og en retningsbestemt informationsstrøm) fra deltager A til deltager B kan beregnes ved hjælp af ligningen nedenfor (ligning 1)23.

Equation 1

Her antages det, at der er to signaler, A og B, fra henholdsvis deltagere A og B. Forekomsten af signal B går altid forud for signal A med en tidsforsinkelse på n, hvor WTC (At, Bt + n) er den traditionelle tidslaggede WTC. WTC (At, At + n) er den autokorrelerede WTC i deltager A. WTC (At, Bt) er den tidsjusterede WTC på tidspunktet t mellem deltager A og B. * er den komplekse konjugerede operatør (figur 1A).

Figure 1
Figur 1: Oversigt over pWTC. A) logikken i pWTC. Der er to signaler A og B inden for en dyad. Forekomsten af A følger altid B med en forsinkelse n. En grå boks er et wavelet-vindue på et bestemt tidspunkt t eller t + n. Baseret på pWTC-ligningen (repræsenteret i figuren) skal der beregnes tre WTC’er: den tidslaggede WTC for At + n og Bt; den autokorrelerede WTC i deltager A på At og At+n og den tidsjusterede WTC på tidspunktet t, At og Bt. (B) Layoutet af optode sonde sæt. CH11 blev placeret på T3, og CH25 blev placeret på T4 efter det internationale 10-20 system 27,28. Klik her for at se en større version af denne figur.

Denne protokol introducerede først et simuleringseksperiment for at demonstrere, hvor godt pWTC løser autokorrelationsudfordringen. Derefter forklarede det, hvordan man udfører pWTC på en trinvis måde baseret på et empirisk eksperiment med naturalistiske sociale interaktioner. Her blev en kommunikationskontekst brugt til at introducere metoden. Dette skyldes, at den tidslaggede INS tidligere normalt blev beregnet i en naturalistisk kommunikationskontekst 3,4,6,8,13,15,18. Derudover blev der også foretaget en sammenligning mellem pWTC og den traditionelle WTC og validering med Granger-kausalitetstesten (GC).

Protocol

Den humane eksperimentprotokol blev godkendt af Institutional Review Board og Ethics Committee i State Key Laboratory of Cognitive Neuroscience and Learning ved Beijing Normal University. Alle deltagere gav skriftligt informeret samtykke, inden eksperimentet begyndte. 1. Simuleringseksperimentet Generer to tidsserier af signaler, der korrelerer med hinanden, hvor et signal har autokorrelation ved en 4 s tidsforsinkelse. Indstil korrelationskoefficienten på r mellem de to signaler ti…

Representative Results

Simulering resultaterResultaterne viste, at den tidslaggede INSWTC med autokorrelation var signifikant højere end den tidslaggede INSWTC uden autokorrelation (t(1998) = 4.696, p < 0.001) og tidslagged INSpWTC (t(1998) = 5.098, p < 0.001). Derudover var der ingen signifikant forskel mellem tidsforladt INSWTC uden autokorrelation og INSpWTC (t(1998) = 1.573, p = 0.114, figur 2A</str…

Discussion

I hyperscanningsundersøgelser er det normalt vigtigt at beskrive de retningsbestemte og tidsmæssige mønstre af informationsstrømmen mellem individer. De fleste tidligere fNIRS-hyperscanningsundersøgelser har brugt traditionel WTC25 til at udlede disse egenskaber ved at beregne den tidslaggede INS. Men som et af de iboende træk ved fNIRS-signalet20,21 kan autokorrelationseffekten forvirre den tidslaggede INS. For at løse dette proble…

Declarações

The authors have nothing to disclose.

Acknowledgements

Dette arbejde blev støttet af National Natural Science Foundation of China (61977008) og Young Top Notch Talents of Ten Thousand Talent Program.

Materials

fNIRS topography system Shimadzu Corporation Shimadzu LABNIRS systen LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB The MathWorks, Inc. MATLAB 2019a In this protocol, several toolboxs and functions bulit in MATLAB were used:
SPM12 toolbox was used to normalize the valided MRI data through its GUI.
NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI.
Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters.
Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner Siemens Healthineers TRIO 3-Tesla scanner In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

Referências

  1. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  2. Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
  3. Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
  4. Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
  5. Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
  6. Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
  7. Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
  8. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  9. Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
  10. Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
  11. Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
  12. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  13. Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
  14. Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
  15. Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
  16. Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
  17. Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
  18. Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
  19. Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
  20. Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
  21. Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
  22. Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
  23. Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
  24. Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
  25. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
  26. Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
  27. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
  28. Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
  29. Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
  30. Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
  31. Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
  32. Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
  33. Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
  34. Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
  35. Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
  36. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  37. Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
  38. Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
  39. Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
  40. Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
  41. Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
  42. Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
  43. Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
  44. Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
  45. Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
  46. Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).
check_url/pt/62927?article_type=t

Play Video

Citar este artigo
Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).

View Video