Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method

Siyuan Zhou; Yuhang Long; Chunming Lu

doi:10.3791/62927

JoVE Journal > Neuroscience

Please note that all translations are automatically generated. Click here for the English version.

Neuroscience

부분 웨이블릿 변환 일관성 방법을 사용한 fNIRS-하이퍼스닝 데이터에서 방향 정보 흐름 측정

Published: September 03, 2021

doi:

10.3791/62927

Siyuan Zhou*¹, Yuhang Long*², Chunming Lu

¹State Key Laboratory of Cognitive Neuroscience and Learning & IDG/McGovern Institute for Brain Research,Beijing Normal University, ²Institute of Developmental Psychology, Faculty of Psychology,Beijing Normal University

Summary

이 프로토콜은 사회적 상호 작용 동안 정보 흐름의 방향과 시간 패턴을 추론하기 위해 대인 관계 신경 동기화 (INS)의 시간 지연 패턴을 계산하기위한 부분 웨이블릿 변환 일관성 (pWTC)을 설명합니다. INS에 대한 신호 자기상관관계의 혼란을 제거하는 데 있어서 pWTC의 효과는 두 번의 실험에 의해 입증되었다.

Abstract

사회적 상호 작용은 인간에게 매우 중요합니다. 하이퍼 스캐닝 접근법은 사회적 상호 작용 중에 대인 관계 신경 동기화 (INS)를 연구하는 데 광범위하게 사용되었지만 기능적 근적외선 분광법 (fNIRS)은 상대적으로 높은 공간 해상도, 사운드 해부학 적 현지화 및 모션 아티팩트의 예외적으로 높은 내성으로 인해 자연 주의적 사회적 상호 작용을 하이퍼 스캐닝하는 데 가장 널리 사용되는 기술 중 하나입니다. 이전의 fNIRS 기반 하이퍼스닝 연구는 일반적으로 개인 간의 정보 흐름의 방향과 시간 패턴을 설명하기 위해 웨이블릿 변환 일관성 (WTC)을 사용하여 시간 지연 INS를 계산합니다. 그러나, 이 방법의 결과는 각 개인의 fNIRS 신호의 자기상관관계에 의해 혼동될 수 있다. 이 문제를 해결하기 위해 부분 웨이블릿 변환 일관성 (pWTC)이라는 방법이 도입되었는데, 이는 자기 상관 효과를 제거하고 fNIRS 신호의 높은 시간적 스펙트럼 분해능을 유지하는 것을 목표로했습니다. 본 연구에서, INS에 대한 자기상관관계의 영향을 제거하는데 있어서 pWTC의 효과를 보여주기 위해 먼저 시뮬레이션 실험을 수행하였다. 이어서, 사회적 상호작용 실험으로부터의 fNIRS 데이터세트에 기초한 pWTC의 작동에 대한 단계별 지침을 제공하였다. 추가적으로, pWTC 방법과 전통적인 WTC 방법 사이의 비교와 pWTC 방법과 그랜저 인과성 (GC) 방법 사이의 비교가 도출되었다. 결과는 pWTC가 자연주의 사회적 상호 작용 동안 개인간에 다른 실험 조건과 INS의 방향성 및 시간적 패턴 사이의 INS 차이를 결정하는 데 사용될 수 있음을 보여주었습니다. 또한 기존 WTC보다 더 나은 시간 및 주파수 분해능을 제공하고 GC 방법보다 더 나은 유연성을 제공합니다. 따라서, pWTC는 자연주의적 사회적 상호작용 동안 개인들 사이의 정보 흐름의 방향과 시간적 패턴을 추론하기 위한 강력한 후보이다.

Introduction

사회적 상호 작용은 인간에게 매우 중요합니다 ^1,2. 사회적 상호 작용의 이중 뇌 신경인지 메커니즘을 이해하기 위해 하이퍼 스캐닝 접근법이 최근에 광범위하게 사용되어 대인 관계 신경 동기화 (INS)의 패턴이 사회적 상호 작용 과정을 잘 특징 지을 수 있음을 보여줍니다 3,4,5,6,7,8,9,10,11,12 ,^13,14. 최근의 연구 중에서, 흥미로운 발견은 다야드에서 개인의 역할 차이가 INS의 시간 지연 패턴으로 이어질 수 있다는 것입니다, 즉, INS는 한 개인의 뇌 활동이 청취자에서 연사^5,9, 지도자에서 추종자에 이르기까지 몇 초 동안 다른 개인의 뇌 활동보다 뒤처질 때 발생합니다⁴^, 교사에서 학생⁸, 어머니에서 어린이^13,15^, 여성에서 남성까지 낭만적 인 커플⁶. 가장 중요한 것은 시간 지연 INS의 간격과 8에^{답하는 교사}와 학생 간의 또는 어머니의 양육 행동과¹⁵ 아동의 준수 행동 사이의 사회적 상호 작용 행동 사이에 좋은 대응이 있다는 것입니다. 따라서, 시간-지연된 INS는 대인 관계 언어 통신(¹⁶)을 위한 최근의 계층적 모델에서 제안된 바와 같이, 한 개인으로부터 다른 개인으로의 방향 정보 흐름을 반영할 수 있다.

이전에, 시간-지연된 INS는 자연주의적 사회적 상호작용을 연구할 때 상대적으로 높은 공간 분해능, 사운드 해부학적 국소화 및 운동 아티팩트(¹⁷)의 예외적으로 높은 내성 때문에 기능적 근적외선 분광법(fNIRS) 신호에서 주로 계산되었다. 더욱이, 사회적 상호작용 동안 신경 시간 지연과 행동 시간 지연 사이의 대응을 정확하게 특성화하기 위해, 각각의 시간 지연에 대한 INS 강도를 얻는 것이 필수적이다 (예를 들어, 시차 없는 것으로부터 10 초의 시간 지연까지). 이러한 목적을 위해, 이전에는 웨이블릿 변환 일관성(WTC) 절차가 한 개인의 뇌 신호를 다른 개인의 뇌 신호(^5,6,18)에 비해 앞이나 뒤로 이동시킨 후에 광범위하게 적용되었다. fNIRS 신호에 대해 이러한 전통적인 WTC 절차를 사용하는 경우, 관찰된 시간-지연된 INS가 개별^19,20,21에 대한 fNIRS 신호의 자기상관 효과에 의해 혼동될 수 있기 때문에 잠재적인 도전이 존재한다. 예를 들어, 다이아딕 사회적 상호작용 프로세스 동안, 시점 t에서의 참여자 A의 신호는 동시에 참여자 B의 신호와 동기화될 수 있다. 한편, 시점 t에서의 참여자 A의 신호는 자기상관성 효과 때문에 나중 시점 t+1에서 참여자 A의 신호와 동기화될 수 있다. 따라서, 스퓨리어스 시차가 있는 INS는 시점 t에서의 참여자 A의 신호와 시점 t+1에서의 참여자 B의 신호 사이에서 발생할 수 있다.

Mihanović와 그의 동료²²는 부분 웨이블릿 변환 일관성 (pWTC)이라는 방법을 처음 도입 한 다음 해양 과학^23,24에 적용했습니다. 이 방법의 원래 목적은 두 신호의 일관성을 추정 할 때 외인성 교란 잡음을 제어하는 것이 었습니다. 여기서, fNIRS 하이퍼스닝 데이터에서의 자기상관 문제를 해결하기 위해, pWTC 방법은 fNIRS 신호 상의 시간-지연된 INS를 계산하도록 확장되었다. 정확하게는, 참여자 A로부터 참여자 B까지의 시간 지연된 INS(및 방향 정보 흐름)는 아래의 방정식(수학식 1)²³을 사용하여 계산될 수 있다.

여기서, 참가자 A와 B로부터 각각 두 개의 신호, A와 B가 있다고 가정한다. 신호 B의 발생은 항상 신호 A의 발생보다 시간 지연이 n인 경우, WTC(A t, B _t+n)는 전통적인 시간 지연 WTC입니다. WTC(At, At_+n)는 참여자 A에서 오토상관관계가 있는 WTC이다. WTC(At, Bit)는 참여자 A와 B 사이의 시점 t에서의 시간 정렬된 WTC이다. *는 복합 컨쥬게이트 연산자이다(도 1A).

그림 1: pWTC의 개요. (A) pWTC의 논리. 다야드 내에는 두 개의 신호 A와 B가 있습니다. A의 발생은 항상 지연 n이있는 B의 발생을 따릅니다. 회색 상자는 특정 시점 t 또는 t+n의 웨이블릿 창입니다. pWTC 방정식 (그림에 표시됨)을 기반으로 세 가지 WTC를 계산해야합니다 : A t + _n 및 B t의 시간 지연 WTC; A t 및 A _t _{+ n}의 참가자 A에서 자동 상관 된 WTC; 및 시간 정렬된 WTC를 시점 t, A_t및 _Bt에서 포함한다. (B) 옵토드 프로브 세트의 레이아웃입니다. CH11은 T3에 배치되었고, CH25는 국제 10-20 시스템^27,28에 따라 T4에 배치되었다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

이 프로토콜은 pWTC가 자기상관 문제를 얼마나 잘 해결하는지 보여주기 위해 시뮬레이션 실험을 처음 도입했습니다. 그런 다음 자연주의 사회적 상호 작용에 대한 경험적 실험을 기반으로 pWTC를 단계별로 수행하는 방법을 설명했습니다. 여기서, 통신 컨텍스트는 방법을 소개하기 위해 사용되었다. 이는 이전에 시간 지연 INS가 일반적으로 자연주의 통신 컨텍스트 3,4,6,8,13,15,18에서 계산되었기 때문입니다. 또한, pWTC와 전통적인 WTC의 비교와 그랜저 인과성 (GC) 테스트와의 검증도 수행되었습니다.

Protocol

인간 실험 프로토콜은 베이징 사범 대학의인지 신경 과학 및 학습의 국가 핵심 연구소의 기관 검토위원회 및 윤리위원회에 의해 승인되었습니다. 모든 참가자는 실험이 시작되기 전에 서면 정보에 입각 한 동의를했습니다. 1. 시뮬레이션 실험 서로 상관 관계가 있는 두 개의 시계열 신호를 생성하며, 하나의 신호는 4s 시간 지연에서 자기 상관 관계를 갖습니다. 두 신호…

Representative Results

시뮬레이션 결과결과는 자기상관관계를 갖는 시간-지연된 INS WTC가 자기상관관계가 없는 시간-지연된 INSWTC보다 유의하게 더 높았다는 것을 보여주었다(t(1998) = 4.696, p< 0.001) 및 시간-지연된 INSpWTC(t(1998) = 5.098, p<001). 추가적으로, 자기상관관계가 없는 INS WTC와 INSpWTC 사이에는 시차적인 차이가 없었다(t(1998) = 1.573,p=0.1…

Discussion

하이퍼 스캐닝 연구에서는 일반적으로 개인 간의 정보 흐름의 방향성 및 시간적 패턴을 설명하는 것이 필수적입니다. 대부분의 이전의 fNIRS 하이퍼스닝 연구는 전통적인 WTC²⁵를 사용하여 시간 지연 INS를 계산하여 이러한 특성을 추론했습니다. 그러나, fNIRS 신호(^20,21)의 본질적인 특징들 중 하나로서^, 자기상관성 효과는 시간-지연된 INS?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

이 연구는 중국 국립 자연 과학 재단 (61977008)과 Ten Thousand Talent Program의 Young Top Notch Talents의 지원을 받았습니다.

Materials

fNIRS topography system	Shimadzu Corporation	Shimadzu LABNIRS systen	LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB	The MathWorks, Inc.	MATLAB 2019a	In this protocol, several toolboxs and functions bulit in MATLAB were used: SPM12 toolbox was used to normalize the valided MRI data through its GUI. NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI. Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters. Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner	Siemens Healthineers	TRIO 3-Tesla scanner	In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps			In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

References

Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).