Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method

Siyuan Zhou; Yuhang Long; Chunming Lu

doi:10.3791/62927

JoVE Journal > Neuroscience

Please note that all translations are automatically generated. Click here for the English version.

신경과학

部分ウェーブレット変換コヒーレンス法を用いたfNIRS-ハイパースキャンデータにおける指向性情報流の測定

Published: September 03, 2021

doi:

10.3791/62927

Siyuan Zhou*¹, Yuhang Long*², Chunming Lu

¹State Key Laboratory of Cognitive Neuroscience and Learning & IDG/McGovern Institute for Brain Research,Beijing Normal University, ²Institute of Developmental Psychology, Faculty of Psychology,Beijing Normal University

Summary

このプロトコルは、社会的相互作用中の情報の流れの方向および時間的パターンを推測するために、対人神経同期(INS)の時間時間差パターンを計算するための部分ウェーブレット変換コヒーレンス(pWTC)を記述する。INS上のシグナル自己相関の交絡を除去する上でのpWTCの有効性は、2つの実験によって証明された。

Abstract

社会的相互作用は人間にとって極めて重要です。ハイパースキャンアプローチは、社会的相互作用中の対人神経同期(INS)を研究するために広く使用されてきましたが、機能的近赤外分光法(fNIRS)は、比較的高い空間分解能、音の解剖学的局在化、およびモーションアーチファクトの非常に高い耐性のために、自然主義的社会的相互作用をハイパースキャンするための最も一般的な技術の1つです。以前のfNIRSベースのハイパースキャニング研究では、通常、ウェーブレット変換コヒーレンス(WTC)を使用して時間時間差INSを計算し、個人間の情報の流れの方向と時間パターンを記述します。しかしながら、この方法の結果は、各個体のfNIRS信号の自己相関効果によって交絡する可能性がある。この問題に対処するために、自己相関効果を除去し、fNIRS信号の高い時間スペクトル分解能を維持することを目的とした部分ウェーブレット変換コヒーレンス(pWTC)と呼ばれる方法が導入されました。本研究では、INSに対する自己相関の影響を除去する上でのpWTCの有効性を示すために、最初にシミュレーション実験が行われた。次に、社会的相互作用実験からのfNIRSデータセットに基づくpWTCの動作について、段階的なガイダンスが提供された。さらに、pWTC法と従来のWTC法との比較、およびpWTC法とグレンジャー因果関係(GC)法との比較が描かれた。結果は、pWTCが、自然主義的社会的相互作用中の個人間の異なる実験条件間のINS差およびINSの方向的および時間的パターンを決定するために使用することができることを示した。さらに、従来のWTCよりも優れた時間分解能と周波数分解能を提供し、GC法よりも優れた柔軟性を提供します。したがって、pWTCは、自然主義的な社会的相互作用中の個人間の情報の流れの方向および時間的パターンを推測するための強力な候補である。

Introduction

社会的相互作用は人間にとって極めて重要である^1,2。社会的相互作用の二重脳神経認知メカニズムを理解するために、ハイパースキャンアプローチが最近広く使用されており、対人神経同期(INS)のパターンが社会的相互作用プロセスをうまく特徴付けることができることを示している³、⁴、⁵、⁶、⁷、⁸、⁹、¹⁰^、¹¹^、¹²,^13,14。最近の研究の中で、興味深い発見は、ダイアドにおける個人の役割の違いがINSの時間遅れパターンにつながる可能性があるということです、すなわち、INSは、ある個人の脳活動が他の個人の脳活動に数秒遅れたときに起こります。教師から生徒へ⁸人、母親から子供へ^13,15人、ロマンチックなカップルの女性から男性へ⁶.最も重要なのは、時間遅れINSの間隔と、質問する教師と⁸に答える生徒の間、または母親の子育て行動と子供のコンプライアンス行動¹⁵との間のそのような社会的相互作用行動の間隔との間に良好な対応がある。したがって、時間差INSは、対人言語コミュニケーションのための最近の階層モデル¹⁶において提案されているように、ある個人から別の個人への指向性情報フローを反映し得る。

これまで、時間遅れINSは、自然主義的社会的相互作用を研究する際の比較的高い空間分解能、音の解剖学的局在化、およびモーションアーチファクト¹⁷の非常に高い許容度のために、主に機能的近赤外分光法(fNIRS)信号に基づいて計算された。また、社会的相互作用中の神経タイムラグと行動タイムラグとの対応関係を精密に特徴付けるためには、タイムラグ毎(例えば、無タイムラグから10秒のタイムラグまで)のINS強度を求めることが不可欠である。この目的のために、以前は、ウェーブレット変換コヒーレンス(WTC)手順は、ある個体の脳信号を別の個体の脳信号に対して前方または後方にシフトした後に広範囲に適用されていた^5,6,18。fNIRS信号に対してこの従来のWTC手順を使用する場合、観察された時間遅れINSが個々の¹⁹、²⁰、²¹に対するfNIRS信号の自己相関効果によって交絡する可能性があるため^、潜在的な課題があります。例えば、ダイアディック社会的相互作用プロセスの間、時点tにおける参加者Aの信号は、同じ時点における参加者Bの信号と同期され得る。一方、時間点tにおける参加者Aの信号は、自己相関効果のために、後の時点t+1における参加者Aの信号と同期され得る。したがって、時刻tにおける参加者Aの信号と、時点t+1における参加者Bの信号との間に、偽の時間差INSが発生する可能性があります。

Mihanovićと彼の同僚²²は、最初に部分ウェーブレット変換コヒーレンス(pWTC)と呼ばれる方法を導入し、次にそれを海洋科学^23,24に適用した。この方法の本来の目的は、2つの信号のコヒーレンスを推定するときに外因性の交絡ノイズを制御することでした。ここでは、fNIRSハイパースキャンデータの自己相関の問題に対処するために、pWTC法を拡張して、fNIRS信号上の時間差INSを計算しました。正確には、参加者Aから参加者Bまでの時間差INS(および方向情報フロー)は、以下の式(式1)²³を使用して計算できます。

ここでは、参加者 A と参加者 B からそれぞれ A と B の 2 つの信号があると仮定します。信号Bの発生は、常にnのタイムラグを持つ信号Aの発生に先行し、WTC(_At、B_t+n)は従来の時間差WTCである。WTC (_At, A_t+n) は、構成要素 A における自己相関 WTC であり、WTC (_At, B t) は、構成要素 A と B の間の時点 _t における時間整合 WTC です。* は複素共役演算子です (図 1A)。

図 1: pWTC の概要 (A) pWTC の論理。ダイアド内には2つの信号AとBがあります。A の出現は、常にラグ n を持つ B の出現に続きます。灰色のボックスは、特定の時点tまたはt+nにおけるウェーブレットウィンドウです。pWTC方程式(図に表されている)に基づいて、3つのWTCを計算する必要があります:A_{t + n}とB_tの時間遅れWTC。A _tおよびA _{t + n}の参加者Aにおける自己相関WTC;時刻t、Rtおよび_Btにおける時間整列WTCである。(イ)オプトイドプローブセットのレイアウト。CH11はT3に置かれ、CH25は国際10-20システム^27,28に従ってT4に置かれた。この図の拡大版を表示するには、ここをクリックしてください。

このプロトコルは、pWTCが自己相関の課題をどの程度うまく解決するかを示すために、最初にシミュレーション実験を導入しました。次に、自然主義的社会的相互作用の実証実験に基づき、pWTCを段階的に実施する方法を説明しました。ここでは、通信コンテキストを使用してメソッドを導入しました。これは、以前は、時間差INSは、通常、自然主義的なコミュニケーションコンテキスト³、⁴^、⁶、⁸、^13、15^、¹⁸で計算されていたためです。さらに、pWTCと従来のWTCの比較、グレンジャー因果関係(GC)検定による検証も実施されました。

Protocol

人体実験プロトコルは、北京師範大学の認知神経科学と学習の国家主要研究所の治験審査委員会と倫理委員会によって承認されました。すべての参加者は、実験が始まる前に書面によるインフォームドコンセントを与えました。 1. シミュレーション実験互いに相関するシグナルの2つの時系列を生成し、1つのシグナルが4秒のタイムラグで自己相関を有する。2つ?…

Representative Results

シミュレーション結果その結果、自己相関のある時間差INS WTCは、自己相関のない時間差INSWTC(t(1998) = 4.696, p < 0.001)および時間差INSpWTC(t(1998) = 5.098, p < 0.001)よりも有意に高いことが示された。さらに、自己相関のない時間差INS WTCとINSpWTCとの間に有意差はなかった(t(1998) = 1.573, p = 0.114, Figure 2A…

Discussion

ハイパースキャン研究では、通常、個人間の情報の流れの方向的および時間的パターンを記述することが不可欠です。これまでのほとんどのfNIRSハイパースキャン研究では、従来のWTC²⁵を使用して、時間差INSを計算することによってこれらの特性を推測してきました。しかし、fNIRS信号^20,21の本質的な特徴の¹つとして、自己相関効?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

この研究は、中国国家自然科学財団(61977008)とヤング・トップ・ノッチ・タレント・オブ・ワン・ワン・スタレント・プログラムによって支援されました。

Materials

fNIRS topography system	Shimadzu Corporation	Shimadzu LABNIRS systen	LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB	The MathWorks, Inc.	MATLAB 2019a	In this protocol, several toolboxs and functions bulit in MATLAB were used: SPM12 toolbox was used to normalize the valided MRI data through its GUI. NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI. Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters. Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner	Siemens Healthineers	TRIO 3-Tesla scanner	In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps			In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

References

Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).