Summary

Nytt ramverk för att förstå koherens mellan hjärnor i funktionella nära-infraröda spektroskopistudier (fNIRS)

Published: October 06, 2023
doi:

Summary

Wavelet transform coherence (WTC) är en vanlig metod för att bedöma kopplingen mellan signaler som används i funktionella nära-infraröda spektroskopi (fNIRS) hyperscanningsstudier. En verktygslåda för att bedöma signalinteraktionens riktning presenteras i detta arbete.

Abstract

Trots den växande mängden hyperskanningsstudier med funktionell nära-infraröd spektroskopi (fNIRS) verkar bedömningen av kopplingen mellan två neurala signaler med hjälp av wavelet transform coherence (WTC) ignorera interaktionens riktning. Fältet saknar för närvarande ett ramverk som gör det möjligt för forskare att avgöra om ett högt koherensvärde som erhålls med hjälp av en WTC-funktion återspeglar synkronisering i fas (dvs. neural aktivering ses i båda medlemmarna i dyaden samtidigt), fördröjd synkronisering (dvs. neural aktivering ses i en medlem av dyaden före den andra medlemmen), eller anti-fassynkronisering (dvs. neural aktivering ökar i en medlem av dyaden och minskar i den andra). För att möta detta behov föreslås ett kompletterande och känsligare tillvägagångssätt för att analysera faskoherensen hos två neurala signaler i detta arbete. Verktygslådan gör det möjligt för utredare att uppskatta kopplingens riktning genom att klassificera de fasvinkelvärden som erhålls med traditionell WTC i fassynkronisering, fördröjd synkronisering och antifassynkronisering. Verktygslådan gör det också möjligt för forskare att bedöma hur dynamiken i interaktioner utvecklas och förändras under uppgiftens gång. Genom att använda denna nya WTC-metod och verktygslådan kommer vi att öka vår förståelse för komplexa sociala interaktioner genom deras användning i fNIRS-hyperskanningsstudier.

Introduction

Under de senaste åren har det skett en förändring i de typer av studier som utförs för att förstå de neurala grunderna för socialt beteende 1,2. Traditionellt har studier inom social neurovetenskap fokuserat på neural aktivering i en isolerad hjärna under en socialt relevant uppgift. Men framsteg inom neuroradiologisk teknik gör det nu möjligt att undersöka neural aktivering i hjärnan hos en eller flera individer under social interaktion som den sker i “verkliga” miljöer3. I “verkliga” miljöer kan individer röra sig fritt, och mönster för hjärnaktivering kommer sannolikt att förändras när information utbyts och sociala parter får feedbackfrån varandra.

Hyperskanning är en metod som bedömer detta dubbelriktade informationsutbyte genom att mäta hjärnaktiviteten från två eller fleraindivider samtidigt. En framväxande mängd forskning har använt funktionell nära-infraröd spektroskopi (fNIRS), en icke-invasiv neuroavbildningsteknik som, i jämförelse med andra neuroavbildningstekniker, är mindre mottaglig för rörelseartefakter6. Hyperskanning via fNIRS gör det möjligt att bedöma synkronisering mellan hjärnor (IBS) i verkliga miljöer medan de interaktiva partnerna rör sig fritt och naturligt. Detta är särskilt relevant för arbete med spädbarn och småbarn, som tenderar att vara ganska aktiva. IBS har rapporterats återspegla ömsesidig förståelse mellan interaktiva partners, vilket fungerar som grunden för effektiv social interaktion och kommunikation och förmedlar delad intentionalitet 1,7,8.

Flera metoder används för att utvärdera IBS i två hjärnor. Sådana metoder inkluderar tidsseriekorrelationer, såsom korskorrelation och Pearsons korrelationskoefficient 9,10 (se en översikt av Scholkmann et al.10). Andra metoder går ut på att utvärdera styrkan i kopplingen i frekvensdomänen. Sådana metoder inkluderar faslåsningsvärde (PLV) och faskoherens (se en översikt av Czeszumski et al.11). En av de vanligaste metoderna i fNIRS-studier använder wavelet transform coherence (WTC) – ett mått på korskorrelationen mellan två tidsserier som en funktion av frekvens och tid10.

WTC använder korrelationsanalyser för att beräkna koherensen och fasfördröjningen mellan två tidsserier i tidsfrekvensdomänen. FNIRS hyperscanningsstudier har använt WTC för att uppskatta IBS inom många funktionsområden, inklusive åtgärdsövervakning 12, samarbets- och konkurrensbeteende 5,13,14,15, imitation 16, problemlösning mellan mor och barn 17 och undervisnings– och inlärningsbeteende18,19,20,21. Vanligtvis, i hyperscanningsstudier, jämförs koherens mellan hjärnor, mätt med WTC, under en experimentell uppgift med koherens mellan hjärnor under en kontrolluppgift. Dessa fynd presenteras vanligtvis med en WTC “hot plot”, som visar koherensen mellan de två hjärnorna vid varje tidpunkt och frekvens (se figur 1).

Som föreslagits av Czesumaski et al.11 har WTC blivit standardanalysmetoden för att analysera fNIRS-hyperscanning. WTC-analys är en flexibel, “verktygsagnostisk” metod för datavisualisering och tolkning22. Koherenskoefficienten värmekarta, som ger en narrativ form av analys som gör det möjligt att enkelt identifiera perioder av synkront eller asynkront beteende samt intensiteten i hjärnaktiviteten under slutförandet av en uppgift, är den största fördelen med WTC och gör det till ett starkt verktyg för tillämpad forskning22. WTC har en fördel jämfört med korrelationstekniker. Korrelationer är känsliga för den hemodynamiska responsfunktionens (HRF) form, som tros skilja sig åt mellan individer (särskilt när det gäller ålder) och mellan olika hjärnområden. WTC påverkas däremot inte av interregionala förändringar i HRF23. Forskare har använt wavelet-metoden för att studera fMRI-tidsserier. Zhang et al.24 jämförde de vanligaste måtten på funktionell konnektivitet, inklusive Pearson-korrelationen, partiell korrelation, ömsesidig information och wavelet-koherenstransformation (WTC). De utförde klassificeringsexperiment med hjälp av storskaliga funktionella konnektivitetsmönster härledda från fMRI-data i viloläge och fMRI-data för naturlig stimulans av videovisning. Deras resultat indikerade att WTC presterade bäst i klassificering (specificitet, känslighet och noggrannhet), vilket innebär att WTC är ett föredraget mått på funktionell konnektivitet för att studera funktionella hjärnnätverk, åtminstone i klassificeringstillämpningar24.

Figure 1
Figur 1: Wavelet-transformkoherens (WTC). WTC visar koherensen och fasvinkeln mellan två tidsserier som en funktion av både tid (x-axel) och frekvens (y-axel). Koherensökningen visas av den röda färgen i grafen, och de små pilarna i grafen visar fasvinkeln för de två tidsserierna. Den högerpekande pilen representerar synkronisering i fas. pilarna som pekar nedåt och uppåt representerar fördröjd synkronisering; och den vänsterpekande pilen representerar anti-fassynkronisering30. Denna siffra har anpassats från Pan et al.19. Klicka här för att se en större version av denna figur.

Nyligen artikulerade Hamilton25 flera begränsningar för tolkningen av koherensdata mellan hjärnor i fNIRS-hyperskanningsstudier. En av Hamiltons främsta farhågor var att koherensmått (t.ex. WTC) endast rapporterar effekter som symmetriska (dvs. två hjärnor är korrelerade och visar samma förändringsmönster). Många sociala interaktioner är dock asymmetriska (t.ex. informationsflödet mellan en talare och en lyssnare) på så sätt att två deltagare kan spela olika roller, och det är inte säkert att WTC kan fånga denna information. Här åtgärdas detta problem av ett nytt ramverk som möjliggör en enkel tolkning av tvärvågseffekten genom att använda tvärvågfasen för att detektera riktning. Detta ramverk kommer också att göra det möjligt att undersöka hur dynamiken i interaktioner utvecklas och förändras under en uppgift.

Medan WTC- och korrelationsmetoder bedömer funktionell konnektivitet, bedömer andra metoder effektiv konnektivitet och försöker extrahera de kausala influenserna av ett neuralt element över ett annat. Överföringsentropi är ett mått från informationsteorin som beskriver överföringen mellan gemensamt beroende processer26. En annan besläktad metod är Granger causality analysis (GCA), som har beskrivits som ekvivalent med överföringsentropi26.

I den befintliga litteraturen om fNIRS hyperscanningsstudier har Granger causality analysis (GCA) använts i stor utsträckning för att uppskatta kopplingsriktningen mellan fNIRS tidsseriedata som erhållits under en mängd olika uppgifter, såsom samarbete5, undervisning19 och imitation16. GCA använder vektorautoregressiva modeller för att bedöma riktningen för kopplingen mellan tidsserier i hjärndata. Granger-kausaliteten är baserad på förutsägelse och prioritet: “en variabel X sägs vara ‘G-orsak’ variabel Y om X:s förflutna innehåller den information som hjälper till att förutsäga Y:s framtid utöver information som redan finns i Y:s förflutna”27. Följaktligen analyseras G-kausaliteten i två riktningar: 1) från subjekt A till subjekt B och 2) från subjekt B till subjekt A.

Även om GCA-analys fungerar som en kompletterande analys som syftar till att avgöra om ett högt koherensvärde som erhålls med hjälp av en WTC-funktion återspeglar IBS eller fördröjd synkronisering (en signal leder den andra), tillåter den inte bestämning av om antifassynkronisering har inträffat. I traditionella hjärnavbildningsstudier, där endast en deltagare skannas (dvs. “single-brain”-metoden), innebär ett anti-fasmönster att aktiviteten i en hjärnregion ökar medan aktiviteten i den andra hjärnregionen minskar28. I hyperskanningslitteraturen kan närvaron av anti-fassynkronisering tyda på att neural aktivering ökar hos en försöksperson, och samtidigt minskar neural aktivering hos den andra försökspersonen. Därför finns det ett behov av att tillhandahålla en heltäckande modell som kan detektera riktningen. Mer specifikt kommer denna modell att kunna detektera anti-fassynkronisering (där aktivitetsriktningen hos en individ är motsatt den hos deras partner) förutom synkronisering i fas och fördröjd synkronisering.

I ett försök att ta itu med oron för att WTC endast visar symmetriska effekter, där båda hjärnorna visar samma förändringsmönster25, presenteras ett nytt tillvägagångssätt för att identifiera typen av interaktion genom att undersöka synkroniseringsfasen (dvs. i fas, laggad eller anti-fas) (se figur 2). För detta ändamål utvecklades en verktygslåda med hjälp av WTC-metoden för att klassificera de olika typerna av interaktioner. Typerna av interaktioner klassificeras med hjälp av relativa fasdata från korsvågstransformanalys.

Figure 2
Figur 2: Illustration av de olika fasförhållandena för enkla sinusvågor. (A) När de två signalerna, Signal 1 (blå linje s) och Signal 2 (orange linjes), når sina respektive maximum-, minimi- och nollvärden vid samma tidpunkt, sägs de visa synkronisering i fas32. (B) När en signal når sitt maximala värde och den andra signalen når nollvärdet vid samma tidpunkt, sägs de visa fördröjd synkronisering (en leder med 90°)32,33,34. (C) När två tidsserier skiftar i motsatta riktningar, vilket innebär att en signal når maxvärdet och den andra når minimivärdet vid samma tidpunkt, kallas detta antifassynkronisering28. (D-P) I alla andra fasförhållanden mellan två tidsserier leder den ena signalen den andra. I alla positiva faser leder signal 2 signal 1 (t.ex. panelerna E, F, M och N), medan signal 1 i alla negativa faser leder signal 2 (t.ex. panelerna D, G, H, O och P). När det absoluta värdet av fasen är högre blir det mer distinkt vilken tidsserie som leder den andra (t.ex. är ledarskapet mer distinkt i panel J än i panel I, och i panel K är ledarskapet mer distinkt än i panel L). Klicka här för att se en större version av denna figur.

Protocol

Studien genomfördes vid Florida Atlantic University (FAU) och godkändes av FAU Institutional Review Board (IRB). 1. Använda Homer3-programvara (materialförteckning) för att utföra förbehandlingen av fNIRS-hyperskanningsdata OBS: Homer3 är en MATLAB-applikation som analyserar fNIRS-data för att få uppskattningar och kartor över hjärnaktivering29. Homer3 kan laddas ner och installeras från följande länk (https://op…

Representative Results

I det här avsnittet visas vilka typer av analyser som kan utföras med verktygslådan (som kan laddas ner på https://www.ariel.ac.il/wp/sns/download/ eller https://github.com/Minisharmaa/Leader-Follower-By-Phase.). För dessa analyser användes fNIRS-data som samlats in med ett litet urval av spädbarns-föräldradyader. Sex par mor-barn-dyader testades med hjälp av en validerad beteendeuppgift, free-play-uppgiften31, som är så nära en verklig interaktion mellan spädbarn och mamma som möjl…

Discussion

En av de vanligaste metoderna som används i fNIRS-studier är wavelet transform coherence (WTC), som är ett mått på korskorrelationen mellan två tidsserier som en funktion av frekvens och tid10. WTC beräknar koherensen och fasfördröjningen mellan två tidsserier med hjälp av korrelationsanalyser (tilläggsfil 1). FNIRS hyperscanningsstudier har använt WTC för att uppskatta IBS inom många funktionsområden, inklusive åtgärdsövervakning 12, samarbets- och konkurrensbe…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Vi vill tacka för stödet från National Natural Science Foundation of China (nr 62207025), forskningsprojektet för humaniora och samhällsvetenskap från Kinas utbildningsministerium (nr 22YJC190017) och de grundläggande forskningsfonderna för de centrala universiteten till Yafeng Pan.

Materials

NIRScout   NIRx Medical Technologies, LLC n.a. 8 sources, 8 detectors
MATLAB The Mathworks, Inc. Matlab 2022a In this protocol, several toolboxes and buit in MATLAB functions were used: HOMER3 toolbox was used to convert Intensity to OD, to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters and to convert OD to Conc. Wavelet Toolbox was used to compute WTC.

References

  1. Gvirts, H. Z., Perlmutter, R. What guides us to neurally and behaviorally align with anyone specific? A neurobiological model based on fNIRS hyperscanning studies. The Neuroscientist. 26 (2), 108-116 (2019).
  2. Balconi, M., Fronda, G., Vanutelli, M. E. Donate or receive? Social hyperscanning application with fNIRS. Current Psychology. 38 (4), 991-1002 (2019).
  3. Redcay, E., Schilbach, L. Using second-person neuroscience to elucidate the mechanisms of social interaction. Nature Reviews Neuroscience. 20 (8), 495-505 (2019).
  4. Shamay-Tsoory, S. G., Mendelsohn, A. Real-life neuroscience: An ecological approach to brain and behavior research. Perspectives on Psychological Science. 14 (5), 841-859 (2019).
  5. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  6. Quaresima, V., Ferrari, M. Functional near-infrared spectroscopy (fNIRS) for assessing cerebral cortex function during human behavior in natural/social situations: A concise review. Organizational Research Methods. 22 (1), 46-68 (2016).
  7. Fishburn, F. A., et al. Putting our heads together: interpersonal neural synchronization as a biological mechanism for shared intentionality. Social Cognitive and Affective Neuroscience. 13 (8), 841-849 (2018).
  8. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  9. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  10. Scholkmann, F., Holper, L., Wolf, U., Wolf, M. A new methodical approach in neuroscience: Assessing inter-personal brain coupling using functional near-infrared imaging (fNIRI) hyperscanning. Frontiers in Human Neuroscience. 7, 813 (2013).
  11. Czeszumski, A., et al. Hyperscanning: A valid method to study neural inter-brain underpinnings of social interaction. Frontiers in Human Neuroscience. 14, 39 (2020).
  12. Dommer, L., Jäger, N., Scholkmann, F., Wolf, M., Holper, L. Between-brain coherence during joint n-back task performance: A two-person functional near-infrared spectroscopy study. Behavioural Brain Research. 234 (2), 212-222 (2012).
  13. Osaka, N., Minamoto, T., Yaoi, K., Azuma, M., Osaka, M. Neural synchronization during cooperated humming: A hyperscanning study using fNIRS. Procedia – Social and Behavioral Sciences. 126, 241-243 (2014).
  14. Wang, C., Zhang, T., Shan, Z., Liu, J., Yuan, D., Li, X. Dynamic interpersonal neural synchronization underlying pain-induced cooperation in females. Human Brain Mapping. 40 (11), 3222-3232 (2019).
  15. Cheng, X., Li, X., Hu, Y. Synchronous brain activity during cooperative exchange depends on gender of partner: A fNIRS-based hyperscanning study. Human Brain Mapping. 36 (6), 2039-2048 (2015).
  16. Holper, L., Scholkmann, F., Wolf, M. Between-brain connectivity during imitation measured by fNIRS. NeuroImage. 63 (1), 212-222 (2012).
  17. Nguyen, T., et al. The effects of interaction quality on neural synchrony during mother-child problem solving. Cortex. 124, 235-249 (2020).
  18. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  19. Pan, Y., Novembre, G., Song, B., Li, X., Hu, Y. Interpersonal synchronization of inferior frontal cortices tracks social interactive learning of a song. NeuroImage. 183, 280-290 (2018).
  20. Pan, Y., et al. Instructor-learner brain coupling discriminates between instructional approaches and predicts learning. NeuroImage. 211, 116657 (2020).
  21. Liu, J., et al. Interplay between prior knowledge and communication mode on teaching effectiveness: Interpersonal neural synchronization as a neural marker. NeuroImage. 193, 93-102 (2019).
  22. Léné, P., et al. Wavelet transform coherence: An innovative method to investigate social interaction in NeuroIS. Lecture Notes in Information Systems and Organisation. 32, 147-154 (2020).
  23. Nguyen, T., Hoehl, S., Vrtička, P. A guide to parent-child fNIRS hyperscanning data processing and analysis. Sensors. 21 (12), 4075 (2021).
  24. Zhang, Y., Han, J., Hu, X., Guo, L., Liu, T. Data-driven evaluation of functional connectivity metrics. Proceedings – International Symposium on Biomedical Imaging. , 532-535 (2013).
  25. Hamilton, A. F. d. e. C. Hyperscanning: Beyond the hype. Neuron. 109 (3), 404-407 (2021).
  26. Barnett, L., Barrett, A. B., Granger Seth, A. K. causality and transfer entropy are equivalent for Gaussian variables. Physical Review Letters. 103 (23), 2-5 (2009).
  27. Barnett, L., Seth, A. K. The MVGC multivariate Granger causality toolbox: A new approach to Granger-causal inference. Journal of Neuroscience Methods. 223, 50-68 (2014).
  28. Li, D., Zhou, C. Organization of anti-phase synchronization pattern in neural networks: What are the key factors. Frontiers in Systems Neuroscience. 5, 100 (2011).
  29. Huppert, T. J., Diamond, S. G., Franceschini, M. A., Boas, D. A. HomER: A review of time-series analysis methods for near-infrared spectroscopy of the brain. Applied Optics. 48 (10), D280-D298 (2009).
  30. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11 (5-6), 561-566 (2004).
  31. Feldman, R. Parent-infant synchrony. Current Directions in Psychological Science. 16 (6), 340-345 (2007).
  32. Fell, J., Axmacher, N. The role of phase synchronization in memory processes. Nature Reviews Neuroscience. 12 (2), 105-118 (2011).
  33. Olcay, B. O., Karaçalı, B. Evaluation of synchronization measures for capturing the lagged synchronization between EEG channels: A cognitive task recognition approach. Computers in Biology and Medicine. 114, 103441 (2019).
  34. Stam, C. J. Nonlinear dynamical analysis of EEG and MEG: Review of an emerging field. Clinical Neurophysiology. 116 (10), 2266-2301 (2005).
  35. Mallat, S. . A Wavelet Tour of Signal Processing. , (2009).
  36. Kleinbub, J. R., Ramseyer, F. T. . rMEA: An R package to assess nonverbal synchronization in motion energy analysis time-series. 31 (6), 817-830 (2020).
  37. Pan, Y., Novembre, G., Song, B., Zhu, Y., Hu, Y. Dual brain stimulation enhances interpersonal learning through spontaneous movement synchrony. Social Cognitive and Affective Neuroscience. 16 (1-2), 210-221 (2021).
  38. Ramseyer, F., Tschacher, W. Nonverbal synchrony in psychotherapy: Coordinated body movement reflects relationship quality and outcome. Journal of Consulting and Clinical Psychology. 79 (3), 284-295 (2011).
  39. Zhang, X., Noah, J. A., Dravida, S., Hirsch, J. Optimization of wavelet coherence analysis as a measure of neural synchrony during hyperscanning using functional near-infrared spectroscopy. Neurophotonics. 7 (1), 015010 (2020).
  40. Walton, A. E., Richardson, M. J., Langland-Hassan, P., Chemero, A. Improvisation and the self-organization of multiple musical bodies. Frontiers in Psychology. 6, 313 (2015).
  41. Varlet, M., Marin, L., Lagarde, J., Bardy, B. G. Social postural coordination. Journal of Experimental Psychology: Human Perception and Performance. 37 (2), 473-483 (2011).
  42. Hale, J., Ward, J. A., Buccheri, F., Oliver, D., Hamilton, A. F. d. e. C. Are you on my wavelength? Interpersonal coordination in dyadic conversations. Journal of Nonverbal Behavior. 44 (1), 63-83 (2020).
  43. Fujiwara, K., Daibo, I. Evaluating interpersonal synchrony: Wavelet transform toward an unstructured conversation. Frontiers in Psychology. 7, 516 (2016).
  44. Nozawa, T., Sasaki, Y., Sakaki, K., Yokoyama, R., Kawashima, R. Interpersonal frontopolar neural synchronization in group communication: An exploration toward fNIRS hyperscanning of natural interactions. NeuroImage. 133, 484-497 (2016).
  45. Dai, R., et al. Holistic cognitive and neural processes: A fNIRS-hyperscanning study on interpersonal sensorimotor synchronization. Social Cognitive and Affective Neuroscience. 13 (11), 1141-1154 (2018).
  46. Lu, K., Qiao, X., Yun, Q., Hao, N. Educational diversity and group creativity: Evidence from fNIRS hyperscanning. NeuroImage. 243, 118564 (2021).
check_url/65347?article_type=t

Play Video

Cite This Article
Gvirts Provolovski, H. Z., Sharma, M., Gutman, I., Dahan, A., Pan, Y., Stotler, J., Wilcox, T. New Framework for Understanding Cross-Brain Coherence in Functional Near-Infrared Spectroscopy (fNIRS) Hyperscanning Studies. J. Vis. Exp. (200), e65347, doi:10.3791/65347 (2023).

View Video