Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Neuroscience
Click here for the English version

Neuroscience

Измерение направленного информационного потока в данных fNIRS-гиперсканирования с использованием метода когерентности с частичным вейвлет-преобразованием

Published: September 3, 2021 doi: 10.3791/62927
Automatic Translation
*1, *2, 1
1State Key Laboratory of Cognitive Neuroscience and Learning & IDG/McGovern Institute for Brain Research, Beijing Normal University, 2Institute of Developmental Psychology, Faculty of Psychology, Beijing Normal University
* These authors contributed equally

Summary

Этот протокол описывает когерентность частичного вейвлет-преобразования (pWTC) для вычисления запаздывающего во времени паттерна межличностной нейронной синхронизации (INS) для вывода направления и временного паттерна информационного потока во время социального взаимодействия. Эффективность pWTC в устранении путаницы автокорреляции сигнала на INS была доказана двумя экспериментами.

Abstract

Социальное взаимодействие имеет жизненно важное значение для людей. В то время как подход гиперсканирования широко используется для изучения межличностной нейронной синхронизации (INS) во время социальных взаимодействий, функциональная ближняя инфракрасная спектроскопия (fNIRS) является одним из самых популярных методов гиперсканирования натуралистических социальных взаимодействий из-за его относительно высокого пространственного разрешения, звуковой анатомической локализации и исключительно высокой толерантности к артефактам движения. Предыдущие исследования гиперсканирования на основе fNIRS обычно вычисляют запаздывающую во времени INS с использованием когерентности вейвлет-преобразования (WTC) для описания направления и временной структуры информационного потока между людьми. Однако результаты этого метода могут быть сбиты с толку автокорреляционным эффектом сигнала fNIRS каждого человека. Для решения этой проблемы был введен метод, называемый когерентностью частичного вейвлет-преобразования (pWTC), который был направлен на устранение эффекта автокорреляции и поддержание высокого разрешения временного спектра сигнала fNIRS. В этом исследовании сначала был проведен симуляционный эксперимент, чтобы показать эффективность pWTC в устранении влияния автокорреляции на INS. Затем было предложено пошаговое руководство по работе pWTC на основе набора данных fNIRS из эксперимента по социальному взаимодействию. Кроме того, было проведено сравнение между методом pWTC и традиционным методом WTC, а также сравнение между методом pWTC и методом причинности Грейнджера (GC). Результаты показали, что pWTC может быть использован для определения разницы INS между различными экспериментальными условиями и направленной и временной картины INS между людьми во время натуралистических социальных взаимодействий. Кроме того, он обеспечивает лучшее временное и частотное разрешение, чем традиционный ЦМТ, и лучшую гибкость, чем метод GC. Таким образом, pWTC является сильным кандидатом для вывода направления и временной модели информационного потока между людьми во время натуралистических социальных взаимодействий.

Introduction

Социальное взаимодействие имеет жизненно важное значение для людей 1,2. Для понимания нейрокогнитивного механизма социального взаимодействия двойного мозга в последнее время широко используется подход гиперсканирования, показывающий, что паттерны межличностной нейронной синхронизации (INS) могут хорошо характеризовать процесс социального взаимодействия 3,4,5,6,7,8,9,10,11,12 ,13,14. Среди недавних исследований интересным открытием является то, что разница ролей людей в диаде может привести к замедленной во времени картине INS, то есть INS возникает, когда активность мозга одного человека отстает от активности мозга другого человека на секунды, например, от слушателей к динамикам 5,9, от лидеров к последователям4, от учителей до учеников8, от матерей до детей13,15, а от женщин до мужчин в романтической паре6. Самое главное, существует хорошее соответствие между интервалом запаздывающих во времени INS и поведения социального взаимодействия, например, между учителями, задающими вопросы, и учащимися, отвечающимина 8, или между родительским поведением матерей и поведением соответствия детей15. Таким образом, запаздывающая во времени ИНС может отражать направленный информационный поток от одного человека к другому, как это предлагается в недавней иерархической модели межличностной вербальнойкоммуникации 16.

Ранее замедленная по времени ИНС в основном рассчитывалась по функциональному сигналу ближней инфракрасной спектроскопии (fNIRS) из-за его относительно высокого пространственного разрешения, анатомической локализации звука и исключительно высокой толерантности артефактов движения17 при изучении натуралистических социальных взаимодействий. Более того, чтобы точно охарактеризовать соответствие между нейронным временным лагом и поведенческим временным лагом во время социального взаимодействия, важно получить силу INS для каждого временного лага (например, от отсутствия временного лага до временного лага 10 с). С этой целью ранее широко применялась процедура когерентности вейвлет-преобразования (ВТЦ) после смещения сигнала мозга одного индивидуума вперед или назад относительно сигнала другого индивидуума 5,6,18. При использовании этой традиционной процедуры ЦМТ для сигналов fNIRS существует потенциальная проблема, поскольку наблюдаемая задержка во времени INS может быть спутана эффектом автокорреляции сигнала fNIRS для отдельного 19,20,21. Например, во время диадического процесса социального взаимодействия сигнал участника A в точке времени t может быть синхронизирован с сигналом участника B в той же точке времени. Между тем, сигнал участника A в точке времени t может быть синхронизирован с сигналом участника A в более поздней точке времени t+1 из-за эффекта автокорреляции. Таким образом, между сигналом участника A в точке времени t и сигналом участника B в точке времени t и сигналом участника B в точке времени t+1 может возникнуть ложная задержка во времени.

Миханович и его коллеги22 сначала представили метод, называемый когерентностью частичного вейвлет-преобразования (pWTC), а затем применили его в морской науке23,24. Первоначальной целью этого метода было управление экзогенным смешанным шумом при оценке когерентности двух сигналов. Здесь, чтобы решить проблему автокорреляции в данных гиперсканирования fNIRS, метод pWTC был расширен для расчета ins с задержкой во времени на сигнале fNIRS. Точнее, запаздывающий во времени INS (и направленный поток информации) от участника A к участнику B может быть рассчитан с использованием уравнения ниже (уравнение 1)23.

Equation 1

Здесь предполагается, что есть два сигнала, A и B, от участников A и B соответственно. Появление сигнала B всегда предшествует сигналу A с временным лагом n, где WTC (At, Bt +n) является традиционным WTC с задержкой во времени. ЦМТ (At, At+n) — автокоррелированный ЦМТ в участнике A. ЦМТ (At, Bt) — выровненный по времени ЦМТ в точке времени t между участником A и B. * — комплексный сопряженный оператор (рисунок 1A).

Figure 1
Рисунок 1: Обзор pWTC. (A) Логика pWTC. В диаде есть два сигнала А и В. Встречаемость A всегда следует за В с лагом n. Серый прямоугольник — это вейвлет-окно в определенной точке времени t или t+n. На основе уравнения pWTC (представленного на рисунке) необходимо рассчитать три WTC: ВТЦ с задержкой во времени At+n и Bt; автокоррелированный ЦМТ у участника A из At и At+n; и выровненный по времени ВТЦ в точке времени t, At и Bt. (Б) Компоновка комплектов оптодных зондов. CH11 был размещен в T3, а CH25 был размещен в T4 после международной системы 10-2027,28. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Этот протокол впервые представил эксперимент по моделированию, чтобы продемонстрировать, насколько хорошо pWTC решает проблему автокорреляции. Затем он объяснил, как проводить pWTC шаг за шагом на основе эмпирического эксперимента натуралистических социальных взаимодействий. Здесь для введения метода использовался контекст коммуникации. Это связано с тем, что ранее задержка во времени INS обычно рассчитывалась в натуралистическом коммуникационном контексте 3,4,6,8,13,15,18. Кроме того, было также проведено сравнение между pWTC и традиционным WTC и валидация с тестом причинности Грейнджера (GC).

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Протокол эксперимента на людях был одобрен Советом по институциональному обзору и Комитетом по этике Государственной ключевой лаборатории когнитивной неврологии и обучения в Пекинском педагогическом университете. Все участники дали письменное информированное согласие до начала эксперимента.

1. Симуляционный эксперимент

  1. Сгенерируйте два временных ряда сигналов, которые коррелируют друг с другом, причем один сигнал имеет автокорреляцию с временным лагом 4 с. Установите коэффициент корреляции r между двумя сигналами равным 0,4.
  2. Кроме того, генерируйте два временных ряда сигналов без какой-либо корреляции, но с автокорреляцией в одном сигнале.
  3. Рассчитайте значения традиционных 4-секундных INS с помощью уравнения 2 на основе сгенерированных сигналов с корреляцией или без нее, которые можно назвать INSWTC с задержкой во времени с автокорреляцией и запаздывающей по времени базовой INSWTC с автокорреляцией.
    ПРИМЕЧАНИЕ: Здесь традиционный ВТЦ с задержкой во времени выражается следующим уравнением (уравнение 2)25
    Equation 2
    где , C обозначает оператор непрерывного вейвлет-преобразования в разных масштабах i и временных точках t. S обозначает оператор сглаживания. * обозначает комплексный сопряженный оператор. W и M обозначают два отдельных временных ряда сигналов.
  4. Удалите автокорреляцию из генерируемых сигналов. Затем рассчитайте значения традиционных 4-секундных INSWTC с помощью уравнения 2 на основе сгенерированных сигналов с корреляцией или без нее, которые можно назвать временно запаздывающими INSWTC без автокорреляции и отстающими по времени базовыми INSWTC без автокорреляции.
  5. Рассчитайте значения pWTC с задержкой во времени 4 с помощью уравнения 3 на основе сгенерированных сигналов с корреляцией или без нее, названных inspWTC с задержкой во времени и базовых значений INSpWTC с задержкой во времени.
    ПРИМЕЧАНИЕ: pWTC может быть рассчитан на основе следующего уравнения (уравнение 3)23
    Equation 3
    где ЦМТ (Wt, Mt+n) — традиционный ЦМТ с задержкой во времени. ЦМТ (Mt, Mt+n) — автокоррелированный ЦМТ одного человека. WTC (Wt, Mt) - это выровненный по времени ВТЦ. * — комплексный сопряженный оператор.
  6. Повторите вышеуказанные процедуры 1000 раз.
  7. После вычитания базового INS сравните результаты inswwtc с задержкой во времени с автокорреляцией, INSWTC без автокорреляции и inspWTC с задержкой во времени с использованием метода дисперсионного анализа (ANOVA).
    ПРИМЕЧАНИЕ: Здесь ожидается, что запаздывающий по времени INSWTC с автокорреляцией будет значительно выше, чем INSWTC без автокорреляции и INSpWTC с задержкой во времени, и не ожидается существенной разницы между inswtc без автокорреляции и inspWTC с задержкой во времени.

2. Эмпирический эксперимент

  1. Участники и процедура
    1. Наберите соответствующих участников.
      ПРИМЕЧАНИЕ: В этом исследовании двадцать две пары близких друзей противоположного пола (средний возраст женщин = 20,95, стандартное отклонение (SD) = 1,86; средний возраст мужчин = 20,50, SD = 1,74) были набраны через рекламу от студентов университетов в Пекине. Все участники были правшами и имели нормальное или скорректированное до нормального зрение. Кроме того, ни у одного участника не было никаких языковых, неврологических или психических расстройств.
    2. Попросите каждую пару участников сесть лицом к лицу во время эксперимента. Попросите их свободно общаться на поддерживающую тему в одной сессии и на тему конфликта в другой сессии.
      ПРИМЕЧАНИЕ: Темы использовались для индуцирования предполагаемой положительной или отрицательной эмоциональной валентности. Каждый сеанс общения длился 10 минут, а порядок тем был уравновешен.
    3. Попросите участников сообщить о поддерживающих и конфликтующих темах в качестве стандартного правила настройки. Попросите каждого партнера оценить положительный или отрицательный уровень валентности, который мог быть вызван по определенной балльной шкале. Затем ранжируйте темы, о которых сообщается, в соответствии с рейтингом.
      ПРИМЕЧАНИЕ: В этой работе темы были выбраны следующими тремя шагами. Во-первых, для поддерживающих тем каждый участник должен был сообщить о 1-3 личных проблемах, связанных с тем, что он / она хочет улучшить в своей жизни. Каждый участник должен был сообщить о 1-3 случаях, которые вызвали или могли бы вызвать конфликт между ними или которые могли бы поставить под угрозу их отношения по темам конфликта. Во-вторых, каждый партнер должен был оценить уровень положительной или отрицательной валентности, которую каждая тема может вызвать по 7-балльной шкале (1 = совсем нет, а 7 = очень много). В-третьих, заявленные темы были ранжированы в соответствии с рейтингом. Были выбраны первые две темы в списке вспомогательных тем и тем конфликтов.
  2. Сбор данных fNIRS
    1. Используйте 26-канальную топографическую систему fNIRS (см. Таблицу материалов) для сбора данных fNIRS.
      ПРИМЕЧАНИЕ: Два индивидуальных оптодных зонда покрывали двустороннюю лобную, височную и теменную кору (рисунок 1B).
    2. Точнее, попросите каждого участника надеть кепку с двумя индивидуальными наборами зондов (см. Таблицу материалов).
    3. Выровняйте мастоиды носа, иона и уха с Fpz, Opz, T7 и T8, которые являются типичными ориентирами 10-20 международной системы26.
    4. Выровнять канал (CH) 11 к T3 и CH25 к T4 в соответствии с международной системой 10-20 для двух наборов зондов27,28.
    5. Проверка анатомического местоположения наборов зондов путем сканирования данных магнитно-резонансной томографии (МРТ) от типичного участника с быстрой последовательностью градиент-эхо, подготовленной с высоким разрешением T1-взвешенной намагниченностью (TR = 2530 мс; TE = 3,39 мс; угол сальто = 7°; толщина среза = 1,3 мм; размер вокселя = 1,3 x 1 x 1,3 мм).
    6. Используйте статистическое параметрическое отображение 12 (SPM12) для нормализации изображения до стандартного пространства координат Монреальского института визуализации (координата MNI)29. Затем используйте набор инструментов NIRS_SPM (см. Таблицу материалов) для проецирования координат MNI зондов в шаблон автоматизированной анатомической маркировки (AAL).
    7. Сбор данных о оптической плотности ближнего инфракрасного света на трех длинах волн (780, 805 и 830 нм) с частотой дискретизации 55,6 Гц (параметры оборудования по умолчанию).
    8. Проверьте качество сигнала с помощью встроенного программного обеспечения топографической системы fNIRS (см. Таблицу материалов).
    9. Начните запись сигнала.
      ПРИМЕЧАНИЕ: Некоторые опубликованные протоколы продемонстрировали, как собирать сигналы fNIRS с помощью различного оборудования и систем 30,31,32.
  3. Предварительная обработка данных fNIRS
    1. Экспортируйте файлы данных с оборудования.
      ПРИМЕЧАНИЕ: В текущем эксперименте встроенное программное обеспечение автоматически преобразовывало полностью оптические данные плотности в изменения концентрации оксигемоглобина (HbO) на основе модифицированного закона Бира-Ламберта.
    2. Удалите первые и последние 15 секунд данных для каждого сеанса, чтобы избежать временных ответов.
    3. Используйте встроенную функцию MATLAB decimate для понижения уровня данных с 55,6 Гц до 11,1 Гц.
      ПРИМЕЧАНИЕ: Схемы спектра мощности между 55,6 Гц и 11,1 Гц довольно похожи (дополнительный рисунок 1).
    4. Используйте встроенную функцию приложения MATLAB (Homer3, см. Таблицу материалов) с соответствующей функцией фильтрации, чтобы применить метод фильтра дискретного вейвлет-преобразования для коррекции артефактов движения.
    5. Используйте встроенную функцию MATLAB pca для удаления глобального физиологического шума. Удалите верхние 80% дисперсии из сигналов.
    6. Удалить физиологический шум на основе предыдущих исследований33. Точно удалите полосы частот каждого сигнала выше 0,7 Гц, чтобы избежать сглаживания высокочастотного физиологического шума (например, сердечной деятельности).
    7. Затем удалите полосы частот каждого сигнала ниже 0,01 Гц, чтобы отфильтровать очень низкочастотные колебания.
    8. Наконец, удалите полосы частот каждого сигнала в пределах 0,15-0,3 Гц, чтобы исключить потенциальное влияние дыхательной активности.
  4. Обработка данных первого уровня fNIRS
    1. Во-первых, рассчитайте INS, используя традиционный WTC (INSWTC).
      ПРИМЕЧАНИЕ: Здесь было предсказано, что запаздывающая во времени картина INSWTC под руководством женщин возникает между мозговой активностью женщин и мужчин, потому что предыдущие исследования предполагали разные роли женщин и мужчин во время разговора34,35. Традиционный ЦМТ рассчитал эту модель INSWTC, сместив активность мозга мужчин назад по сравнению с активностью женщин (см. Уравнение 2).
    2. Рассчитайте женское значение 2 s-laged INSWTC после удаления начальных 2 s данных от женщин и последних 2 s данных от мужчин с помощью уравнения 2. Аналогичным образом, после удаления начальных 2 с данных от мужчин и последних 2 с данных от женщин, рассчитайте мужское значение INSWTC 2 s с уравнением 4.
      ПРИМЕЧАНИЕ: Здесь использовалась функция wcoherence, которая является встроенной функцией вейвлет-инструментария MATLAB (см. Таблицу материалов).
    3. Повторите эту процедуру с различными временными лагами n, т.е. n = 2 с, 4 с, 6 с, 8 с во всех потенциальных парах CH (например, CH2 у женщин и CH10 у мужчин, всего 676 пар). Кроме того, вычислите силу запаздывающего во времени INSWTC под руководством мужчин таким же образом (уравнение 4).
      Equation 4
    4. Во-вторых, рассчитайте INS с помощью pWTC (INSpWTC).
      ПРИМЕЧАНИЕ: pWTC был рассчитан на основе уравнения 3. Расчет INSpWTC повторялся с различными временными лагами n, т.е. n = 2 с, 4 с, 6 с, 8 с по всем потенциальным парам каналов (например, CH2 у женщин и CH10 у мужчин, всего 676 пар). Кроме того, сила управляемого мужчинами INSpWTC была рассчитана таким же образом (уравнение 5).
      Equation 5
    5. Генерация временных рядов сигналов fNIRS с задержкой во времени при различных временных лагах.
    6. Рассчитайте значения ЦМТ с задержкой во времени при разных временных лагах.
    7. Генерация автокоррелированных временных рядов сигналов fNIRS с различными временными лагами. Чтобы рассчитать значение 2 s-автокорреляции для мужчин, удалите первые 2 s данных у мужчин и последние 2 s данных у мужчин.
    8. Вычисление автокоррелированных значений ЦМТ при разных временных лагах.
    9. Генерация выровненных по времени временных рядов сигналов fNIRS с различными временными лагами. Чтобы рассчитать 2 с выровненного по времени ЦМТ, удалите первые 2 с данных из данных мужчин и первые 2 с данных женщин.
    10. Рассчитайте выровненные по времени значения ЦМТ.
    11. Введите выровненные по времени значения WTC, WTC с задержкой по времени и автокоррелированные значения WTC при разном временном лаге в уравнение 3 и уравнение 5 - уравнение pWTC, генерируя INSpWTC.
    12. Наконец, рассчитайте INS с использованием метода GC (INSGC).
      ПРИМЕЧАНИЕ: Для дальнейшей проверки метода pWTC и оценки его преимуществ и недостатков INS на основе GC был рассчитан с использованием метода GC (INSGC).
    13. Основываясь на результате pWTC, полоса пропускания фильтрует сигнал HbO каждого человека на SMC (т.е. 0,4-0,6 Гц, см. Репрезентативные результаты).
    14. Проведите тест GC (Econometric toolbox, MATLAB) внутри каждой диады в поддерживающей и конфликтной темах отдельно.
      ПРИМЕЧАНИЕ: Для INSGC получены четыре группы F-значений: (1) от женщин к мужчинам по поддерживающей теме (W2M_supp); 2) от мужчин к женщинам по вспомогательной теме (M2W_supp); 3) от женщин к мужчинам по теме конфликта (W2M_conf); и 4) от мужчин к женщинам по теме конфликта (М2 W_conf). F-значения используются для индексацииINS GC.
  5. Обработка данных fNIRS второго уровня
    1. Преобразуйте INS с преобразованием Фишера-z, а затем усредните INS во временной размерности.
      ПРИМЕЧАНИЕ: Здесь преобразование Fisher-z проводилось с помощью пользовательского скрипта MATLAB с equation 636:
      Equation 6
      где r — значение WTC или pWTC, а z — преобразованное значение Fisher-z WTC или pWTC.
    2. Для усредненных INS при каждом временном лаге проведите парный t-тест с двумя выборками (поддерживающий против конфликта) на каждой паре CH в диапазоне частот. Затем определите все значимые частотные кластеры (P < 0,05).
    3. Проведите кластерный тест перестановки, чтобы установить пороговое значение для результатов.
      1. Перераспределить диадические отношения, случайным образом распределив участников по новым парам из двух членов, то есть участникам диады, которые никогда не общались друг с другом. Пересчитывайте INS при каждом временном лаге, снова выполняйте парные t-тесты в новой выборке и снова идентифицируйте значительные частотные кластеры.
      2. Выберите кластер с наибольшим суммированным t-значением. Повторите вышеуказанные процедуры 1000 раз, чтобы сгенерировать нулевое распределение максимальных ложноположительных t-значений.
        ПРИМЕЧАНИЕ: Распределение служит в качестве уровня шанса. Частота ошибок семейства (FWER) контролируется при q = 0,05, что означает, что только верхние 5% нулевого распределения ложноположительных t-значений превышают порог (R*).
      3. Сравните суммированное t-значение каждого идентифицированного частотного кластера в исходной выборке с нулевым распределением для получения значимых статистических результатов.
    4. Проведите контекстный (поддерживающий, конфликтный) x направление (женщины к мужчинам, мужчины к женщинам) анализ дисперсии (ANOVA) для проверки разницы в направлении INS между различными условиями (т.е. темами) (p < 0,05).
    5. Провести парный двухвыборный двуххвостый t-тест между результатами WTC (Wt, Mt + n) и WTC (Mt, Mt + n) для проверки потенциального влияния автокорреляции на INS.
      ПРИМЕЧАНИЕ: INS ЦМТ (Mt, Mt + n) отражает автокорреляцию.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Результаты моделирования
Результаты показали, что запаздывающий по времени INSWTC с автокорреляцией был значительно выше, чем INSWTC без автокорреляции (t(1998) = 4,696, p < 0,001) и inspWTC (t(1998) = 5,098, p < 0,001). Кроме того, не было существенной разницы между запаздываемым во времени INSWTC без автокорреляции и INSpWTC (t(1998) = 1,573, p = 0,114, рисунок 2A). Эти результаты показывают, что pWTC может эффективно устранить влияние эффекта автокорреляции на INS. Кроме того, когда значение WTC было установлено близким к 0 или 1, замедленный по времени INSpWTC по-прежнему показывал надежные результаты, когда значение WTC было далеко от 0 или 1 (дополнительный рисунок 2).

Результаты эмпирического эксперимента
Шаблон INS с использованием традиционного метода ЦМТ
Результаты показали, что при 0,04-0,09 Гц INSWTCв сенсомоторной коре (SMC, CH20) как женщин, так и мужчин был значительно выше в поддерживающей теме, чем в конфликтной теме, когда активность мозга мужчин отставала от активности мозга женщин на 2 с, 4 с и 6 с (2 с: t(21) = 3,551, p = 0,0019; лаг 4 с: t(21) = 3,837, p = 0,0009; лаг 6 с: t(21) = 3,725, p = 0,0013). Кроме того, при 0,4-0,6 Гц INSWTC в SMC был значительно выше в теме конфликта, чем в поддерживающей теме, когда мозговая активность мужчин отставала от женской на 4 с (t(21) = 2,828, p = 0,01, рисунок 2B).

Кроме того, для сравнения направления INSWTC в разных темах, тема (поддерживающая, конфликтная) x направление (женщины к мужчинам, мужчины к женщинам) ANOVA была впервые проведена на INSWTC SMC с временным лагом 2-6 с. Результаты 0,04-0,09 Гц не показали каких-либо значительных эффектов взаимодействия при любом временном лаге (ps > 0,05). Для диапазона частот 0,4-0,6 Гц результаты показали, что эффект взаимодействия был незначительно значимым (F(1, 21) = 3,23, p = 0,086). Парные сравнения показали, что INSWTC от женщин к мужчинам был значительно выше в теме конфликта, чем в поддерживающей теме (M.D. = 0,014, S.E. = 0,005, p = 0,015), тогда как INSWTC от мужчин к женщинам существенно не отличался между темами (M.D. = 0,002, S.E. = 0,006, p = 0,695).

Наконец, чтобы проверить влияние автокорреляции на результаты традиционных запаздывающих по времени INSWTC, INSWTC сравнивали между WTC(Wt, Mt+4) и WTC(Mt, Mt+4) при 0,04-0,09 Гц и 0,4-0,6 Гц соответственно. Обратите внимание, что INSWTC WTC (Mt, Mt+4) отражает автокорреляцию. Результаты показали, что при 0,4-0,6 Гц не было существенной разницы между INSWTC (Wt, Mt+4) и WTC(Mt, Mt+4) (t(21) = 0,336, p = 0,740). При 0,04-0,09 Гц INSWTC WTC (Mt, Mt+4) был значительно выше, чем у WTC (Wt, Mt+4) (t(21) = 4,064, p < 0,001). Также было проведено сравнение диапазонов частот 0,04-0,09 Гц и 0,4-0,6 Гц относительно INSWTC WTC (Mt, Mt+4). Результаты показали, что INSWTC WTC (Mt, Mt+4) был значительно выше при 0,04-0,09 Гц, чем при 0,4-0,6 Гц (t(21) = 5,421, p < 0,001). Эти результаты показывают, что задержка во времени INSWTC была затронута автокорреляцией как в низкочастотном, так и в высокочастотном диапазонах, но воздействие было больше для диапазона более низких частот, чем для диапазона более высоких частот.

Шаблон INS с использованием метода pWTC
Результаты показали, что разница в INSpWTC между конфликтными и поддерживающими темами достигла значимости в SMC как женщин, так и мужчин при 0,4-0,6 Гц, когда мужская мозговая активность отставала от активности мозга женщин на 4 с (t(21) = 4,224, p = 0,0003). при 0,04-0,09 Гц; однако не было найдено никаких существенных результатов, равно как и их эффективных результатов в других частотных диапазонах (Ps > 0,05, рисунок 2C).

Дополнительный тест ANOVA был проведен на INSpWTC SMC при 0,4-0,6 Гц. Результаты показали, что взаимодействие между темой и направлением было незначительно значимым (F(1,21) = 3,48, p = 0,076). Дальнейшие попарные сравнения показали, что INSpWTC от женщин к мужчинам был значительно выше в теме конфликта, чем в поддерживающей теме (M.D. = 0,016, S.E. = 0,004, p = 0,002), тогда как INSpWTC от мужчин к женщинам существенно не различался между темами (M.D. = 0,0007, S.E. = 0,006, p = 0,907, рисунок 2D).

Шаблон INS с использованием метода GC
Тест ANOVA был проведен на INSGC в SMC только в пределах 0,4-0,6 Гц. Результаты показали значительное взаимодействие между темой и направлением (F(1,21) = 8,116, p = 0,010). Парный анализ показал, что INSGC от женщин к мужчинам был значительно выше в конфликтной теме, чем в поддерживающей теме (MD = 5,50, SE = 2,61, p = 0,043). Напротив, INSGC от мужчин к женщинам существенно не отличался между темами (MD = 1,42, SE = 2,61, p = 0,591, рисунок 2E).

Figure 2
Рисунок 2: Результаты моделирования и эмпирического эксперимента. (А) Результаты моделирования трех смоделированных образцов. Задержка во времени INSWTC с автокорреляцией была значительно выше, чем у INSWTC без автокорреляции и INSpWTC. Не было существенной разницы между запаздывающей по времени INSWTC без автокорреляции и pWTC. (B) T-карта INSWTC в эмпирическом эксперименте, показывающая значительные контекстные эффекты в пределах 0,04-0,09 Гц, когда активность SMC мужчин отставала от активности женщин на 2-6 с. Наблюдался также незначительно значительный контекстный эффект в пределах 0,4-0,6 Гц, когда активность SMC мужчин отставала от активности женщин на 4 с. (C) T-карта INSpWTC, показывающая значительный контекстный эффект в пределах 0,4-0,6 Гц, когда активность SMC мужчин отставала от активности женщин на 4 с. (D) Сравнение направленного INSpWTC по различным темам pWTC. Направленная ИНС от женщин к мужчинам значительно выше в конфликтных контекстах, чем в поддерживающих. Е) Валидация направленных ИНС с помощью испытания ГК (ИНСГК). Результирующая картина INSGC аналогична INSpWTC. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Дополнительный рисунок 1: График спектра мощности для частоты дискретизации при 11,1 Гц (синяя линия) и 55,6 Гц (красная линия). Схема энергетического спектра для этих двух довольно похожа. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок 2: Карты pWTC пола и потолка ВТЦ. (A) Левая панель: карта ВТЦ с задержкой во времени, генерируемая двумя одинаковыми сигналами, ось X - это точка времени, а ось Y - полоса частот. Среднее значение ЦМТ во всех точках составляет ~1. Правая панель: pWTC карта двух похожих сигналов. Карта pWTC очень похожа на карту WTC. (B) Левая панель: карта ВТЦ с задержкой во времени, генерируемая двумя случайными сигналами, ось X - это точка времени, а ось Y - полоса частот. Среднее значение ЦМТ во всех точках равно ~0. Правая панель: pWTC карта двух похожих сигналов. Карта pWTC очень похожа на карту WTC. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

В исследованиях гиперсканирования обычно важно описать направленные и временные закономерности информационного потока между людьми. Большинство предыдущих исследований гиперсканирования fNIRS использовали традиционный WTC25 для вывода этих характеристик путем расчета INS с задержкой во времени. Однако, как одна из неотъемлемых особенностей сигнала fNIRS20,21, эффект автокорреляции может сбить с толку задержку во времени INS. Для решения этой проблемы в настоящем протоколе был введен способ, называемый pWTC22. Этот метод оценивает запаздывающую по времени INS после частичной автокорреляции и сохраняет преимущества метода WTC. Этот протокол предлагает пошаговое руководство о том, как проводить pWTC и проверяет результаты pWTC, сравнивая его результаты с результатами традиционных тестов WTC и GC.

В этом протоколе демонстрируются критические этапы применения pWTC в данных гиперсканирования на основе fNIRS. В частности, во-первых, чтобы рассчитать запаздывающий по времени ЦМТ, автокоррелированный ЦМТ и выровненный по времени ЦМТ должны быть рассчитаны на основе временных рядов fNIRS с задержкой во времени. Далее pWTC вычисляются на разных временных лагах в соответствии с уравнением 1. Результаты pWTC возвращают матрицу частот времени x, а значения в матрице находятся в диапазоне от 0 до 1. Таким образом, на этих значениях могут быть проведены дальнейшие статистические тесты.

В демонстрационном протоколе репрезентативные результаты традиционного ЦМТ показали два значительных эффекта в двух полосах частот: 0,4-0,6 Гц. Однако воздействие в пределах 0,04-0,09 Гц не выдержало порога в результатах pWTC, предполагая, что этот эффект может быть сомкрапирован автокорреляционным эффектом сигнала fNIRS. С другой стороны, результаты в диапазоне 0,4-0,6 Гц были хорошо воспроизведены методом pWTC. Эти результаты показывают, что после устранения эффекта автокорреляции pWTC обеспечивает более чувствительные и специфические изменения в выводе направленных и временных паттернов INS между людьми. Другая возможность, однако, заключается в том, что pWTC не восприимчив к направленным и временным паттернам INS в более низких частотных диапазонах, чем в более высоких частотных диапазонах, что приводит к недооценке эффекта INS. Для дальнейшего уточнения этих возможностей необходимы будущие исследования.

Сравнение с тестом GC еще раз подтверждает этот вывод. Результаты теста GC были очень похожи на результаты pWTC, показывая важный поток информации от женщин к мужчинам, но не от мужчин к женщинам. Была небольшая разница между результатами теста GC и pWTC, т.е. эффект взаимодействия между темой и направлением был незначительно значительным в результатах pWTC, но достиг значения в тесте GC. Это различие может быть связано с тем, что pWTC рассчитывается в более тонком масштабе времени, чем тест GC. Таким образом, хотя тесты pWTC и GC могут обеспечить надежные результаты при контроле эффекта автокорреляции, pWTC является преимуществом, поскольку нет необходимости делать стационарные предположения и имеет структуру с высоким временным спектром.

Метод pWTC также имеет свои ограничения. Подобно тесту GC, причинность, выведенная из pWTC, не является реальной причинностью37,38. Вместо этого он указывает только на временную связь между сигналами А и В. Эту проблему следует иметь в виду при применении метода pWTC. Во-вторых, pWTC лишь частично устраняет эффект автокорреляции. Таким образом, другие потенциальные параллельные переменные, такие как общие среды или аналогичные действия, все еще могут влиять на результаты. Следовательно, выводы о направлении и временной структуре информационного потока должны быть сделаны после контроля этих смешанных факторов.

Кроме того, существовали некоторые сложные проблемы, связанные с предварительной обработкой данных fNIRS. Хотя fNIRS имеет высокую устойчивость к движениям головы, артефакты движения по-прежнему являются наиболее значительным источником шума39. Большие движения головы по-прежнему приводят к смещению положения оптодов, создавая артефакты движения, такие как резкие шипы и смещения базовой линии. Для решения этих проблем были разработаны многие подходы к коррекции артефактов, такие как сплайн-интерполяция40, фильтрация на основе вейвлетов39, анализ основныхкомпонентов 41 и улучшение сигнала на основе корреляции42 и т. Д. Купер и его коллеги43 сравнили эти подходы, основанные на реальных данных fNIRS состояния покоя, и обнаружили, что фильтрация на основе вейвлетов обеспечивает наибольшее увеличение отношения контрастности к шуму. Кроме того, Бригадой и ее коллеги44 также сравнили эти подходы в реальных данных лингвистических задач, а также обнаружили, что фильтрация на основе вейвлетов была наиболее эффективным подходом в коррекции артефактов движения. Таким образом, в этом исследовании была применена вейвлет-фильтрация, а также рекомендована для будущих исследований гиперсканирования fNIRS.

В целом, pWTC является ценным подходом в оценке направленных и временных закономерностей информационного потока во время социального взаимодействия. Что еще более важно, считается, что метод pWTC также подходит для псевдо-гиперсканирующих исследований (т.е. сигналы двух или нескольких мозгов не собираются одновременно45,46). В таких экспериментах, хотя направление информационного потока фиксировано, также представляет интерес изучение длительности временного лага между входом сигнала и процессом сигнала. Таким образом, автокорреляция также может сбить с толку результаты запаздывающих по времени INS. В будущем этот метод может ответить на многие вопросы в гиперсканировании и других исследованиях межмозгов. Например, определить доминирующую роль в различных социальных отношениях, таких как учителя и студенты, врачи и пациенты, а также исполнители и аудитории. Кроме того, поскольку pWTC поддерживает временные структуры INS, также можно проверить динамическую картину INS, такую как конвергенция групповых отношений.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Авторы заявляют об отсутствии конкурирующих финансовых интересов.

Acknowledgments

Эта работа была поддержана Национальным фондом естественных наук Китая (61977008) и программой Young Top Notch Talents of Ten Thousand Talent Program.

Materials

Name Company Catalog Number Comments
fNIRS topography system Shimadzu Corporation Shimadzu LABNIRS systen LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB The MathWorks, Inc. MATLAB 2019a In this protocol, several toolboxs and functions bulit in MATLAB were used:
SPM12 toolbox was used to normalize the valided MRI data through its GUI.
NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI.
Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters.
Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner Siemens Healthineers TRIO 3-Tesla scanner In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

DOWNLOAD MATERIALS LIST

References

  1. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  2. Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
  3. Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
  4. Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
  5. Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
  6. Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), New York, N.Y. 1647-1659 (2021).
  7. Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
  8. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students' knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  9. Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
  10. Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
  11. Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
  12. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  13. Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
  14. Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
  15. Zhao, H., et al. How mother-child interactions are associated with a child's compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
  16. Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
  17. Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
  18. Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
  19. Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
  20. Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
  21. Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
  22. Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, SUPPL. 1 157-168 (2009).
  23. Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
  24. Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
  25. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
  26. Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
  27. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
  28. Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
  29. Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. Statistical Parametric Mapping: The Analysis of Functional Brain Images. , Academic Press. (2007).
  30. Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
  31. Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
  32. Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
  33. Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
  34. Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
  35. Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
  36. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  37. Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0-3 (2020).
  38. Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), Switzerland. 1345 (2019).
  39. Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
  40. Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
  41. Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
  42. Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
  43. Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. 0, 147 (2012).
  44. Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
  45. Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
  46. Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).

Tags

Неврология выпуск 175
Измерение направленного информационного потока в данных fNIRS-гиперсканирования с использованием метода когерентности с частичным вейвлет-преобразованием
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhou, S., Long, Y., Lu, C.… More

Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter