Натуралистическая установка для представления реальных людей и живых действий в исследованиях экспериментальной психологии и когнитивной нейробиологии

Summary

Это исследование представляет собой натуралистическую экспериментальную установку, которая позволяет исследователям представлять стимулы действия в реальном времени, получать данные о времени отклика и отслеживании мыши, в то время как участники реагируют после каждого дисплея стимула, а также менять участников между экспериментальными условиями с помощью уникальной системы, включая специальный прозрачный экран с органическим светодиодом (OLED) и манипулирование светом.

Abstract

Восприятие действий других имеет решающее значение для выживания, взаимодействия и общения. Несмотря на десятилетия исследований когнитивной нейробиологии, посвященных пониманию восприятия действий, мы все еще далеки от разработки системы компьютерного зрения, вдохновленной нейронами, которая приближается к восприятию действий человека. Основная проблема заключается в том, что действия в реальном мире состоят из разворачивающихся во времени событий в пространстве, которые происходят «здесь и сейчас» и могут быть реализованы. Напротив, визуальное восприятие и исследования когнитивной нейробиологии на сегодняшний день в значительной степени изучали восприятие действий с помощью 2D-дисплеев (например, изображений или видео), в которых отсутствует присутствие актеров в пространстве и времени, поэтому эти дисплеи ограничены в обеспечении действенности. Несмотря на растущий объем знаний в этой области, эти проблемы должны быть преодолены для лучшего понимания фундаментальных механизмов восприятия действий других людей в реальном мире. Цель этого исследования – представить новую установку для проведения натуралистических лабораторных экспериментов с живыми актерами в сценариях, которые приближаются к реальным условиям. Основным элементом установки, используемой в этом исследовании, является прозрачный экран с органическими светодиодами (OLED), через который участники могут наблюдать за живыми действиями физически присутствующего актера, в то время как время их презентации точно контролируется. В данной работе эта установка была проверена в поведенческом эксперименте. Мы считаем, что установка поможет исследователям выявить фундаментальные и ранее недоступные когнитивные и нейронные механизмы восприятия действия и станет основой для будущих исследований, изучающих социальное восприятие и познание в натуралистических условиях.

Introduction

Фундаментальным навыком выживания и социального взаимодействия является способность воспринимать и осмысливать действия других людей и взаимодействовать с ними в окружающей среде. Предыдущие исследования, проведенные за последние несколько десятилетий, внесли значительный вклад в понимание фундаментальных принципов того, как люди воспринимают и понимают действия других 1,2,3,4,5,6,7,8,9,10,11 . Тем не менее, учитывая сложность взаимодействий и обстоятельства, в которых они происходят, существует очевидная необходимость в дальнейшем развитии совокупности знаний в натуралистических условиях, чтобы достичь более полного понимания этого сложного навыка в условиях повседневной жизни.

В естественной среде, такой как наша повседневная жизнь, восприятие и познание проявляют воплощенные, встроенные, расширенные и активные характеристики¹². В отличие от интерналистских описаний функций мозга, которые, как правило, недооценивают роль тела и окружающей среды, современные подходы к воплощенному познанию сосредоточены на динамической связи мозга, тела и окружающей среды. С другой стороны, большинство исследований в области социальной психологии, когнитивной психологии и нейробиологии восприятия действий склонны предполагать, что использование хорошо контролируемых и упрощенных планов экспериментов в лабораторных условиях (например, изображений или видео в компьютеризированных задачах) дает результаты, которые могут быть обобщены для более сложных сценариев, таких как взаимодействия в реальном мире 1,2,3,4,5,6,7 ^,8,9,10,11. Это предположение гарантирует, что надежные и надежные данные могут быть получены при многих обстоятельствах. Тем не менее, хорошо известная проблема заключается в том, что достоверность моделей, полученных в результате тщательно контролируемых экспериментов, ограничена при проверке в реальном контексте¹³. Следовательно, были проведены дальнейшие исследования 13,14,15,16,17,18,19,20,21,22 для рассмотрения экологической и внешней валидности стимулов и экспериментальных проектов в различных областях исследований.

В этом исследовании предлагается новый метод изучения того, как люди воспринимают и оценивают действия других людей, используя живые действия, выполняемые реальным, физически присутствующим актером. Используются сценарии, похожие на реальные контексты, в то время как экспериментаторы контролируют возможные мешающие факторы. Это исследование представляет собой форму «натуралистического лабораторного исследования» в рамках Matusz et al.14, которое можно рассматривать как промежуточный этап между «классическим лабораторным исследованием», в котором используется максимальный контроль над стимулами и окружающей средой, часто за счет естественности, и «полностью натуралистическим исследованием реального мира», целью которого является максимизация естественности за счет контроля над стимуляцией и окружающей средой ¹⁴. Исследование направлено на удовлетворение потребности в эмпирических исследованиях на этом уровне в исследованиях восприятия действий, чтобы преодолеть разрыв между результатами, полученными в традиционных лабораторных экспериментах с высокой степенью экспериментального контроля, и результатами, полученными в исследованиях, проведенных в совершенно неограниченных, естественных условиях.

Контролируемые и неограниченные эксперименты
Экспериментальный контроль является эффективной стратегией разработки экспериментов для проверки конкретной гипотезы, поскольку он позволяет исследователям изолировать целевые переменные от вероятных смешивающих факторов. Это также позволяет пересмотреть одну и ту же гипотезу с определенными уровнями поправок, таких как использование слегка или полностью разных стимулов в одном и том же дизайне или тестирование одних и тех же стимулов в альтернативных экспериментальных установках. Систематическое исследование с помощью контролируемых экспериментов является традиционной формой методологии в исследованиях в когнитивной науке и соответствующих областях. Контролируемые эксперименты по-прежнему помогают установить совокупность знаний о фундаментальных принципах когнитивных процессов в различных областях исследований, таких как внимание, память и восприятие. Тем не менее, недавние исследования также признали ограниченность традиционных лабораторных экспериментов с точки зрения обобщения результатов в реальных условиях, и исследователям было рекомендовано проводить исследования в улучшенных экологических условиях 13,14,15,16,17,18,19,20,21 . Этот сдвиг направлен на решение двух важных вопросов, касающихся несоответствия между традиционными лабораторными экспериментами и реальными условиями. Во-первых, мир за пределами лаборатории менее детерминирован, чем в экспериментах, что ограничивает репрезентативную силу систематических экспериментальных манипуляций. Во-вторых, человеческий мозг обладает высокой адаптивностью, и это часто недооценивается из-за практических ограничений разработки и проведения экспериментальных исследований²². Понятие «экологическая обоснованность»^23,24 было использовано для рассмотрения методов решения этого вопроса. Этот термин обычно используется для обозначения предпосылки для обобщения экспериментальных результатов в реальный мир за пределами лабораторного контекста. Экологическая валидность также интерпретируется как относящаяся к проверке практически натуралистических экспериментальных установок с неограниченными стимулами, чтобы гарантировать, что дизайн исследования аналогичен реальным сценариям²⁵. Из-за высокой степени вариативности в трактовке этого термина требуется понимание преимуществ и ограничений альтернативных методологий и выбора стимулов.

Уровни натурализма в стимулах и дизайне экспериментов
Предыдущие работы в области экспериментальной психологии и когнитивной нейробиологии использовали широкий спектр стимулов с различными уровнями натурализма²⁶. Большинство исследователей предпочитают использовать статические изображения или короткие динамические видеоролики, потому что эти стимулы легче подготовить, чем те, которые могут имитировать реальное действие или событие. Несмотря на свои преимущества, эти стимулы не позволяют исследователям измерять условное поведение среди социальных агентов. Иными словами, они не поддаются действию и не имеют социальной доступности²⁷. В последние годы была разработана альтернатива этим неинтерактивным стимулам: анимация виртуальных аватаров в реальном времени. Эти аватары позволяют исследовать взаимодействие между аватарами и их пользователями. Тем не менее, использование виртуальных аватаров подвержено меньшим опасениям пользователей, особенно когда они не кажутся особенно привлекательными с точки зрения их реалистичного и условного поведения²⁶. Поэтому в настоящее время наблюдается больший интерес к использованию реальных социальных стимулов в экспериментальных исследованиях. Хотя для их проектирования, записи и анализа данных может потребоваться современное оборудование и сложный анализ данных, они являются лучшими кандидатами для понимания натуралистического поведения и познания человека.

В настоящем исследовании предложена методология использования реальных социальных стимулов в лабораторных условиях. Это исследование направлено на изучение того, как люди воспринимают и оценивают действия других людей в условиях с повышенной экологической обоснованностью по сравнению с традиционными лабораторными экспериментами. Мы разработали и описали новую установку, в которой участники подвергаются воздействию реальных актеров, которые физически присутствуют и находятся с ними в одной среде. В этом протоколе измеряется время реакции участников и траектории мышей, что требует точного определения времени предъявления стимулов и строгого контроля за экспериментальными условиями в этой улучшенной экологической среде. Таким образом, экспериментальная парадигма выделяется среди структур, присутствующих в литературе, поскольку естественность стимулов максимизируется без ущерба для контроля над окружающей средой. Ниже в протоколе представлены шаги по созданию такой системы, а затем приводятся репрезентативные результаты для выборочных данных. Наконец, представлено обсуждение значения парадигмы, ограничений и планов модификаций.

Экспериментальный дизайн
Прежде чем перейти к разделу протокола, мы опишем параметры, используемые в настоящем исследовании, и представим детали стимулов вместе с дизайном эксперимента.

Параметры в исследовании
Это исследование направлено на то, чтобы измерить, как тип актера и класс действий, которые они выполняют, влияют на процессы восприятия разума участников. В протоколе процесс восприятия разума измеряется в двух основных измерениях, а именно в агентности и опыте, как предлагалось в предыдущих исследованиях²⁸. Верхние и нижние границы этих двух измерений также включены, как недавно было представлено Li et ^al.29.

Структура исследования была вдохновлена однокатегорической версией³⁰ широко используемой неявной ассоциативной задачи (IAT)³¹. В этой задаче время отклика участников, когда они сопоставляют концепцию атрибута с целевой концепцией, используется в качестве показателя силы их неявных ассоциаций для этих двух понятий. В адаптации этой неявной задачи участникам представляются живые действия, выполняемые реальными актерами, и требуется сопоставить их с целевыми концепциями. Целевыми концепциями являются верхний и нижний уровни агентства или измерения опыта, в зависимости от блока эксперимента.

Подводя итог, можно сказать, что независимыми переменными являются Actor Type и Action Class. Тип актера имеет два уровня (т.е. два разных актера, Актер1 и Актер2, выступающие в исследовании). Класс действия имеет два уровня: класс действия1 и класс действия2, и каждый класс содержит четыре действия. Участники оценивают двух акторов отдельно в четырех блоках (по одному актору в каждом блоке), и в каждом блоке акторы выполняют все действия в уравновешенном порядке. Участники проводят оценки по двум заранее определенным и вынужденным измерениям: агентству и опыту. Четыре блока в эксперименте: (1) Actor1 в блоке агентства, (2) Actor2 в блоке агентства, (3) Actor1 в блоке опыта и (4) Actor2 в блоке опыта. Порядок блоков также уравновешен между участниками, так что блоки с одним и тем же агентом никогда не следуют друг за другом.

Помимо ответов участников, записывается время отклика и координаты x-y беспроводной мыши, которую они используют, когда они движутся к одному из двух вариантов ответа. Таким образом, зависимыми переменными являются реакция и время отклика (RT) участников, а также измерения максимального отклонения (MD) и площади под кривой (AUC), полученные с помощью компьютерного отслеживания мышью. Переменная реакция категориальна; он может быть высоким или низким, и, поскольку оценки проводятся в одном из заданных блоков, ответы также могут быть помечены как «Высокая агентность», «Низкая агентность», «Высокий опыт» или «Низкий опыт». Время отклика является непрерывной переменной; Его единицей измерения являются секунды, и это относится к времени, прошедшему между началом представления действия и возникновением щелчка мыши по одному из вариантов ответа. MD траектории является непрерывной переменной и относится к наибольшему перпендикулярному отклонению между траекторией участника (участников) и идеализированной траекторией (прямой). AUC траектории также является непрерывной переменной и относится к геометрической области между траекторией участника (участников) и идеализированной траекторией³².

Стимулы и дизайн эксперимента
В настоящем исследовании используется трехэтапный эксперимент. Для анализа используются измерения из третьей части; Первые две части служат подготовкой к заключительной части. Ниже мы опишем каждую часть эксперимента вместе с экспериментальными стимулами и гипотезами.

В части 1 эксперимента (часть лексического обучения) участники завершают учебную сессию, чтобы понять концепции свободы воли и опыта, а также уровни способностей, представленные словами «высокий» и «низкий». Для выбора понятий (n = 12), которые будут использоваться в данном учебном занятии, некоторые из авторов настоящей работы провели нормативное исследование³³. Поскольку настоящее исследование планировалось проводить на родных языках участников, концепции также были переведены на турецкий язык перед нормализацией. Понятия были отобраны из числа тех, которые были тесно связаны с Высоким (n = 3) и Низким (n = 3) концами двух измерений (по шесть понятий для каждого). Эта часть имеет решающее значение, поскольку ожидается, что понимание участниками концепций будет направлять их процессы оценки.

В части эксперимента 2 (часть идентификации действия) участники наблюдают за теми же восемью действиями, выполняемыми Актером1 и Актером2 одно за другим, и сообщают экспериментатору о том, что это за действие. Этот раздел служит проверкой манипуляций; Представляя все действия, когда оба актера их выполняют, можно убедиться, что участники понимают действия и знакомы с актерами, прежде чем они начнут неявный тест, где им нужно быстро оценить. Действия, выбранные для класса действия 1 и класса действия 2, – это действия, которые имели самые высокие баллы H и уровни достоверности (четыре разных примера действий в каждом классе действий) в соответствии с результатами двух нормативных исследований (N = 219) для каждого состояния актора, проведенных некоторыми авторами (рукопись находится в стадии подготовки). Все действия выполняются в течение равного промежутка времени в 6 с.

Это продолжающееся исследование, и оно имеет некоторые другие компоненты; Однако гипотезы для описанных выше разделов заключаются в следующем: (i) тип субъекта будет влиять на зависимые переменные; Actor2 будет давать более длинные RT, более высокие MD и большие AUC по сравнению с Actor1; (ii) тип действия повлияет на зависимые измерения; Класс действия 1 даст более длинные RT, более высокие MD и большие AUC по сравнению с классом действия 2; (iii) зависимые измерения для высоких и низких ответов для одного и того же актора и класса действий будут различаться в зависимости от измерений блока: агентность и опыт.

Protocol

Протоколы экспериментов в этом исследовании были одобрены Комитетом по этике исследований с участием людей Билькентского университета. Все участники, включенные в исследование, были старше 18 лет, и они прочитали и подписали форму информированного согласия перед началом исследования….

Representative Results

Сравнение времени отклика (RT)Настоящее исследование является продолжающимся проектом, поэтому в качестве репрезентативных результатов представлены данные основной части эксперимента (Experiment Part 3). Эти данные получены от 40 участников, в том числе 23 женщин и 17 мужчин, в возраст…

Discussion

Всеобъемлющая цель настоящего исследования состоит в том, чтобы внести свой вклад в наше понимание того, как человеческое высокоуровневое визуальное восприятие и познание работают в реальных жизненных ситуациях. Это исследование было сосредоточено на восприятии действий и предложил…

Materials

Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz – 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC – 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)