Объединение глаз отслеживания данных с анализом видео-контент от свободного просмотра видео прогулка в городском парке окружающей среды
Summary
Целью протокола является подробное описание того, как собирать видео данные для использования в лабораторных условиях; как записывать данные отслеживания глаз участников, глядя на данные и как эффективно анализировать содержание видео, которые они искали на использование техники машинного обучения.
Abstract
Как люди все чаще живут в городах, методы для изучения их повседневных движений и данных, которые могут быть собраны становится важным и ценным. Глаз отслеживания информатики, как известно, подключиться к целому ряду чувств, состояния здоровья, психических состояний и действий. Но поскольку зрение является результатом постоянного движения глаз, дразнить, что важно от того, что шум является сложным и данных интенсивным. Кроме того, серьезной проблемой является контроль за то, что люди смотрят на по сравнению с тем, что им представлено.
Ниже представлена методология для комбинирования и анализа отслеживания глаз на видео естественной и сложной сцены с техникой машинного обучения для анализа содержимого видео. В протоколе мы фокусируемся на анализе данных из снятых видео, как видео может быть лучше всего использовано для записи отслеживания глаз участников, и, что важно, как содержание видео может быть проанализировано и объединено с данными отслеживания глаз. Мы представляем краткий обзор результатов и обсуждение потенциала метода для дальнейших исследований в сложных средах.
Introduction
Наш ежедневный опыт городской среды значительно влияет на наше здоровье и благополучие. Наше благополучие может зависеть от количества зеленых насаждений, которые мы рассматриваем и опыт1,2,3, и эти взгляды могут быть количественно использованием глаз отслеживания оборудования для руководства принятия решений о парке дизайна. Тем не менее, возникает проблема с объемом данных отслеживания глаз, который генерируется и делает смысл этих данных. Поскольку оборудование для записи данных взгляда в лаборатории или естественной обстановке становится проще в использовании и более мощным, исследователям необходимо подумать о том, как мы можем собирать и анализировать данные, чтобы помочь с вопросами принятия решений.
До сих пор много глаз отслеживания исследований использовали фотографии в опросе или лабораторных условиях4. Хотя эта методология позволяет много воспроизводимость и контроль над результатами, он не в состоянии воспользоваться последними достижениями в глаз отслеживания технологии, которые включают использование видео и носимых мобильных глаз трекеров. Кроме того, мы утверждаем, что акт ходьбы и расслабления обязательно динамичен, особенно когда ориентирован на задачу, такую как wayfinding5. Поэтому полное научное понимание этих параметров должно происходить за пределами лаборатории. Тем не менее, на данный момент, глаз отслеживания в реальной жизни натуралистический Настройка делает сравнение опыта между предметами очень трудно. Например, если мы хотим сравнить, смотрит ли один респондент на деревья больше, чем на другой, как мы можем контролировать тот факт, что их точка зрения будет постоянно изменяться по сравнению с другими или что их голова могла бы повораваться. Детальный анализ в этих условиях практически невозможен при нынешних методах анализа. Мы утверждаем, что важно контролировать Просмотр областей, доступных для отдельных изучается и в анализе, чтобы иметь возможность учитывать общую сцену рассматривается в любой момент времени.
Есть множество теорий, связывающих уровень стресса и восприятие безопасности пейзаж взглядов и хорошо развитые меры стресса6,7. Там также был быстрый рост изощренности глаз отслеживания оборудования для измерения взглядом8. Глаз слежения важно, потому что непроизвольные движения глаз может быть более надежно подключен к предпочтения, стресс и другие традиционные меры, чем опросы и интрузивных, физиологические тесты, такие как слюнных уровней кортизола. Цель этого исследования заключается в разработке инструментов, которые позволяют более точного измерения глаз отслеживания данных применительно к более натуралистических параметров, с тем чтобы представить дополнительные доказательства или опровергнуть давние ландшафтных теорий, которые сообщили парк дизайн для Десятилетий.
Цель этого проекта заключается в разработке и тестировании новых методов анализа, которые могут генерировать соответствующие глаза отслеживания данных для различных видео моделирования ходьбы парка. Наша работа сообщила здесь и в других местах9 представляет собой точку на полпути между натуралистическим установление полностью мобильной системы отслеживания глаз и лабораторных исследований на основе фото упомянутых выше. В частности, мы концентрируемся на использовании видео в качестве стимула материала, исследуя, как этот материал может быть использован для проверки количества очарование, что различные парки генерировать в городе Мельбурн. Наша работа основана на предположении, что подробный анализ видео является необходимым шагом к нарушению до проведения более полного, более натуралистической оценки потенциала парков обеспечить восстановление от стресса.
В этом исследовании, мы использовали Настольный глаз-трекер с видео прогулок по городским паркам и попросил участников представить, что они принимают расслабляющую прогулку по парку. Мы описываем метод для того, чтобы количество времени, которое участники потратили на поиск различных объектов, было сопоставимо между парками. Исследования на рабочем столе, как правило, легче контролировать по сравнению с мобильными ET исследований и позволяют сравнительный анализ каждого предмета.
Стандартное программное обеспечение для отслеживания глаз использует ручную область инструмента интереса, в которой оператор может вручную нарисовать границы вокруг объектов, представляющих интерес в каждой сцене. Это позволяет количество времени, которое участники потратили на поиск различных объектов, которые будут автоматически подсчитаны. Для видео-данных этот процесс является трудоемким и подвержен субъективности и ошибкам оператора. В более поздних версиях программного обеспечения для отслеживания глаз, ОУА может автоматически отслеживать объекты в рамках, когда они имеют одинаковый размер в видео. Это улучшение, однако, это предназначено только для того, чтобы использоваться для небольшого количества раздражителей в каждом изображении, и каждое изображение должно быть проверено и подтверждено.
Ручная маркировка объектов на изображении является распространенным явлением и поддерживается программным обеспечением для редактирования изображений, таким как GNU программа манипуляции изображений (ХРОМОТА). Учитывая, что 1 s производит 30 кадров или изображений, ручная маркировка видео непрактична. Кроме того, маркировка АОИ, рисуя векторные полигоны по краям сложных объектов, таких как навесы для деревьев, отнимает много времени. Наконец, хотя можно рассчитать размер объектов в поле зрения с использованием векторной маркировки, эта функция в настоящее время недоступна.
Метод, который мы сообщаем ниже, посвящен этим ограничениям. В этом исследовании используется автоматическая маркировка объектов. Это возможно с помощью метода обработки изображений, известного как семантическая маркировка, в которой каждому пикселю в каждом кадре видео присваивается ярлык, указывающий класс объектов. Машинное обучение используется для выведения классификаторов пикселей для каждого класса объектов, представляющих интерес. Эти классификаторы обеспечивают вероятностный ярлык для каждого пикселя (известный как одинарных потенциалов), которые затем уточнены в последующем процессе оптимизации для достижения окончательного маркированного вывода. Эти классификаторы изучают статистические границы решений между классами объектов в пространстве объектов, извлеченных из изображения, включая текстуру, гистограмму передовых ориентаций, значения цвета RGB и нормализованных координат изображения. Соответствующий метод для этого реализован в машине ДАРВИНА инструментарий для обучения10 и описывается ниже.
Protocol
Representative Results
Discussion
Как правило, в стандартных программных пакетов для анализа глаз отслеживания данных, вектор АОИ используется. Даже для одного неподвиже изображения, размер вектора не может быть легко измерена. Кроме того, в том числе все ОУА в изображении и расчета относительных количеств ОИС является…
Divulgations
The authors have nothing to disclose.
Acknowledgements
Эта работа была финансово поддержана города Мельбурна и частично Арк DP 150103135. Мы хотели бы поблагодарить Имонн Феннесси за его советы и совместный подход. С особой благодарностью к исследователям помощники Изабель Ярецки и Этан Чэнь, которые также помогли собрать и проанализировать эти данные. Все ошибки остаются авторами.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
