Summary

도시 공원 환경에서 산책 비디오를 무료로 볼 수 있는 비디오 콘텐츠 분석과 눈 추적 데이터 결합

Published: May 07, 2019
doi:

Summary

프로토콜의 목적은 실험실에서 사용 하기 위해 비디오 데이터를 수집 하는 방법을 상세히 설명 하는 것입니다. 데이터를 보는 참가자의 눈 추적 데이터를 기록 하는 방법 및 기계 학습 기술을 사용 하 여 보고 있던 비디오의 콘텐츠를 효율적으로 분석 하는 방법.

Abstract

개인이 도시에서 점점 더 살기 때문에 일상의 움직임을 연구 하는 방법과 수집 할 수 있는 데이터는 중요 하 고 가치 있게 됩니다. 눈 추적 정보학은 다양 한 감정, 건강 상태, 정신 상태 및 행동에 연결 하는 것으로 알려져 있습니다. 그러나 비전은 일정 한 안구 운동의 결과 이기 때문에 소음이 복잡 하 고 데이터 집약적 인 것에서 중요 한 것을 괴 롭 히 고 있습니다. 더욱이, 그들에 게 제시 된 것과 비교 하 여 사람들이 보는 것에 대 한 중요 한 도전은 통제 하 고 있습니다.

다음은 비디오의 콘텐츠를 분석 하기 위한 기계 학습 기법을 사용 하 여 자연스럽 고 복잡 한 장면의 비디오에서 눈 추적을 결합 하 고 분석 하는 방법을 제시 합니다. 이 프로토콜에서는 촬영 된 비디오에서 데이터를 분석 하는 방법, 참가자의 눈 추적 데이터를 기록 하는 데 비디오를 가장 잘 사용 하는 방법, 비디오의 콘텐츠를 분석 하 여 눈 추적 데이터와 결합 하는 방법에 대해 중점적으로 설명 합니다. 우리는 결과에 대 한 간략 한 요약과 복잡 한 환경에서의 추가 연구를 위한 방법의 가능성에 대 한 논의를 제시 합니다.

Introduction

도시 환경에 대 한 우리의 일상 생활 경험은 우리의 건강과 복지에 크게 영향을 미칩니다. 우리의 복지는 우리가 보고 경험 하는 녹색 공간의 양에 달려 있습니다1,2,3이 보기는 공원 디자인에 관하여 결정을 안내 하기 위하여 눈 추적 장비를 사용 하 여 정량화 될 수 있습니다. 그러나이 데이터를 생성 하 고 이해 하는 눈 추적 데이터의 양이 문제가 발생 합니다. 실험실 또는 자연 환경에서 시선 데이터를 기록 하는 장비가 사용 하기 쉽고 더 강력해 지 면 연구원은 데이터를 수집 하 고 분석 하 여 의사 결정 질문에 도움을 줄 수 있는 방법을 고려해 야 합니다.

지금까지 눈 추적 연구의 큰 거래는 설문 조사 또는 실험실 설정4에서 사진을 사용 했습니다. 이 방법론은 결과에 대 한 많은 재현성 및 제어를 허용 하지만, 비디오 및 웨어 러 블 모바일 아이 트래커의 사용을 포함 하는 눈 추적 기술의 최신 발전을 활용할 수 없습니다. 또한, 우리는 걷고 휴식의 행동이 특히 길 찾기5와 같은 작업을 향해 배 향 할 때 반드시 역동적 이라고 주장 할 것 이다. 따라서 이러한 설정에 대 한 완전 한 과학적 이해가 실험실 외부에서 진행 되어야 합니다. 그러나, 순간, 실제 자연 환경에서 눈 추적 하는 것은 매우 어려운 과목 사이의 경험을 비교 합니다. 예를 들어, 한 응답자 들이 나무를 다른 것 보다 더 많이 바라보 고 있는지 비교 하기 원한다 면, 우리는 그들의 관점 들이 다른 사람들에 비해 끊임없이 변화 하거나 머리가 바뀔 수도 있다는 사실을 어떻게 통제할 수 있을까. 이 조건의 상세한 분석은 현재 분석 기술에 거의 불가능 합니다. 우리는 연구 중인 개인이 사용할 수 있는 보기 영역을 제어 하는 것이 중요 하다 고 분석에서 어느 시점에서 볼 되 고 총 장면을 고려 할 수 있을 것 이라고 주장 한다.

스트레스 수준과 풍경에 대 한 안전의 인식과 스트레스6,7의 잘 진화 된 측정을 연결 하는 이론의 집합이 있습니다. 시선8을 측정 하는 눈 추적 장비의 정교함도 급격히 증가 했습니다. 무의식적인 안구 운동은 더 확실 하 게 선호도에 연결 될 수 있기 때문에 눈 추적 중요 하다, 스트레스 및 다른 전통적인 측정 보다 설문 조사 및 관입, 타 액 코 티 솔 수준 등의 생리 테스트. 이 연구의 목적은 더 자연 스러운 설정에 적용 되는 눈 추적 데이터의 더 정확한 측정을 가능 하 게 하는 도구를 개발 하는 것입니다,에 대 한 추가 증거를 제공 하거나 공원 디자인에 대 한 정보를 오랫동안 풍경 이론을 반박 십 년간.

이 프로젝트의 목적은 파크 워크 시뮬레이션의 다양 한 비디오에 대 한 관련 눈 추적 데이터를 생성 할 수 있는 새로운 분석 기술을 개발 하 고 테스트 하는 것입니다. 여기에서 보고 된 우리의 작업9 는 완전히 모바일 아이 트래킹 시스템과 위에서 언급 한 실험실 기반 사진 연구의 자연주의 적 설정 사이의 반 방향 지점을 나타냅니다. 특히, 우리는이 재료가 멜 번의 도시에서 다른 공원이 생성 하는 매혹의 양을 테스트 하는 데 사용 될 수 있는 방법을 탐구, 자극 재료로 비디오를 사용 하는 것에 집중 한다. 우리의 작업은 비디오의 상세한 분석이 스트레스에서 복원을 제공 하는 공원의 잠재력에 대 한 풀러, 더 자연주의 적 평가를 착수 하기 전에 위반 하는 데 필요한 단계 라는 가정을 기반으로 합니다.

이 연구에서, 우리는 도시 공원을 통해 산책의 동영상과 바탕 화면 눈 추적기를 사용 하 고 그들이 공원을 통해 편안한 산책을 하 고 있다고 상상 하는 참가자를 물었다. 우리는 참가자 들이 서로 다른 개체를 보는 데 소요 되는 시간을 공원 간에 비교할 수 있는 방법을 설명 합니다. 데스크톱 연구는 일반적으로 모바일 ET 연구와 비교 하 여 제어 하 고 각 주제의 비교 분석을 허용 하는 것이 더 쉽습니다.

표준 눈 추적 소프트웨어는 사용자가 수동으로 각 장면에서 관심 있는 개체 주변에 경계를 그릴 수 있는 수동 관심 영역 도구를 사용 합니다. 이를 통해 참여자 들이 서로 다른 객체를 찾는 데 소요 되는 시간이 자동으로 계산 됩니다. 비디오 데이터의 경우이 프로세스는 노동 집약적 이며 운영자 주관 및 오류에 따라 달라질 수 있습니다. 이후 버전의 아이 트래킹 분석 소프트웨어에서 AOIs는 비디오의 크기가 같을 때 프레임 간에 오브젝트를 자동으로 추적할 수 있습니다. 이것은 개선, 그러나, 이것은 단지 각 이미지에 적은 수의 자극에 사용 하기 위한 것 이며 각 이미지를 확인 하 고 확인 해야 합니다.

이미지에서 개체의 수동 라벨링은 일반적 이며 GNU 이미지 조작 프로그램 (김프)과 같은 이미지 편집 소프트웨어에 의해 지원 됩니다. 1 s는 30 프레임이 나 이미지를 생성 하는 것을 감안할 때, 비디오의 수동 라벨링은 비현실적 이다. 또한, AOI는 나무 캐노피와 같은 복잡 한 물체의 가장자리를 중심으로 벡터 폴리곤을 그려 내는 데 매우 많은 시간이 소요 된다. 마지막으로, 벡터 라벨링을 사용 하 여 시야에 있는 객체의 크기를 계산할 수 있지만이 기능은 현재 사용할 수 없습니다.

아래에서 보고 하는 방법은 이러한 제한 사항을 다룹니다. 이 연구는 개체의 자동 라벨링을 채택 했다. 이는 비디오의 모든 프레임에 있는 모든 픽셀이 객체 클래스를 나타내는 레이블이 지정 되는 시맨틱 라벨링 이라는 이미지 처리 기술을 사용 하 여 가능 합니다. 머신 러닝은 관심 있는 각 객체 클래스에 대 한 픽셀 분류자를 도출 하는 데 사용 됩니다. 이러한 분류자는 각 픽셀 (단항 전위 라고 함)에 대 한 확률적 레이블을 제공 하며, 최종 레이블이 지정 된 출력을 얻기 위해 후속 최적화 프로세스에서 구체화 됩니다. 이러한 분류자는 텍스처, 가장자리 방향 히스토그램, RGB 색상 값 및 정규화 된 이미지 좌표를 포함 하 여 이미지에서 추출한 피쳐 공간에서 각 오브젝트 클래스 간의 통계적 결정 경계를 학습 합니다. 이에 대 한 적절 한 기술은 다윈 기계 학습 도구 상자에서 구현10 그리고 아래에 설명 되어 있습니다.

Protocol

이 프로젝트에 대 한 윤리적 승인은 호주 가톨릭 대학의 윤리 위원회 승인 번호 #201500036E에 의해 주어졌다. 이를 통해 모든 참여자와 모든 참여자가 자발적으로 동의한 동의를 얻고 참가자 데이터는 익명으로 기밀로 유지 됩니다. 또한 호주 표준 안전 규정을 충족 하는 방법 및 장비로 인해 승인이 주어졌다. 1. 눈 추적 연구에 사용할 수 있는 도시 장면을 촬영 짐 벌에 ?…

Representative Results

그림 1 과 그림 2 는 모든 참가자에 걸쳐 전체 비디오에 대 한 모든 눈 추적 데이터를 가져와 히트 맵을 생성 한 결과를 보여줍니다. 이것은 눈 추적 소프트웨어 패키지에서 사용할 수 있는 표준 접근 방식입니다. 도 1 과 도 2 를 비교 하 여도 1 에서의 비디오의 x 좌표에 ?…

Discussion

일반적으로 눈 추적 데이터를 분석 하기 위한 표준 소프트웨어 패키지에서는 벡터 AOI가 사용 됩니다. 단일 스틸 이미지의 경우에도 벡터의 크기를 쉽게 측정할 수 없습니다. 더욱이, 모든 AOIs를 이미지에 포함 하 고 AOIs의 상대적인 금액을 계산 하는 것은 힘든 일 이다. 설명 된 것과 같은 기계 학습 기술을 사용 하지 않고 비디오에서 수동으로이 작업을 수행 하는 것은 거의 불가능 합니다. 이것은 …

Disclosures

The authors have nothing to disclose.

Acknowledgements

이 작품은 재정적으로 멜버른의 도시와 아크 DP 150103135에 의해 부분적으로 지원 했다. 우리는 그의 조언과 공동 접근법에 대 한 Eamonn 페 네 시에 게 감사 하 고 싶습니다. 또한이 데이터를 수집 하 고 분석 하는 데 도움을 준 연구원 조 수 이자벨 Janecki와이 단 첸에 게 특별 한 감사와 함께. 모든 오류는 저자에 남아 있습니다.

Materials

12 mm lens Olympus Lens
Panasonic GH4  Panasonic Video Camera
Tobii Studio version (2.1.14)   Tobii Software
Tobii x120 desktop eye-tracker Tobii Eye-tracker

References

  1. Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
  2. Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
  3. Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
  4. Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
  5. Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
  6. Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
  7. Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
  8. Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
  9. Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
  10. Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
  11. Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
  12. Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).

Play Video

Cite This Article
Amati, M., McCarthy, C., Parmehr, E. G., Sita, J. Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment. J. Vis. Exp. (147), e58459, doi:10.3791/58459 (2019).

View Video