도시 공원 환경에서 산책 비디오를 무료로 볼 수 있는 비디오 콘텐츠 분석과 눈 추적 데이터 결합
Summary
프로토콜의 목적은 실험실에서 사용 하기 위해 비디오 데이터를 수집 하는 방법을 상세히 설명 하는 것입니다. 데이터를 보는 참가자의 눈 추적 데이터를 기록 하는 방법 및 기계 학습 기술을 사용 하 여 보고 있던 비디오의 콘텐츠를 효율적으로 분석 하는 방법.
Abstract
개인이 도시에서 점점 더 살기 때문에 일상의 움직임을 연구 하는 방법과 수집 할 수 있는 데이터는 중요 하 고 가치 있게 됩니다. 눈 추적 정보학은 다양 한 감정, 건강 상태, 정신 상태 및 행동에 연결 하는 것으로 알려져 있습니다. 그러나 비전은 일정 한 안구 운동의 결과 이기 때문에 소음이 복잡 하 고 데이터 집약적 인 것에서 중요 한 것을 괴 롭 히 고 있습니다. 더욱이, 그들에 게 제시 된 것과 비교 하 여 사람들이 보는 것에 대 한 중요 한 도전은 통제 하 고 있습니다.
다음은 비디오의 콘텐츠를 분석 하기 위한 기계 학습 기법을 사용 하 여 자연스럽 고 복잡 한 장면의 비디오에서 눈 추적을 결합 하 고 분석 하는 방법을 제시 합니다. 이 프로토콜에서는 촬영 된 비디오에서 데이터를 분석 하는 방법, 참가자의 눈 추적 데이터를 기록 하는 데 비디오를 가장 잘 사용 하는 방법, 비디오의 콘텐츠를 분석 하 여 눈 추적 데이터와 결합 하는 방법에 대해 중점적으로 설명 합니다. 우리는 결과에 대 한 간략 한 요약과 복잡 한 환경에서의 추가 연구를 위한 방법의 가능성에 대 한 논의를 제시 합니다.
Introduction
도시 환경에 대 한 우리의 일상 생활 경험은 우리의 건강과 복지에 크게 영향을 미칩니다. 우리의 복지는 우리가 보고 경험 하는 녹색 공간의 양에 달려 있습니다1,2,3이 보기는 공원 디자인에 관하여 결정을 안내 하기 위하여 눈 추적 장비를 사용 하 여 정량화 될 수 있습니다. 그러나이 데이터를 생성 하 고 이해 하는 눈 추적 데이터의 양이 문제가 발생 합니다. 실험실 또는 자연 환경에서 시선 데이터를 기록 하는 장비가 사용 하기 쉽고 더 강력해 지 면 연구원은 데이터를 수집 하 고 분석 하 여 의사 결정 질문에 도움을 줄 수 있는 방법을 고려해 야 합니다.
지금까지 눈 추적 연구의 큰 거래는 설문 조사 또는 실험실 설정4에서 사진을 사용 했습니다. 이 방법론은 결과에 대 한 많은 재현성 및 제어를 허용 하지만, 비디오 및 웨어 러 블 모바일 아이 트래커의 사용을 포함 하는 눈 추적 기술의 최신 발전을 활용할 수 없습니다. 또한, 우리는 걷고 휴식의 행동이 특히 길 찾기5와 같은 작업을 향해 배 향 할 때 반드시 역동적 이라고 주장 할 것 이다. 따라서 이러한 설정에 대 한 완전 한 과학적 이해가 실험실 외부에서 진행 되어야 합니다. 그러나, 순간, 실제 자연 환경에서 눈 추적 하는 것은 매우 어려운 과목 사이의 경험을 비교 합니다. 예를 들어, 한 응답자 들이 나무를 다른 것 보다 더 많이 바라보 고 있는지 비교 하기 원한다 면, 우리는 그들의 관점 들이 다른 사람들에 비해 끊임없이 변화 하거나 머리가 바뀔 수도 있다는 사실을 어떻게 통제할 수 있을까. 이 조건의 상세한 분석은 현재 분석 기술에 거의 불가능 합니다. 우리는 연구 중인 개인이 사용할 수 있는 보기 영역을 제어 하는 것이 중요 하다 고 분석에서 어느 시점에서 볼 되 고 총 장면을 고려 할 수 있을 것 이라고 주장 한다.
스트레스 수준과 풍경에 대 한 안전의 인식과 스트레스6,7의 잘 진화 된 측정을 연결 하는 이론의 집합이 있습니다. 시선8을 측정 하는 눈 추적 장비의 정교함도 급격히 증가 했습니다. 무의식적인 안구 운동은 더 확실 하 게 선호도에 연결 될 수 있기 때문에 눈 추적 중요 하다, 스트레스 및 다른 전통적인 측정 보다 설문 조사 및 관입, 타 액 코 티 솔 수준 등의 생리 테스트. 이 연구의 목적은 더 자연 스러운 설정에 적용 되는 눈 추적 데이터의 더 정확한 측정을 가능 하 게 하는 도구를 개발 하는 것입니다,에 대 한 추가 증거를 제공 하거나 공원 디자인에 대 한 정보를 오랫동안 풍경 이론을 반박 십 년간.
이 프로젝트의 목적은 파크 워크 시뮬레이션의 다양 한 비디오에 대 한 관련 눈 추적 데이터를 생성 할 수 있는 새로운 분석 기술을 개발 하 고 테스트 하는 것입니다. 여기에서 보고 된 우리의 작업9 는 완전히 모바일 아이 트래킹 시스템과 위에서 언급 한 실험실 기반 사진 연구의 자연주의 적 설정 사이의 반 방향 지점을 나타냅니다. 특히, 우리는이 재료가 멜 번의 도시에서 다른 공원이 생성 하는 매혹의 양을 테스트 하는 데 사용 될 수 있는 방법을 탐구, 자극 재료로 비디오를 사용 하는 것에 집중 한다. 우리의 작업은 비디오의 상세한 분석이 스트레스에서 복원을 제공 하는 공원의 잠재력에 대 한 풀러, 더 자연주의 적 평가를 착수 하기 전에 위반 하는 데 필요한 단계 라는 가정을 기반으로 합니다.
이 연구에서, 우리는 도시 공원을 통해 산책의 동영상과 바탕 화면 눈 추적기를 사용 하 고 그들이 공원을 통해 편안한 산책을 하 고 있다고 상상 하는 참가자를 물었다. 우리는 참가자 들이 서로 다른 개체를 보는 데 소요 되는 시간을 공원 간에 비교할 수 있는 방법을 설명 합니다. 데스크톱 연구는 일반적으로 모바일 ET 연구와 비교 하 여 제어 하 고 각 주제의 비교 분석을 허용 하는 것이 더 쉽습니다.
표준 눈 추적 소프트웨어는 사용자가 수동으로 각 장면에서 관심 있는 개체 주변에 경계를 그릴 수 있는 수동 관심 영역 도구를 사용 합니다. 이를 통해 참여자 들이 서로 다른 객체를 찾는 데 소요 되는 시간이 자동으로 계산 됩니다. 비디오 데이터의 경우이 프로세스는 노동 집약적 이며 운영자 주관 및 오류에 따라 달라질 수 있습니다. 이후 버전의 아이 트래킹 분석 소프트웨어에서 AOIs는 비디오의 크기가 같을 때 프레임 간에 오브젝트를 자동으로 추적할 수 있습니다. 이것은 개선, 그러나, 이것은 단지 각 이미지에 적은 수의 자극에 사용 하기 위한 것 이며 각 이미지를 확인 하 고 확인 해야 합니다.
이미지에서 개체의 수동 라벨링은 일반적 이며 GNU 이미지 조작 프로그램 (김프)과 같은 이미지 편집 소프트웨어에 의해 지원 됩니다. 1 s는 30 프레임이 나 이미지를 생성 하는 것을 감안할 때, 비디오의 수동 라벨링은 비현실적 이다. 또한, AOI는 나무 캐노피와 같은 복잡 한 물체의 가장자리를 중심으로 벡터 폴리곤을 그려 내는 데 매우 많은 시간이 소요 된다. 마지막으로, 벡터 라벨링을 사용 하 여 시야에 있는 객체의 크기를 계산할 수 있지만이 기능은 현재 사용할 수 없습니다.
아래에서 보고 하는 방법은 이러한 제한 사항을 다룹니다. 이 연구는 개체의 자동 라벨링을 채택 했다. 이는 비디오의 모든 프레임에 있는 모든 픽셀이 객체 클래스를 나타내는 레이블이 지정 되는 시맨틱 라벨링 이라는 이미지 처리 기술을 사용 하 여 가능 합니다. 머신 러닝은 관심 있는 각 객체 클래스에 대 한 픽셀 분류자를 도출 하는 데 사용 됩니다. 이러한 분류자는 각 픽셀 (단항 전위 라고 함)에 대 한 확률적 레이블을 제공 하며, 최종 레이블이 지정 된 출력을 얻기 위해 후속 최적화 프로세스에서 구체화 됩니다. 이러한 분류자는 텍스처, 가장자리 방향 히스토그램, RGB 색상 값 및 정규화 된 이미지 좌표를 포함 하 여 이미지에서 추출한 피쳐 공간에서 각 오브젝트 클래스 간의 통계적 결정 경계를 학습 합니다. 이에 대 한 적절 한 기술은 다윈 기계 학습 도구 상자에서 구현10 그리고 아래에 설명 되어 있습니다.
Protocol
Representative Results
Discussion
일반적으로 눈 추적 데이터를 분석 하기 위한 표준 소프트웨어 패키지에서는 벡터 AOI가 사용 됩니다. 단일 스틸 이미지의 경우에도 벡터의 크기를 쉽게 측정할 수 없습니다. 더욱이, 모든 AOIs를 이미지에 포함 하 고 AOIs의 상대적인 금액을 계산 하는 것은 힘든 일 이다. 설명 된 것과 같은 기계 학습 기술을 사용 하지 않고 비디오에서 수동으로이 작업을 수행 하는 것은 거의 불가능 합니다. 이것은 …
Disclosures
The authors have nothing to disclose.
Acknowledgements
이 작품은 재정적으로 멜버른의 도시와 아크 DP 150103135에 의해 부분적으로 지원 했다. 우리는 그의 조언과 공동 접근법에 대 한 Eamonn 페 네 시에 게 감사 하 고 싶습니다. 또한이 데이터를 수집 하 고 분석 하는 데 도움을 준 연구원 조 수 이자벨 Janecki와이 단 첸에 게 특별 한 감사와 함께. 모든 오류는 저자에 남아 있습니다.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
