Роботизированное тестирование положения камеры для определения идеальной конфигурации для стерео 3D-визуализации операции на открытом сердце

Summary

Восприятие человеком глубины 3D-стерео видео зависит от разделения камеры, точки сходимости, расстояния до объекта и знакомства с ним. В этой статье представлен роботизированный метод быстрого и надежного сбора тестовых данных во время операции на открытом сердце в реальном времени для определения идеальной конфигурации камеры.

Abstract

Стерео 3D-видео с хирургических процедур может быть очень ценным для медицинского образования и улучшения клинической коммуникации. Но доступ в операционную и хирургическое поле ограничен. Это стерильная среда, а физическое пространство переполнено хирургическим персоналом и техническим оборудованием. В этой обстановке незатененный захват и реалистичное воспроизведение хирургических процедур затруднены. В данной работе представлен метод быстрого и надежного сбора данных стереоскопических 3D-видео на различных базовых расстояниях камеры и расстояниях конвергенции. Для сбора тестовых данных с минимальным вмешательством во время операции, с высокой точностью и повторяемостью, камеры были прикреплены к каждой руке двухрукого робота. Робот был установлен на потолке в операционной. Он был запрограммирован на выполнение синхронизированной последовательности синхронизированных движений камеры, проходящих через диапазон испытательных позиций с базовым расстоянием между 50-240 мм при шаге 10 мм и на двух расстояниях сходимости 1100 мм и 1400 мм. Операция была приостановлена, чтобы позволить 40 последовательных 5-х сэмплов видео. Всего было зафиксировано 10 хирургических сценариев.

Introduction

В хирургии 3D-визуализация может использоваться для обучения, диагностики, предоперационного планирования и послеоперационной ^{оценки1,2}. Реалистичное восприятие глубины может улучшить понимание3,4,5,6 нормальных и аномальных анатомий. Простые 2D-видеозаписи хирургических процедур являются хорошим началом. Тем не менее, отсутствие восприятия глубины может затруднить для нехирургических коллег полное понимание передне-задних отношений между различными анатомическими структурами и, следовательно, также создает риск неправильного толкования анатомии7,8,9,10.

На качество 3D-просмотра влияют пять факторов: (1) Конфигурация камеры может быть параллельной или наклонной, как показано на рисунке 1, (2) Базовое расстояние (расстояние между камерами). (3) Расстояние до интересующего объекта и другие характеристики сцены, такие как фон. (4) Характеристики устройств просмотра, такие как размер экрана и положение просмотра1,11,12,13. (5) Индивидуальные предпочтения ^{зрителей14,15}.

Проектирование настройки 3D-камеры начинается с захвата тестовых видео, записанных на различных базовых расстояниях и конфигурациях камеры, которые будут использоваться для субъективной или автоматической оценки16,17,18,19,20. Расстояние от камеры должно быть постоянным до хирургического поля, чтобы захватывать четкие изображения. Фиксированный фокус предпочтительнее, потому что автофокус будет настраиваться на фокусировку на руках, инструментах или головах, которые могут попасть в поле зрения. Однако это нелегко достичь, когда интересной сценой является хирургическая область. Операционные являются зонами с ограниченным доступом, потому что эти помещения должны содержаться в чистоте и стерильности. Техническое оборудование, хирурги и медсестры-скрабы часто группируются вокруг пациента, чтобы обеспечить хороший визуальный обзор и эффективный рабочий процесс. Чтобы сравнить и оценить влияние положений камеры на опыт 3D-просмотра, один полный тестовый диапазон положений камеры должен записывать одну и ту же сцену, поскольку характеристики объекта, такие как форма, размер и цвет, могут повлиять на опыт 3D-просмотра21.

По той же причине полные диапазоны тестов положения камеры должны быть повторены на разных хирургических процедурах. Вся последовательность позиций должна повторяться с высокой точностью. В хирургических условиях существующие методы, требующие либо ручной регулировки базового ^{расстояния22} , либо различных пар камер с фиксированными базовыми ^{расстояниями23} , невозможны из-за как пространственных, так и временных ограничений. Для решения этой проблемы было разработано это роботизированное решение.

Данные были собраны с помощью двухрукого коллаборативного промышленного робота, установленного в потолке в операционной. Камеры были прикреплены к запястьям робота и двигались по дугообразной траектории с увеличением базового расстояния, как показано на рисунке 2.

Чтобы продемонстрировать подход, было зарегистрировано 10 серий тестов у 4 разных пациентов с 4 различными врожденными пороками сердца. Сцены были выбраны, когда пауза в операции была возможна: с бьющимися сердцами непосредственно до и после хирургического ремонта. Сериалы также были сделаны, когда сердца были арестованы. Операции были приостановлены на 3 минуты и 20 с, чтобы собрать сорок 5-секундных последовательностей с различными расстояниями конвергенции камеры и базовыми расстояниями для захвата сцены. Позже видео были обработаны, показаны в 3D для клинической команды, которая оценила, насколько реалистичным было 3D-видео по шкале от 0 до 5.

Точка конвергенции для стереокамер с носком — это место, где встречаются центральные точки обоих изображений. Точка сходимости в принципе может быть размещена либо спереди, внутри или позади объекта, см. рисунок 1A-C. Когда точка сходимости находится перед объектом, объект будет захвачен и отображен слева от средней линии для изображения левой камеры и справа от средней линии для изображения правой камеры (рисунок 1A). Обратное применимо, когда точка сходимости находится позади объекта (рисунок 1B). Когда точка сходимости находится на объекте, объект также появится в средней линии изображений камеры (рисунок 1C), что, по-видимому, должно обеспечить наиболее комфортный просмотр, поскольку для слияния изображений не требуется прищуривание. Для достижения комфортного стерео 3D-видео точка конвергенции должна быть расположена на интересующем объекте или немного позади него, в противном случае зритель должен добровольно прищуриться наружу (экзотропия).

Данные были собраны с использованием двухрукого коллаборативного промышленного робота для позиционирования камер (рисунок 2A-B). Робот весит 38 кг без оборудования. Робот искробезопасен; когда он обнаруживает неожиданное воздействие, он перестает двигаться. Робот был запрограммирован на позиционирование 5-мегапиксельных камер с объективами c-mount вдоль дугообразной траектории, останавливаясь на заданных базовых расстояниях (рисунок 2C). Камеры были прикреплены к рукам робота с помощью пластин адаптера, как показано на рисунке 3. Каждая камера записывает со скоростью 25 кадров в секунду. Линзы устанавливались на диафрагме 1/8 с фокусом, зафиксированным на интересующем объекте (приближенный геометрический центр сердца). Каждый кадр изображения имел метку времени, которая использовалась для синхронизации двух видеопотоков.

Смещения между запястьем робота и камерой были откалиброваны. Это может быть достигнуто путем выравнивания перекрестия изображений камеры, как показано на рисунке 4. В этой установке общее трансляционное смещение от точки крепления на запястье робота и центра датчика изображения камеры составило 55,3 мм в направлении X и 21,2 мм в Z-направлении, показанное на рисунке 5. Вращательные смещения калибровались на расстоянии сходимости 1100 мм и базовом расстоянии 50 мм и регулировались вручную с помощью джойстика на панели управления робота. Робот в этом исследовании имел заданную точность 0,02 мм в декартовом пространстве и 0,01 градуса вращательного ^{разрешения24}. При радиусе 1100 м разность углов 0,01 градуса смещает центральную точку на 0,2 мм. Во время полного движения робота с расстояния 50-240 мм перекрестие для каждой камеры находилось в пределах 2 мм от идеального центра конвергенции.

Базовое расстояние увеличивалось поэтапно за счет симметричного разделения камер вокруг центра поля зрения с шагом 10 мм в пределах 50-240 мм (рисунок 2). Камеры держались в режиме ожидания в течение 5 с в каждом положении и перемещались между позициями со скоростью 50 мм/с. Точка сходимости может быть отрегулирована в направлениях X и Z с помощью графического интерфейса пользователя (рисунок 6). Робот следовал соответственно в пределах своего рабочего диапазона.

Точность точки сходимости оценивалась с использованием однородных треугольников и названий переменных на рисунках 7A и B. Высота ‘z’ была вычислена из расстояния сходимости ‘R’ с теоремой Пифагора как

Когда реальная точка сходимости была ближе желаемой точки, как показано на рисунке 7A, расстояние ошибки ‘_f1‘ вычислялось как

Аналогичным образом, когда точка сходимости была дистальна к желаемой точке, расстояние ошибки «_f2» вычислялось как

Здесь ‘e’ представляло собой максимальное расстояние между перекрестиями, не более 2 мм при максимальном базовом расстоянии во время калибровки (D = 240 мм). Для R = 1100 мм (z = 1093 мм) погрешность составляла менее ± 9,2 мм. Для R = 1400 мм (z = 1395 мм) погрешность составила ± 11,7 мм. То есть погрешность размещения точки сходимости оказалась в пределах 1% от желаемой. Таким образом, два испытательных расстояния в 1100 мм и 1400 мм были хорошо разделены.

Protocol

Эксперименты были одобрены местным Комитетом по этике в Лунде, Швеция. Участие было добровольным, и законные опекуны пациентов предоставили информированное письменное согласие. 1. Настройка и настройка робота ПРИМЕЧАНИЕ: В этом эксперименте использовался …

Representative Results

Приемлемое оценочное видео с правильным изображением, размещенным вверху в стереоскопическом 3D сверху вниз, показано в Video1. Успешная последовательность должна быть четкой, сфокусированной и без несинхронизированных кадров изображения. Несинхронизированные видеопотоки выз?…

Discussion

Во время живой хирургии общее время эксперимента, используемого для сбора 3D-видеоданных, было ограничено, чтобы быть безопасным для пациента. Если объект не сфокусирован или переэкспонирован, данные не могут быть использованы. Критические шаги выполняются во время калибровки и настро?…

Materials

2 C-mount lenses (35 mm F2.1, 5 M pixel)	Tamron	M112FM35	Rated for 5 Mpixel
3D glasses (DLP-link active shutter)	Celexon	G1000	Any compatible 3D glasses can be used
3D Projector	Viewsonic	X10-4K	Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws			To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws			To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws			To mount the robot
8 M6 x 10 screws with flat heads			For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)			Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2			Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2			Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)	Ximea	MC050CG-SY-UB	With Sony IMX250LQR sensor
Flexpendant	ABB	3HAC028357-001	robot touch display
Liveview			recording application
RobotStudio			robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2			Thumbscrew lock connector, water proofed.
YuMi dual-arm robot	ABB	IRB14000