Test robotisé des positions de caméra pour déterminer la configuration idéale pour la visualisation 3D stéréo de la chirurgie à cœur ouvert

Summary

La perception de la profondeur humaine des vidéos stéréo 3D dépend de la séparation de la caméra, du point de convergence, de la distance et de la familiarité de l’objet. Cet article présente une méthode robotisée pour la collecte rapide et fiable de données de test lors d’une chirurgie à cœur ouvert en direct afin de déterminer la configuration idéale de la caméra.

Abstract

La vidéo 3D stéréo des interventions chirurgicales peut être très utile pour l’éducation médicale et améliorer la communication clinique. Mais l’accès à la salle d’opération et au champ chirurgical est restreint. C’est un environnement stérile et l’espace physique est encombré de personnel chirurgical et d’équipement technique. Dans ce contexte, la capture non masquée et la reproduction réaliste des procédures chirurgicales sont difficiles. Cet article présente une méthode de collecte rapide et fiable de données de vidéos 3D stéréoscopiques à différentes distances de base de la caméra et distances de convergence. Pour collecter des données de test avec un minimum d’interférences pendant la chirurgie, avec une précision et une répétabilité élevées, les caméras ont été fixées à chaque main d’un robot à deux bras. Le robot était monté au plafond dans la salle d’opération. Il a été programmé pour effectuer une séquence chronométrée de mouvements de caméra synchronisés traversant une gamme de positions de test avec une distance de base comprise entre 50 et 240 mm à des pas incrémentiels de 10 mm et à deux distances de convergence de 1100 mm et 1400 mm. La chirurgie a été suspendue pour permettre 40 échantillons vidéo consécutifs de 5 secondes. Au total, 10 scénarios chirurgicaux ont été enregistrés.

Introduction

En chirurgie, la visualisation 3D peut être utilisée pour l’éducation, les diagnostics, la planification préopératoire et l’évaluation postopératoire1,2. Une perception réaliste de la profondeur peut améliorer la compréhension3,4,5,6 des anatomies normales et anormales. De simples enregistrements vidéo 2D d’interventions chirurgicales sont un bon début. Cependant, le manque de perception de la profondeur peut rendre difficile pour les collègues non chirurgicaux de comprendre pleinement les relations antéro-postérieures entre différentes structures anatomiques et donc également introduire un risque de mauvaise interprétation de l’anatomie7,8,9,10.

L’expérience de visualisation 3D est affectée par cinq facteurs : (1) La configuration de la caméra peut être parallèle ou intégrée, comme illustré à la Figure 1, (2) Distance de référence (la séparation entre les caméras). (3) Distance à l’objet d’intérêt et autres caractéristiques de la scène telles que l’arrière-plan. (4) Caractéristiques des dispositifs de visualisation telles que la taille de ^l’écran et la position de ^{visualisation1,11,12,13}. (5) Préférences individuelles des ^{téléspectateurs14,15}.

La conception d’une configuration de caméra 3D commence par la capture de vidéos de test enregistrées à différentes distances et configurations de base de la caméra à utiliser pour une évaluation subjective ou automatique16,17,18,19,20. La distance de la caméra doit être constante par rapport au champ chirurgical pour capturer des images nettes. La mise au point fixe est préférable car l’autofocus s’ajustera pour faire la mise au point sur les mains, les instruments ou les têtes qui peuvent apparaître. Cependant, cela n’est pas facilement réalisable lorsque la scène d’intérêt est le domaine chirurgical. Les salles d’opération sont des zones d’accès restreint parce que ces installations doivent être maintenues propres et stériles. L’équipement technique, les chirurgiens et les infirmières de gommage sont souvent regroupés étroitement autour du patient pour assurer une bonne vue d’ensemble visuelle et un flux de travail efficace. Pour comparer et évaluer l’effet des positions de caméra sur l’expérience de visualisation 3D, une plage de test complète de positions de caméra doit enregistrer la même scène, car les caractéristiques de l’objet telles que la forme, la taille et la couleur peuvent affecter l’expérience de visualisation ^3D21.

Pour la même raison, des plages de test complètes de positions de caméra doivent être répétées sur différentes procédures chirurgicales. Toute la séquence de positions doit être répétée avec une grande précision. Dans un contexte chirurgical, les méthodes existantes qui nécessitent un ajustement manuel de la distance de ^base22 ou différentes paires de caméras avec des distances de base ^fixes23 ne sont pas réalisables en raison de contraintes d’espace et de temps. Pour relever ce défi, cette solution robotisée a été conçue.

Les données ont été collectées à l’aide d’un robot industriel collaboratif à deux bras monté au plafond de la salle d’opération. Les caméras étaient fixées aux poignets du robot et se déplaçaient le long d’une trajectoire en forme d’arc avec une distance de base croissante, comme le montre la figure 2.

Pour démontrer l’approche, 10 séries de tests ont été enregistrées chez 4 patients différents présentant 4 malformations cardiaques congénitales différentes. Les scènes ont été choisies lorsqu’une pause dans la chirurgie était possible: avec les cœurs battants juste avant et après la réparation chirurgicale. Des séries ont également été faites lorsque les cœurs ont été arrêtés. Les chirurgies ont été suspendues pendant 3 min et 20 s pour collecter quarante séquences de 5 avec différentes distances de convergence de la caméra et distances de base pour capturer la scène. Les vidéos ont ensuite été post-traitées, affichées en 3D pour l’équipe clinique, qui a évalué le réalisme de la vidéo 3D sur une échelle de 0 à 5.

Le point de convergence des caméras stéréo à bout d’orteil est l’endroit où les points centraux des deux images se rencontrent. Le point de convergence peut, par principe, être placé soit devant, à l’intérieur ou derrière l’objet, voir Figure 1A-C. Lorsque le point de convergence est devant l’objet, l’objet est capturé et affiché à gauche de la ligne médiane pour l’image de la caméra gauche et à droite de la ligne médiane pour l’image droite de la caméra (Figure 1A). L’inverse s’applique lorsque le point de convergence se trouve derrière l’objet (Figure 1B). Lorsque le point de convergence est sur l’objet, l’objet apparaîtra également dans la ligne médiane des images de la caméra (Figure 1C), ce qui devrait probablement donner la visualisation la plus confortable puisqu’aucun plissement des yeux n’est nécessaire pour fusionner les images. Pour obtenir une vidéo 3D stéréo confortable, le point de convergence doit être situé sur, ou légèrement derrière, l’objet d’intérêt, sinon le spectateur est tenu de plisser volontairement les yeux vers l’extérieur (exotropie).

Les données ont été recueillies à l’aide d’un robot industriel collaboratif à deux bras pour positionner les caméras (Figure 2A-B). Le robot pèse 38 kg sans équipement. Le robot est intrinsèquement sûr; lorsqu’il détecte un impact inattendu, il cesse de bouger. Le robot a été programmé pour positionner les caméras de 5 mégapixels avec des objectifs à monture C le long d’une trajectoire en forme d’arc s’arrêtant à des distances de base prédéterminées (Figure 2C). Les caméras ont été fixées aux mains du robot à l’aide de plaques d’adaptateur, comme le montre la figure 3. Chaque caméra a enregistré à 25 images par seconde. Les lentilles ont été réglées à f-stop 1/8 avec la mise au point fixée sur l’objet d’intérêt (centre géométrique approximatif du cœur). Chaque image avait un horodatage qui était utilisé pour synchroniser les deux flux vidéo.

Les décalages entre le poignet du robot et la caméra ont été calibrés. Cela peut être réalisé en alignant le réticule des images de la caméra, comme le montre la figure 4. Dans cette configuration, le décalage de translation total entre le point de montage sur le poignet du robot et le centre du capteur d’image de la caméra était de 55,3 mm dans la direction X et de 21,2 mm dans la direction Z, illustrée à la figure 5. Les décalages de rotation ont été étalonnés à une distance de convergence de 1100 mm et une distance de base de 50 mm et ajustés manuellement avec le joystick sur le panneau de commande du robot. Le robot de cette étude avait une précision spécifiée de 0,02 mm dans l’espace cartésien et une résolution de rotation de 0,01 ^degré24. Dans un rayon de 1100 m, une différence d’angle de 0,01 degré décale le point central de 0,2 mm. Pendant le mouvement complet du robot à partir d’une séparation de 50 à 240 mm, le réticule de chaque caméra se trouvait à moins de 2 mm du centre de convergence idéal.

La distance de base a été augmentée progressivement par séparation symétrique des caméras autour du centre du champ de vision par incréments de 10 mm allant de 50 à 240 mm (Figure 2). Les caméras ont été maintenues à l’arrêt pendant 5 s dans chaque position et déplacées entre les positions à une vitesse de 50 mm/s. Le point de convergence peut être ajusté dans les directions X et Z à l’aide d’une interface utilisateur graphique (Figure 6). Le robot a suivi en conséquence dans sa plage de travail.

La précision du point de convergence a été estimée à l’aide des triangles uniformes et des noms de variables des figures 7A et B. La hauteur ‘z’ a été calculée à partir de la distance de convergence ‘R’ avec le théorème de Pythagore comme

Lorsque le point de convergence réel était plus proche que le point souhaité, comme le montre la figure 7A, la distance d’erreur ‘_f1‘ a été calculée comme suit :

De même, lorsque le point de convergence était distal au point souhaité, la distance d’erreur ‘_f2‘ était calculée comme suit :

Ici, « e » était la séparation maximale entre les réticules, au plus 2 mm à la séparation de base maximale pendant l’étalonnage (D = 240 mm). Pour R = 1100 mm (z = 1093 mm), l’erreur était inférieure à ± 9,2 mm. Pour R = 1400 mm (z = 1395 mm), l’erreur était ± 11,7 mm. C’est-à-dire que l’erreur de placement du point de convergence était à moins de 1% du souhaité. Les deux distances d’essai de 1100 mm et 1400 mm étaient donc bien séparées.

Protocol

Les expériences ont été approuvées par le comité d’éthique local de Lund, en Suède. La participation était volontaire et les tuteurs légaux des patients ont donné leur consentement écrit éclairé. 1. Installation et configuration du robot REMARQUE: Cette expérience a utilisé un robot industriel collaboratif à deux bras et le panneau de commande standard avec un écran tactile. Le robot est contrôlé avec le logiciel de contrôleur RobotWare 6.10.01 e…

Representative Results

Une vidéo d’évaluation acceptable avec la bonne image placée en haut en 3D stéréoscopique de haut en bas est montrée dans la vidéo1. Une séquence réussie doit être nette, focalisée et sans images non synchronisées. Les flux vidéo non synchronisés provoqueront un flou, comme indiqué dans le fichier Vidéo 2. Le point de convergence doit être centré horizontalement, indépendamment de la séparation de la caméra, comme le montre la figure 9A</strong…

Discussion

Pendant la chirurgie en direct, la durée totale de l’expérience utilisée pour la collecte de données vidéo 3D était limitée pour être sans danger pour le patient. Si l’objet n’est pas focalisé ou surexposé, les données ne peuvent pas être utilisées. Les étapes critiques sont lors de l’étalonnage et de la configuration de l’outil de caméra (étape 2). L’ouverture et la mise au point de la caméra ne peuvent pas être modifiées lorsque la chirurgie a commencé; les mêmes conditions d’éclair…

Materials

2 C-mount lenses (35 mm F2.1, 5 M pixel)	Tamron	M112FM35	Rated for 5 Mpixel
3D glasses (DLP-link active shutter)	Celexon	G1000	Any compatible 3D glasses can be used
3D Projector	Viewsonic	X10-4K	Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws			To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws			To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws			To mount the robot
8 M6 x 10 screws with flat heads			For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)			Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2			Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2			Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)	Ximea	MC050CG-SY-UB	With Sony IMX250LQR sensor
Flexpendant	ABB	3HAC028357-001	robot touch display
Liveview			recording application
RobotStudio			robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2			Thumbscrew lock connector, water proofed.
YuMi dual-arm robot	ABB	IRB14000