La perception de la profondeur humaine des vidéos stéréo 3D dépend de la séparation de la caméra, du point de convergence, de la distance et de la familiarité de l’objet. Cet article présente une méthode robotisée pour la collecte rapide et fiable de données de test lors d’une chirurgie à cœur ouvert en direct afin de déterminer la configuration idéale de la caméra.
La vidéo 3D stéréo des interventions chirurgicales peut être très utile pour l’éducation médicale et améliorer la communication clinique. Mais l’accès à la salle d’opération et au champ chirurgical est restreint. C’est un environnement stérile et l’espace physique est encombré de personnel chirurgical et d’équipement technique. Dans ce contexte, la capture non masquée et la reproduction réaliste des procédures chirurgicales sont difficiles. Cet article présente une méthode de collecte rapide et fiable de données de vidéos 3D stéréoscopiques à différentes distances de base de la caméra et distances de convergence. Pour collecter des données de test avec un minimum d’interférences pendant la chirurgie, avec une précision et une répétabilité élevées, les caméras ont été fixées à chaque main d’un robot à deux bras. Le robot était monté au plafond dans la salle d’opération. Il a été programmé pour effectuer une séquence chronométrée de mouvements de caméra synchronisés traversant une gamme de positions de test avec une distance de base comprise entre 50 et 240 mm à des pas incrémentiels de 10 mm et à deux distances de convergence de 1100 mm et 1400 mm. La chirurgie a été suspendue pour permettre 40 échantillons vidéo consécutifs de 5 secondes. Au total, 10 scénarios chirurgicaux ont été enregistrés.
En chirurgie, la visualisation 3D peut être utilisée pour l’éducation, les diagnostics, la planification préopératoire et l’évaluation postopératoire1,2. Une perception réaliste de la profondeur peut améliorer la compréhension3,4,5,6 des anatomies normales et anormales. De simples enregistrements vidéo 2D d’interventions chirurgicales sont un bon début. Cependant, le manque de perception de la profondeur peut rendre difficile pour les collègues non chirurgicaux de comprendre pleinement les relations antéro-postérieures entre différentes structures anatomiques et donc également introduire un risque de mauvaise interprétation de l’anatomie7,8,9,10.
L’expérience de visualisation 3D est affectée par cinq facteurs : (1) La configuration de la caméra peut être parallèle ou intégrée, comme illustré à la Figure 1, (2) Distance de référence (la séparation entre les caméras). (3) Distance à l’objet d’intérêt et autres caractéristiques de la scène telles que l’arrière-plan. (4) Caractéristiques des dispositifs de visualisation telles que la taille de l’écran et la position de visualisation1,11,12,13. (5) Préférences individuelles des téléspectateurs14,15.
La conception d’une configuration de caméra 3D commence par la capture de vidéos de test enregistrées à différentes distances et configurations de base de la caméra à utiliser pour une évaluation subjective ou automatique16,17,18,19,20. La distance de la caméra doit être constante par rapport au champ chirurgical pour capturer des images nettes. La mise au point fixe est préférable car l’autofocus s’ajustera pour faire la mise au point sur les mains, les instruments ou les têtes qui peuvent apparaître. Cependant, cela n’est pas facilement réalisable lorsque la scène d’intérêt est le domaine chirurgical. Les salles d’opération sont des zones d’accès restreint parce que ces installations doivent être maintenues propres et stériles. L’équipement technique, les chirurgiens et les infirmières de gommage sont souvent regroupés étroitement autour du patient pour assurer une bonne vue d’ensemble visuelle et un flux de travail efficace. Pour comparer et évaluer l’effet des positions de caméra sur l’expérience de visualisation 3D, une plage de test complète de positions de caméra doit enregistrer la même scène, car les caractéristiques de l’objet telles que la forme, la taille et la couleur peuvent affecter l’expérience de visualisation 3D21.
Pour la même raison, des plages de test complètes de positions de caméra doivent être répétées sur différentes procédures chirurgicales. Toute la séquence de positions doit être répétée avec une grande précision. Dans un contexte chirurgical, les méthodes existantes qui nécessitent un ajustement manuel de la distance de base22 ou différentes paires de caméras avec des distances de base fixes23 ne sont pas réalisables en raison de contraintes d’espace et de temps. Pour relever ce défi, cette solution robotisée a été conçue.
Les données ont été collectées à l’aide d’un robot industriel collaboratif à deux bras monté au plafond de la salle d’opération. Les caméras étaient fixées aux poignets du robot et se déplaçaient le long d’une trajectoire en forme d’arc avec une distance de base croissante, comme le montre la figure 2.
Pour démontrer l’approche, 10 séries de tests ont été enregistrées chez 4 patients différents présentant 4 malformations cardiaques congénitales différentes. Les scènes ont été choisies lorsqu’une pause dans la chirurgie était possible: avec les cœurs battants juste avant et après la réparation chirurgicale. Des séries ont également été faites lorsque les cœurs ont été arrêtés. Les chirurgies ont été suspendues pendant 3 min et 20 s pour collecter quarante séquences de 5 avec différentes distances de convergence de la caméra et distances de base pour capturer la scène. Les vidéos ont ensuite été post-traitées, affichées en 3D pour l’équipe clinique, qui a évalué le réalisme de la vidéo 3D sur une échelle de 0 à 5.
Le point de convergence des caméras stéréo à bout d’orteil est l’endroit où les points centraux des deux images se rencontrent. Le point de convergence peut, par principe, être placé soit devant, à l’intérieur ou derrière l’objet, voir Figure 1A-C. Lorsque le point de convergence est devant l’objet, l’objet est capturé et affiché à gauche de la ligne médiane pour l’image de la caméra gauche et à droite de la ligne médiane pour l’image droite de la caméra (Figure 1A). L’inverse s’applique lorsque le point de convergence se trouve derrière l’objet (Figure 1B). Lorsque le point de convergence est sur l’objet, l’objet apparaîtra également dans la ligne médiane des images de la caméra (Figure 1C), ce qui devrait probablement donner la visualisation la plus confortable puisqu’aucun plissement des yeux n’est nécessaire pour fusionner les images. Pour obtenir une vidéo 3D stéréo confortable, le point de convergence doit être situé sur, ou légèrement derrière, l’objet d’intérêt, sinon le spectateur est tenu de plisser volontairement les yeux vers l’extérieur (exotropie).
Les données ont été recueillies à l’aide d’un robot industriel collaboratif à deux bras pour positionner les caméras (Figure 2A-B). Le robot pèse 38 kg sans équipement. Le robot est intrinsèquement sûr; lorsqu’il détecte un impact inattendu, il cesse de bouger. Le robot a été programmé pour positionner les caméras de 5 mégapixels avec des objectifs à monture C le long d’une trajectoire en forme d’arc s’arrêtant à des distances de base prédéterminées (Figure 2C). Les caméras ont été fixées aux mains du robot à l’aide de plaques d’adaptateur, comme le montre la figure 3. Chaque caméra a enregistré à 25 images par seconde. Les lentilles ont été réglées à f-stop 1/8 avec la mise au point fixée sur l’objet d’intérêt (centre géométrique approximatif du cœur). Chaque image avait un horodatage qui était utilisé pour synchroniser les deux flux vidéo.
Les décalages entre le poignet du robot et la caméra ont été calibrés. Cela peut être réalisé en alignant le réticule des images de la caméra, comme le montre la figure 4. Dans cette configuration, le décalage de translation total entre le point de montage sur le poignet du robot et le centre du capteur d’image de la caméra était de 55,3 mm dans la direction X et de 21,2 mm dans la direction Z, illustrée à la figure 5. Les décalages de rotation ont été étalonnés à une distance de convergence de 1100 mm et une distance de base de 50 mm et ajustés manuellement avec le joystick sur le panneau de commande du robot. Le robot de cette étude avait une précision spécifiée de 0,02 mm dans l’espace cartésien et une résolution de rotation de 0,01 degré24. Dans un rayon de 1100 m, une différence d’angle de 0,01 degré décale le point central de 0,2 mm. Pendant le mouvement complet du robot à partir d’une séparation de 50 à 240 mm, le réticule de chaque caméra se trouvait à moins de 2 mm du centre de convergence idéal.
La distance de base a été augmentée progressivement par séparation symétrique des caméras autour du centre du champ de vision par incréments de 10 mm allant de 50 à 240 mm (Figure 2). Les caméras ont été maintenues à l’arrêt pendant 5 s dans chaque position et déplacées entre les positions à une vitesse de 50 mm/s. Le point de convergence peut être ajusté dans les directions X et Z à l’aide d’une interface utilisateur graphique (Figure 6). Le robot a suivi en conséquence dans sa plage de travail.
La précision du point de convergence a été estimée à l’aide des triangles uniformes et des noms de variables des figures 7A et B. La hauteur ‘z’ a été calculée à partir de la distance de convergence ‘R’ avec le théorème de Pythagore comme
Lorsque le point de convergence réel était plus proche que le point souhaité, comme le montre la figure 7A, la distance d’erreur ‘f1‘ a été calculée comme suit :
De même, lorsque le point de convergence était distal au point souhaité, la distance d’erreur ‘f2‘ était calculée comme suit :
Ici, « e » était la séparation maximale entre les réticules, au plus 2 mm à la séparation de base maximale pendant l’étalonnage (D = 240 mm). Pour R = 1100 mm (z = 1093 mm), l’erreur était inférieure à ± 9,2 mm. Pour R = 1400 mm (z = 1395 mm), l’erreur était ± 11,7 mm. C’est-à-dire que l’erreur de placement du point de convergence était à moins de 1% du souhaité. Les deux distances d’essai de 1100 mm et 1400 mm étaient donc bien séparées.
Pendant la chirurgie en direct, la durée totale de l’expérience utilisée pour la collecte de données vidéo 3D était limitée pour être sans danger pour le patient. Si l’objet n’est pas focalisé ou surexposé, les données ne peuvent pas être utilisées. Les étapes critiques sont lors de l’étalonnage et de la configuration de l’outil de caméra (étape 2). L’ouverture et la mise au point de la caméra ne peuvent pas être modifiées lorsque la chirurgie a commencé; les mêmes conditions d’éclair…
The authors have nothing to disclose.
La recherche a été réalisée avec le financement de Vinnova (2017-03728, 2018-05302 et 2018-03651), heart-lung Foundation (20180390), Family Kamprad Foundation (20190194) et Anna-Lisa and Sven Eric Lundgren Foundation (2017 et 2018).
2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
8 M5 x 40 screws | To mount the robot | ||
8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
Flexpendant | ABB | 3HAC028357-001 | robot touch display |
Liveview | recording application | ||
RobotStudio | robot integrated development environment (IDE) | ||
USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
YuMi dual-arm robot | ABB | IRB14000 |