اختبار روبوتي لمواقع الكاميرا لتحديد التكوين المثالي لتصور ستيريو 3D لجراحة القلب المفتوح
Summary
يعتمد إدراك العمق البشري لمقاطع فيديو ستيريو 3D على فصل الكاميرا ونقطة التقارب والمسافة إلى الكائن ومعرفته. تقدم هذه الورقة طريقة روبوتية لجمع بيانات الاختبار السريع والموثوق به أثناء جراحة القلب المفتوح الحية لتحديد التكوين المثالي للكاميرا.
Abstract
يمكن أن يكون فيديو ستيريو 3D من العمليات الجراحية ذا قيمة عالية للتعليم الطبي وتحسين التواصل السريري. لكن الوصول إلى غرفة العمليات والمجال الجراحي مقيد. إنها بيئة معقمة ، والمساحة المادية مزدحمة بالموظفين الجراحيين والمعدات التقنية. في هذا السياق ، من الصعب التقاط الإجراءات الجراحية دون حجبها واستنساخها واقعيا. تقدم هذه الورقة طريقة لجمع البيانات بسرعة وموثوقية لمقاطع الفيديو المجسمة 3D على مسافات خط أساس الكاميرا المختلفة ومسافات التقارب. لجمع بيانات الاختبار بأقل قدر من التداخل أثناء الجراحة ، بدقة عالية وقابلية للتكرار ، تم توصيل الكاميرات بكل يد من الروبوت ثنائي الذراع. كان الروبوت مثبتا في السقف في غرفة العمليات. تمت برمجته لأداء تسلسل زمني لحركات الكاميرا المتزامنة التي تخطو عبر مجموعة من مواضع الاختبار مع مسافة خط الأساس بين 50-240 مم عند خطوات تدريجية تبلغ 10 مم ، وعلى مسافة تقارب 1100 مم و 1400 مم. تم إيقاف الجراحة مؤقتا للسماح ب 40 عينة فيديو متتالية من 5 ثوان. تم تسجيل ما مجموعه 10 سيناريوهات جراحية.
Introduction
في الجراحة ، يمكن استخدام التصور ثلاثي الأبعاد للتعليم والتشخيص والتخطيط قبل الجراحة وتقييم ما بعد الجراحة1,2. يمكن أن يحسن إدراك العمق الواقعي فهم3،4،5،6 من التشريح الطبيعي وغير الطبيعي. تسجيلات الفيديو 2D بسيطة من العمليات الجراحية هي بداية جيدة. ومع ذلك ، فإن عدم وجود إدراك للعمق يمكن أن يجعل من الصعب على الزملاء غير الجراحيين أن يفهموا تماما العلاقات الأمامية الخلفية بين الهياكل التشريحية المختلفة ، وبالتالي يقدمون أيضا خطر سوء تفسير التشريح7،8،9،10.
تتأثر تجربة المشاهدة ثلاثية الأبعاد بخمسة عوامل: (1) يمكن أن يكون تكوين الكاميرا إما متوازيا أو ملتصقا كما هو موضح في الشكل 1 ، (2) المسافة الأساسية (الفصل بين الكاميرات). (3) المسافة إلى موضوع الاهتمام وخصائص المشهد الأخرى مثل الخلفية. (4) خصائص أجهزة العرض مثل حجم الشاشة وموضع العرض1،11،12،13. (5) التفضيلات الفردية للمشاهدين14،15.
يبدأ تصميم إعداد كاميرا ثلاثية الأبعاد بالتقاط مقاطع فيديو تجريبية مسجلة على مسافات وتكوينات أساسية مختلفة للكاميرا لاستخدامها في التقييم الذاتي أو التلقائي16،17،18،19،20. يجب أن تكون مسافة الكاميرا ثابتة إلى المجال الجراحي لالتقاط صور حادة. يفضل التركيز البؤري الثابت لأن التركيز البؤري التلقائي سيتكيف للتركيز على اليدين أو الأدوات أو الرؤوس التي قد تظهر للعيان. ومع ذلك ، لا يمكن تحقيق ذلك بسهولة عندما يكون المشهد المثير للاهتمام هو المجال الجراحي. غرف العمليات هي مناطق مقيدة الوصول لأن هذه المرافق يجب أن تبقى نظيفة ومعقمة. غالبا ما يتم تجميع المعدات التقنية والجراحين وممرضات الفرك بشكل وثيق حول المريض لتأمين نظرة عامة بصرية جيدة وسير عمل فعال. لمقارنة وتقييم تأثير مواضع الكاميرا على تجربة المشاهدة ثلاثية الأبعاد، يجب أن يكون نطاق اختبار كامل لمواضع الكاميرا هو تسجيل نفس المشهد لأن خصائص الكائن مثل الشكل والحجم واللون يمكن أن تؤثر على تجربة المشاهدة ثلاثية الأبعاد21.
للسبب نفسه ، يجب تكرار نطاقات الاختبار الكاملة لمواضع الكاميرا في العمليات الجراحية المختلفة. يجب تكرار التسلسل الكامل للمواقف بدقة عالية. في الإعداد الجراحي، الطرق الحالية التي تتطلب إما تعديلا يدويا لمسافة خط الأساس22 أو أزواج كاميرات مختلفة ذات مسافات خط أساس ثابتة23 غير مجدية بسبب قيود المكان والزمان على حد سواء. لمواجهة هذا التحدي ، تم تصميم هذا الحل الآلي.
تم جمع البيانات باستخدام روبوت صناعي تعاوني ثنائي الذراع مثبت في السقف في غرفة العمليات. تم توصيل الكاميرات بمعصمي الروبوت وتحركت على طول مسار على شكل قوس مع زيادة مسافة خط الأساس ، كما هو موضح في الشكل 2.
لإثبات هذا النهج ، تم تسجيل 10 سلسلة اختبارات من 4 مرضى مختلفين يعانون من 4 عيوب خلقية مختلفة في القلب. تم اختيار المشاهد عندما كان التوقف مؤقتا في الجراحة ممكنا: مع القلوب النابضة قبل وبعد الإصلاح الجراحي مباشرة. كما تم إنتاج المسلسلات عندما تم القبض على القلوب. تم إيقاف العمليات الجراحية مؤقتا لمدة 3 دقائق و 20 ثانية لجمع أربعين سلسلة من 5 تسلسلات مع مسافات تقارب الكاميرا المختلفة ومسافات خط الأساس لالتقاط المشهد. تمت معالجة مقاطع الفيديو لاحقا بعد معالجتها ، وتم عرضها في 3D للفريق السريري ، الذي قيم مدى واقعية الفيديو ثلاثي الأبعاد على طول مقياس من 0-5.
نقطة التقاء كاميرات الاستريو ذات الأصابع هي المكان الذي تلتقي فيه النقاط المركزية لكلتا الصورتين. يمكن وضع نقطة التقارب ، من حيث المبدأ ، إما أمام الجسم أو داخله أو خلفه ، انظر الشكل 1A-C. عندما تكون نقطة التقارب أمام الكائن، سيتم التقاط الكائن وعرضه على يسار خط الوسط لصورة الكاميرا اليسرى ويمين خط الوسط لصورة الكاميرا اليمنى (الشكل 1A). وينطبق العكس عندما تكون نقطة التقارب خلف الكائن (الشكل 1B). عندما تكون نقطة التقارب على الكائن ، سيظهر الكائن أيضا في خط الوسط لصور الكاميرا (الشكل 1C) ، والذي يفترض أن ينتج عنه العرض الأكثر راحة نظرا لعدم الحاجة إلى التحديق لدمج الصور. لتحقيق فيديو ستيريو 3D مريح ، يجب أن تكون نقطة التقارب موجودة على ، أو خلف قليلا ، موضوع الاهتمام ، وإلا يطلب من المشاهد الحول طواعية إلى الخارج (exotropia).
تم جمع البيانات باستخدام روبوت صناعي تعاوني ثنائي الذراع لوضع الكاميرات (الشكل 2A-B). يزن الروبوت 38 كجم بدون معدات. الروبوت آمن في جوهره. عندما يكتشف تأثيرا غير متوقع ، فإنه يتوقف عن الحركة. تمت برمجة الروبوت لوضع الكاميرات بدقة 5 ميجابكسل مع عدسات C-mount على طول مسار على شكل قوس يتوقف عند مسافات خط الأساس المحددة مسبقا (الشكل 2C). تم توصيل الكاميرات بأيدي الروبوت باستخدام لوحات محول ، كما هو موضح في الشكل 3. تم تسجيل كل كاميرا بمعدل 25 إطارا في الثانية. تم ضبط العدسات على f-stop 1/8 مع التركيز الثابت على الكائن محل الاهتمام (المركز الهندسي التقريبي للقلب). يحتوي كل إطار صورة على طابع زمني تم استخدامه لمزامنة دفقي الفيديو.
تمت معايرة الإزاحات بين معصم الروبوت والكاميرا. يمكن تحقيق ذلك عن طريق محاذاة الشعيرات المتقاطعة لصور الكاميرا ، كما هو موضح في الشكل 4. في هذا الإعداد، كان إجمالي الإزاحة الانتقالية من نقطة التركيب على معصم الروبوت ومركز مستشعر صورة الكاميرا 55.3 مم في الاتجاه X و 21.2 مم في الاتجاه Z، المعروض في الشكل 5. تمت معايرة الإزاحات الدورانية على مسافة تقارب 1100 مم ومسافة خط أساس 50 مم وتم تعديلها يدويا باستخدام عصا التحكم الموجودة على لوحة تحكم الروبوت. كان للروبوت في هذه الدراسة دقة محددة تبلغ 0.02 مم في الفضاء الديكارتي ودقة دورانية تبلغ 0.01 درجة24. عند نصف قطر 1100 م ، يعوض فرق الزاوية البالغ 0.01 درجة نقطة المركز 0.2 مم. أثناء الحركة الكاملة للروبوت من فصل 50-240 مم ، كان التقاطع لكل كاميرا على بعد 2 مم من مركز التقارب المثالي.
وزادت المسافة الأساسية تدريجيا عن طريق الفصل المتماثل للكاميرات حول مركز مجال الرؤية بزيادات قدرها 10 ملم تتراوح بين 50-240 ملم (الشكل 2). تم الاحتفاظ بالكاميرات في حالة توقف تام لمدة 5 ثوان في كل موضع وتحركت بين المواضع بسرعة 50 مم / ثانية. ويمكن ضبط نقطة التقارب في الاتجاهين X وZ باستخدام واجهة مستخدم رسومية (الشكل 6). اتبع الروبوت وفقا لذلك ضمن نطاق عمله.
وقدرت دقة نقطة التقارب باستخدام المثلثات الموحدة وأسماء المتغيرات الواردة في الشكلين 7 ألف وباء. تم حساب الارتفاع “z” من مسافة التقارب “R” مع نظرية فيثاغورس على النحو التالي:
عندما تكون نقطة التقارب الحقيقية أقرب من النقطة المطلوبة، كما هو موضح في الشكل 7A، يتم حساب مسافة الخطأ “f1“ على النحو التالي:
وبالمثل ، عندما كانت نقطة التقارب بعيدة عن النقطة المطلوبة ، تم حساب مسافة الخطأ “f2“ على النحو التالي:
هنا ، كان “e” هو الحد الأقصى للفصل بين الشعيرات المتقاطعة ، على الأكثر 2 مم عند أقصى فصل خط الأساس أثناء المعايرة (D = 240 مم). بالنسبة إلى R = 1100 مم (z = 1093 مم)، كان الخطأ أقل من ± 9.2 مم. بالنسبة إلى R = 1400 مم (z = 1395 مم) ، كان الخطأ ± 11.7 مم. أي أن خطأ وضع نقطة التقارب كان في حدود 1٪ من المطلوب. وبالتالي تم فصل مسافتي الاختبار 1100 مم و 1400 مم بشكل جيد.
Protocol
Representative Results
Discussion
أثناء الجراحة الحية ، كان الوقت الإجمالي للتجربة المستخدمة لجمع بيانات الفيديو 3D محدودا ليكون آمنا للمريض. إذا كان الكائن غير مركز أو مفرط التعرض، فلا يمكن استخدام البيانات. تتمثل الخطوات الحاسمة أثناء معايرة أداة الكاميرا وإعدادها (الخطوة 2). لا يمكن تغيير فتحة الكاميرا والتركيز البؤري ع…
Divulgaciones
The authors have nothing to disclose.
Acknowledgements
تم إجراء البحث بتمويل من Vinnova (2017-03728 و 2018-05302 و 2018-03651) ومؤسسة القلب والرئة (20180390) ومؤسسة Family Kamprad Foundation (20190194) ومؤسسة Anna-Lisa و Sven Eric Lundgren Foundation (2017 و 2018).
Materials
| 2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
| 3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
| 3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
| 6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
| 8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
| 8 M5 x 40 screws | To mount the robot | ||
| 8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
| Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
| Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
| Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
| Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
| Flexpendant | ABB | 3HAC028357-001 | robot touch display |
| Liveview | recording application | ||
| RobotStudio | robot integrated development environment (IDE) | ||
| USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
| YuMi dual-arm robot | ABB | IRB14000 |
Referencias
- Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
- van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
- Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
- Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).
- Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
- Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
- Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
- Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
- Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
- Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don’t they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
- Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
- McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
- Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
- Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
- Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
- Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision – Capture, Transmission and Display of 3D Video. , 1-4 (2017).
- Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
- López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).
- Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
- Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
- Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
- Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: https://library.abb.com/en/results (2018)
- Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: https://library.abb.com/en/results (2019)
- . Github repository Available from: https://github.com/majstenmark/stereo2 (2021)
- Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: https://library.abb.com/en/results (2019)
- Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
- Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).
- Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
- Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision – Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).
