Açık Kalp Cerrahisinin Stereo 3D Görselleştirilmesi için İdeal Yapılandırmayı Belirlemek için Kamera Konumlarının Robotlu Testi
Summary
3D stereo videoların insan derinliği algısı kamera ayrımına, yakınsama noktasına, nesneye olan uzaklığa ve aşinalığına bağlıdır. Bu makale, ideal kamera yapılandırmasını belirlemek için canlı açık kalp ameliyatı sırasında hızlı ve güvenilir test verisi toplama için robotlaştırılmış bir yöntem sönmektedir.
Abstract
Cerrahi prosedürlerden elde edilen Stereo 3D video, tıp eğitimi için son derece değerli olabilir ve klinik iletişimi geliştirebilir. Ama ameliyathaneye ve cerrahi alana girişler kısıtlı. Steril bir ortamdır ve fiziksel alan cerrahi personel ve teknik ekipmanlarla kalabalıktır. Bu ortamda, cerrahi işlemlerin engelsiz yakalanması ve gerçekçi bir şekilde çoğaltılması zordur. Bu makale, farklı kamera taban çizgisi mesafelerinde ve yakınsama mesafelerinde stereoskopik 3D videoların hızlı ve güvenilir veri toplaması için bir yöntem sunun. Ameliyat sırasında minimum parazitle, yüksek hassasiyet ve tekrarlanabilirlikle test verilerini toplamak için kameralar çift kollu bir robotun her eline tutturuldu. Robot ameliyathaneye tavana monte edilmiş. 10 mm artımlı adımlarda ve 1100 mm ve 1400 mm’lik iki yakınsama mesafesinde 50-240 mm arasında taban çizgisi mesafesine sahip bir dizi test pozisyonundan geçen zamanlanmış bir dizi senkronize kamera hareketi gerçekleştirmek için programlandı. Art arda 40 5’li video örneğine izin vermek için ameliyata ara verildi. Toplam 10 cerrahi senaryo kaydedildi.
Introduction
Cerrahide 3D görselleştirme eğitim, tanılar, ameliyat öncesi planlama ve ameliyat sonrası değerlendirme için kullanılabilir1,2. Gerçekçi derinlik algısı normal ve anormal anatomilerin 3,4,5,6’sının anlaşılmasına neden olabilir. Cerrahi işlemlerin basit 2D video kayıtları iyi bir başlangıçtır. Bununla birlikte, derinlik algısının olmaması, ameliyatsız meslektaşların farklı anatomik yapılar arasındaki antero-posterior ilişkileri tam olarak anlamalarını zorlayabilir ve bu nedenle anatominin yanlış yorumlanması riskini de doğurabilir7,8,9,10.
3D görüntüleme deneyimi beş faktörden etkilenir: (1) Kamera yapılandırması Şekil 1, (2) Taban çizgisi uzaklığında (kameralar arasındaki ayrım) gösterildiği gibi paralel veya toed-in olabilir. (3) İlgi çekici nesneye ve arka plan gibi diğer sahne özelliklerine uzaklık. (4) Ekran boyutu ve görüntüleme konumu gibi görüntüleme cihazlarının özellikleri1,11,12,13. (5) İzleyenlerin bireysel tercihleri14,15.
3D kamera kurulumu tasarlamak, çeşitli kamera taban çizgisi mesafelerinde kaydedilen test videolarının yakalanması ve öznel veya otomatik değerlendirme için kullanılacak yapılandırmalarla başlar16,17,18,19,20. Keskin görüntüler yakalamak için kamera mesafesi cerrahi alana sabit olmalıdır. Otomatik odaklama, görünüme gelebilecek ellere, aletlere veya kafalara odaklanacak şekilde ayarlanacağı için sabit odak tercih edilir. Ancak, ilgi alanı cerrahi alan olduğunda bu kolayca elde edilemez. Ameliyathaneler sınırlı erişim alanlarıdır, çünkü bu tesislerin temiz ve steril tutulması gerekir. Teknik ekipmanlar, cerrahlar ve ovma hemşireleri genellikle iyi bir görsel genel bakış ve verimli bir iş akışı sağlamak için hastanın etrafında yakından kümelenir. Kamera konumlarının 3D görüntüleme deneyimi üzerindeki etkisini karşılaştırmak ve değerlendirmek için, şekil, boyut ve renk gibi nesne özellikleri 3D görüntüleme deneyimini etkileyebileceğinden, kamera konumlarının tam bir test aralığı aynı sahneyi kaydediyor olmalıdır21.
Aynı nedenle, farklı cerrahi prosedürlerde kamera pozisyonlarının tam test aralıkları tekrarlanmalıdır. Tüm pozisyon sırası yüksek doğrulukla tekrarlanmalıdır. Cerrahi bir ortamda, taban çizgisi mesafesinin manuel olarak ayarlanması gereken mevcut yöntemler22 veya sabit taban çizgisi mesafelerine sahip farklı kamera çiftleri23 , hem alan hem de zaman kısıtlamaları nedeniyle mümkün değildir. Bu zorluğu gidermek için bu robotlaştırılmış çözüm tasarlandı.
Veriler, ameliyathanedeki tavana monte edilmiş çift kollu işbirlikçi endüstriyel robotla toplandı. Kameralar robotun bileklerine tutturuldu ve Şekil 2’de gösterildiği gibi taban çizgisi mesafesini artırarak yay şeklinde bir yörünge boyunca hareket etti.
Yaklaşımı göstermek için 4 farklı doğumsal kalp kusuru olan 4 farklı hastadan 10 test serisi kaydedildi. Ameliyatta duraklama mümkün olduğunda sahneler seçildi: cerrahi onarımdan hemen önce ve sonra atan kalplerle. Kalpler tutuklandığında diziler de yapıldı. Ameliyatlar, sahneyi yakalamak için farklı kamera yakınsama mesafeleri ve taban çizgisi mesafeleri ile kırk 5 sıra toplamak için 3 dakika 20 s duraklatıldı. Videolar daha sonra işlendi, klinik ekip için 3D olarak gösterildi, 3D videonun 0-5 arasında bir ölçek boyunca ne kadar gerçekçi olduğunu derecelendirdi.
Parmaklı stereo kameralar için yakınsama noktası, her iki görüntüdeki orta noktaların buluştuğu yerdir. Yakınsama noktası, prensip olarak nesnenin önüne, içine veya arkasına yerlenebilir, bkz. Yakınsama noktası nesnenin önünde olduğunda, nesne yakalanır ve sol kamera görüntüsü için orta çizginin solunda ve sağ kamera görüntüsü için orta çizginin sağında görüntülenir (Şekil 1A). Yakınsama noktası nesnenin arkasında olduğunda tam tersi geçerlidir (Şekil 1B). Yakınsama noktası nesne üzerinde olduğunda, nesne kamera görüntülerinin orta çizgisinde de görünür (Şekil 1C), görüntüleri birleştirmek için gözlerini kısmak gerekmediğinden muhtemelen en rahat görüntülemeyi sağlayacaktır. Rahat stereo 3D video elde etmek için, yakınsama noktasının ilgi çekici nesnenin üzerinde veya biraz arkasında bulunması gerekir, aksi takdirde izleyicinin gönüllü olarak dışa doğru gözlerini kısması gerekir (ekzotropi).
Veriler, kameraları konumlandırmak için çift kollu işbirlikçi bir endüstriyel robot kullanılarak toplanmıştı (Şekil 2A-B). Robot ekipmansız 38 kg ağırlığındadır. Robot özünde güvenlidir; beklenmedik bir etki algıladığında, hareket etmeyi durdurur. Robot, C-mount lensli 5 Megapiksel kameraları önceden belirlenmiş taban çizgisi mesafelerinde duran yay şeklindeki bir yörünge boyunca konumlandırmak için programlandı (Şekil 2C). Kameralar, Şekil 3’te gösterildiği gibi adaptör plakaları kullanılarak robot ellere tutturuldu. Her kamera saniyede 25 kare olarak kaydedildi. Lensler f-stop 1/8’de, odak noktası ilgi çekici nesneye (kalbin yaklaşık geometrik merkezi) sabitlenmiş olarak ayarlanmıştır. Her görüntü çerçevesinin iki video akışını senkronize etmek için kullanılan bir zaman damgası vardı.
Robot bileği ve kamera arasındaki ofsetler kalibre edildi. Bu, Şekil 4’te gösterildiği gibi kamera görüntülerinin artılarını hizalayarak elde edilebilir. Bu kurulumda, robot bileğindeki montaj noktasından ve kamera görüntü sensörünün merkezinden toplam çevirisel ofset, Şekil 5’te görüntülenen X yönünde 55,3 mm ve Z yönünde 21,2 mm idi. Dönme ofsetleri 1100 mm yakınsama mesafesinde ve 50 mm taban çizgisi mesafesinde kalibre edildi ve robot kontrol panelindeki joystick ile manuel olarak ayarlandı. Bu çalışmadaki robot, Kartezyen alanında 0,02 mm ve 0,01 derece dönme çözünürlüğü24 belirli bir hassasiyete sahipti. 1100 m yarıçapında, 0,01 derecelik bir açı farkı orta noktayı 0,2 mm dengeler. 50-240 mm’lik ayırmadan tam robot hareketi sırasında, her kamera için çapraz çizgi ideal yakınsama merkezinden 2 mm içindeydi.
Kameraların görüş alanının merkezi etrafında 50-240 mm arasında değişen 10 mm’lik artışlarla simetrik olarak ayrılmasıyla taban çizgisi mesafesi adım adım artırıldı (Şekil 2). Kameralar her pozisyonda 5 sn boyunca durma noktasında tutuldu ve 50 mm/s hızında pozisyonlar arasında hareket etti. Yakınsama noktası grafik kullanıcı arabirimi kullanılarak X ve Z yönleriyle ayarlanabilir (Şekil 6). Robot, çalışma aralığında buna göre takip etti.
Yakınsama noktasının doğruluğu, Şekil 7A ve B’deki tekdüze üçgenler ve değişken adları kullanılarak tahmin edildi. ‘z’ yüksekliği, Pisagor teoremi ile ‘R’ yakınsama mesafesinden hesaplanmıştır.
Şekil 7A’da gösterildiği gibi, gerçek yakınsama noktası istenen noktadan daha yakın olduğunda, ‘f1‘ hata mesafesi
Benzer şekilde, yakınsama noktası istenen noktaya kadar distal olduğunda, ‘f2‘ hata mesafesi
Burada ‘e’ , kalibrasyon sırasında maksimum taban çizgisi ayrımında en fazla 2 mm (D = 240 mm) artı işareti arasındaki maksimum ayrımdı. R = 1100 mm (z = 1093 mm) için hata ± 9,2 mm’den azdı. R = 1400 mm (z = 1395 mm) için hata 11,7 mm ±. Yani, yakınsama noktasının yerleştirilmesinin hatası istenenin% 1’i içindeydi. Bu nedenle 1100 mm ve 1400 mm’lik iki test mesafesi iyi ayrılmıştır.
Protocol
Representative Results
Discussion
Canlı cerrahi sırasında, 3D video veri toplama için kullanılan deneyin toplam süresi hasta için güvenli olacak şekilde sınırlandırıldı. Nesne odaklanmamış veya aşırı pozlanmışsa, veriler kullanılamaz. Kritik adımlar kamera aleti kalibrasyonu ve kurulumu sırasındadır (adım 2). Ameliyat başladığında kamera diyaframı ve netlem değiştirilemez; kurulum ve ameliyat sırasında da aynı aydınlatma koşulları ve mesafe kullanılmalıdır. Kalbin çekilen videoda ortalanabilmesini sağlamak iç…
Declarações
The authors have nothing to disclose.
Acknowledgements
Araştırma Vinnova (2017-03728, 2018-05302 ve 2018-03651), Kalp-Akciğer Vakfı (20180390), Family Kamprad Vakfı (20190194) ve Anna-Lisa ve Sven Eric Lundgren Vakfı (2017 ve 2018) tarafından finanse edilen fonlarla gerçekleştirildi.
Materials
| 2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
| 3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
| 3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
| 6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
| 8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
| 8 M5 x 40 screws | To mount the robot | ||
| 8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
| Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
| Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
| Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
| Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
| Flexpendant | ABB | 3HAC028357-001 | robot touch display |
| Liveview | recording application | ||
| RobotStudio | robot integrated development environment (IDE) | ||
| USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
| YuMi dual-arm robot | ABB | IRB14000 |
Referências
- Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
- van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
- Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
- Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).
- Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
- Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
- Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
- Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
- Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
- Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don’t they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
- Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
- McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
- Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
- Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
- Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
- Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision – Capture, Transmission and Display of 3D Video. , 1-4 (2017).
- Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
- López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).
- Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
- Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
- Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
- Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: https://library.abb.com/en/results (2018)
- Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: https://library.abb.com/en/results (2019)
- . Github repository Available from: https://github.com/majstenmark/stereo2 (2021)
- Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: https://library.abb.com/en/results (2019)
- Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
- Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).
- Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
- Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision – Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).
