3D stereo videoların insan derinliği algısı kamera ayrımına, yakınsama noktasına, nesneye olan uzaklığa ve aşinalığına bağlıdır. Bu makale, ideal kamera yapılandırmasını belirlemek için canlı açık kalp ameliyatı sırasında hızlı ve güvenilir test verisi toplama için robotlaştırılmış bir yöntem sönmektedir.
Cerrahi prosedürlerden elde edilen Stereo 3D video, tıp eğitimi için son derece değerli olabilir ve klinik iletişimi geliştirebilir. Ama ameliyathaneye ve cerrahi alana girişler kısıtlı. Steril bir ortamdır ve fiziksel alan cerrahi personel ve teknik ekipmanlarla kalabalıktır. Bu ortamda, cerrahi işlemlerin engelsiz yakalanması ve gerçekçi bir şekilde çoğaltılması zordur. Bu makale, farklı kamera taban çizgisi mesafelerinde ve yakınsama mesafelerinde stereoskopik 3D videoların hızlı ve güvenilir veri toplaması için bir yöntem sunun. Ameliyat sırasında minimum parazitle, yüksek hassasiyet ve tekrarlanabilirlikle test verilerini toplamak için kameralar çift kollu bir robotun her eline tutturuldu. Robot ameliyathaneye tavana monte edilmiş. 10 mm artımlı adımlarda ve 1100 mm ve 1400 mm’lik iki yakınsama mesafesinde 50-240 mm arasında taban çizgisi mesafesine sahip bir dizi test pozisyonundan geçen zamanlanmış bir dizi senkronize kamera hareketi gerçekleştirmek için programlandı. Art arda 40 5’li video örneğine izin vermek için ameliyata ara verildi. Toplam 10 cerrahi senaryo kaydedildi.
Cerrahide 3D görselleştirme eğitim, tanılar, ameliyat öncesi planlama ve ameliyat sonrası değerlendirme için kullanılabilir1,2. Gerçekçi derinlik algısı normal ve anormal anatomilerin 3,4,5,6’sının anlaşılmasına neden olabilir. Cerrahi işlemlerin basit 2D video kayıtları iyi bir başlangıçtır. Bununla birlikte, derinlik algısının olmaması, ameliyatsız meslektaşların farklı anatomik yapılar arasındaki antero-posterior ilişkileri tam olarak anlamalarını zorlayabilir ve bu nedenle anatominin yanlış yorumlanması riskini de doğurabilir7,8,9,10.
3D görüntüleme deneyimi beş faktörden etkilenir: (1) Kamera yapılandırması Şekil 1, (2) Taban çizgisi uzaklığında (kameralar arasındaki ayrım) gösterildiği gibi paralel veya toed-in olabilir. (3) İlgi çekici nesneye ve arka plan gibi diğer sahne özelliklerine uzaklık. (4) Ekran boyutu ve görüntüleme konumu gibi görüntüleme cihazlarının özellikleri1,11,12,13. (5) İzleyenlerin bireysel tercihleri14,15.
3D kamera kurulumu tasarlamak, çeşitli kamera taban çizgisi mesafelerinde kaydedilen test videolarının yakalanması ve öznel veya otomatik değerlendirme için kullanılacak yapılandırmalarla başlar16,17,18,19,20. Keskin görüntüler yakalamak için kamera mesafesi cerrahi alana sabit olmalıdır. Otomatik odaklama, görünüme gelebilecek ellere, aletlere veya kafalara odaklanacak şekilde ayarlanacağı için sabit odak tercih edilir. Ancak, ilgi alanı cerrahi alan olduğunda bu kolayca elde edilemez. Ameliyathaneler sınırlı erişim alanlarıdır, çünkü bu tesislerin temiz ve steril tutulması gerekir. Teknik ekipmanlar, cerrahlar ve ovma hemşireleri genellikle iyi bir görsel genel bakış ve verimli bir iş akışı sağlamak için hastanın etrafında yakından kümelenir. Kamera konumlarının 3D görüntüleme deneyimi üzerindeki etkisini karşılaştırmak ve değerlendirmek için, şekil, boyut ve renk gibi nesne özellikleri 3D görüntüleme deneyimini etkileyebileceğinden, kamera konumlarının tam bir test aralığı aynı sahneyi kaydediyor olmalıdır21.
Aynı nedenle, farklı cerrahi prosedürlerde kamera pozisyonlarının tam test aralıkları tekrarlanmalıdır. Tüm pozisyon sırası yüksek doğrulukla tekrarlanmalıdır. Cerrahi bir ortamda, taban çizgisi mesafesinin manuel olarak ayarlanması gereken mevcut yöntemler22 veya sabit taban çizgisi mesafelerine sahip farklı kamera çiftleri23 , hem alan hem de zaman kısıtlamaları nedeniyle mümkün değildir. Bu zorluğu gidermek için bu robotlaştırılmış çözüm tasarlandı.
Veriler, ameliyathanedeki tavana monte edilmiş çift kollu işbirlikçi endüstriyel robotla toplandı. Kameralar robotun bileklerine tutturuldu ve Şekil 2’de gösterildiği gibi taban çizgisi mesafesini artırarak yay şeklinde bir yörünge boyunca hareket etti.
Yaklaşımı göstermek için 4 farklı doğumsal kalp kusuru olan 4 farklı hastadan 10 test serisi kaydedildi. Ameliyatta duraklama mümkün olduğunda sahneler seçildi: cerrahi onarımdan hemen önce ve sonra atan kalplerle. Kalpler tutuklandığında diziler de yapıldı. Ameliyatlar, sahneyi yakalamak için farklı kamera yakınsama mesafeleri ve taban çizgisi mesafeleri ile kırk 5 sıra toplamak için 3 dakika 20 s duraklatıldı. Videolar daha sonra işlendi, klinik ekip için 3D olarak gösterildi, 3D videonun 0-5 arasında bir ölçek boyunca ne kadar gerçekçi olduğunu derecelendirdi.
Parmaklı stereo kameralar için yakınsama noktası, her iki görüntüdeki orta noktaların buluştuğu yerdir. Yakınsama noktası, prensip olarak nesnenin önüne, içine veya arkasına yerlenebilir, bkz. Yakınsama noktası nesnenin önünde olduğunda, nesne yakalanır ve sol kamera görüntüsü için orta çizginin solunda ve sağ kamera görüntüsü için orta çizginin sağında görüntülenir (Şekil 1A). Yakınsama noktası nesnenin arkasında olduğunda tam tersi geçerlidir (Şekil 1B). Yakınsama noktası nesne üzerinde olduğunda, nesne kamera görüntülerinin orta çizgisinde de görünür (Şekil 1C), görüntüleri birleştirmek için gözlerini kısmak gerekmediğinden muhtemelen en rahat görüntülemeyi sağlayacaktır. Rahat stereo 3D video elde etmek için, yakınsama noktasının ilgi çekici nesnenin üzerinde veya biraz arkasında bulunması gerekir, aksi takdirde izleyicinin gönüllü olarak dışa doğru gözlerini kısması gerekir (ekzotropi).
Veriler, kameraları konumlandırmak için çift kollu işbirlikçi bir endüstriyel robot kullanılarak toplanmıştı (Şekil 2A-B). Robot ekipmansız 38 kg ağırlığındadır. Robot özünde güvenlidir; beklenmedik bir etki algıladığında, hareket etmeyi durdurur. Robot, C-mount lensli 5 Megapiksel kameraları önceden belirlenmiş taban çizgisi mesafelerinde duran yay şeklindeki bir yörünge boyunca konumlandırmak için programlandı (Şekil 2C). Kameralar, Şekil 3’te gösterildiği gibi adaptör plakaları kullanılarak robot ellere tutturuldu. Her kamera saniyede 25 kare olarak kaydedildi. Lensler f-stop 1/8’de, odak noktası ilgi çekici nesneye (kalbin yaklaşık geometrik merkezi) sabitlenmiş olarak ayarlanmıştır. Her görüntü çerçevesinin iki video akışını senkronize etmek için kullanılan bir zaman damgası vardı.
Robot bileği ve kamera arasındaki ofsetler kalibre edildi. Bu, Şekil 4’te gösterildiği gibi kamera görüntülerinin artılarını hizalayarak elde edilebilir. Bu kurulumda, robot bileğindeki montaj noktasından ve kamera görüntü sensörünün merkezinden toplam çevirisel ofset, Şekil 5’te görüntülenen X yönünde 55,3 mm ve Z yönünde 21,2 mm idi. Dönme ofsetleri 1100 mm yakınsama mesafesinde ve 50 mm taban çizgisi mesafesinde kalibre edildi ve robot kontrol panelindeki joystick ile manuel olarak ayarlandı. Bu çalışmadaki robot, Kartezyen alanında 0,02 mm ve 0,01 derece dönme çözünürlüğü24 belirli bir hassasiyete sahipti. 1100 m yarıçapında, 0,01 derecelik bir açı farkı orta noktayı 0,2 mm dengeler. 50-240 mm’lik ayırmadan tam robot hareketi sırasında, her kamera için çapraz çizgi ideal yakınsama merkezinden 2 mm içindeydi.
Kameraların görüş alanının merkezi etrafında 50-240 mm arasında değişen 10 mm’lik artışlarla simetrik olarak ayrılmasıyla taban çizgisi mesafesi adım adım artırıldı (Şekil 2). Kameralar her pozisyonda 5 sn boyunca durma noktasında tutuldu ve 50 mm/s hızında pozisyonlar arasında hareket etti. Yakınsama noktası grafik kullanıcı arabirimi kullanılarak X ve Z yönleriyle ayarlanabilir (Şekil 6). Robot, çalışma aralığında buna göre takip etti.
Yakınsama noktasının doğruluğu, Şekil 7A ve B’deki tekdüze üçgenler ve değişken adları kullanılarak tahmin edildi. ‘z’ yüksekliği, Pisagor teoremi ile ‘R’ yakınsama mesafesinden hesaplanmıştır.
Şekil 7A’da gösterildiği gibi, gerçek yakınsama noktası istenen noktadan daha yakın olduğunda, ‘f1‘ hata mesafesi
Benzer şekilde, yakınsama noktası istenen noktaya kadar distal olduğunda, ‘f2‘ hata mesafesi
Burada ‘e’ , kalibrasyon sırasında maksimum taban çizgisi ayrımında en fazla 2 mm (D = 240 mm) artı işareti arasındaki maksimum ayrımdı. R = 1100 mm (z = 1093 mm) için hata ± 9,2 mm’den azdı. R = 1400 mm (z = 1395 mm) için hata 11,7 mm ±. Yani, yakınsama noktasının yerleştirilmesinin hatası istenenin% 1’i içindeydi. Bu nedenle 1100 mm ve 1400 mm’lik iki test mesafesi iyi ayrılmıştır.
Canlı cerrahi sırasında, 3D video veri toplama için kullanılan deneyin toplam süresi hasta için güvenli olacak şekilde sınırlandırıldı. Nesne odaklanmamış veya aşırı pozlanmışsa, veriler kullanılamaz. Kritik adımlar kamera aleti kalibrasyonu ve kurulumu sırasındadır (adım 2). Ameliyat başladığında kamera diyaframı ve netlem değiştirilemez; kurulum ve ameliyat sırasında da aynı aydınlatma koşulları ve mesafe kullanılmalıdır. Kalbin çekilen videoda ortalanabilmesini sağlamak iç…
The authors have nothing to disclose.
Araştırma Vinnova (2017-03728, 2018-05302 ve 2018-03651), Kalp-Akciğer Vakfı (20180390), Family Kamprad Vakfı (20190194) ve Anna-Lisa ve Sven Eric Lundgren Vakfı (2017 ve 2018) tarafından finanse edilen fonlarla gerçekleştirildi.
2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
8 M5 x 40 screws | To mount the robot | ||
8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
Flexpendant | ABB | 3HAC028357-001 | robot touch display |
Liveview | recording application | ||
RobotStudio | robot integrated development environment (IDE) | ||
USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
YuMi dual-arm robot | ABB | IRB14000 |