This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Kamerakalibrering är ett välkänt problem inom datorseende fält som har studerats intensivt under åren 1, 2, 3. Ett nyckelsteg av kalibreringsprocedurer kamera är att uppskatta parametrarna för en distorsions modell, såväl som de inneboende kameraparametrar, genom att extrahera ett rutnät av punkter med en känd geometri från kamerabilder med delpixel noggrannhet. Kalibreringsmål med ett rutmönster med svarta och vita rutor används vanligen för detta ändamål. Cirkulära blobs erbjuda ett alternativ mönster 4, 5, 6.
Under de senaste åren har det funnits ett växande intresse för utvecklingen av kirurgiska navigeringsteknik för foster ingrepp, såsom behandling av tvillingtransfusionssyndrom (TTTS) på foster> 7, 8, 9, 10. Som synfältet av fetoscope (dvs., ett endoskop används i fetala kirurgiska ingrepp) är mycket begränsad, metoder för att kartlägga den placental vaskulaturen utan användning av externa trackers har föreslagits för att underlätta TTTS kirurgi 11, 12, 13. Optiska snedvridningar inom fetoscopic bilder har negativa effekter på dessa beräknings mosaicing metoder som förlitar sig på visuell information utvinning 11. Det finns således ett otillfredsställt behov av en kostnadseffektiv och snabb verktyg för peri-operativt kalibrering fetoscopes så att optisk distorsion ersättning kan göras i realtid under insatsen.
På grund av det faktum att fetoscope är nedsänkt i amnionvätska under interventionen, den brytningsindexskillnaden mellan enir och fostervatten gör klassiska i luften kamera kalibreringsmetoder är olämpliga för fetala ingrepp. Uppskattande vätske nedsänkt kameraparametrarna från i luften kameraparametrar är en svår uppgift och kräver minst en bild av vätske nedsänkt kalibreringsmålet 14. Vidare peri-operativ, är vätske nedsänkt fetoscopic kamerakalibrering för närvarande opraktiskt på grund av steriliseringskrav och begränsningar på de material som tillåts i operationssalen. På grund av dessa skäl, kalibrering endoskop för optiska snedvridningar är normalt inte en del av den aktuella kliniska arbetsflödet. Arbetet i detta manuskript är ett försök att stänga kamerakalibrering gapet genom att designa och producera en steriliserbar och praktisk optisk distorsion kalibreringsmålet med ett mönster av asymmetriska cirklar. Tidigare, Wengert et al. fabricerade en anpassad kalibreringsanordning med en oxiderad aluminiumplåt som kalibreringsmålet. deras method, men fungerar endast i kombination med den anpassade kalibreringsalgoritmen de utvecklat 15.
Sandblästring är ett viktigt steg i tillverkningsprocessen, eftersom den råa metallytan tydligt reflekterar endoskopet ljus, vilket gör det omöjligt för de cirklar som skall detekteras. Det är svårt att skilja de kretsar även med blotta ögat (se fig 5). Observera att ytan av målet visas redan etsades med en laser. Men detta inte minskar ljusreflektion.
Figur 5: Kalibrerings mål utan sandblästring tillämpas. Som sett från endoskopet vy på vänster sida, gör det svårt till och med för det mänskliga ögat att skilja cirklarna reflexer från endoskopet ljus på materialytan (det är en cirkel bara för att den sydöstra delen av den stora reflektion). Notera att ytan av detta mål (dvs den "bakgrund") var redan etsats, men detta är inte användbart i frånvaro av sandblästring. Klicka här för att se en större version av denna siffra.
Före mönsteretsning, är det också viktigt att etsa ytan av hela provet. Detta är nödvändigt eftersom den sandblästrade ytan har många spegelreflektioner (se figur 6), som interfererar med blob detektering.
Figur 6: Sandblästrat yta utan etsning. Även om inte lika framträdande som den råa metallytan, de relativt små spegelreflektioner (varav vissa är markerade med gula pilar) är fortfarande tillräckligt för att förhindra klump upptäckt från att lyckas, så ingen kalibrering kan utföras med detta mål.Arget = "_ blank"> Klicka här för att se en större version av denna siffra.
Tillämpning av laser vid olika hastigheter ger olika bakgrundsfärger. Bakgrundsfärgen spelar en betydande roll i kontrasten mellan de cirklar och bakgrunden. Därför är det viktigt att bestämma den optimala bakgrundsfärg. För detta ändamål, en platta med cirklar etsas mot en uppsättning av olika bakgrunder skapades (se figur 7). Bakgrunderna testades med användning av funktionen detekteringsmodulen av OpenCV 23, som används i OpenCV kamerakalibreringsmodulen 17. I detta arbete, var det mål av rostfritt stål, eftersom det är den vanligaste och tillförlitliga material som används i kliniker för medicinska anordningar. Detta material är fritt tillgänglig, inte dyrt, robust och lätt att sterilisera. Andra material skulle kunna användas för kalibreringsmålet, såsom aluminium eller joderade metaller, men detta är SCOPe för det framtida arbetet.
Figur 7: Rostfritt stål med en palett av olika bakgrundsfärger etsade med laser. Praktiska experiment genomfördes i samband med OpenCV funktionen detekteringsmodulen för att bestämma vilken bakgrundsfärg ger optimalt resultat när det gäller klump till bakgrunds kontrast 23. Endoskopet syn på vänster visar plattan. De moderata bakgrundsfärger (dvs de andra att de mörkaste och lättaste sådana) i den här paletten ger bättre blob upptäckt. Klicka här för att se en större version av denna siffra.
En av fördelarna med detta arbete är att utföra en kalibrering med hjälp av fabricerade målet tar 2-3 minuter. De flesta av arbetet gåres manuellt stabilisera endoskopet för att få anständigt vyer av kalibreringsmönstret. Med hjälp av en specialbyggd endoskop hållare kan eliminera behovet av manuell stabilisering, vilket i sin tur skulle avsevärt förkorta kalibreringstiden.
Video 1: Video visar hur optisk distorsion kalibrering kan utföras med hjälp av den utvecklade kalibreringsmålet tillsammans med endocal programvara. Klicka här för att se filmen. (Högerklicka för att ladda ner.)
En fördel med vårt arbete jämfört med arbetet av Wengert et al. 15 är att den OpenCV kamerakalibreringsmodulen 17 kan användas som den är för kalibrering, utan att kräva någon modifiering eller anpassade Parameterization. Eftersom OpenCV är en väl etablerad och väl underhållna programpaket och är mycket populär i datorseende samhället, genom att använda det eliminerar behovet av att skriva och underhålla anpassade program. För att underlätta läsningen, är en kompakt GUI applikation tillgänglig 16, som läsaren lätt kan installera och använda för att testa nya kalibreringsmålen. En nackdel med vår metod jämfört med Wengert et al. 15 är att deras metod är mer robust för att inneslutningar av mönstret, eftersom den inte kräver detektion av alla blobs.
Inledningsvis var en kalibreringsmålet med ett rutmönster tillverkas för detta arbete. Men denna typ av kalibreringsmålet visat sig vara olämpliga i experiment på grund av svårigheten att detektera hörnen av schackkvadrater. Corner upptäckt förlitar sig på histogram-baserad bild binärisering (se OpenCV källkod 24). denna impligger den behovet av en tydlig färgkontrast mellan de mörka och ljusa kvadrater, som inte kunde garanteras med vår rutmönster, delvis på grund av spegelreflektioner, som de som visas i figur 6. Sådana speglande reflektioner är närvarande även efter bakgrunds etsning; emellertid verkar detekteringen av cirklarna att vara mindre känsliga för denna brist.
I den aktuella konfigurationen, bara vinkelräta vyer av kalibreringsmålet möjliggör framgångsrik klump detektering. Detta beror på att de spegelreflektioner från målytan hämmar blob detektering vid sneda vinklar. Vi arbetar för att ytterligare förbättra träffytan så att möjliggöra förvärv av synpunkter vid ett bredare spektrum av vinklar, som skulle kunna förbättra kvaliteten på utförda kalibreringar 20.
I realtid placenta mosaicing pipeline som tidigare föreslogs 11, beräkningen av det transformation som mappar bildpar förlitar sig på att kunna upptäcka och gruppering av funktioner. Optiska distorsioner, å andra sidan, orsaka en grupp av funktioner med en styv geometri för att se annorlunda ut över bilderna. Som en konsekvens leder denna skillnad till felaktigheter i de beräknade transformationer, som orsakar drift i de resulterande bild mosaiker. Eftersom de mest framträdande optiska störningar förekommer mot kanterna, är endoskopiska bilder som för närvarande beskärs till sina innersta regionerna. En bra korrigering för optiska distorsioner skulle potentiellt medge inkorporering av en större del av varje bild i mosaicing processen. Fördelen med denna metod är två-faldig. För det första skulle det öka antalet upptäckta funktioner i varje bild, potentiellt förbättra beräkningen av bildtransformationer. För det andra skulle det göra det möjligt för hela målet anatomiska yta som skall rekonstrueras i en kortare tid.
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |