This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Kamerakalibrering er et velkendt problem i computer vision felt, der er blevet studeret intensivt i årenes løb 1, 2, 3. Et vigtigt trin med kamera kalibreringsprocedurer er at estimere parametrene for en fordrejning model, samt de iboende kameraparametre, ved at ekstrahere et gitter af punkter med en kendt geometri fra kameraets billeder med subpixel nøjagtighed. Kalibreringsmål med et skakbrætmønster med sorte og hvide firkanter er almindeligt anvendt til dette formål. Cirkulære klatter tilbyde et alternativ mønster 4, 5, 6.
I de senere år har der været en stigende interesse i udviklingen af kirurgisk navigation teknologi til føtale kirurgi procedurer, såsom behandling af twin-til-twin transfusion syndrom (TTTS) på fostre> 7, 8, 9, 10. Som synsfeltet af fetoscope (dvs. et endoskop anvendes i føtale kirurgiske procedurer) er meget begrænset, er der foreslået fremgangsmåder til kortlægning af placentale vaskulatur uden anvendelse af eksterne trackere til støtte TTTS kirurgi 11, 12, 13. Optiske fordrejninger inden fetoscopic billeder har skadelige virkninger på disse beregningsmæssige mosaicing metoder, der er afhængige af visuel information udvinding 11. Således er der et udækket behov for en omkostningseffektiv og hurtigt redskab for perioperativt kalibrering fetoscopes således at forvrængningen kompensation kan ske i realtid under interventionen.
På grund af det faktum, at fetoscope er nedsænket i fostervand under interventionen brydningsindekset forskellen mellem enir og fostervand gør klassiske in-air kamera kalibreringsmetoder uegnede for føtale kirurgi procedurer. Estimering parametre fluid-nedsænket kamera fra in-air kamera parametre er en vanskelig opgave og kræver mindst ét billede af væske-nedsænket kalibrering target 14 den. Desuden peri-operativ, væske-nedsænket fetoscopic kamera kalibrering er i øjeblikket upraktisk på grund af sterilisering krav og restriktioner på de materialer, der er tilladt i operationsstuen. På grund af disse grunde, kalibrering endoskoper til optiske forvrængninger er typisk ikke en del af den aktuelle kliniske arbejdsgang. Arbejdet i dette manuskript er et forsøg på at lukke dette kamera kalibrering hul ved at designe og producere en steriliseres og praktisk optisk forvrængning kalibrering mål med et mønster af asymmetriske cirkler. Tidligere Wengert et al. fabrikeret en tilpasset kalibreringsenhed med et oxideret aluminium plade som kalibreringsmålet. deres method dog virker kun sammen med den brugerdefinerede kalibreringsalgoritme de udviklet 15.
Sandblæsning er et vigtigt skridt i fremstillingsprocessen, fordi den rå metaloverflade fremtrædende reflekterer endoskopet lys, hvilket gør det umuligt for de kredse, der skal detekteres. Det er vanskeligt at skelne de kredse selv med det blotte øje (se figur 5). Bemærk, at overfladen af målet vist allerede blev ætset med en laser. Det betyder dog ikke mindsker lysreflektion.
Figur 5: kalibreringsmålet uden sandblæsning anvendt. Som det fremgår af endoskopet syne på venstre, blænding fra endoskopet lys på materialeoverfladen gør det vanskeligt selv for det blotte øje at skelne cirklerne (der er en cirkel lige til den sydøstlige del af det store refleksion). Bemærk, at overfladen af dette mål (dvs. "baggrund") var allerede ætset, men dette er ikke nyttigt i fravær af sandblæsning. Klik her for at se en større version af dette tal.
Før mønster ætsning, er det også vigtigt at ætse overfladen af hele prøven. Dette er nødvendigt, fordi den sandblæste overflade har mange spejlrefleksioner (se figur 6), som interfererer med blob detektion.
Figur 6: Sandblæst overflade uden ætsning. Selvom ikke så fremtrædende som det rå metaloverflade, de relativt små spejlrefleksioner (hvoraf nogle er fremhævet med gule pile) er stadig tilstrækkelige til at forhindre blob detektion fra lykkes, så ingen kalibrering kan udføres med dette mål.Arget = "_ blank"> Klik her for at se en større version af dette tal.
Anvendelse af laseren ved forskellige hastigheder giver forskellige baggrundsfarver. Farven baggrund spiller en væsentlig rolle i kontrasten mellem cirklerne og baggrunden. Derfor er det afgørende at bestemme den optimale baggrundsfarve. Til dette formål, en plade med cirkler ætset mod et sæt af forskellige baggrunde blev skabt (se figur 7). Baggrundene blev testet under anvendelse af funktionen detekteringsmodul af OpenCV 23, som anvendes i OpenCV kamerakalibrering modul 17. I dette arbejde blev målet af rustfrit stål, da det er den mest almindelige og pålidelige materiale, der anvendes i klinikker til medicinsk udstyr. Dette materiale er frit tilgængeligt, ikke dyre, robust og let at sterilisere. Andre materialer kan potentielt anvendes til kalibreringsmålet, såsom aluminium eller joderede metaller, men det er den SCOPe af det fremtidige arbejde.
Figur 7: Rustfrit stål plade med en palet af forskellige baggrundsfarver ætset med laseren. Praktiske forsøg blev udført i forbindelse med OpenCV funktionen detekteringsmodulet til at bestemme hvilken baggrundsfarve giver det optimale resultat i form af klat-til-baggrund kontrast 23. Endoskopet udsigt til venstre viser pladen. De moderate baggrundsfarver (dvs. de andre, at de mørkeste og lyseste dem) i denne palet give bedre blob afsløring. Klik her for at se en større version af dette tal.
En af fordelene ved dette arbejde er, at udføre en kalibrering ved hjælp af fremstillede mål tager 2-3 min. Det meste af indsatsen gåes manuelt stabilisere endoskopet at opnå ordentlige visninger af kalibreringen mønster. Ved hjælp af en specialbygget endoskop indehaveren kunne fjerne behovet for manuel stabilisering, hvilket kan forkorte kalibrering tid.
Video 1: Video viser, hvordan optisk forvrængning kalibrering kan udføres ved hjælp af den udviklede kalibreringsmålet sammen med Endocal software. Klik her for at se denne video. (Højreklik for at downloade.)
En fordel ved vores arbejde i forhold til arbejdet i Wengert et al. 15 er, at der kan bruges OpenCV kamera kalibrering modul 17, som er til kalibrering, uden at kræve nogen ændring eller brugerdefinerede Parameterization. Fordi OpenCV er en veletableret og velholdt softwarepakke og er meget populær i computer vision samfund, bruger det eliminerer behovet for at skrive og vedligeholde brugerdefineret software. For at gøre læsningen lettere, er en kompakt GUI applikation billede 16, som læseren nemt kan installere og bruge til at teste nye kalibreringsmål. En ulempe ved vores metode sammenlignet med Wengert et al. 15 er, at deres metode er mere robust over for okklusioner af mønstret, som det ikke kræver påvisning af alle klatter.
Indledningsvis blev en kalibreringsmålet med et skakbrætmønster fremstillet til dette arbejde. Men denne type af kalibreringsmålet viste sig at være uegnede i forsøg på grund af vanskeligheden detektere hjørnerne af skakternede kvadrater. Hjørne afsløring afhængig histogram-baserede image binarisering (se OpenCV kildekoden 24). Denne impligger behovet for en klar farve kontrast mellem mørke og lyse kvadrater, som ikke kunne garanteres med vores skakbrætmønster, delvist på grund af spejlrefleksioner, som dem der vises i figur 6. Sådanne spejlende refleksioner er til stede selv efter baggrund ætsning; imidlertid påvisning af cirklerne synes at være mindre følsomme over for denne mangel.
I den nuværende opsætning, kun vinkelret udsigt over kalibreringsmålet tillader vellykket klat afsløring. Dette skyldes den spejlende reflektioner fra måloverfladen hæmmer blob detektion ved skæve vinkler. Vi arbejder på at forbedre målet, således at for erhvervelse af synspunkter på en bredere vifte af vinkler, som potentielt kan forbedre kvaliteten af udførte kalibreringer 20.
I realtid placenta mosaicing pipeline, der tidligere blev foreslået 11, beregningen af det transeuropæiske transportnetformation, der kortlægger billedfiler par bygger på den vellykkede påvisning og gruppering af funktioner. Optiske forvridninger, på den anden side, forårsager en gruppe af funktioner med en stiv geometri at se anderledes på tværs billeder. Som følge heraf er denne forskel fører til unøjagtigheder i de beregnede transformationer, som forårsager driver i det resulterende billede mosaikker. Fordi de mest fremtrædende optiske forvrængninger er til stede mod kanterne, er endoskopiske billeder øjeblikket beskåret til deres inderste regioner. En god korrektion for optiske forvrængninger vil potentielt give mulighed for inkorporering af en større del af hvert billede i mosaicing processen. Fordelen ved denne metode er todelt. For det første ville det øge antallet af opdagede funktioner i hvert billede, potentielt forbedre beregningen af billedet transformationer. For det andet ville det give for hele anatomiske overflade, der skal rekonstrueres i en kortere tid.
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |