This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Kameraet kalibrering er et velkjent problem i datamaskinen synsfeltet som har blitt intensivt studert i løpet av årene 1, 2, 3. Et viktig trinn i kamerakalibreringsprosedyrer er å estimere parameterne for en forvrengning modell, så vel som de iboende kameraparametere, ved ekstrahering av et gitter av punkter med kjent geometri fra kamerabilder med underpikselnøyaktighet. Kalibrerings mål med et rutemønster med sorte og hvite firkanter blir ofte brukt for dette formål. Rundskriv blobs tilby et alternativ mønster 4, 5, 6.
I de senere årene har det vært en økende interesse for utvikling av kirurgisk navigasjonsteknologi for fosterets kirurgi prosedyrer, for eksempel behandling av tvilling-til-tvilling transfusjonssyndrom (TTTS) på fostre> 7, 8, 9, 10. Som det synsfeltet til den fetoscope (dvs. et endoskop som brukes i føtale kirurgiske inngrep) er svært begrenset, metoder for å kartlegge placental blodkar uten bruk av eksterne sporer er blitt foreslått for å hjelpe til TTTS kirurgi 11, 12, 13. Optiske forvrengninger innenfor fetoscopic bildene har negative effekter på disse beregnings mosaicing metoder som er avhengige av visuell informasjon utvinning 11. Dermed er det et udekket behov for en kostnadseffektiv og rask verktøy for perioperativt kalibrering fetoscopes slik at optisk forvrengning kompensasjon kan gjøres i sanntid i løpet av intervensjonen.
På grunn av det faktum at den fetoscope er nedsenket i fostervann under intervensjon, brytningsindeksforskjellen mellom enir og fostervann gjengir klassiske kamerakalibreringsmetoder i luften uegnet for fosterets kirurgi prosedyrer. Estimering av fluidfylte kameraparametere fra i-luft kameraparametere er en vanskelig oppgave, og krever i det minste ett bilde av den fluid nedsenket kalibreringsmålet 14. Videre peri-operative, er væske nedsenket fetoscopic kamerakalibrering for tiden upraktisk på grunn av sterilisering krav og restriksjoner på materialene tillatt i operasjonssalen. På grunn av disse grunner, kalibrering endoskop for optiske skjevheter er vanligvis ikke en del av dagens kliniske arbeidsflyten. Arbeidet i dette manuskriptet er et forsøk på å lukke denne kalibreringen gapet kameraet ved å designe og produsere en steriliseres og praktisk optisk forvrengning kalibreringsmålet med et mønster av asymmetriske sirkler. Tidligere Wengert et al. fabrikkert en tilpasset kalibrering enhet med en oksidert aluminiumsplate som kalibreringsmålet. deres method fungerer imidlertid bare i forbindelse med den tilpassede kalibreringsalgoritme de utviklet 15.
Sandblåsing er et viktig skritt i fabrikasjonsprosessen fordi den rå metalloverflaten tydelig reflekterer endoskop lys, noe som gjør det umulig for sirklene for å bli oppdaget. Det er vanskelig å skille de kretser selv med det blotte øye (se figur 5). Legg merke til at overflaten av målet vist allerede etset med en laser. Men dette betyr ikke minske lysrefleksjon.
Figur 5: Kalibrering mål uten sandblåsing brukt. Sett fra endoskopet visningen til venstre, gjenskinn fra endoskopet lys på materialet overflaten gjør det vanskelig selv for det blotte øye å skille sirklene (det er en sirkel like sørøst for den store refleksjon). Legg merke til at overflaten av dette målet (dvs. den "bakgrunn") ble allerede etset, men dette er ikke nyttig i fravær av sandblåsing. Klikk her for å se en større versjon av dette tallet.
Før mønster etsing, er det også viktig å etse overflaten av hele prøven. Dette er nødvendig fordi den sandblåst overflate har mange speilende refleksjoner (se figur 6), som forstyrre klumpen deteksjon.
Figur 6: sandblåst overflate med ingen etsing. Selv om ikke så fremtredende som den rå metalloverflaten, de relativt små speil refleksjoner (hvorav noen er uthevet med gule piler) er fortsatt tilstrekkelig til å hindre blob deteksjon fra å lykkes, så ingen kalibrering kan utføres med dette målet.Arget = "_ blank"> Klikk her for å se en større versjon av dette tallet.
Bruk av laser ved ulike hastigheter gir forskjellige bakgrunnsfarger. Bakgrunnsfargen spiller en betydelig rolle i kontrasten mellom sirkler og bakgrunnen. Derfor er det viktig å bestemme den optimale bakgrunnsfarge. For dette formålet, en plate med sirkler etset mot et sett av ulike bakgrunner ble opprettet (se figur 7). Den bakgrunn ble testet ved hjelp av funksjonen deteksjonsmodulen av OpenCV 23, som brukes i den OpenCV kamerakalibreringsmodulen 17. I dette arbeidet ble målet laget av rustfritt stål, som er det mest vanlige og pålitelig materiale som brukes i klinikker for medisinsk utstyr. Dette materialet er fritt tilgjengelig, ikke dyrt, robust og lett å sterilisere. Andre materialer kan potensielt bli anvendt for kalibreringsmålet, slik som aluminium eller joderte metaller, men dette er Scope av det videre arbeidet.
Figur 7: Rustfritt stål med en palett av forskjellige bakgrunnsfarger etset med laser. Praktiske eksperimenter ble utført i forbindelse med OpenCV funksjonen deteksjonsmodulen til å bestemme hvilke bakgrunnsfarge gir det optimale resultat i form av kvikksølvdråpe-til-bakgrunn kontrast 23. Endoskopet utsikt til venstre viser platen. De moderate bakgrunnsfarger (dvs. de andre at de mørkeste og lyseste seg) i denne paletten gi bedre blob gjenkjenning. Klikk her for å se en større versjon av dette tallet.
En av fordelene ved dette arbeidet er det å utføre en kalibrering ved hjelp av den fremstilte målet tar 2-3 minutter. Mesteparten av innsatsen gåes til å stabilisere endoskopet manuelt for å få anstendig utsikt over kalibreringsmønster. Ved hjelp av en spesialbygde endoskop holderen kunne eliminere behovet for manuell stabilisering, som igjen kunne gi en betydelig forkorte kalibreringstiden.
Video 1: Video som viser hvordan optisk forvrengning kalibrering kan utføres ved hjelp av utviklet kalibreringsmålet sammen med endocal programvare. Klikk her for å se denne videoen. (Høyreklikk for å laste ned.)
En fordel med vårt arbeid i forhold til arbeidet med Wengert et al. 15 er at den OpenCV kameraet kalibreringsmodulen 17 kan anvendes som er for kalibrering, uten at det kreves noen modifikasjon eller tilpasset Parameterization. Fordi OpenCV er et veletablert og godt vedlikeholdt programvarepakke, og er veldig populært i datamaskinen visjon samfunnet, bruker den eliminerer behovet for å skrive og vedlikeholde tilpasset programvare. For leserens bekvemmelighet, er en kompakt GUI-programmet som følger 16, som leseren enkelt kan installere og bruke til å teste nye kalibrerings mål. En ulempe ved vår metode sammenlignet med Wengert et al. 15 er at deres metode er mer robust overfor okklusjoner av mønsteret, da det ikke krever gjenkjenning av alle klumper.
I første omgang ble en kalibreringsmålet med et rutemønster fabrikkert for dette arbeidet. Men denne type av kalibreringsmålet viste seg å være uegnet i eksperimenter på grunn av vanskeligheten med å detektere hjørnene av sjakkbrett kvadrater. Corner deteksjon er avhengig av histogram-baserte bilde binarization (se OpenCV kildekode 24). dette impligger behovet for en klar farge kontrast mellom mørke og lyse firkanter, som ikke kan garanteres med våre rutemønster, delvis på grunn av speil refleksjoner, som de som er vist i figur 6. Slike speil refleksjoner er til stede selv etter bakgrunn etsning; men synes påvisning av sirklene for å være mindre følsom for denne brist.
I dagens oppsett, bare loddrette utsikt over kalibreringsmålet tillate vellykket blob deteksjon. Dette er på grunn av de speilende refleksjoner fra skiveoverflaten hindrer klumpen deteksjon ved skrå vinkler. Vi jobber med å ytterligere forbedre målet, slik som å tillate oppkjøpet av synspunkter på et bredere spekter av vinkler, noe som potensielt kan forbedre kvaliteten på utførte kalibreringer 20.
I sanntids-placenta mosaicing rør som tidligere var foreslått 11, beregningen av transformasjon som kartbildeparene er avhengig av vellykket påvisning og gruppering av funksjoner. Optiske forvrengninger, på den annen side føre til en gruppe av funksjoner med en stiv geometri skal vises forskjellig på tvers av bilder. Som en konsekvens, fører denne forskjellen til unøyaktigheter i de beregnede transformasjoner, som forårsaker fonner i de resulterende bilde mosaikk. Fordi de mest fremtredende optiske forvrengninger er til stede mot kantene, er endoskopiske bildene som beskjæres til sine innerste regioner. En god korreksjon for optiske forvrengninger ville gjøre det mulig for inkorporering av en større del av hvert bilde i mosaicing prosessen. Fordelen med denne metoden er todelt. For det første ville det øke antall påviste egenskaper i hvert bilde, noe som øker beregningen av bildetransformasjoner. For det andre, vil det gi rom for hele målet anatomiske overflaten som skal rekonstrueres i en kortere tid.
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |