द्रव डूबे Fetoscope ऑप्टिकल विरूपण कैलिब्रेशन के लिए चिकित्सा ग्रेड sterilizable लक्ष्य
Summary
This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
Abstract
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Introduction
कैमरा अंशांकन कंप्यूटर दृष्टि क्षेत्र है कि अधिकता वर्ष 1, 2, 3 पर अध्ययन किया गया है में एक अच्छी तरह से ज्ञात समस्या है। कैमरा अंशांकन प्रक्रियाओं की एक प्रमुख कदम है, एक विरूपण मॉडल के मापदंडों, साथ ही आंतरिक कैमरा मानकों अनुमान लगाने के लिए उप पिक्सेल सटीकता के साथ कैमरा छवियों से एक ज्ञात ज्यामिति के साथ अंक की एक ग्रिड निकालने के द्वारा है। काले और सफेद वर्गों की विशेषता एक बिसात पैटर्न के साथ कैलिब्रेशन लक्ष्यों को आमतौर पर इस उद्देश्य के लिए इस्तेमाल कर रहे हैं। परिपत्र चारों एक विकल्प के पैटर्न 4, 5, 6 की पेशकश करते हैं।
हाल के वर्षों में, वहाँ भ्रूण पर इस तरह के जुड़वां करने वाली जुड़वां आधान सिंड्रोम (TTTS) के इलाज के रूप में भ्रूण सर्जरी की प्रक्रियाओं, शल्य चिकित्सा के लिए नेविगेशन तकनीक के विकास में एक बढ़ती रुचि रही है> 7, 8, 9, 10। Fetoscope के मद्देनजर क्षेत्र के रूप में (यानी, भ्रूण शल्य चिकित्सा प्रक्रियाओं में प्रयुक्त एक एंडोस्कोप) बहुत सीमित है, बाहरी ट्रैकर्स के उपयोग के बिना अपरा वाहिका मानचित्रण के लिए तरीकों TTTS सर्जरी 11, 12, 13 सहायता करने के लिए प्रस्तावित किया गया है। Fetoscopic छवियों के भीतर ऑप्टिकल विकृतियों इन कम्प्यूटेशनल mosaicing तरीकों कि दृश्य सूचना निष्कर्षण 11 पर भरोसा करते हैं पर प्रतिकूल प्रभाव पड़ता है। इस प्रकार, वहाँ पेरी ऑपरेशन fetoscopes औजार इतना है कि ऑप्टिकल विरूपण मुआवजा हस्तक्षेप के दौरान वास्तविक समय में किया जा सकता है के लिए एक लागत प्रभावी और तेजी से उपकरण के लिए एक unmet की आवश्यकता है।
तथ्य यह है कि fetoscope, हस्तक्षेप के दौरान एमनियोटिक द्रव में डूब जाता है एक के बीच अंतर के कारण सूचकांक अपवर्तनआईआर और एमनियोटिक द्रव शास्त्रीय में हवा में कैमरा अंशांकन तरीकों भ्रूण सर्जरी की प्रक्रियाओं के लिए अनुपयुक्त बना देता है। में हवा में कैमरा मानकों से तरल पदार्थ डूबे कैमरा मानकों का आकलन एक मुश्किल काम है और तरल पदार्थ डूबे अंशांकन लक्ष्य 14 से कम से कम एक छवि की आवश्यकता है। इसके अलावा, पेरी-ऑपरेटिव, द्रव डूबे fetoscopic कैमरा अंशांकन वर्तमान में नसबंदी आवश्यकताओं और सामग्री ऑपरेशन थियेटर में अनुमति पर प्रतिबंधों की वजह से अव्यावहारिक है। इन कारणों के कारण, ऑप्टिकल विकृतियों के लिए एंडोस्कोप औजार आम तौर पर मौजूदा नैदानिक कार्यप्रवाह का हिस्सा नहीं है। इस पांडुलिपि में काम डिजाइन और एक sterilizable और व्यावहारिक ऑप्टिकल विरूपण अंशांकन विषम हलकों की एक पद्धति की विशेषता लक्ष्य का निर्माण करके इस कैमरे अंशांकन अंतर को बंद करने का प्रयास है। इससे पहले, वेनगर्ट एट अल। एक कस्टम अंशांकन अंशांकन लक्ष्य के रूप में एक ऑक्सीकरण एल्यूमिनियम प्लेट की विशेषता डिवाइस गढ़े। उनके मेथआयुध डिपो, तथापि, केवल कस्टम अंशांकन एल्गोरिथ्म वे विकसित 15 के साथ संयोजन के रूप में काम करता है।
Protocol
Representative Results
Discussion
Sandblasting निर्माण की प्रक्रिया में एक महत्वपूर्ण कदम है क्योंकि कच्चे धातु की सतह प्रमुखता से एंडोस्कोप प्रकाश को दर्शाता है, यह असंभव हलकों पता लगाया जा करने के लिए कर रही है। यह भी नग्न आंखों के साथ हलकों भेद करना मुश्किल है (चित्रा 5 देखें)। ध्यान दें कि दिखाए गए लक्ष्य की सतह पहले से ही एक लेजर के साथ etched गया था। हालांकि, इस प्रकाश प्रतिबिंब को कम नहीं करता।
चित्रा 5: नहीं Sandblasting साथ कैलिब्रेशन लक्ष्य आवेदन किया। के रूप में छोड़ दिया पर एंडोस्कोप दृष्टि से देखा, सामग्री की सतह पर एंडोस्कोप प्रकाश से चमक यह मुश्किल नग्न आंखों हलकों में भेद करने के लिए भी बनाता है (सिर्फ बड़े प्रतिबिंब के दक्षिण में एक चक्र है)। ध्यान दें कि इस लक्ष्य की सतह (यानी, "पृष्ठभूमि") पहले से ही etched गया था, लेकिन यह नहीं है sandblasting के अभाव में मददगार। यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
पैटर्न नक़्क़ाशी करने से पहले, यह भी पूरी नमूना की सतह खोदना करने के लिए महत्वपूर्ण है। इसका कारण यह है sandblasted सतह कई specular प्रतिबिंब है, जो बूँद का पता लगाने के साथ हस्तक्षेप (चित्रा 6 देखें) आवश्यक है।
चित्रा 6: कोई नक़्क़ाशी के साथ sandblasted सतह। हालांकि कच्चे धातु की सतह के रूप में के रूप में प्रमुख नहीं, अपेक्षाकृत छोटे specular प्रतिबिंब (जिनमें से कुछ पीले तीर के साथ डाला जाता है) फिर भी, सफल होने से बूँद पता लगाने को रोकने के लिए पर्याप्त हैं तो कोई अंशांकन इस लक्ष्य के साथ किया जा सकता है।arget = "_blank"> यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
अलग गति में लेजर लागू करने के अलग-अलग पृष्ठभूमि रंग देता है। पृष्ठभूमि रंग हलकों और पृष्ठभूमि के बीच इसके विपरीत में एक महत्वपूर्ण भूमिका निभाता है। इसलिए, यह इष्टतम पृष्ठभूमि रंग निर्धारित करने के लिए महत्वपूर्ण है। इस उद्देश्य के लिए, हलकों के साथ एक थाली अलग पृष्ठभूमि (7 चित्रा देखें) बनाया गया था की एक सेट के खिलाफ etched। पृष्ठभूमि में OpenCV 23 है, जो OpenCV कैमरा अंशांकन मॉड्यूल 17 में प्रयोग किया जाता है का पता लगाने की सुविधा मॉड्यूल का उपयोग कर परीक्षण किया गया। इस काम में, लक्ष्य स्टेनलेस स्टील से बनाया गया था, के रूप में यह सबसे आम है और विश्वसनीय चिकित्सा उपकरणों के लिए क्लीनिक में प्रयुक्त सामग्री है। इस सामग्री को स्वतंत्र रूप से उपलब्ध है, महंगा नहीं, मजबूत, और बाँझ करने के लिए आसान है। अन्य सामग्री संभवतः ऐसे एल्यूमीनियम या आयोडीन युक्त धातुओं के रूप में, अंशांकन लक्ष्य के लिए इस्तेमाल किया जा सकता है, लेकिन इस SCOP हैभविष्य के काम के ई।
चित्रा 7: स्टेनलेस स्टील प्लेट लेजर के साथ etched अलग पृष्ठभूमि रंग की पट्टी की विशेषता है। व्यावहारिक प्रयोगों OpenCV पता लगाने की सुविधा मॉड्यूल निर्धारित करने के लिए जो पृष्ठभूमि रंग बूँद करने वाली पृष्ठभूमि विपरीत 23 के मामले में इष्टतम परिणाम देता है के साथ संयोजन के रूप में आयोजित की गई। बाईं तरफ एंडोस्कोप देखें प्लेट से पता चलता है। मध्यम पृष्ठभूमि रंग (यानी, अन्य उन अंधेरी और सबसे हल्का है कि लोगों को) इस पैलेट में बेहतर बूँद का पता लगाने निकलेगा। यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
इस काम के लाभ में से एक यह है कि एक अंशांकन गढ़े लक्ष्य का उपयोग कर प्रदर्शन कर 2-3 मिनट लेता है। प्रयास का सबसे जानातों मैन्युअल एंडोस्कोप स्थिर करने के लिए अंशांकन पैटर्न के सभ्य विचारों प्राप्त करने के लिए। एक कस्टम निर्मित एंडोस्कोप धारक का उपयोग मैनुअल स्थिरीकरण, जो बारी में काफी अंशांकन समय कम हो सकता है की आवश्यकता को समाप्त कर सकता है।
वीडियो 1: वीडियो दिखा कैसे ऑप्टिकल विरूपण अंशांकन endocal सॉफ्टवेयर के साथ मिलकर विकसित अंशांकन लक्ष्य का उपयोग किया जा सकता है। इस वीडियो को देखने के लिए यहां क्लिक करें। (डाउनलोड करने के लिए राइट क्लिक करें।)
हमारे काम का एक लाभ यह वेनगर्ट एट अल के काम की तुलना में। 15 OpenCV कैमरा अंशांकन मॉड्यूल 17 के रूप में जांच के लिए इस्तेमाल किया जा सकता है कि, किसी भी संशोधन या कस्टम parame की आवश्यकता के बिना हैterization। क्योंकि OpenCV एक अच्छी तरह से स्थापित है और अच्छी तरह से बनाए रखा सॉफ्टवेयर पैकेज है और कंप्यूटर दृष्टि समुदाय में बहुत लोकप्रिय है, यह लिख रहे हैं और कस्टम सॉफ्टवेयर को बनाए रखने के लिए की आवश्यकता समाप्त उपयोग कर। पाठक की सुविधा के लिए, एक कॉम्पैक्ट जीयूआई आवेदन 16 प्रदान की जाती है, जो पाठक को आसानी से स्थापित करने और नए अंशांकन लक्ष्यों का परीक्षण करने के लिए उपयोग कर सकते हैं। वेनगर्ट एट अल की तुलना में हमारे विधि का एक नुकसान। 15 कि उनकी विधि, पैटर्न के अवरोध को और अधिक मजबूत है, क्योंकि यह सभी चारों का पता लगाने की आवश्यकता नहीं है।
प्रारंभ में, एक बिसात पैटर्न के साथ एक अंशांकन लक्ष्य इस काम के लिए निर्मित किया गया था। हालांकि, अंशांकन लक्ष्य के इस प्रकार बिसात वर्गों के कोने का पता लगाने में कठिनाई के कारण प्रयोगों में अनुपयुक्त साबित हुई। कोने का पता लगाने हिस्टोग्राम आधारित छवि binarization (OpenCV स्रोत कोड 24 देखें) पर निर्भर करता है। यह छोटा सा भूतअंधेरे और प्रकाश चौराहों, आंशिक रूप से specular प्रतिबिंब के कारण हमारे बिसात पैटर्न के साथ की गारंटी है जो नहीं किया जा सका, 6 चित्र में दिखाया लोगों की तरह बीच एक स्पष्ट रंग विपरीत के लिए जरूरत है। इस तरह के specular प्रतिबिंब पृष्ठभूमि नक़्क़ाशी के बाद भी मौजूद हैं; हालांकि, हलकों का पता लगाने के कम इस कमी के प्रति संवेदनशील होने लगता है।
मौजूदा सेटअप में, अंशांकन लक्ष्य का केवल सीधा विचारों सफल बूँद का पता लगाने के लिए अनुमति देते हैं। इस लक्ष्य की सतह परोक्ष कोण पर बूँद का पता लगाने में बाधा से specular प्रतिबिंब के कारण है। हम आगे के लक्ष्य में सुधार करने के लिए इतनी के रूप कोण की एक व्यापक रेंज है, जो संभावित प्रदर्शन किया calibrations 20 की गुणवत्ता में सुधार कर सकता है पर विचारों के अधिग्रहण के लिए अनुमति देने के लिए काम कर रहे हैं।
वास्तविक समय में अपरा पाइप लाइन है कि पहले 11 प्रस्तावित किया गया था, ट्रांस की गणना mosaicingगठन के उस छवि जोड़े के नक्शे सफल पता लगाने और सुविधाओं के समूह पर निर्भर करता है। ऑप्टिकल विकृतियों, दूसरे हाथ पर, एक कठोर ज्यामिति के साथ सुविधाओं के एक समूह छवियों भर में विभिन्न प्रकट करने के लिए कारण। एक परिणाम के रूप में, इस अंतर को गणना परिवर्तनों, जो कारण परिणामस्वरूप छवि मोज़ाइक में drifts में अशुद्धियों की ओर जाता है। क्योंकि सबसे प्रमुख ऑप्टिकल विकृतियों किनारों की ओर मौजूद हैं, इंडोस्कोपिक छवियों वर्तमान में अपने अंतरतम क्षेत्रों के लिए उत्पन्न होते हैं। ऑप्टिकल विकृतियों के लिए एक अच्छा सुधार संभावित mosaicing प्रक्रिया में प्रत्येक छवि का एक बड़ा हिस्सा के समावेश के लिए अनुमति होगी। इस विधि का लाभ दो गुना है। सबसे पहले, यह प्रत्येक छवि में पाया सुविधाओं की संख्या में वृद्धि संभावित छवि परिवर्तनों की गणना में सुधार होगा। दूसरा, यह पूरे लक्ष्य संरचनात्मक सतह के लिए अनुमति देने के एक छोटे समय में खंगाला होगा।
Divulgations
The authors have nothing to disclose.
Acknowledgements
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
Materials
| 1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
| Water container at least 50mm by 50mm by 30mm |
| A sterilisation package |
| Seline water |
| Manual metal cutter |
| A file to round up the corners |
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
| A vise (desirable but not required) |
| Sand Blasting machine |
| GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
| PC |
| Laser Cutter |
| Autoclave |
| An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
| Endoscope |
| OpenCV camera calibration module (https://github.com/opencv/opencv) |
References
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. , 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. , 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., Handels, H. . Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg. , 419-423 (2006).
- . Compact GUI application for optical distortion calibration of endoscopes Available from: https://github.com/gift-surg/endocal (2016)
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. . Mosaicing of endoscopic placenta images. , (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . Open Source Computer Vision Library Available from: https://github.com/opencv/opencv (2016)
