בדיקה רובוטית של עמדות מצלמה כדי לקבוע תצורה אידיאלית עבור הדמיה סטריאו 3D של ניתוח לב פתוח

Summary

תפיסת העומק האנושית של סרטוני סטריאו תלת-ממדיים תלויה בהפרדת המצלמה, בנקודת ההתכנסות, במרחק ובהיכרות עם האובייקט. מאמר זה מציג שיטה רובוטית לאיסוף נתוני בדיקה מהיר ואמין במהלך ניתוח לב פתוח חי כדי לקבוע את תצורת המצלמה האידיאלית.

Abstract

סטריאו 3D וידאו מהליכים כירורגיים יכול להיות בעל ערך רב עבור חינוך רפואי ולשפר את התקשורת הקלינית. אבל הגישה לחדר הניתוח ולתחום הכירורגי מוגבלת. זוהי סביבה סטרילית, והמרחב הפיזי עמוס בצוות כירורגי וציוד טכני. בהגדרה זו, לכידה ללא הפרעה ורבייה מציאותית של ההליכים הכירורגיים קשה. מאמר זה מציג שיטה לאיסוף נתונים מהיר ואמין של סרטוני תלת-ממד סטריאוסקופיים במרחקים בסיסיים שונים של מצלמה ובמרחקים שונים של התכנסות. כדי לאסוף נתוני בדיקה עם הפרעה מינימלית במהלך הניתוח, עם דיוק גבוה ויכולת חזרה, המצלמות היו מחוברות לכל יד של רובוט בעל זרוע כפולה. הרובוט היה רכוב על התקרה בחדר הניתוח. זה היה מתוכנת לבצע רצף מתוזמן של תנועות מצלמה מסונכרנות צעד דרך מגוון של עמדות בדיקה עם מרחק בסיסי בין 50-240 מ”מ בשלבים מצטברים של 10 מ”מ, ובשני מרחקי התכנסות של 1100 מ”מ ו 1400 מ”מ. הניתוח הושהה כדי לאפשר 40 דגימות וידאו רצופות של 5 שניות. בסך הכל תועדו 10 תרחישים כירורגיים.

Introduction

בניתוח, הדמיה תלת-ממדית יכולה לשמש לחינוך, לאבחנות, לתכנון טרום ניתוחי ולהערכה שלאחר ^{הניתוח1,2}. תפיסת עומק מציאותית יכולה לשפר את ההבנה 3,4,5,6 של אנטומיה נורמלית ולא נורמלית. הקלטות וידאו דו-ממדיות פשוטות של הליכים כירורגיים הן התחלה טובה. עם זאת, חוסר תפיסת עומק יכול להקשות על עמיתים שאינם כירורגיים להבין באופן מלא את היחסים האנטרו-אחוריים בין מבנים אנטומיים שונים ולכן גם להציג סיכון של פרשנות שגויה של האנטומיה7,8,9,10.

חוויית הצפייה בתלת-ממד מושפעת מחמישה גורמים: (1) תצורת המצלמה יכולה להיות מקבילה או מוקלטת כפי שמוצג באיור 1, (2) מרחק בסיסי (ההפרדה בין המצלמות). (3) מרחק למושא העניין ומאפייני סצנה אחרים כגון הרקע. (4) מאפיינים של התקני צפייה כגון גודל מסך ומיקום צפייה1,11,12,13.13. (5) העדפות אישיות של ^{הצופים14,15}.

עיצוב מערך מצלמה תלת-ממדית מתחיל בלכידת סרטוני בדיקה המתועדים במרחקים ותצורות בסיסיות שונות של המצלמה שישמשו להערכה סובייקטיבית או אוטומטית16,17,18,19,20. מרחק המצלמה חייב להיות קבוע לשדה הניתוח כדי ללכוד תמונות חדות. המוקד הקבוע עדיף מכיוון שמיקוד אוטומטי יותאם את עצמו להתמקדות בידיים, במכשירים או בראשים שעשויים להופיע. עם זאת, זה לא ניתן להשגה בקלות כאשר זירת העניין היא התחום הכירורגי. חדרי הניתוח הם אזורי גישה מוגבלים מכיוון שיש לשמור על מתקנים אלה נקיים וסטרייליים. ציוד טכני, מנתחים ואחיות לשפשף מקובצים לעתים קרובות מקרוב סביב המטופל כדי להבטיח סקירה חזותית טובה וזרימת עבודה יעילה. כדי להשוות ולהעריך את ההשפעה של מיקומי מצלמה על חוויית הצפייה בתלת-ממד, טווח בדיקה שלם אחד של מיקומי המצלמה צריך לתעד את אותה סצנה מכיוון שמאפייני האובייקט כגון צורה, גודל וצבע יכולים להשפיע על חוויית הצפייה ^{בתלת-ממד21}.

מאותה סיבה, טווחי בדיקה מלאים של עמדות מצלמה יש לחזור על הליכים כירורגיים שונים. יש לחזור על רצף המיקומים כולו בדיוק רב. בסביבה כירורגית, שיטות קיימות הדורשות התאמה ידנית של המרחק ^{הבסיסי22} או זוגות מצלמה שונים עם מרחקים בסיסיים ^{קבועים23} אינם אפשריים הן בגלל אילוצי שטח וזמן. כדי להתמודד עם אתגר זה, פתרון רובוטי זה תוכנן.

הנתונים נאספו עם רובוט תעשייתי דו-זרועי משותף שהותקן בתקרה בחדר הניתוח. המצלמות היו מחוברות לפרקי כף היד של הרובוט ונעו לאורך מסלול בצורת קשת עם מרחק בסיסי הולך וגדל, כפי שמוצג באיור 2.

כדי להדגים את הגישה, 10 סדרות בדיקה נרשמו מ 4 חולים שונים עם 4 מומים מולדים שונים בלב. סצנות נבחרו כאשר הפסקה בניתוח הייתה אפשרית: עם הלבבות הפועמים ממש לפני ואחרי תיקון כירורגי. הסדרות נעשו גם כאשר הלבבות נעצרו. הניתוחים הושהו למשך 3 דקות ו -20 שניות כדי לאסוף ארבעים 5-ssequences עם מרחקי התכנסות מצלמה שונים ומרחקים בסיסיים כדי ללכוד את הסצנה. הסרטונים עוצבו מאוחר יותר לאחר עיבוד, הוצגו בתלת-ממד עבור הצוות הקליני, שדירג עד כמה הסרטון התלת-ממדי היה מציאותי לאורך סולם מ-0-5.

נקודת ההתכנסות של מצלמות סטריאו מושקעות היא המקום שבו נפגשות נקודות המרכז של שתי התמונות. נקודת ההתכנסות יכולה, לפי עיקרון, להיות ממוקמת מלפנים, בתוך או מאחורי האובייקט, ראה איור 1A.C. כאשר נקודת ההתכנסות נמצאת מול האובייקט, האובייקט יילכד ויוצג משמאל לקו האמצע לתמונת המצלמה השמאלית ומימין לקו האמצע לתמונת המצלמה הימנית (איור 1A). ההפך חל כאשר נקודת ההתכנסות נמצאת מאחורי האובייקט (איור 1B). כאשר נקודת ההתכנסות נמצאת על האובייקט, האובייקט יופיע גם בקו האמצע של תמונות המצלמה (איור 1C), מה שככל הנראה אמור להניב את הצפייה הנוחה ביותר מכיוון שאין צורך בפזילה כדי למזג את התמונות. כדי להשיג וידאו סטריאו 3D נוח, נקודת ההתכנסות חייבת להיות ממוקמת על, או מעט מאחור, את מושא העניין, אחרת הצופה נדרש לפזול מרצון כלפי חוץ (exotropia).

הנתונים נאספו באמצעות רובוט תעשייתי דו-זרועי שיתופי כדי למקם את המצלמות (איור 2A-B). הרובוט שוקל 38 ק”ג ללא ציוד. הרובוט בטוח באופן מהותי; כאשר הוא מזהה פגיעה בלתי צפויה, הוא מפסיק לנוע. הרובוט תוכנת למקם את מצלמות 5 מגה פיקסל עם עדשות C-mount לאורך מסלול בצורת קשת שעוצר במרחקים בסיסיים קבועים מראש (איור 2C). המצלמות היו מחוברות לידי הרובוט באמצעות לוחות מתאם, כפי שמוצג באיור 3. כל מצלמה מוקלטת ב-25 פריימים לשנייה. עדשות נקבעו ב f-stop 1/8 עם דגש קבוע על מושא העניין (מרכז גיאומטרי משוער של הלב). לכל מסגרת תמונה הייתה חותמת זמן ששימשה לסינכרון שני זרמי הווידאו.

היסט בין פרק כף היד של הרובוט למצלמה כויל. ניתן להשיג זאת על ידי יישור הכוונת של תמונות המצלמה, כפי שמוצג באיור 4. במערך זה, ההיסט התרגומי הכולל מנקודת ההרכבה על פרק כף היד של הרובוט ומרכז חיישן תמונת המצלמה היה 55.3 מ”מ בכוון X ו-21.2 מ”מ בכיוון Z, המוצג באיור 5. ההיסט הסיבובי כויל במרחק התכנסות של 1100 מ”מ ומרחק בסיסי של 50 מ”מ והותאם ידנית עם הג’ויסטיק בלוח הבקרה הרובוטי. הרובוט במחקר זה היה דיוק שצוין של 0.02 מ”מ בחלל קרטזי ו 0.01 מעלות סיבוב רזולוציה ^{סיבובית24}. ברדיוס של 1100 מ’, הפרש זווית של 0.01 מעלות מקזז את נקודת המרכז 0.2 מ”מ. במהלך תנועת הרובוט המלאה מהפרדה של 50-240 מ”מ, הכוונת לכל מצלמה הייתה בטווח של 2 מ”מ ממרכז ההתכנסות האידיאלי.

המרחק הבסיסי הוגדל צעד אחד על ידי הפרדה סימטרית של המצלמות סביב מרכז שדה הראייה במרווחים של 10 מ”מ הנעים בין 50-240 מ”מ (איור 2). המצלמות הוחזקו בקיפאון במשך 5 שניות בכל תנוחה ועברו בין העמדות במהירות של 50 מ”מ/ש’. ניתן להתאים את נקודת ההתכנסות בכיווני X ו- Z באמצעות ממשק משתמש גרפי (איור 6). הרובוט פעל בהתאם בטווח העבודה שלו.

הדיוק של נקודת ההתכנסות הוערך באמצעות המשולשים האחידים ושמות המשתנים באיור 7A ו-B. הגובה ‘z’ חושב ממרחק ההתכנסות ‘R’ עם משפט פיתגורס כ

כאשר נקודת ההתכנסות האמיתית הייתה קרובה יותר מהנקודה הרצויה, כפי שמוצג באיור 7A, מרחק השגיאה ‘_f1‘ חושב כ

באופן דומה, כאשר נקודת ההתכנסות הייתה דיסטלית לנקודה הרצויה, מרחק השגיאה ‘_f2‘ חושב כ

כאן, ‘e’ הייתה ההפרדה המרבית בין הכוונת, לכל היותר 2 מ”מ בהפרדה בסיסית מקסימלית במהלך הכיול (D = 240 מ”מ). עבור R = 1100 מ”מ (z = 1093 מ”מ), השגיאה הייתה פחות ± 9.2 מ”מ. עבור R = 1400 מ”מ (z = 1395 מ”מ), השגיאה הייתה ± 11.7 מ”מ. כלומר, השגיאה של המיקום של נקודת ההתכנסות הייתה בתוך 1% של הרצוי. שני מרחקי הבדיקה של 1100 מ”מ ו 1400 מ”מ היו ולכן מופרדים היטב.

Protocol

הניסויים אושרו על ידי ועדת האתיקה המקומית בלונד, שבדיה. ההשתתפות הייתה בהתנדבות, והאפוטרופוסים החוקיים של המטופלים סיפקו הסכמה בכתב מדעת. 1. התקנה ותצורה של רובוט הערה: ניסוי זה השתמש ברובוט תעשייתי דו-זרועי שיתופי ולוח הבקרה הסטנדרטי עם צג מגע. הרובוט נשלט באמ…

Representative Results

סרטון הערכה מקובל עם התמונה הנכונה הממוקמת בחלק העליון בתלת-ממד סטריאוסקופי מלמעלה למטה מוצג ב-Video1. רצף מוצלח צריך להיות חד, ממוקד וללא מסגרות תמונה לא מסונכרנות. זרמי וידאו לא מסונכרנים יגרמו לטשטוש, כפי שמוצג בקובץ וידאו 2. נקודת ההתכנסות צריכה להיות ממורכזת אופקית, ללא…

Discussion

במהלך ניתוח חי, הזמן הכולל של הניסוי המשמש לאיסוף נתוני וידאו 3D הוגבל כדי להיות בטוח עבור המטופל. אם האובייקט אינו ממוקד או חשיפת יתר, אין אפשרות להשתמש בנתונים. השלבים הקריטיים הם במהלך כיול והגדרה של כלי מצלמה (שלב 2). לא ניתן לשנות את הצמצם והמיקוד של המצלמה כאשר הניתוח החל; יש להשתמש באותם…

Materials

2 C-mount lenses (35 mm F2.1, 5 M pixel)	Tamron	M112FM35	Rated for 5 Mpixel
3D glasses (DLP-link active shutter)	Celexon	G1000	Any compatible 3D glasses can be used
3D Projector	Viewsonic	X10-4K	Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws			To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws			To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws			To mount the robot
8 M6 x 10 screws with flat heads			For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)			Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2			Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2			Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)	Ximea	MC050CG-SY-UB	With Sony IMX250LQR sensor
Flexpendant	ABB	3HAC028357-001	robot touch display
Liveview			recording application
RobotStudio			robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2			Thumbscrew lock connector, water proofed.
YuMi dual-arm robot	ABB	IRB14000