Summary
תפיסת העומק האנושית של סרטוני סטריאו תלת-ממדיים תלויה בהפרדת המצלמה, בנקודת ההתכנסות, במרחק ובהיכרות עם האובייקט. מאמר זה מציג שיטה רובוטית לאיסוף נתוני בדיקה מהיר ואמין במהלך ניתוח לב פתוח חי כדי לקבוע את תצורת המצלמה האידיאלית.
Abstract
סטריאו 3D וידאו מהליכים כירורגיים יכול להיות בעל ערך רב עבור חינוך רפואי ולשפר את התקשורת הקלינית. אבל הגישה לחדר הניתוח ולתחום הכירורגי מוגבלת. זוהי סביבה סטרילית, והמרחב הפיזי עמוס בצוות כירורגי וציוד טכני. בהגדרה זו, לכידה ללא הפרעה ורבייה מציאותית של ההליכים הכירורגיים קשה. מאמר זה מציג שיטה לאיסוף נתונים מהיר ואמין של סרטוני תלת-ממד סטריאוסקופיים במרחקים בסיסיים שונים של מצלמה ובמרחקים שונים של התכנסות. כדי לאסוף נתוני בדיקה עם הפרעה מינימלית במהלך הניתוח, עם דיוק גבוה ויכולת חזרה, המצלמות היו מחוברות לכל יד של רובוט בעל זרוע כפולה. הרובוט היה רכוב על התקרה בחדר הניתוח. זה היה מתוכנת לבצע רצף מתוזמן של תנועות מצלמה מסונכרנות צעד דרך מגוון של עמדות בדיקה עם מרחק בסיסי בין 50-240 מ"מ בשלבים מצטברים של 10 מ"מ, ובשני מרחקי התכנסות של 1100 מ"מ ו 1400 מ"מ. הניתוח הושהה כדי לאפשר 40 דגימות וידאו רצופות של 5 שניות. בסך הכל תועדו 10 תרחישים כירורגיים.
Introduction
בניתוח, הדמיה תלת-ממדית יכולה לשמש לחינוך, לאבחנות, לתכנון טרום ניתוחי ולהערכה שלאחר הניתוח1,2. תפיסת עומק מציאותית יכולה לשפר את ההבנה 3,4,5,6 של אנטומיה נורמלית ולא נורמלית. הקלטות וידאו דו-ממדיות פשוטות של הליכים כירורגיים הן התחלה טובה. עם זאת, חוסר תפיסת עומק יכול להקשות על עמיתים שאינם כירורגיים להבין באופן מלא את היחסים האנטרו-אחוריים בין מבנים אנטומיים שונים ולכן גם להציג סיכון של פרשנות שגויה של האנטומיה7,8,9,10.
חוויית הצפייה בתלת-ממד מושפעת מחמישה גורמים: (1) תצורת המצלמה יכולה להיות מקבילה או מוקלטת כפי שמוצג באיור 1, (2) מרחק בסיסי (ההפרדה בין המצלמות). (3) מרחק למושא העניין ומאפייני סצנה אחרים כגון הרקע. (4) מאפיינים של התקני צפייה כגון גודל מסך ומיקום צפייה1,11,12,13.13. (5) העדפות אישיות של הצופים14,15.
עיצוב מערך מצלמה תלת-ממדית מתחיל בלכידת סרטוני בדיקה המתועדים במרחקים ותצורות בסיסיות שונות של המצלמה שישמשו להערכה סובייקטיבית או אוטומטית16,17,18,19,20. מרחק המצלמה חייב להיות קבוע לשדה הניתוח כדי ללכוד תמונות חדות. המוקד הקבוע עדיף מכיוון שמיקוד אוטומטי יותאם את עצמו להתמקדות בידיים, במכשירים או בראשים שעשויים להופיע. עם זאת, זה לא ניתן להשגה בקלות כאשר זירת העניין היא התחום הכירורגי. חדרי הניתוח הם אזורי גישה מוגבלים מכיוון שיש לשמור על מתקנים אלה נקיים וסטרייליים. ציוד טכני, מנתחים ואחיות לשפשף מקובצים לעתים קרובות מקרוב סביב המטופל כדי להבטיח סקירה חזותית טובה וזרימת עבודה יעילה. כדי להשוות ולהעריך את ההשפעה של מיקומי מצלמה על חוויית הצפייה בתלת-ממד, טווח בדיקה שלם אחד של מיקומי המצלמה צריך לתעד את אותה סצנה מכיוון שמאפייני האובייקט כגון צורה, גודל וצבע יכולים להשפיע על חוויית הצפייה בתלת-ממד21.
מאותה סיבה, טווחי בדיקה מלאים של עמדות מצלמה יש לחזור על הליכים כירורגיים שונים. יש לחזור על רצף המיקומים כולו בדיוק רב. בסביבה כירורגית, שיטות קיימות הדורשות התאמה ידנית של המרחק הבסיסי22 או זוגות מצלמה שונים עם מרחקים בסיסיים קבועים23 אינם אפשריים הן בגלל אילוצי שטח וזמן. כדי להתמודד עם אתגר זה, פתרון רובוטי זה תוכנן.
הנתונים נאספו עם רובוט תעשייתי דו-זרועי משותף שהותקן בתקרה בחדר הניתוח. המצלמות היו מחוברות לפרקי כף היד של הרובוט ונעו לאורך מסלול בצורת קשת עם מרחק בסיסי הולך וגדל, כפי שמוצג באיור 2.
כדי להדגים את הגישה, 10 סדרות בדיקה נרשמו מ 4 חולים שונים עם 4 מומים מולדים שונים בלב. סצנות נבחרו כאשר הפסקה בניתוח הייתה אפשרית: עם הלבבות הפועמים ממש לפני ואחרי תיקון כירורגי. הסדרות נעשו גם כאשר הלבבות נעצרו. הניתוחים הושהו למשך 3 דקות ו -20 שניות כדי לאסוף ארבעים 5-ssequences עם מרחקי התכנסות מצלמה שונים ומרחקים בסיסיים כדי ללכוד את הסצנה. הסרטונים עוצבו מאוחר יותר לאחר עיבוד, הוצגו בתלת-ממד עבור הצוות הקליני, שדירג עד כמה הסרטון התלת-ממדי היה מציאותי לאורך סולם מ-0-5.
נקודת ההתכנסות של מצלמות סטריאו מושקעות היא המקום שבו נפגשות נקודות המרכז של שתי התמונות. נקודת ההתכנסות יכולה, לפי עיקרון, להיות ממוקמת מלפנים, בתוך או מאחורי האובייקט, ראה איור 1A.C. כאשר נקודת ההתכנסות נמצאת מול האובייקט, האובייקט יילכד ויוצג משמאל לקו האמצע לתמונת המצלמה השמאלית ומימין לקו האמצע לתמונת המצלמה הימנית (איור 1A). ההפך חל כאשר נקודת ההתכנסות נמצאת מאחורי האובייקט (איור 1B). כאשר נקודת ההתכנסות נמצאת על האובייקט, האובייקט יופיע גם בקו האמצע של תמונות המצלמה (איור 1C), מה שככל הנראה אמור להניב את הצפייה הנוחה ביותר מכיוון שאין צורך בפזילה כדי למזג את התמונות. כדי להשיג וידאו סטריאו 3D נוח, נקודת ההתכנסות חייבת להיות ממוקמת על, או מעט מאחור, את מושא העניין, אחרת הצופה נדרש לפזול מרצון כלפי חוץ (exotropia).
הנתונים נאספו באמצעות רובוט תעשייתי דו-זרועי שיתופי כדי למקם את המצלמות (איור 2A-B). הרובוט שוקל 38 ק"ג ללא ציוד. הרובוט בטוח באופן מהותי; כאשר הוא מזהה פגיעה בלתי צפויה, הוא מפסיק לנוע. הרובוט תוכנת למקם את מצלמות 5 מגה פיקסל עם עדשות C-mount לאורך מסלול בצורת קשת שעוצר במרחקים בסיסיים קבועים מראש (איור 2C). המצלמות היו מחוברות לידי הרובוט באמצעות לוחות מתאם, כפי שמוצג באיור 3. כל מצלמה מוקלטת ב-25 פריימים לשנייה. עדשות נקבעו ב f-stop 1/8 עם דגש קבוע על מושא העניין (מרכז גיאומטרי משוער של הלב). לכל מסגרת תמונה הייתה חותמת זמן ששימשה לסינכרון שני זרמי הווידאו.
היסט בין פרק כף היד של הרובוט למצלמה כויל. ניתן להשיג זאת על ידי יישור הכוונת של תמונות המצלמה, כפי שמוצג באיור 4. במערך זה, ההיסט התרגומי הכולל מנקודת ההרכבה על פרק כף היד של הרובוט ומרכז חיישן תמונת המצלמה היה 55.3 מ"מ בכוון X ו-21.2 מ"מ בכיוון Z, המוצג באיור 5. ההיסט הסיבובי כויל במרחק התכנסות של 1100 מ"מ ומרחק בסיסי של 50 מ"מ והותאם ידנית עם הג'ויסטיק בלוח הבקרה הרובוטי. הרובוט במחקר זה היה דיוק שצוין של 0.02 מ"מ בחלל קרטזי ו 0.01 מעלות סיבוב רזולוציה סיבובית24. ברדיוס של 1100 מ', הפרש זווית של 0.01 מעלות מקזז את נקודת המרכז 0.2 מ"מ. במהלך תנועת הרובוט המלאה מהפרדה של 50-240 מ"מ, הכוונת לכל מצלמה הייתה בטווח של 2 מ"מ ממרכז ההתכנסות האידיאלי.
המרחק הבסיסי הוגדל צעד אחד על ידי הפרדה סימטרית של המצלמות סביב מרכז שדה הראייה במרווחים של 10 מ"מ הנעים בין 50-240 מ"מ (איור 2). המצלמות הוחזקו בקיפאון במשך 5 שניות בכל תנוחה ועברו בין העמדות במהירות של 50 מ"מ/ש'. ניתן להתאים את נקודת ההתכנסות בכיווני X ו- Z באמצעות ממשק משתמש גרפי (איור 6). הרובוט פעל בהתאם בטווח העבודה שלו.
הדיוק של נקודת ההתכנסות הוערך באמצעות המשולשים האחידים ושמות המשתנים באיור 7A ו-B. הגובה 'z' חושב ממרחק ההתכנסות 'R' עם משפט פיתגורס כ
כאשר נקודת ההתכנסות האמיתית הייתה קרובה יותר מהנקודה הרצויה, כפי שמוצג באיור 7A, מרחק השגיאה 'f1' חושב כ
באופן דומה, כאשר נקודת ההתכנסות הייתה דיסטלית לנקודה הרצויה, מרחק השגיאה 'f2' חושב כ
כאן, 'e' הייתה ההפרדה המרבית בין הכוונת, לכל היותר 2 מ"מ בהפרדה בסיסית מקסימלית במהלך הכיול (D = 240 מ"מ). עבור R = 1100 מ"מ (z = 1093 מ"מ), השגיאה הייתה פחות ± 9.2 מ"מ. עבור R = 1400 מ"מ (z = 1395 מ"מ), השגיאה הייתה ± 11.7 מ"מ. כלומר, השגיאה של המיקום של נקודת ההתכנסות הייתה בתוך 1% של הרצוי. שני מרחקי הבדיקה של 1100 מ"מ ו 1400 מ"מ היו ולכן מופרדים היטב.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
הניסויים אושרו על ידי ועדת האתיקה המקומית בלונד, שבדיה. ההשתתפות הייתה בהתנדבות, והאפוטרופוסים החוקיים של המטופלים סיפקו הסכמה בכתב מדעת.
1. התקנה ותצורה של רובוט
הערה: ניסוי זה השתמש ברובוט תעשייתי דו-זרועי שיתופי ולוח הבקרה הסטנדרטי עם צג מגע. הרובוט נשלט באמצעות תוכנת בקר RobotWare 6.10.01 וסביבת פיתוח משולבת רובוט (IDE) RobotStudio 2019.525. תוכנה שפותחה על ידי המחברים, כולל יישום הרובוט, יישום ההקלטה וסקריפטים לאחר עיבוד, זמינים במאגר GitHub26.
זהירות: השתמש במשקפי מגן ובמהירות מופחתת במהלך ההתקנה והבדיקה של תוכנית הרובוטים.
- הר את הרובוט לתקרה או לשולחן באמצעות ברגים בגודל של 100 ק"ג כמתואר בעמוד 25 במפרט המוצר24, בהתאם למפרט היצרן. ודא שהזרועות יכולות לנוע בחופשיות וקו הראייה לשדה הראייה אינו מובחן.
אזהרה: השתמש במעלית או חבלי בטיחות בעת הרכבת הרובוט בתנוחה גבוהה. - הפעל את הרובוט על ידי הפעלת מתג ההתחלה הממוקם בבסיס הרובוט. כייל את הרובוט על ידי ביצוע ההליך המתואר במדריך ההפעלה בעמודים 47-5625.
- הפעל את הרובוט IDE במחשב Windows.
- התחבר למערכת הרובוט הפיזית (עמוד ידני הפעלה 14027).
- טען את הקוד עבור תוכניות הרובוט וספריות היישומים עבור ממשק המשתמש לרובוט:
- הקוד הרובוטי לרובוט רכוב על התקרה נמצא בתיקייה Robot/InvertedCode ועבור רובוט רכוב על שולחן ברובוט/TableMountedCode. עבור כל אחד מהקבצים שנותרו/Data.mod, left/MainModule.mod, מימין/Data.mod ומימין/MainModule.mod:
- צור מודול תוכנית חדש (ראה עמוד ידני הפעלה 31827) עם שם זהה לזה של הקובץ (נתונים או MainModule) והעתק את תוכן הקובץ למודול החדש.
- לחץ על החל ב- IDE הרובוט כדי לשמור את הקבצים ברובוט.
- השתמש בהעברת קבצים (עמוד ידני הפעלה 34627) כדי להעביר את קבצי היישומים הרובוטיים TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll ו- TpsViewStereo2.pdb הממוקמים בתיקיה FPApp לרובוט. לאחר שלב זה, הרובוט IDE לא ישמש עוד.
- לחץ על לחצן איפוס בגב צג המגע הרובוטי (FlexPendant) כדי לטעון מחדש את הממשק הגרפי. יישום הרובוט Stereo2 יהיה גלוי כעת תחת תפריט תצוגת המגע.
- התקן את יישום ההקלטה (Liveview) ואת יישום העיבוד שלאחר העיבוד במחשב Ubuntu 20.04 על-ידי הפעלת install_all_linux.sh Script, הממוקם בתיקיית השורש במאגר Github.
- התקן כל מצלמה לרובוט. הרכיבים הדרושים להרכבה מוצגים באיור 3A.
- הרם את העדשה למצלמה.
- התקן את המצלמה ללוח מתאם המצלמה עם שלושה ברגי M2.
- התקן את לוח ההרכבה המעגלי ללוח מתאם המצלמה עם ארבעה ברגי M6 בצד הנגדי של המצלמה.
- חזור על שלבים 1.9.1-1.9.3 עבור המצלמה האחרת. ההרכבות המתקבלות משתקפות, כפי שמוצג באיור 3B ובאיור 3C.
- התקן את לוחית המתאם לפרק כף היד של הרובוט עם ארבעה ברגי M2.5, כפי שמוצג באיור 3D.
- לרובוט רכוב על התקרה: חברו את המצלמה השמאלית באיור 3C לזרוע הרובוט השמאלית כפי שמוצג באיור 2A.
- לרובוט מונח על השולחן: חברו את המצלמה השמאלית באיור 3C לזרוע הרובוט הימנית.
- חברו את כבלי ה-USB למצלמות, כפי שמוצג באיור 3E, ולמחשב אובונטו.
2. אמת את כיול המצלמה
- בתצוגת המגע הרובוטית, לחץ על לחצן תפריט ובחר Stereo2 כדי להפעיל את יישום הרובוט. פעולה זו תפתח את המסך הראשי, כפי שמוצג באיור 6A.
- במסך הראשי, לחץ על Go כדי להתחיל עבור עבור עבור 1100 מ"מ ביישום הרובוט ולחכות הרובוט לעבור למצב ההתחלה.
- הסר את כובעי עדשת ההגנה מהמצלמות וחבר את כבלי ה- USB למחשב אובונטו.
- מקם רשת כיול מודפסת (כיולגריד.png במאגר) 1100 מ"מ מחיישני המצלמה. כדי להקל על זיהוי נכון של הריבועים המתאימים, הנח אגוז בורג קטן או סמן איפשהו במרכז הרשת.
- הפעל את יישום ההקלטה במחשב אובונטו (הפעל את start.sh התסריט הממוקם בתיקייה liveview בתוך מאגר Github). פעולה זו מפעילה את הממשק, כפי שמוצג באיור 4.
- התאימו את הצמצם והתמקדו בעדשה עם הצמצם וטבעות המיקוד.
- ביישום ההקלטה, בדוק את Crosshair כדי לדמיין את הכוונת.
- ביישום ההקלטה, ודאו שהכוונת תתיישר עם רשת הכיול באותו מיקום בשתי תמונות המצלמה, כפי שמוצג באיור 4. סביר להניח שתידרש התאמה מסוימת באופן הבא:
- אם הצלבים אינם חופפים, לחצו על סמל גלגל השיניים (איור 6A משמאל למטה) ביישום הרובוט בתצוגת המגע הרובוטית כדי לפתוח את מסך ההגדרה, כפי שמוצג באיור 6B.
- לחץ על 1. עבור אל התחל Pos, כפי שמוצג באיור 6B.
- ריץ את הרובוט עם הג'ויסטיק כדי לכוונן את מיקום המצלמה (עמוד ידני הפעלה 3123).
- עדכן את מיקום הכלי עבור כל זרוע רובוטית. לחץ 3. עדכן כלי שמאלי ו-4. עדכן את הכלי הימני כדי לשמור את הכיול עבור הזרוע השמאלית והימנית, בהתאמה.
- לחצו על סמל ' חץ אחורה' ( מימין למעלה, איור 6B) כדי לחזור למסך הראשי.
- לחצו על 'ניסוי הפעלה' (איור 6A) ביישום הרובוט וודאו שהכוונת מתיישרת. אחרת, חזור על שלבים 2.3-2.3.5.
- הוסף ובדוק כל שינוי במרחקים ו/או בזמן בשלב זה. זה דורש שינויים בקוד תוכנית הרובוט ומיומנויות תכנות רובוט מתקדמות. שנה את המשתנים הבאים במודול הנתונים בפעילות השמאלית (זרוע): מרחקי ההפרדה הרצויים במערך המספרים השלמים מרחקים, מרחקי ההתכנסות במערך המספרים השלמים ConvergencePos ועריכה של השעה בכל שלב על-ידי עריכת המשתנה Nwaittime (ערך בשניות).
זהירות: לעולם אל תפעיל תוכנית רובוטים שלא נבדקה במהלך ניתוח חי. - לאחר השלמת הכיול, לחץ על Raise כדי להרים את זרועות הרובוט למצב המתנה.
- באופן אופציונלי לכבות את הרובוט.
הערה: ניתן להשהות את ההליך בין כל אחד מהשלבים לעיל.
3. הכנה בתחילת הניתוח
- אבק הרובוט.
- אם הרובוט כובה, הפעל אותו על-ידי הפעלת מתג 'התחל' הממוקם בבסיס הרובוט.
- הפעל את יישום הרובוט בצג המגע וביישום ההקלטה המתוארים בשלבים 2.1 ו- 2.2.
- ביישום ההקלטה, צור ולאחר מכן בחר את התיקיה שבה ברצונך לשמור את הווידאו (הקש שנה תיקיה).
- ביישום הרובוט: לחץ על סמל ההילוכים, מקם את המצלמות ביחס למטופל. שנה את כיוון X ו- Z על-ידי הקשה על +/- עבור מרחק יד מרובוט וגובה, בהתאמה, כך שהתמונה לוכדת את שדה הניתוח. בצע את המיקום בכוון Y על-ידי הזזה ידנית של הרובוט או המטופל.
הערה: ניתן להשהות את ההכנות בין שלבי ההכנה 3.1-3.4.
4. ניסוי
אזהרה: יש ליידע את כל אנשי הצוות על הניסוי מראש.
- להשהות את הניתוח.
- הודע לאנשי או שהניסוי החל.
- לחץ על הקלט ביישום ההקלטה.
- לחץ על הפעל ניסוי ביישום הרובוט.
- המתן בזמן שהתוכנית פועלת; הרובוט מציג "בוצע" ביישום הרובוט בתצוגת המגע בסיום.
- הפסק את ההקלטה ביישום ההקלטה על-ידי הקשה על צא.
- הודע לאנשי חדר הניתוח שהניסוי הסתיים.
- לחדש את הניתוח.
הערה: לא ניתן להשהות את הניסוי במהלך שלבים 4.1-4.6.
5. חזור על הפעולה
- חזור על שלבים 4.1-4.6 כדי ללכוד רצף נוסף ושלבים 3.1-3.4 ושלבים 4.1-4.6 כדי ללכוד רצפים מניתוחים שונים. ללכוד סביב עשרה רצפים מלאים.
6. לאחר עיבוד
הערה: ניתן לבצע את השלבים הבאים באמצעות רוב תוכנות עריכת הווידאו או באמצעות קבצי ה- Script שסופקו בתיקיה שלאחר העיבוד.
- במקרה זה, בטל את הפרסום של הווידאו בעת שמירתו בתבנית RAW:
- הפעל את קובץ ה- Script לאחר עיבוד/debayer/run.sh כדי לפתוח את יישום debayer המוצג באיור 8A.
- הקש עיון בספריית קלט ובחר את התיקיה עם הווידאו RAW.
- הקש עיון בספריית הפלט ובחר תיקיה עבור קבצי הווידאו המתקבלים שהושחתו והותאמו בצבע.
- לחץ על דבייר! והמתינו עד לסיום התהליך - שני קווי ההתקדמות מלאים, כפי שמוצג באיור 8B.
- מזג את סרטוני הווידאו המסונכרנים מימין ומשמאל לפורמט סטריאו תלת-ממדי28:
- הפעל את קובץ ה- Script לאחר עיבוד/merge_tb/הפעלה.sh כדי להפעיל את יישום המיזוג; הוא פותח את ממשק המשתמש הגרפי המוצג באיור 8C.
- הקש עיון בספריית הקלט ובחר את התיקיה עם קבצי הווידאו שהוצאו מהשימוש.
- הקש עיון בספריית פלט ובחר תיקיה עבור קובץ הסטריאו התלת-ממדי הממוזג שנוצר.
- לחץ על מיזוג! והמתינו עד שמסך הסיום באיור 8D יוצג.
- השתמש בתוכנה לעריכת וידאו מחוץ למדף, כגון Premiere Pro, כדי להוסיף תוויות טקסט לכל מרחק מצלמה בסרטון.
הערה: בסרטון, יש ניעור גלוי בכל פעם שהרובוט זז, ומרחק המצלמה גדל. בניסוי זה, תוויות A-T שימשו למרחקי המצלמה.
7. הערכה
- הצג את הווידאו בתבנית תלת-ממד עליונה עם מקרן תלת-ממד פעיל.
- חוויית הצפייה תלויה בזווית הצפייה ובמרחק למסך; להעריך את הווידאו באמצעות קהל והגדרה מיועדים.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
סרטון הערכה מקובל עם התמונה הנכונה הממוקמת בחלק העליון בתלת-ממד סטריאוסקופי מלמעלה למטה מוצג ב-Video1. רצף מוצלח צריך להיות חד, ממוקד וללא מסגרות תמונה לא מסונכרנות. זרמי וידאו לא מסונכרנים יגרמו לטשטוש, כפי שמוצג בקובץ וידאו 2. נקודת ההתכנסות צריכה להיות ממורכזת אופקית, ללא תלות בהפרדת המצלמה, כפי שניתן לראות באיור 9A,B. כאשר הרובוט עובר בין העמדות, יש ניעור קטן בסרטון, אשר צפוי במהירות מעבר של 50 מ"מ / ש. עם ההפרדה הגדולה מדי בין התמונה הימנית והשמאלית, המוח אינו יכול למזג את התמונות לתמונה תלת-ממדית אחת, ראה איור 9C ווידאו 3.
מיקום הלב בתמונות צריך להיות ממורכז במהלך הסרטון כולו, כפי שמוצג באיור 1C. מספר סיבות עלולות לגרום לכך להיכשל: (1) נקודת ההתכנסות רחוקה מדי מהלב, ראו איור 7. ניתן לשנות את מיקומי המצלמה ביחס למטופל ממסך הגדרת היישום הרובוטי (איור 6B). (2) מערכת קואורדינטות כלי המצלמה אינה מוגדרת כראוי. תוכנית הרובוטים תזיז בו זמנית את המצלמה באופן סימטרי בתנועה רדיאלית סביב נקודת ההתכנסות (איור 2C) ותסובב את המצלמות סביב מערכת הקואורדינטות של כלי המצלמה (איור 5). אם לוחות מתאם המצלמה (איור 3) מורכבים או נטענים באופן שגוי, ערכי ברירת המחדל לא יפעלו. הפעל מחדש את שלב 2.1-2.4 וודא שהכוונת ביישום ההקלטה (איור 6) מצביעה על אותו אובייקט במהלך תנועת הרובוט המלאה. בעת התאמת מסגרות הקואורדינטות, ודאו שהעצם המשמש לכיול (איור 4) ממורכז בין המצלמות; אחרת, הכיול יגרום למסגרות קואורדינטות לא סימטריות.
אם הצבעים אינם נכונים לאחר ביטול הפרסום עם היישום המתפרק (איור 8), לסרטונים שנלכדו יש תבנית לא נכונה של ביטול התקנה. פעולה זו מחייבת את המשתמש לשנות את הקוד עבור היישום debayering או להשתמש בכלי אחר של debayering. באופן דומה, אם הסינכרון האוטומטי בין סרטוני הסטריאו נכשל, על המשתמש להשתמש בתוכניות לעריכת וידאו כגון Premiere Pro כדי ליישר את הסרטונים.
כדי לנתח את התוצאות, יש להציג את הווידאו במקרן תלת-ממדי עבור הקהל המיועד. הקהל יכול לדרג באופן סובייקטיבי עד כמה הסרטון התלת-ממדי מתאים למצב בחיים האמיתיים. ניתן להשתמש בתוויות שנוספו בשלב 6.3 כדי להבקיע מרחקים שונים.
איור 1. מיקום נקודת התכנסות. מיקום שונה של נקודות התכנסות ביחס לאובייקט העניין (נקודה אפורה). (א) נקודת התכנסות לפני האובייקט, (B) מאחורי האובייקט ו- (C) על האובייקט. קו האמצע עבור כל תמונת מצלמה מוצג עם קו מנוקד. המנתח מוצג מלמעלה, עומד בין המצלמות. בחלק העליון, המיקום המתקבל של האובייקט בצד שמאל ותמונות המצלמה הימנית מוצגים ביחס לקו האמצע. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 2: תנועת רובוט. הפרדת המצלמה הוגדלה מ- (A) 50 מ"מ ל- (B) 240 מ"מ עם צעדים מצטברים של 10 מ"מ. (C) הרובוט הזיז את המצלמות באופן רדיאלי, תמיד כיוון את המצלמות לכיוון נקודת ההתכנסות - הלב. כאן המרחק D הוא המרחק בין המצלמות, R הוא הרדיוס 1100 או 1400 מ"מ, ו - a הוא זווית המצלמות, sin(a) = D/2R. המצלמות הימניות והשמאליות היו בזווית של מעלה בכיוון השלילי והחיובי, בהתאמה, סביב ציר Z של הכלי. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 3: מצלמות הרכבה על הרובוט. (א) תצוגה מפוצצת של הרכיבים למצלמה אחת: עדשה, חיישן מצלמה, לוח מתאם מצלמה, לוח הרכבה עגול, פרק כף היד של הרובוט וברגים. שני מתאמי המצלמה המורכבים מוצגים מ-(B) בצד הרובוט ו-(C) בחזית. (ד) מתאמים המחוברים לפרק כף היד של הרובוט עם ארבעה ברגי M2.5. (ה) כבלי USB המחוברים למצלמות. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 4: כיול מצלמה עם יישום ההקלטה. רשת כיול ואגוז בורג שימשו לכיול מערכות הקואורדינטות של כלי המצלמה ביחס לצווים הרובוטיים. המצלמות צריכות להיות בזווית כך שהאגוז נמצא במרכז התמונות. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 5: מערכת קואורדינטות כלי מצלמה. ציר X (אדום), ציר Y (ירוק) וציר Z (כחול) של מערכת קואורדינטת כלי המצלמה. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 6: יישום הרובוט. (א) הצגת המסך הראשי בתצוגת המגע להפעלת הניסויים. (ב) מסך ההתקנה לכיול והתאמה של כלי העבודה של נקודת ההתכנסות. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 7: הערכת שגיאות. שגיאת התכנסות (A) לעיל ו- (B) מתחת לנקודת ההתכנסות הרצויה. המרחק האופקי הבסיסי (D = 240 מ"מ), המרחק בין המצלמות ונקודת ההתכנסות (R = 1100). המרחק האנכי בין המצלמות לנקודת ההתכנסות (z = 1093 מ"מ), ההפרדה המרבית בין נקודות מרכז התמונה (הכוונת) (e = 2 מ"מ), מרחק השגיאה האנכי כאשר נקודת ההתכנסות האמיתית נמצאת מעל מיקום ההתכנסות הרצוי (f1 = 9 מ"מ). מרחק השגיאה האנכי כאשר נקודת ההתכנסות האמיתית נמצאת מתחת למיקום ההתכנסות הרצוי (f2 = 9.2 מ"מ). האיור לא נמשך לקנה מידה. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 8: יישומי עיבוד לאחר עיבוד עבור debayering ומיזוג. (א) מסכי התחלה ו- (ב) סיום של יישום debayer. (ג) מסכי התחלה ו- (D) סיום של יישום המיזוג. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 9: תמונות של סרטוני סטריאו מוגמרים. רק כל שורת פיקסלים אחרת שימשה מהתמונות המקוריות כדי לציית לתבנית סטריאו תלת-ממדית עליונה/תחתונה סטנדרטית. התמונות העליונות הן מהמצלמה הימנית ומתחתון מהמצלמה השמאלית. (A) תמונת סטריאו תלת-ממדית עם מרחק בסיסי של 50 מ"מ ונקודת ההתכנסות בטבלת OR שמאחורי הלב. (B) תמונת סטריאו תלת-ממדית עם מרחק בסיסי של 240 מ"מ ונקודת ההתכנסות בשולחן OR שמאחורי הלב. (C) תמונת סטריאו תלת-ממדית עם מרחק בסיסי של 240 מ"מ ונקודת ההתכנסות 300 מ"מ מאחורי הלב. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
וידאו 1. סטריאו 3D וידאו ב 1100 מ"מ. נקודת ההתכנסות היא על הלב, 1100 מ"מ מהמצלמות. הסרטון מתחיל עם מרחק בסיסי של 50 מ"מ (A) ועולה עם שלבים של 10 מ"מ עד 240 מ"מ (T). אנא לחץ כאן כדי להוריד וידאו זה.
וידאו 2. וידאו תלת-ממדי סטריאו לא מסונכרן. הסרטונים מימין ומשמאל אינם מסונכרנים מה שגורם לטשטוש כאשר הם צופים בהם בתלת-ממד. אנא לחץ כאן כדי להוריד סרטון זה.
וידאו 3. סטריאו 3D וידאו ב 1400 מ"מ. נקודת ההתכנסות היא מאחורי הלב, 1400 מ"מ מהמצלמות. הווידאו אנא לחץ כאן כדי להוריד את הסרטון הזה.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
במהלך ניתוח חי, הזמן הכולל של הניסוי המשמש לאיסוף נתוני וידאו 3D הוגבל כדי להיות בטוח עבור המטופל. אם האובייקט אינו ממוקד או חשיפת יתר, אין אפשרות להשתמש בנתונים. השלבים הקריטיים הם במהלך כיול והגדרה של כלי מצלמה (שלב 2). לא ניתן לשנות את הצמצם והמיקוד של המצלמה כאשר הניתוח החל; יש להשתמש באותם תנאי תאורה ומרחק במהלך ההתקנה והניתוח. כיול המצלמה בשלבים 2.1-2.4 חייב להתבצע בזהירות כדי להבטיח שהלב מרוכז בסרטון שצולם. כדי לפתור את הכיול, ניתן לאמת את הערכים של מערכת קואורדינטות כלי המצלמה בנפרד על ידי ריצה הרובוט במערכת הקואורדינטות (שלב 2.3.3). זה קריטי כדי לבדוק את תוכנית הרובוט המלאה ומצלמות יחד עם יישום ההקלטה לפני הניתוח. גובה שולחן הניתוחים מותאם לפעמים במהלך הניתוח; הגובה של מצלמות הרובוט ניתן לשנות גם בשידור חי ביישום הרובוט (שלב 3.4) כדי לשמור על המרחק הרצוי ללב. ניתן לשנות את המרחקים וזמני ההמתנה של תוכנית הרובוטים כמתואר בשלב 2.5.
מגבלה אחת של טכניקה זו היא שהיא דורשת שהניתוח יושהה; לכן, איסוף נתונים יכול להתבצע רק כאשר זה בטוח עבור המטופל להשהות את הניתוח. מגבלה נוספת היא שהיא דורשת התאמה פיזית של חדר הניתוח כדי להתקין את הרובוט בתקרה ותנועת הרובוט המתוכנת מניחה שהרובוט מרוכז מעל הלב. בנוסף, המצלמות הן toed-in במקום במקביל, אשר יכול לגרום לאפקט keystone. ניתן לכוונן את אפקט אבן המפתח בפוסט-פרודקשן29,30,31.
מערך של מצלמות מרובות הממוקמות על קשת יכול לשמש לאיסוף נתונים דומים23. מערך המצלמות יכול לצלם תמונות בו-זמנית מכל המצלמות; לכן, ניתן להשהות את הניתוח לזמן קצר יותר. מקור שגיאה למערך מצלמה הוא שלמצלמות יכול להיות מיקוד, צמצם וכיול שונים במקצת וכאשר משווים קטעי וידאו מזוגות מצלמה שונים, פרמטרים אחרים מאשר המרחק הבסיסי יכולים להשפיע על איכות התמונה ותפיסת העומק. חיסרון נוסף במערך מצלמה הוא שגודל הצעד בין מרחקים בסיסיים מוגבל על ידי הגודל הפיזי של המצלמות. לדוגמה, העדשה המשמשת במחקר זה יש קוטר של 30 מ"מ, אשר יהיה שווה את גודל הצעד המינימלי האפשרי. עם ההתקנה שהוצגה במחקר, גדלי צעדים של 10 מ"מ נבדקו אך ניתן להגדיר אותם קטנים יותר במידת הצורך. כמו כן, עם הגדרת המערך, לא ניתן לכוונן באופן דינמי גובה ומרחק התכנסות.
חלופה נוספת היא להעביר את המצלמות באופן ידני למיקומים מוגדרים מראש22. זה לא ריאלי במהלך ניתוח לב חי כי זה יפגע בסביבת עבודה כירורגית קריטית וזמן.
שיטה זו חלה על סוגים רבים של ניתוחים פתוחים, כולל ניתוחים אורתופדיים, כלי דם וכלליים, שבהם טרם נקבעו מרחקי בסיס והתכנסות אופטימליים.
ניתן להתאים שיטה זו גם לאיסוף תמונות למטרות שאינן תצוגה חזותית תלת-ממדית. יישומי ראייה ממוחשבת רבים משתמשים בפער בין תמונות כדי לחשב את המרחק לאובייקט. ניתן להשתמש בתנועת מצלמה מדויקת לסריקה תלת-ממדית של עצמים נייחים מכיוונים מרובים כדי ליצור דגמי תלת-ממד. עבור לוקליזציה תלת-ממדית, חוויית הצפייה בתלת-ממד חשובה פחות אם ניתן לזהות את אותן נקודות באובייקט בתמונות שונות, בהתאם למיקום מדויק של המצלמה, כיול המצלמה, תנאי האור וסינכרון המסגרות.
מיקום מצלמה הנשלט על ידי רובוטים הוא גם בטוח וגם יעיל לאיסוף נתוני וידאו לזיהוי עמדות מצלמה אופטימליות עבור וידאו תלת-ממדי סטריאוסקופי.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
למחברים אין מה לחשוף.
Acknowledgments
המחקר נערך במימון Vinnova (2017-03728, 2018-05302 ו-2018-03651), קרן לב-ריאה (20180390), קרן קמפרד המשפחתית (20190194) וקרן אנה-ליסה וסוון אריק לונדגרן (2017 ו-2018).
Materials
| Name | Company | Catalog Number | Comments |
| 2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
| 3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
| 3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
| 6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
| 8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
| 8 M5 x 40 screws | To mount the robot | ||
| 8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
| Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
| Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
| Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
| Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
| Flexpendant | ABB | 3HAC028357-001 | robot touch display |
| Liveview | recording application | ||
| RobotStudio | robot integrated development environment (IDE) | ||
| USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
| YuMi dual-arm robot | ABB | IRB14000 |
References
- Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
- van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
- Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
- Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).
- Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
- Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
- Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
- Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
- Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
- Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
- Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
- McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
- Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
- Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
- Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
- Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
- Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
- López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).
- Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
- Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
- Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
- Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
- Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
- Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
- Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
- Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
- Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).
