Method Article

ברזולוציה גבוהה, במהירות גבוהה, הדמיה וידאו תלת ממדית עם טכניקות הקרנה הדיגיטלי פרינג'

DOI:

10.3791/50421

⸱

December 3rd, 2013

 ,  ,  , 
13D Machine Vision Laboratory, Department of Mechanical Engineering, Iowa State University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סרטון זה מתאר את היסודות של טכניקות הקרנת שוליים דיגיטליות, המספקות מדידות תלת מימד צפופות של משטחים המשתנים באופן דינמי. הוא גם מדגים את התכנון והתפעול של מערכת ביטול מיקוד בינארית במהירות גבוהה המבוססת על טכניקות אלה.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

טכניקות הקרנת שוליים דיגיטליות (DFP) מספקות מדידות תלת-ממדיות צפופות של משטחים המשתנים באופן דינמי. בדומה לעיניים ולמוח האנושיים, DFP משתמש בטריאנגולציה בין נקודות תואמות בשתי תצוגות של אותה סצנה בזוויות שונות כדי לחשב עומק. עם זאת, בניגוד לשיטה מבוססת סטריאו, DFP משתמש במקרן וידאו דיגיטלי כדי להחליף את אחת המצלמות1. המקרן מקרין במהירות דפוס סינוסואידלי ידוע על הנושא, ופני השטח של הנושא מעוותים את הדפוסים הללו בשדה הראייה של המצלמה. ניתן להשתמש בשלוש תבניות מעוותות (תמונות שוליים) מהמצלמה כדי לחשב את העומק באמצעות טריאנגולציה.

בניגוד לשיטות מדידה תלת-ממדיות אחרות, טכניקות DFP מובילות למערכות הנוטות להיות מהירות יותר, נמוכות יותר בעלות הציוד, גמישות יותר וקלות יותר לפיתוח. מערכות DFP יכולות גם להשיג את אותה רזולוציית מדידה כמו המצלמה. מסיבה זו, DFP וטכניקות אור מובנות דיגיטליות אחרות עמדו לאחרונה במוקד מחקר אינטנסיבי (כפי שסוכםב-1-5). תוך ניצול DFP, יחידת העיבוד הגרפי ואלגוריתמים מותאמים, פיתחנו מערכת המסוגלת לרכישה, שחזור ותצוגה של נתוני וידאו תלת מימדיים של 30 הרץ עבור למעלה מ-300,000 נקודות מדידה למסגרת6,7. שיטות DFP בינאריות לביטול מיקוד יכולות להשיג מהירויות גבוהות עוד יותר8.

יישומים מגוונים יכולים להפיק תועלת מטכניקות DFP. משתפי הפעולה שלנו השתמשו במערכות שלנו לניתוח תפקודי פנים9, אנימציית פנים10, מחקרי מכניקת לב11 ומדידות פני נוזלים, אך קיימים יישומים פוטנציאליים רבים אחרים. סרטון זה ילמד את היסודות של טכניקות DFP וימחיש את התכנון והתפעול של מערכת DFP בינארית.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

טכניקות הקרנת שוליים דיגיטליות (DFP) מבוססות על מתאם וטריאנגולציה בין שתי תצוגות של אותה סצנה בזוויות שונות, אותו עיקרון המופעל על ידי העיניים והמוח האנושיים להשגת ראיית סטריאו. עם זאת, בניגוד לשיטה מבוססת סטריאו, DFP משתמש במקרן וידאו דיגיטלי כדי להחליף את אחת המצלמות1. המקרן מקרין במהירות דפוס סינוסואידלי ידוע על האובייקט שפני השטח של האובייקט מעוותים בשדה הראייה של המצלמה. ניתן לנתח שלושה דפוסים מעוותים כאלה (תמונות שוליים) בשינויי פאזה שונים זה מזה כדי לאחזר את העומק באמצעות טריאנגולציה. השימוש בדפוס ידוע מבטל את הבעיה החישובית הקשה של זיהוי נקודות התכתבות, ומאפשר לכידת מדידות עומק ברזולוציית המצלמה. לדוגמה, עם מצלמה של 576 x 576, הטכניקה יכולה ללכוד 331,776 נקודות. זה מאפשר למערכות DFP למדוד פרטים עדינים מאוד כמו תנועת שרירי הפנים ברגשות אנושיים.

טכניקות הדמיה אופטית תלת מימדית לאירועים סטטיים או מעין-סטטיים נחקרו בהרחבה במהלך העשורים האחרונים וזכו להצלחה רבה בעיצוב משחקי וידאו, אנימציה, סרטים, סרטוני מוזיקה, מציאות מדומה, טלכירורגיה ודיסציפלינות הנדסיות רבות5. למרות שקיימות טכניקות פרופילומטריה תלת מימדיות רבות, ניתן לסווג אותן לשתי קטגוריות: שיטות מגע עם פני השטח ושיטות ללא מגע עם פני השטח. גם מכונת מדידת הקואורדינטות (CMM) וגם מיקרוסקופ הכוח האטומי (AFM) דורשים מגע עם משטח המדידה כדי להשיג פרופילים תלת מימדיים בדיוק גבוה. דרישה זו מטילה מגבלות חמורות על מהירות דרכי המגע. הם לא יכולים להגיע למהירות מדידת קילו-הרץ עם אלפי נקודות לסריקה.

טכניקות ללא מגע פני השטח משתמשות בדרך כלל בשיטות טריאנגולציה אופטיות (למשל ראיית סטריאו, סטריאו מרחב-זמן, אור מובנה). על ידי הקרנה פעילה של דפוסים ידועים על האובייקטים, ניתן להשתמש בטכניקות אור מובנות למדידת משטחים ללא וריאציות מרקם מקומיות חזקות1. ניתוח שוליים הוא קבוצה מיוחדת של טכניקות אור מובנות המשתמשות בדפוסים מובנים סינוסואידיים (הידועים גם בשם דפוסי שוליים). מכיוון שלדפוסים אלה יש עוצמות המשתנות ברציפות מנקודה לנקודה באופן ידוע, הם מגבירים את טכניקות האור המובנות מרזולוציית פיקסל מקרן לרזולוציית פיקסל מצלמה12. בעבר הלא רחוק, טכניקות ניתוח שוליים היו חיוניות בהשגת הדמיה תלת מימדית ברזולוציה גבוהה.

טכניקת הקרנת השוליים הדיגיטלית (DFP) משתמשת במקרני וידאו דיגיטליים כדי ליצור דפוסי שוליים סינוסואידיים. לטכניקה זו יש יתרונות של עלות נמוכה יותר, מהירות גבוהה יותר ופשטות פיתוח, והיא הייתה תחום מחקר פעיל מאוד בעשור האחרון. ההתפתחויות האחרונות ב-DFP וטכניקות אור מובנות דיגיטליות דומות מסוכמותב-1-5. כדי להשיג יישומים במהירות גבוהה, עדיף מקרן עיבוד אור דיגיטלי (DLP) בשל מנגנון הפעולה הבסיסי שלו. המהירות והגמישות של טכניקה זו אפשרו לנו לרכוש וידאו תלת מימד ב-40 הרץ 13 ולאחר מכן ב-60 הרץ 6,7.

עם זאת, קיימת מגבלת מהירות בסיסית עבור טכניקת DFP המסורתית. מקרן DLP יכול להחליף רק תמונות צבעוניות של 8 סיביות בקצב הרענון המרבי שלו (בדרך כלל 120 הרץ). מכיוון שדפוסי השוליים המסורתיים הם תמונות בגווני אפור של 8 סיביות, אנו יכולים לקודד שלוש מהן לתמונה צבעונית אחת כערוצי הצבע האדום, הירוק והכחול. המקרן יחליף כל ערוץ (ולכן כל דפוס שוליים) פי שלושה מקצב הרענון (בדרך כלל 360 הרץ). עם זאת, מכיוון שכל פריים וידאו תלת-ממדי דורש שלוש דפוסי שוליים, הקצב המרבי של לכידת וידאו תלת-ממדית הוא עדיין רק קצב הרענון (120 הרץ)3,14. כדי לפרוץ את מגבלת החומרה הזו, המצאנו טכניקת DFP שונה המשתמשת בביטול מיקוד בינארי8. במקום דפוסי שוליים בגווני אפור של 8 סיביות, טכניקה זו משתמשת בתבניות מובנות בינאריות של 1 סיביות שנוצרו על ידי מחשב. דפוסים אלה אינם ממוקדים באמצעות עדשת המקרן כדי להפוך לדפוסים פסאודו-סינוסואידיים עבור DFP. מכיוון שמקרני DLP יכולים להציג תמונות בינאריות בסדר גודל מהיר יותר מתמונות בגווני אפור של 8 סיביות, טכנולוגיית ביטול המיקוד הבינארי מאפשרת מהירות הדמיית וידאו תלת מימדית של עשרות קילו-הרץ באותה רזולוציה כמו טכניקות DFP הקונבנציונליות15.

המטרה הכוללת של הפרוטוקול הבא היא להדגים את המימוש והתפעול הבסיסיים של מערכת DFP בינארית לשינוי פאזה תלת-שלבי. ראשית, הפרוטוקול יכסה את הבחירה והאינטגרציה של הרכיבים הדרושים. לאחר מכן, הוא ידון בשיטת הכיול הפשוטה והנגישה ביותר עבור המערכת; שיטות כיול מורכבות יותר זמינות בספרות עבור יישומים ספציפיים16,17. לאחר מכן הפרוטוקול יתמקד בהליך לכידת וידאו תלת מימד עם המערכת ובתהליך המרת תמונות השוליים למדידות תלת מימד חזותיות. לבסוף, נציג כמה תוצאות מייצגות מהמערכות שלנו בזמן אמת ובמהירות גבוהה.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. תצורת מערכת

סכימה של המערכת מוצגת באיור 1.

  1. צור את תבניות השוליים להקרנה. ניתן להכין אותם זמן רב מראש על ידי שימוש בסביבת תכנות תמונות כגון MATLAB, OpenCV או QT. בנה את התבניות על פי אלגוריתם הסטת הפאזה בן שלושת השלביםב-18. צור שלוש תמונות, מוסטות בהיסט פאזה זו מזו ב-2π/3. לביטול מיקוד בינארי, השתמש בטכניקת מיזוג כדי ליצור דפוסים סינוסואידיים באמצעות פיקסלים שחורים ולבנים בלבד כמתוארב-19.
  2. בחר את המקרן לעיבוד אור דיגיטלי. מערכת ביטול מיקוד בינארית במהירות גבוהה דורשת מקרן מהיר יותר ומיוחד כגון DLP LightCommander עם מודול ALP High Speed. הקפד להשתמש בהגדרה הבינארית או המונוכרומטית כדי להקרין את תמונות השוליים. מאחר שערכי התמונה מופעלים או מבוטלים בלבד, אין צורך בהתאמות אי-ליניאריות. השתמש בתוכנת המקרן כדי להעלות את התבניות להעברת פאזה.
  3. בחר את המצלמה. בחר מצלמת CCD או CMOS בשחור-לבן עם קצב הלכידה הנכון עבור המערכת. הימנע ממצלמות צבעוניות לצילום תלת מימד מכיוון שאין צורך בצבע ומצלמות צבעוניות דורשות התאמות אי-ליניאריות וגמא. זכור שהמצלמה תצטרך ללכוד את כל מערך תמונות השוליים עבור כל מסגרת וידאו תלת-ממדית. מערכות סינוסואידיות איכותיות דורשות סנכרון מדויק בין המקרן למצלמה; עבור מערכות ביטול מיקוד בינאריות דרישה זו רגועה יותר20.
  4. קבע את הטווח המרבי הרצוי (x, y) ואת המרחק מהמקרן לאובייקט (d0). בחרו טווח הגיוני ליישום, אך ודאו שהאזור מעט גדול יותר מהנושא כדי להפחית את אפקטי הגבול האופטיים. מכיוון שתפוקת האור של מקרן היא תסכול, טווח זה (x, y) יניע את d0. הזז את המקרן ביחס למשטח הקרנה שטוח גדול עד למציאת הטווח הרצוי (x, y), ולאחר מכן מדוד d0 בעזרת סרט מדידה.
  5. בחר את עדשת המצלמה עם אורך המוקד המתאים. באמצעות גודל החיישן של המצלמה, מצא את אורך המוקד כך ששדה הראייה במרחק d0 יהיה זהה לטווח ההדמיה הרצוי (x, y).
  6. קבע את מרחק ההפרדה בין המקרן למצלמה. מתרחשת כאן פשרה בין רעש להצללה. בזווית גדולה בין הרכיבים הללו, הטריאנגולציה בין נקודות התכונה ברורה יותר, אך יותר תכונות הולכות לאיבוד בצל מנקודת המבט של המצלמה. בזווית קטנה, הטריאנגולציה הופכת לקשה, מה שמגביר את הרעש בתוצאות. בדרך כלל, 10-15 מעלות זו פשרה טובה.

2. כיול מערכת

כיול מישור ייחוס זה הוא שיטת הכיול הפשוטה והנגישה ביותר עבור המערכת. לכן, זה הטוב ביותר להתחלה. שיטות כיול מדויקות יותר זמינות בספרות עבור יישומי סינוסואיד16 ובינארייםספציפיים 17. לדיוק מרבי, יש לבצע כיול ממש לפני לכידת הנתונים. לאחר הכיול, אין לעקור את המצלמה והמקרן זה לזה.

  1. מיקוד/ביטול מיקוד של המקרן. בטל בזהירות את המיקוד של עדשת ההקרנה עד שהתבניות במישור ההדמיה דומות לסינוסואידים באיכות גבוהה. זה עשוי לדרוש תהליך איטרטיבי של בחינת איכות הנתונים (סעיף 4) והתאמת העדשה.
  2. צלם תמונות שוליים של מישור ייחוס. הנח לוח לבן שטוח במישור המוקד של המקרן ובשדה הראייה של המצלמה. לוח ליבת קצף לבן בעובי 3/16 אינץ' (5 מ"מ) עובד היטב, בתנאי שהמשטח הפונה למערכת אינו מבריק או פגום או קרוע משמעותית. הקלט ושמור תמונות שוליים של לוח זה לשלב עיבוד הנתונים.
  3. צלם תמונות שוליים של אובייקט ייחוס בעל ממדים ידועים. עבור שלב זה, קוביית קצף קשיחה היא דוגמה פשוטה אחת. מכסים את הקובייה בריבועים של 1/16 אינץ' (1.5 מ"מ) קצף דבק לבן כדי להפוך אותה למפוזרת. מקם אותו במישור המוקד של המצלמה בשדה הראייה של המצלמה והקלט תמונות שוליים לשלב העיבוד.

3. רכישת נתונים

  1. מקם את האובייקט או הזמן את הנושא לשבת במישור המוקד של המצלמה. עבור נושא אנושי, הזהר אותו שאור המקרן עשוי להיות בהיר. ניתן להשתמש ברקע בד שחור מאחורי הנושא כדי להסתיר סביבה זרה.
  2. כוונן את צמצם המצלמה כדי למטב את רמת האור. תמונות שוליים לדוגמה צריכות להיות בהירות ככל האפשר, אך לא רוויות. בתמונות כהות יהיה יותר מדי רעש, בעוד שאזורים רוויים (אזורים משמעותיים של בהירות מקסימלית) בתמונות יגרמו לאובדן פרטים באזור הרווי.
  3. צלם את מספר הפריימים הרצוי. הקפד להביא כונן קשיח גדול מספיק כדי להכיל את כל התמונות שצולמו הן עבור הנושא והן עבור מערכי הנתונים של הכיול. עם הקובץ . פורמט קובץ OBJ, סרטון תלת מימד שהוקלט ב -30 הרץ למשך דקה אחת ברזולוציה של 640 x 480 יכול להיות מעל 50 ג'יגה-בייט.

4. ניתוח נתונים והדמיה

עם תוכנה מותאמת למהירות כמו ממשק המשתמש הפנימי שלנו, שלב זה יכול להתרחש במהלך לכידת נתונים. עיבוד בזמן אמת מאפשר למשתמש לזהות מיד אם הנתונים המתקבלים רצויים עבור היישום ולהתאים במידת הצורך. עם זאת, עיבוד לאחר יכול להיות גמיש יותר ודיוק גבוה יותר. עיבוד לאחר הוא גם הרבה יותר פשוט ליישום והמקום הטוב ביותר להתחיל בו.

  1. חשב את השלב העטוף הן עבור נתוני הכיול והן עבור נתוני הנושא. באלגוריתם שלושת השלבים לשינוי פאזהב-18, פאזה מתארת את המיקום של נקודה בתוך פונקציית הקוסינוס. מכיוון שיש לנו שלוש משוואות ושלושה לא ידועים, אנו יכולים לפתור את המשוואות המשמשות ליצירת תמונות השוליים בשלב 1.1 עבור הפאזה בכל נקודה. בגלל פונקציית הארק-טנגנס, הפאזה המחושבת היא בטווח (-π, π]; מכאן שהוא נקרא "שלב עטוף". כדי לשפר את מהירות העיבוד, פיתחנו אלגוריתם עטיפת פאזה מהיר שנדוןב-21.
  2. פרקו את מפות השלבים. אמצו אלגוריתם לפירוק פאזה שמזהה את קפיצות ה-2π בפאזה ומסיר אותן על ידי הוספה או חיסור כפולות של 2π. השתמשנו באלגוריתם המהירב-22 במערכות קודמות כדי לפתור את הפאזה בצורה חזקה אך מהירה. בסרטון, אנו מדגימים את הטכניקה הרב-תדרית המתוארתב-15, המשתמשת בקבוצות נוספות של שלושה דפוסים מוסטים פאזה בתדרים שונים. ניתן לשלב את מפות הפאזה העטופות מכל קבוצה של שלוש כדי להניב בצורה חזקה מפת פאזה אחת לא עטופה. טכניקה זו מגדילה את טווח העומק לצילום מדויק עם ביטול מיקוד בינארי.
  3. אופציונלי: חשב את המרקם הדו-ממדי. חישוב ממוצע של שלוש תמונות שוליים סמוכות ישטוף את פסי השוליים וייצור את מפת המרקם הדו-ממדית. ניתן למפות זאת על נתוני התלת מימד במהלך ההדמיה אם תרצה.
  4. המר את מפות הפאזה הלא עטופות לעומק. כמתוארב-23, ניתן לחשב עומק עבור קוביית הכיול כהפרש בין מפת הפאזה של קוביית הכיול לבין מפת הפאזה של מישור הייחוס. השווה את העומק המחושב הזה לעומק הידוע כדי לחשב את גורם קנה המידה הנכון של העומק c0. לאחר מכן, חשב את העומק עבור הנבדק על ידי הפחתת שלב מישור הייחוס מהפאזה של הנבדק והכפלת התוצאות ב-c0.
  5. חשב את הקואורדינטות x ו- y. החל את גורם קנה המידה c0 על מפת העומק של קוביית הכיול. קבע את גורם ההמרה ρ מממדי הקובייה בפיקסלים למידות הקובייה הידועות במישור xy. הכפל את ספירת הפיקסלים בנתוני הנושא ב-ρ כדי לחשב את קואורדינטות x ו-y.
  6. הצג את הנתונים באופן חזותי. ניתן לשמור מסגרות בודדות בפורמט הפנימי שלנו ולצפות בהן באמצעות קוד MATLAB פשוט או לשמור ב-. פורמט OBJ ונצפה עם תוכנת מידול תלת מימד מסחרית כגון בלנדר. בשל כמות הנתונים הגדולה בכל מסגרת, יישומים אלה עשויים להיות איטיים במחשבים מסוימים. לקבלת תגובתיות טובה יותר או להצגת וידאו חי, כתוב תוכנה באמצעות ספריית גרפיקה ממוחשבת כגון OpenGL או Direct3D. תוכנה זו יכולה לנצל את יחידת העיבוד הגרפי (GPU) כדי ליצור במהירות את קואורדינטות x, y ו-z מהשלב הלא עטוף, ליצור רשת משולש, לחשב נורמלי תאורה ולהציג את התוצאות. באמצעות ה-GPU, השגנו הדמיית נתונים תלת מימדית חיה של עד 30 הרץ עם כ-300,000 נקודות למסגרת.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

איור 1 מציג את הסכימה של המערכת. מערכת ביטול המיקוד הבינארית המהירה בסרטון זה מורכבת ממקרן Logic PD DLP LightCommander ומצלמת Phantom v9.1 CMOS.

איור 2 מציג פריים יחיד ממערכת תלת-ממדית בזמן אמת של פנים אנושיות. מערכת זו משתמשת במצלמת 640 x 480. הודות לדפוס הסינוסואידלי הידוע שהוזכר לעיל, אנו יכולים ללכוד 640 x 480 = 307,200 מדידות, מספיק רזולוציה כדי לתעד פרטים עדינים מאוד.

איור 3 מציג דוגמה למדידת הבעות פנים אנושיות בתלת-ממד ב-60 הרץ. כאן, ארבע פריימים שנבחרו מתוך רצף וידאו מדגימים בבירור את היכולת של מערכת זמן אמת ללכוד שינויים דינמיים בגיאומטריה מפורטת עדינה.

איור 4 מדגים את תוכנת ההדמיה החיה שלנו המשמשת בשילוב עם מערכת הווידיאו התלת-ממדית שלנו לביטול מיקוד בינארי בזמן אמת. הווידיאו התלת-ממדי של הנושא מוצג בזמן אמת על צג המחשב מימינו. תוכנה זו נכתבה ב-C++ באמצעות ספריית OpenGL, GLSL ו-QT. המחשב בו נעשה שימוש הוא מחשב נייד של Lenovo.

איור 5 מציג פריימים תלת-ממדיים ממדידת לב ארנב חי עם מערכת דה-מיקוד בינארית סופר-מהירה שפיתחנו לאחרונה. מערכת זו יכולה להקליט פריימים תלת-ממדיים ב-667 הרץ ברזולוציית תמונה של 576 x 576. נדרש קצב סופר מהיר כדי למדוד את פני הלב ללא חפצים המושרים על ידי תנועה. מחקר מדידת הלב נעשה בשיתוף פעולה עם פרופ' איגור אפימוב מאוניברסיטת וושינגטון-סנט. לואי (ראה11 לפרטים נוספים); שימו לב שהארנב נהרג באופן אנושי ושהתמונות צולמו כשהלב עדיין פועם.

figure-results-1
איור 1.פריסת מערכת הדמיית וידאו תלת מימדית. במערכת זו, מקרן DLP מהיר מקרין שלוש תמונות בינאריות עם הסטת פאזה ברצף מהיר על הנושא. מצלמת CMOS מהירה משמשת לצילום שלוש תמונות השוליים בזו אחר זו לצורך חישוב העומק.

figure-results-2
איור 2.מדידות תלת מימד של פנים אנושיות ברזולוציה של 640 x 480, חושפות פרטים עדינים. משמאל לימין מציג את המרקם שצולם בו-זמנית כשהוא מיושר באופן מושלם עם הגיאומטריה, תצוגה מוצללת של הגיאומטריה, תצוגת מסגרת תיל המתארת את צפיפות הנקודות, תקריב של אזור האף ותקריב של אזור העין.

figure-results-3
איור 3.ארבע פריימים נבחרים מתוך וידאו תלת מימד של היווצרות הבעת פנים.הסרטון צולם ב-60 הרץ ברזולוציה של 640 x 480. פריימים אלה מדגישים את השינויים הגיאומטריים בפניה של האישה כשהיא עוברת מהבעה ניטרלית לחיוך.

figure-results-4
איור 4.צילום, עיבוד ועיבוד וידאו תלת-ממדי בשידור חי. המדידות התלת-ממדיות מוצגות בזמן אמת על גבי מסך המחשב מימין לנושא הצילום.

figure-results-5
איור 5.לכידת לב ארנב חי עם מערכת הדמיית הווידאו התלת-ממדית המהירה שלנו. הלב פועם בקצב של כ-200 פעימות לדקה. קצב הלכידה בתלת מימד היה 166 הרץ עם רזולוציית תמונה של 576 x 576. ראה11 לפרטים נוספים.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

טכנולוגיית הדמיית וידאו תלת-ממדית ברזולוציה גבוהה, בזמן אמת עד מהירה במיוחד, היא טכנולוגיית פלטפורמה שעשויה להועיל לתחומים מדעיים רבים ומגוונים, החל ממדע ביולוגי ועד פרקטיקה הנדסית. יישומים ביו-רפואיים כוללים מדידות מדויקות של תנועות פנים ומשטחי איברים. יישומים אחרים כוללים בקרת איכות אוטומטית תלת מימדית עם זיהוי תכונות משטח מעוותות; שיחות ועידה בווידאו משופרות בתלת-ממד; דיגיטציה מפורטת של תווי פנים לסרטים ומשחקי וידאו; מדידות דפורמציה צפופות ומהירות לתכנון וניתוח מבנים; ואפיון פני השטח של נוזלים. יישומים ביולוגיים והנדסיים רבים (למשל לבבות ארנב פועמים, גלי הלם נוזליים) דורשים קצבי הדמיה מהירים במיוחד של מערכת דה-מיקוד בינארית כדי לפתור נכון תכונות מבלי ליצור כינוי של חפצים.

עם זאת, נותרו אתגרים רבים לאימוץ נרחב של טכנולוגיה זו. טכנולוגיית DFP קונבנציונלית מחייבת את המקרן להציג תבניות שוליים סינוסואידיות בגווני אפור של 8 סיביות. מהירות טכניקה זו מוגבלת על-ידי קצב הרענון של המקרן (בדרך כלל 120 הרץ). מהירות זו מספיקה ללכידה בהילוך איטי כמו זו בהבעות פנים. עם זאת, קיימים יישומים רבים הדורשים קצבי לכידה מהירים יותר.

טכנולוגיית ביטול המיקוד הבינארי הקלה על מגבלת המהירות הזו, ויצרנו בהצלחה מערכת הדמיית וידאו תלת-ממדית מהירה במיוחד. עם זאת, למערכת זו יש שני חסרונות. ראשית, היא דורשת מקרן יקר כמו פלטפורמת DLP Discovery ומצלמת וידאו יקרה במהירות גבוהה כמו Vision Research Phantom v9.1. שנית, מכיוון שהיא מייצרת דפוסים סינוסואידיים באמצעות ביטול המיקוד של תבניות בינאריות בריבוע, לטכניקת ביטול המיקוד הבינארי יש קושי ליצור שוליים סינוסואידיים באותה איכות כמו טכניקת DFP המסורתית וטווח מדידת עומק מופחת (להסבר נוסף, ראה23). מחקר שנערך לאחרונה מצביע על כך שדפוסים סינוסואידיים בינאריים מהוססים יכולים להקל משמעותית על המגבלות על טווח מדידת העומק19. מחקר עתידי יתמקד בהתגברות על הבעיות הנותרות תוך שמירה על היתרונות של ביטול מיקוד בינארי.

אתגר נוסף הוא דחיסה ואחסון של כמות גדולה של נתונים הנוצרים על-ידי מערכות הדמיית וידאו תלת-ממדיות במהירות גבוהה וברזולוציה גבוהה. סרטוני וידאו תלת-ממדיים לא דחוסים גדולים באופן דרסטי מסרטוני וידאו דו-ממדיים לא דחוסים. לדוגמה, עבור סרטון תלת-ממד שהוקלט ב-30 הרץ למשך דקה אחת ברזולוציה של 640 x 480, הקובץ . גודל קובץ OBJ יכול להיות מעל 50 ג'יגה-בייט, מה שמקשה מאוד על האחסון. מכיוון שנעשתה התקדמות מועטה בתחום דחיסת הווידאו התלת מימדי, נמשיך להתמקד בכך בעתיד.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למחברים אין אינטרסים כלכליים מתחרים.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה היה מאמץ מצטבר שהחל לפני יותר מ-10 שנים כאשר ד"ר ג'אנג היה סטודנט לתואר שני באוניברסיטת סטוני ברוק. הסטודנטים הנוכחיים והקודמים בצוות שלנו באוניברסיטת איווה סטייט תרמו רבות לקידום הטכנולוגיה הזו למקום שבו היא נמצאת היום. עבודה זו מומנה בחלקה על ידי הקרן הלאומית למדע במסגרת פרויקט מספר CMMI 1150711, וקרן וויליאם ווירג'יניה בינגר.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments

לא נעשה שימוש בחומרים או ציוד.

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Salvi, J., Fernandez, S., Pribanic, T., Llado, X. A state of the art in structured light patterns for surface profilometry. Patt. Recogn. 43, 2666-2680 (2010).
  2. Gorthi, S. S., Rastogi, P. Fringe projection techniques: Whither we are. Opt. Laser Eng. 48 (2), 133-140 (2010).
  3. Zhang, S. Recent progresses on real-time 3-D shape measurement using digital fringe projection techniques. Opt. Laser Eng. 48 (2), 149-158 (2010).
  4. Su, X., Zhang, Q. Dynamic 3-D shape measurement method: A review. Opt. Laser Eng. 48 (2), 191-204 (2010).
  5. Geng, J. Structured-light 3D surface imaging: a tutorial. Adv. Opt. Photonics. 3 (2), 128-160 (2011).
  6. Zhang, S., Yau, S. -T. High-resolution, real-time 3-D absolute coordinate measurement based on a phase-shifting method. Opt. Express. 14 (7), 2644-2649 (2006).
  7. Zhang, S., Royer, D., Yau, S. -T. GPU-assisted high-resolution, real-time 3-D shape measurement. Opt. Express. 14 (20), 9120-9129 (2006).
  8. Lei, S., Zhang, S. Flexible 3-D shape measurement using projector defocusing. Opt. Lett. 34 (20), 3080-3082 (2009).
  9. Mehta, R. P., Zhang, S., Hadlock, T. A. Novel 3-D video for quantification of facial movement. Otolaryngol. Head Neck Surg. 138 (4), 468-472 (2008).
  10. Wang, Y., et al. High resolution acquisition, learning and transfer of dynamic 3D facial expressions. Comput. Graph. Forum. 23 (3), (2004).
  11. Laughner, J. I., Zhang, S., Li, H., Efimov, I. R. Mapping cardiac surface mechanics with structured light imaging. Am. J. Physiol. Heart Circ. Physiol. , in press (2012).
  12. Ekstrand, L., Wang, Y., Karpinsky, N., Zhang, S. Superfast 3D profilometry with digital fringe projection and phase-shifting techniques. Handbook of 3-D machine vision: Optical metrology and imaging. , Taylor & Francis. Boca Raton, FL. (2012).
  13. Zhang, S., Huang, P. S. High-resolution real-time three-dimensional shape measurement. Opt. Eng. 45 (12), 123-601 (2006).
  14. Li, Y., Zhao, C., Qian, Y., Wang, H., Jin, H. High-speed and dense three-dimensional surface acquisition using defocused binary patterns for spatially isolated objects. Opt. Express. 18, 21-635 (2010).
  15. Wang, Y., Zhang, S. Superfast multifrequency phase-shifting technique with optimal pulse width modulation. Opt. Express. 19 (6), 5143-5148 (2011).
  16. Zhang, S., Huang, P. S. Novel method for structured light system calibration. Opt. Eng. 45 (8), 083601(2006).
  17. Merner, L., Wang, Y., Zhang, S. Accurate calibration for 3D shape measurement system using a binary defocusing technique. Opt. Laser Eng. 51 (5), 514-519 (2013).
  18. Optical Shop Testing. Malacara, D. , 3rd, John Wiley and Sons. New York. (2007).
  19. Wang, Y., Zhang, S. Three-dimensional shape measurement with binary dithered patterns. Appl. Opt. 51 (27), 6631-6636 (2012).
  20. Ekstrand, L., Zhang, S. Autoexposure for three-dimensional shape measurement with a digital-light-processing projector. Opt. Eng. 50 (12), 123-603 (2011).
  21. Huang, P. S., Zhang, S. Fast three-step phase-shifting algorithm. Appl. Opt. 45 (21), 5086-5091 (2006).
  22. Zhang, S., Li, X., Yau, S. -T. Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction. Appl. Opt. 46 (1), 50-57 (2007).
  23. Xu, Y., Ekstrand, L., Dai, J., Zhang, S. Phase error compensation for 3-D shape measurement with projector defocusing. Appl. Opt. 50 (18), 2572-2581 (2011).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Digital Fringe Projection3D Video ImagingPhase Shifting AlgorithmBinary DefocusingHigh Speed ImagingTriangulation MethodSurface MeasurementGraphics Processing UnitCalibration PlaneDepth Reconstruction

Related Articles