Method Article

عالية الدقة، والسرعة الفائقة، والتصوير ثلاثي الأبعاد الفيديو مع تقنيات الإسقاط هامش الرقمية

DOI:

10.3791/50421

⸱

December 3rd, 2013

 ,  ,  , 
13D Machine Vision Laboratory, Department of Mechanical Engineering, Iowa State University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
< p class = "jove_content">يصف هذا الفيديو أساسيات تقنيات الإسقاط الهامشي الرقمي ، والتي توفر قياسات ثلاثية الأبعاد كثيفة للأسطح المتغيرة ديناميكيا. كما يوضح تصميم وتشغيل نظام إلغاء التركيز البؤري الثنائي عالي السرعة بناء على هذه التقنيات.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

توفر تقنيات الإسقاط الهامشي الرقمي (DFP) قياسات ثلاثية الأبعاد كثيفة للأسطح المتغيرة ديناميكيا. مثل العين والدماغ البشري ، يستخدم DFP التثليث بين نقاط المطابقة في طريقتين لنفس المشهد بزوايا مختلفة لحساب العمق. ومع ذلك ، على عكس الطريقة القائمة على الاستريو ، يستخدم DFP جهاز عرض فيديو رقمي لاستبدال إحدى الكاميرات1. يعرض جهاز العرض بسرعة نمطا جيبيا معروفا على الهدف، ويقوم سطح الهدف بتشويه هذه الأنماط في مجال رؤية الكاميرا. يمكن استخدام ثلاثة أنماط مشوهة (صور هامشية) من الكاميرا لحساب العمق باستخدام التثليث.

على عكس طرق القياس ثلاثية الأبعاد الأخرى ، تؤدي تقنيات DFP إلى أنظمة تميل إلى أن تكون أسرع ، وأقل تكلفة للمعدات ، وأكثر مرونة ، وأسهل في التطوير. يمكن لأنظمة DFP أيضا تحقيق نفس دقة القياس مثل الكاميرا. لهذا السبب ، كانت DFP وتقنيات الإضاءة الرقمية الهيكلية الأخرى مؤخرا محور بحث مكثف (كما هو موجز في1-5). بالاستفادة من DFP ، وحدة معالجة الرسومات ، والخوارزميات المحسنة ، قمنا بتطوير نظام قادر على الحصول على بيانات الفيديو ثلاثية الأبعاد 30 هرتز وإعادة بنائها وعرضها لأكثر من 300,000 نقطة قياس لكل إطار6,7. يمكن لطرق إلغاء التركيز البؤري الثنائية DFP تحقيق سرعات أكبر8.

يمكن أن تستفيد التطبيقات المتنوعة من تقنيات DFP. استخدم المتعاونون معنا أنظمتنا لتحليل وظائفالوجه 9 ، والرسوم المتحركةللوجه 10 ، ودراسات ميكانيكا القلب11 ، وقياسات سطح السوائل ، ولكن توجد العديد من التطبيقات المحتملة الأخرى. سيعلم هذا الفيديو أساسيات تقنيات DFP ويوضح تصميم وتشغيل نظام DFP ثنائي لإلغاء التركيز البؤري.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
تعتمد

تقنيات الإسقاط الرقمي الهامشي (DFP) على الارتباط والتثليث بين وجهتي عرض لنفس المشهد بزوايا مختلفة ، وهو نفس المبدأ الذي تستخدمه العين والدماغ البشري لتحقيق رؤية مجسمة. ومع ذلك ، على عكس الطريقة القائمة على الاستريو ، يستخدم DFP جهاز عرض فيديو رقمي لاستبدال إحدى الكاميرات1. يقوم جهاز العرض بسرعة بعرض نمط جيبي معروف على الكائن الذي يشوهه سطح الكائن في عرض الكاميرا. يمكن تحليل ثلاثة أنماط مشوهة (صور هامشية) في تحولات طور مختلفة عن بعضها البعض لاسترداد العمق عن طريق التثليث. استخدام نمط معروف يلغي المشكلة الحسابية الصعبة المتمثلة في تحديد نقاط المراسلات ، مما يسمح بالتقاط قياسات العمق بدقة الكاميرا. على سبيل المثال ، مع كاميرا 576 × 576 ، يمكن لهذه التقنية التقاط 331,776 نقطة. يسمح هذا لأنظمة DFP بقياس التفاصيل الدقيقة جدا مثل حركة عضلات الوجه في المشاعر البشرية.

تمت

دراسة تقنيات التصوير البصري ثلاثية الأبعاد للأحداث الثابتة أو شبه الثابتة على نطاق واسع على مدى العقود القليلة الماضية وشهدت نجاحا كبيرا في تصميم ألعاب الفيديو والرسوم المتحركة والأفلام ومقاطع الفيديو الموسيقية والواقع الافتراضي والجراحة عن بعد والعديد من التخصصات الهندسية5. على الرغم من وجود العديد من تقنيات قياس القياس ثلاثي الأبعاد ، إلا أنه يمكن تصنيفها إلى فئتين: طرق التلامس السطحي وطرق عدم الاتصال السطحي. تتطلب كل من آلة قياس الإحداثيات (CMM) ومجهر القوة الذرية (AFM) ملامسة سطح القياس للحصول على ملفات تعريف ثلاثية الأبعاد بدقة عالية. يضع هذا المطلب قيودا صارمة على سرعة طرق الاتصال. لا يمكنهم الوصول إلى سرعة قياس كيلوهرتز بآلاف النقاط لكل مسح.

تستخدم

تقنيات عدم ملامسة السطح عادة طرق التثليث البصري (مثل الرؤية الاستريو ، وستيريو الزمكان ، والضوء المنظم). من خلال إسقاط الأنماط المعروفة بنشاط على الكائنات ، يمكن استخدام تقنيات الإضاءة المنظمة لقياس الأسطح بدون اختلافات قوية في النسيجالمحلي 1. التحليل الهامشي هو مجموعة خاصة من تقنيات الإضاءة المنظمة التي تستخدم أنماطا جيبية منظمة (تعرف أيضا باسم الأنماط الهامشية). نظرا لأن هذه الأنماط لها شدة تختلف باستمرار من نقطة إلى أخرى بطريقة معروفة ، فإنها تعزز تقنيات الإضاءة المنظمة من دقة بكسل جهاز العرض إلى دقة بكسلالكاميرا 12. في الماضي القريب ، كانت تقنيات التحليل الهامشي مفيدة في تحقيق تصوير ثلاثي الأبعاد عالي الدقة.

تستخدم تقنية الإسقاط الهامشي الرقمي (DFP) أجهزة عرض الفيديو الرقمية لإنشاء أنماط هامشية جيبية. تتميز هذه التقنية بمزايا التكلفة المنخفضة والسرعة العالية وبساطة التطوير ، وكانت مجالا بحثيا نشطا للغاية خلال العقد الماضي. يتم تلخيص التطورات الأخيرة في DFP وتقنيات الإضاءة الرقمية الهيكلية المماثلة في1-5. لتحقيق تطبيقات عالية السرعة ، يفضل جهاز عرض معالجة الضوء الرقمي (DLP) نظرا لآلية التشغيل الأساسية. سمحت لنا سرعة ومرونة هذه التقنية بالحصول على فيديو ثلاثي الأبعاد عند 40 هرتز 13 ثم لاحقا عند 60 هرتز 6,7.

ومع ذلك ، يوجد حد أساسي للسرعة لتقنية DFP التقليدية. يمكن لجهاز عرض DLP تبديل الصور الملونة 8 بت فقط بأقصى معدل تحديث (عادة 120 هرتز). نظرا لأن الأنماط الهامشية التقليدية عبارة عن صور ذات تدرج رمادي 8 بت ، يمكننا ترميز ثلاثة منها في صورة ملونة واحدة كقنوات ملونة حمراء وخضراء وزرقاء. سيقوم جهاز العرض بتبديل كل قناة (وبالتالي كل نمط هامش) بثلاثة أضعاف معدل التحديث (عادة 360 هرتز). ومع ذلك ، نظرا لأن كل إطار فيديو ثلاثي الأبعاد يتطلب ثلاثة أنماط هامشية ، فإن الحد الأقصى لمعدل التقاط الفيديو ثلاثي الأبعاد لا يزال هو معدل التحديث (120 هرتز) 3،14. لتجاوز قيود الأجهزة هذه ، اخترعنا تقنية DFP معدلة تستخدم إلغاء التركيز البؤريالثنائي 8. بدلا من الأنماط الهامشية ذات التدرج الرمادي 8 بت ، تستخدم هذه التقنية أنماطا ثنائية هيكلية 1 بت تم إنشاؤها بواسطة الكمبيوتر. يتم إلغاء تركيز هذه الأنماط باستخدام عدسة جهاز العرض لتصبح أنماطا جيبية زائفة ل DFP. نظرا لأن أجهزة عرض DLP يمكنها عرض صور ثنائية بترتيب أكبر من الصور ذات التدرج الرمادي 8 بت ، فإن تقنية إلغاء التركيز البؤري الثنائية تسمح بعشرات سرعة تصوير الفيديو ثلاثية الأبعاد كيلو هرتز بنفس دقة تقنيات DFP التقليدية15.

الهدف العام للبروتوكول التالي هو إظهار التنفيذ الأساسي والتشغيل لنظام DFP ثنائي لإلغاء التركيز على ثلاث خطوات لتحويل الطور. أولا ، سيغطي البروتوكول اختيار المكونات الضرورية وتكاملها. بعد ذلك ، ستناقش أبسط طريقة للمعايرة وأكثرها سهولة في الوصول إليها للنظام. تتوفر طرائق معايرة أكثر تعقيدا في الأدبيات لتطبيقات محددة16،17. سيركز البروتوكول بعد ذلك على إجراء التقاط الفيديو ثلاثي الأبعاد مع النظام وعملية تحويل الصور الهامشية إلى قياسات ثلاثية الأبعاد مرئية. أخيرا ، سنقدم بعض النتائج التمثيلية من أنظمتنا في الوقت الفعلي وعالية السرعة.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. تكوين النظام

يظهر مخطط للنظام في الشكل 1.

  1. قم بإنشاء الأنماط الهامشية للإسقاط. يمكن تحضيرها مسبقا باستخدام بيئة برمجة الصور مثل MATLAB أو OpenCV أو QT. قم ببناء الأنماط وفقا لخوارزمية تحويل الطور المكونة من ثلاث خطوات في18. قم بعمل ثلاث صور ، يتم إزاحتها في إزاحة الطور عن بعضها البعض بواسطة 2π / 3. لإلغاء التركيز البؤري الثنائي ، استخدم تقنية التدرج لإنشاء أنماط جيبية باستخدام وحدات البكسل بالأبيض والأسود فقط كما هو موضح في19.
  2. حدد جهاز العرض الرقمي لمعالجة الضوء. يتطلب نظام إلغاء التركيز البؤري الثنائي عالي السرعة جهاز عرض أسرع ومتخصصا مثل DLP LightCommander مع وحدة ALP عالية السرعة. تأكد من استخدام الإعداد الثنائي أو أحادي اللون لعرض الصور الهامشية. نظرا لأن قيم الصورة قيد التشغيل أو إيقاف التشغيل البحتة ، فإن التعديلات غير الخطية ليست ضرورية. استخدم برنامج جهاز العرض لتحميل الأنماط لتحويل الطور.
  3. حدد الكاميرا. اختر كاميرا CCD أو CMOS بالأبيض والأسود مع معدل الالتقاط الصحيح للنظام. تجنب الكاميرات الملونة للالتقاط ثلاثي الأبعاد نظرا لعدم الحاجة إلى اللون وتتطلب الكاميرات الملونة تعديلات غير خطية وجاما. ضع في اعتبارك أن الكاميرا ستحتاج إلى التقاط مجموعة كاملة من الصور الهامشية لكل إطار فيديو ثلاثي الأبعاد. تتطلب الأنظمة الجيبية عالية الجودة تزامننا دقيقا بين جهاز العرض والكاميرا. بالنسبة لأنظمة إلغاء التركيز البؤري الثنائية، يكون هذا المطلب أكثر استرخاء20.
  4. حدد الحد الأقصى المطلوب للنطاق (x ، y) والمسافة من جهاز العرض إلى الكائن (d0). اختر نطاقا منطقيا للتطبيق ، ولكن تأكد من أن المساحة أكبر قليلا من الموضوع لتقليل أي تأثيرات حدودية بصرية. نظرا لأن ناتج الضوء لجهاز العرض هو إحباط ، فإن هذا النطاق (x ، y) سيقود d0. حرك جهاز العرض بالنسبة إلى سطح إسقاط مسطح كبير حتى يتم العثور على النطاق المطلوب (x ، y) ، ثم قم بقياس d0 باستخدام شريط قياس.
  5. حدد عدسة الكاميرا ذات البعد البؤري المناسب. باستخدام حجم مستشعر الكاميرا، أوجد البعد البؤري بحيث يكون مجال الرؤية على المسافة d0 هو نفس نطاق التصوير المطلوب (x، y).
  6. حدد مسافة الفصل بين جهاز العرض والكاميرا. تحدث مقايضة هنا بين الضوضاء والتظليل. بزاوية كبيرة بين هذه المكونات ، يكون التثليث بين نقاط الميزات أكثر وضوحا ، ولكن تضيع المزيد من الميزات في الظل من منظور الكاميرا. بزاوية صغيرة ، يصبح التثليث صعبا ، مما يزيد من الضوضاء في النتائج. عادة ما تكون 10-15 درجة حلا وسطا جيدا.
< p class = "jove_title" >2. معايرة النظام

معايرة المستوى المرجعي هذه هي أبسط طريقة للمعايرة وأكثرها سهولة في الوصول إليها للنظام. لذلك ، فهو الأفضل للبدء. تتوفر طرق معايرة أكثر دقة في الأدبيات لتطبيقات محددة من16 الجيبية وإلغاء التركيز البؤري الثنائي17. للحصول على أقصى قدر من الدقة، يجب إجراء المعايرة قبل التقاط البيانات مباشرة. بعد المعايرة ، يجب عدم إزاحة الكاميرا وجهاز العرض بالنسبة لبعضهما البعض.

  1. تركيز/إلغاء تركيز جهاز العرض. قم بإلغاء ضبط عدسة الإسقاط بعناية حتى تشبه الأنماط الموجودة في مستوى التصوير الجيوب الأنفية عالية الجودة. قد يتطلب ذلك عملية تكرارية لفحص جودة البيانات (القسم 4) وضبط العدسة.
  2. التقط صورا هامشية لمستوى مرجعي. ضع لوحا أبيض مسطحا في المستوى البؤري لجهاز العرض وفي مجال رؤية الكاميرا. يعمل اللوح الأساسي الرغوي الأبيض بسمك 3/16 بوصة (5 مم) بشكل جيد ، بشرط ألا يكون السطح المواجه للنظام لامعا أو ملطخا أو ممزقا بشكل كبير. قم بتسجيل الصور الهامشية لهذه اللوحة وحفظها لخطوة معالجة البيانات.
  3. التقط صورا هامشية لكائن مرجعي بأبعاد معروفة. في هذه الخطوة ، يعد مكعب الرغوة الصلب مثالا بسيطا. قم بتغطية المكعب بمربعات من الرغوة اللاصقة البيضاء مقاس 1/16 بوصة (1.5 مم) لجعله منتشرا. ضعه في المستوى البؤري للكاميرا في مجال رؤية الكاميرا وسجل صورا هامشية لخطوة المعالجة.
< p class = "jove_title" >3. الحصول على البيانات

  1. ضع الكائن أو ادع الهدف للجلوس في المستوى البؤري للكاميرا. بالنسبة لشخص بشري ، حذره من أن ضوء جهاز العرض قد يكون ساطعا. يمكن استخدام خلفية من القماش الأسود خلف الموضوع لإخفاء محيط غريب.
  2. اضبط فتحة الكاميرا لتحسين مستوى الضوء. يجب أن تكون عينات الصور الهامشية ساطعة قدر الإمكان ، ولكن ليست مشبعة. ستحتوي الصور المظلمة على الكثير من الضوضاء ، بينما ستؤدي المناطق المشبعة (مناطق كبيرة ذات أقصى سطوع) في الصور إلى فقدان التفاصيل في المنطقة المشبعة.
  3. التقط العدد المطلوب من الإطارات. تأكد من إحضار محرك أقراص ثابت كبير بما يكفي لاستيعاب جميع الصور الملتقطة لكل من الموضوع ومجموعات بيانات المعايرة. مع ملف . تنسيق ملف OBJ ، يمكن أن يكون مقطع فيديو ثلاثي الأبعاد مسجل بسرعة 30 هرتز لمدة دقيقة واحدة بدقة 640 × 480 أكثر من 50 جيجابايت.

4. تحليل البيانات وتصورها

باستخدام البرامج المحسنة للسرعة مثل واجهة المستخدم الرسومية الداخلية الخاصة بنا ، يمكن أن تتم هذه الخطوة أثناء التقاط البيانات. تسمح المعالجة في الوقت الفعلي للمستخدم باكتشاف ما إذا كانت البيانات الناتجة مرغوبة للتطبيق على الفور وتعديلها إذا لزم الأمر. ومع ذلك ، يمكن أن تكون المعالجة اللاحقة أكثر مرونة وأعلى في الدقة. المعالجة اللاحقة هي أيضا أسهل بكثير في التنفيذ وأفضل مكان للبدء.

  1. احسب المرحلة المغلفة لكل من بيانات المعايرة والموضوع. في خوارزمية تحويل الطور المكونة من ثلاث خطوات في18 ، تصف المرحلة موضع نقطة داخل دالة جيب التمام. بما أن لدينا ثلاث معادلات وثلاث معادلات مجهولة، يمكننا حل المعادلات المستخدمة لإنشاء الصور الهامشية في الخطوة 1.1 للمرحلة في كل نقطة. بسبب دالة arctangent ، تكون المرحلة المحسوبة في النطاق (-π ، π]; ومن ثم يطلق عليه "المرحلة الملفوفة". لتحسين سرعة المعالجة ، قمنا بتطوير خوارزمية تغليف الطور السريع التي تمت مناقشتها في21.
  2. قم بفك خرائط المرحلة. اعتماد خوارزمية فك الطور التي تكتشف قفزات 2π في الطور وتزيلها عن طريق إضافة أو طرح مضاعفات 2π. لقد استخدمنا الخوارزمية السريعة في22 في الأنظمة السابقة لفك الطور بقوة ولكن بسرعة. في الفيديو ، نوضح تقنية الترددات المتعددة الموضحة في15 ، والتي تستخدم مجموعات إضافية من ثلاثة أنماط متغيرة الطور بترددات مختلفة. يمكن دمج خرائط المرحلة الملفوفة من كل مجموعة من ثلاثة لإنتاج خريطة طور واحدة غير مغلفة بقوة. تزيد هذه التقنية من نطاق العمق للالتقاط الدقيق مع إلغاء التركيز البؤري الثنائي.
  3. اختياري: احسب النسيج ثنائي الأبعاد. سيؤدي متوسط مجموعات ثلاث صور هامشية مجاورة إلى غسل الخطوط الهامشية وإنشاء خريطة نسيج ثنائية الأبعاد. يمكن تعيين هذا على البيانات ثلاثية الأبعاد أثناء التصور إذا رغبت في ذلك.
  4. قم بتحويل خرائط المرحلة غير المغلفة إلى عمق. كما هو موضح في23 ، يمكن حساب العمق لمكعب المعايرة كفرق بين خريطة طور مكعب المعايرة وخريطة طور المستوى المرجعي. قارن هذا العمق المحسوب بالعمق المعروف لحساب عامل قياس العمق الصحيح c0. بعد ذلك ، احسب عمق الموضوع عن طريق طرح طور المستوى المرجعي من طور الموضوع وضرب النتائج في c0.
  5. احسب إحداثيات x وy. قم بتطبيق عامل القياس c0 على خريطة عمق مكعب المعايرة. أوجد معامل التحويل ρ من أبعاد المكعب بالبكسل إلى أبعاد المكعب المعروفة في المستوى xy. اضرب عدد البكسل في بيانات الموضوع في ρ لحساب إحداثيتي x و y.
  6. تصور البيانات. يمكن حفظ الإطارات الفردية بتنسيقنا الداخلي وعرضها باستخدام كود MATLAB البسيط أو حفظها في. تنسيق OBJ وعرضها باستخدام برنامج نمذجة ثلاثي الأبعاد تجاري مثل Blender. نظرا للكمية الكبيرة من البيانات في كل إطار ، قد تكون هذه التطبيقات بطيئة على بعض أجهزة الكمبيوتر. لمزيد من الاستجابة أو لعرض الفيديو المباشر ، اكتب برنامجا باستخدام مكتبة رسومات الكمبيوتر مثل OpenGL أو Direct3D. يمكن لهذا البرنامج الاستفادة من وحدة معالجة الرسومات (GPU) لإنشاء إحداثيات x و y و z بسرعة من المرحلة غير المغلفة ، وتشكيل شبكة مثلثة ، وحساب إعدادات الإضاءة العادية ، وعرض النتائج. باستخدام وحدة معالجة الرسومات ، حققنا ما يصل إلى 30 هرتز تصور بيانات ثلاثية الأبعاد مباشر مع ما يقرب من 300,000 نقطة لكل إطار.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يوضح الشكل 1 التخطيطي للنظام. يتكون نظام إلغاء التركيز البؤري الثنائي عالي السرعة في هذا الفيديو من جهاز عرض Logic PD DLP LightCommander وكاميرا Phantom v9.1 CMOS.

يعرض الشكل 2 إطارا واحدا من نظامنا ثلاثي الأبعاد في الوقت الفعلي لوجه بشري. يستخدم هذا النظام كاميرا 640 × 480. بفضل النمط الجيبي المعروف المذكور أعلاه ، يمكننا التقاط 640 × 480 = 307،200 قياس ، دقة كافية لتسجيل تفاصيل دقيقة جدا.

يوضح الشكل 3 مثالا على قياس تعبيرات الوجه البشري في 3D عند 60 هرتز. هنا ، توضح أربعة إطارات مختارة من تسلسل فيديو بوضوح قدرة نظام الوقت الفعلي على التقاط التغييرات الديناميكية في هندسة مفصلة بدقة.

يوضح الشكل 4 < p class = "jove_content" > برنامج التصور المباشر الخاص بنا المستخدم جنبا إلى جنب مع نظام الفيديو ثلاثي الأبعاد لإلغاء التركيز البؤري الثنائي في الوقت الفعلي. يتم عرض الفيديو ثلاثي الأبعاد الذي تم التقاطه للموضوع في الوقت الفعلي على شاشة الكمبيوتر على يمينه. تمت كتابة هذا البرنامج بلغة C ++ باستخدام مكتبة OpenGL و GLSL و QT. الكمبيوتر المستخدم هو كمبيوتر محمول من Lenovo.

يوضح الشكل 5 إطارات ثلاثية الأبعاد من قياس قلب الأرانب الحية باستخدام نظام إلغاء التركيز البؤري الثنائي فائق السرعة الذي تم تطويره حديثا. يمكن لهذا النظام تسجيل إطارات ثلاثية الأبعاد بدقة 667 هرتز بدقة صورة تبلغ 576 × 576. مطلوب معدل فائق السرعة لقياس سطح القلب بدون قطع أثرية ناتجة عن الحركة. يتم إجراء أبحاث قياس القلب بالتعاون مع البروفيسور إيغور إيفيموف في جامعة واشنطن سانت. لويس (انظر11 لمزيد من التفاصيل) ؛ لاحظ أن الأرنب قتل بشكل إنساني وأن الصور التقطت بينما كان القلب لا يزال ينبض.

< p class = "jove_content" fo: keep-together.within-page = "دائما" >figure-results-1
الشكل 1.تخطيط نظام تصوير الفيديو ثلاثي الأبعاد. في هذا النظام ، يعرض جهاز عرض DLP عالي السرعة ثلاث صور ثنائية متغيرة الطور في تتابع سريع على الهدف. يتم استخدام كاميرا CMOS عالية السرعة لالتقاط الصور الهامشية الثلاث واحدة تلو الأخرى لحساب العمق. < p class = "jove_content" fo: keep-together.within-page = "دائما" >figure-results-2
الشكل 2.قياسات ثلاثية الأبعاد لوجه الإنسان بدقة 640 × 480 ، تكشف عن تفاصيل دقيقة. يظهر من اليسار إلى اليمين النسيج الذي تم التقاطه في وقت واحد محاذاة تماما مع الهندسة ، وعرض مظلل للهندسة ، وعرض الإطار السلكي الذي يصور كثافة النقاط ، وعرض قريب لمنطقة الأنف ، ورؤية قريبة لمنطقة العين. < p class = "jove_content" fo: keep-together.within-page = "دائما" >figure-results-3
الشكل 3.أربعة إطارات مختارة من فيديو ثلاثي الأبعاد لتشكيل تعبيرات الوجه.تم التقاط الفيديو بدقة 60 هرتز بدقة 640 × 480. تسلط هذه الإطارات الضوء على التغيرات الهندسية في وجه المرأة وهي تنتقل من تعبير محايد إلى ابتسامة. < p class = "jove_content" fo: keep-together.within-page = "دائما" >figure-results-4
الشكل 4.التقاط الفيديو ثلاثي الأبعاد الحي ومعالجته وتقديمه. يتم عرض القياسات ثلاثية الأبعاد في الوقت الفعلي على شاشة الكمبيوتر على يمين الهدف. < p class = "jove_content" fo: keep-together.within-page = "دائما" >figure-results-5
الشكل 5.التقاط قلب أرنب حي باستخدام نظام تصوير الفيديو ثلاثي الأبعاد فائق السرعة. ينبض القلب بحوالي 200 نبضة / دقيقة. كان معدل الالتقاط ثلاثي الأبعاد 166 هرتز بدقة صورة 576 × 576. انظر11 لمزيد من التفاصيل.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تعد تقنية تصوير الفيديو ثلاثي الأبعاد عالية الدقة في الوقت الفعلي إلى فائقة السرعة تقنية منصة يمكن أن تفيد العديد من المجالات العلمية المتنوعة التي تتراوح من العلوم البيولوجية إلى الممارسة الهندسية. تشمل التطبيقات الطبية الحيوية قياسات دقيقة لحركات الوجه وأسطح الأعضاء. تشمل التطبيقات الأخرى مراقبة الجودة الآلية ثلاثية الأبعاد مع الكشف عن ميزات السطح المشوهة. مؤتمرات الفيديو المحسنة ثلاثية الأبعاد. رقمنة مفصلة لملامح الوجه للأفلام وألعاب الفيديو ؛ قياسات تشوه كثيفة وسريعة لتصميم وتحليل الهياكل ؛ وتوصيف سطح السوائل. تتطلب العديد من التطبيقات البيولوجية والهندسية (مثل قلوب الأرانب النابضة ، وموجات الصدمة السائلة) معدلات تصوير فائقة السرعة لنظام إلغاء التركيز الثنائي لحل الميزات بشكل صحيح دون تعرج القطع الأثرية.

ومع ذلك، لا تزال هناك العديد من التحديات أمام الاعتماد الواسع النطاق لهذه التقنية. تتطلب تقنية DFP التقليدية من جهاز العرض عرض أنماط هامش جيبية ذات تدرج رمادي 8 بت. سرعة هذه التقنية محدودة بمعدل تحديث جهاز العرض (عادة 120 هرتز). هذه السرعة كافية لالتقاط الحركة البطيئة مثل تلك الموجودة في تعابير الوجه. ومع ذلك، توجد العديد من التطبيقات التي تتطلب معدلات التقاط أسرع.

لقد خففت تقنية إلغاء التركيز البؤري الثنائي من قيود السرعة هذه ، وقد نجحنا في إنشاء نظام تصوير فيديو ثلاثي الأبعاد فائق السرعة. ومع ذلك ، فإن هذا النظام له عيبان. أولا ، يتطلب جهاز عرض باهظ الثمن مثل منصة DLP Discovery وكاميرا فيديو عالية السرعة مكلفة مثل Vision Research Phantom v9.1. ثانيا ، نظرا لأنه يولد أنماطا جيبية عن طريق إلغاء التركيز البؤري للأنماط الثنائية المربعة ، تواجه تقنية إلغاء التركيز البؤري الثنائي صعوبة في توليد هامش جيبي بنفس جودة تقنية DFP التقليدية ونطاق قياس عمق منخفض (لمزيد من التوضيح ، انظر23). يشير التحقيق الأخير إلى أن الأنماط الجيبية الثنائية المتدرجة يمكن أن تخفف بشكل كبير من القيود المفروضة على نطاق قياس العمق19. ستركز الأبحاث المستقبلية على التغلب على المشكلات المتبقية مع الحفاظ على مزايا إلغاء التركيز الثنائي.

يتمثل التحدي الآخر في ضغط وتخزين كمية كبيرة من البيانات الناتجة عن أنظمة تصوير الفيديو ثلاثي الأبعاد عالية السرعة وعالية الدقة. تعد مقاطع الفيديو ثلاثية الأبعاد غير المضغوطة أكبر بكثير من مقاطع الفيديو ثنائية الأبعاد غير المضغوطة. على سبيل المثال ، بالنسبة لمقطع فيديو ثلاثي الأبعاد مسجل بسرعة 30 هرتز لمدة دقيقة واحدة بدقة 640 × 480 ، فإن ملف . يمكن أن يزيد حجم ملف OBJ عن 50 جيجابايت ، مما يجعل تخزينه صعبا للغاية. نظرا لأنه تم إحراز تقدم ضئيل في مجال ضغط الفيديو ثلاثي الأبعاد ، سنواصل التركيز على هذا في المستقبل.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ليس للمؤلفين مصالح مالية متنافسة.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
< p class = "jove_content">كان هذا البحث جهدا متراكما بدأ منذ أكثر من 10 سنوات عندما كان الدكتور. كان تشانغ طالب دراسات عليا في جامعة ستوني بروك. ساهم الطلاب الحاليون والسابقون في فريقنا في جامعة ولاية أيوا بشكل كبير في تطوير هذه التكنولوجيا إلى ما هي عليه اليوم. تمت رعاية هذا العمل جزئيا من قبل المؤسسة الوطنية للعلوم في إطار المشروع رقم CMMI 1150711 ، ومؤسسة ويليام وفيرجينيا بينجر.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
< p class = "jove_content" > لا توجد مواد أو معدات مستخدمة.< / p>

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Salvi, J., Fernandez, S., Pribanic, T., Llado, X. A state of the art in structured light patterns for surface profilometry. Patt. Recogn. 43, 2666-2680 (2010).
  2. Gorthi, S. S., Rastogi, P. Fringe projection techniques: Whither we are. Opt. Laser Eng. 48 (2), 133-140 (2010).
  3. Zhang, S. Recent progresses on real-time 3-D shape measurement using digital fringe projection techniques. Opt. Laser Eng. 48 (2), 149-158 (2010).
  4. Su, X., Zhang, Q. Dynamic 3-D shape measurement method: A review. Opt. Laser Eng. 48 (2), 191-204 (2010).
  5. Geng, J. Structured-light 3D surface imaging: a tutorial. Adv. Opt. Photonics. 3 (2), 128-160 (2011).
  6. Zhang, S., Yau, S. -T. High-resolution, real-time 3-D absolute coordinate measurement based on a phase-shifting method. Opt. Express. 14 (7), 2644-2649 (2006).
  7. Zhang, S., Royer, D., Yau, S. -T. GPU-assisted high-resolution, real-time 3-D shape measurement. Opt. Express. 14 (20), 9120-9129 (2006).
  8. Lei, S., Zhang, S. Flexible 3-D shape measurement using projector defocusing. Opt. Lett. 34 (20), 3080-3082 (2009).
  9. Mehta, R. P., Zhang, S., Hadlock, T. A. Novel 3-D video for quantification of facial movement. Otolaryngol. Head Neck Surg. 138 (4), 468-472 (2008).
  10. Wang, Y., et al. High resolution acquisition, learning and transfer of dynamic 3D facial expressions. Comput. Graph. Forum. 23 (3), (2004).
  11. Laughner, J. I., Zhang, S., Li, H., Efimov, I. R. Mapping cardiac surface mechanics with structured light imaging. Am. J. Physiol. Heart Circ. Physiol. , in press (2012).
  12. Ekstrand, L., Wang, Y., Karpinsky, N., Zhang, S. Superfast 3D profilometry with digital fringe projection and phase-shifting techniques. Handbook of 3-D machine vision: Optical metrology and imaging. , Taylor & Francis. Boca Raton, FL. (2012).
  13. Zhang, S., Huang, P. S. High-resolution real-time three-dimensional shape measurement. Opt. Eng. 45 (12), 123-601 (2006).
  14. Li, Y., Zhao, C., Qian, Y., Wang, H., Jin, H. High-speed and dense three-dimensional surface acquisition using defocused binary patterns for spatially isolated objects. Opt. Express. 18, 21-635 (2010).
  15. Wang, Y., Zhang, S. Superfast multifrequency phase-shifting technique with optimal pulse width modulation. Opt. Express. 19 (6), 5143-5148 (2011).
  16. Zhang, S., Huang, P. S. Novel method for structured light system calibration. Opt. Eng. 45 (8), 083601(2006).
  17. Merner, L., Wang, Y., Zhang, S. Accurate calibration for 3D shape measurement system using a binary defocusing technique. Opt. Laser Eng. 51 (5), 514-519 (2013).
  18. Optical Shop Testing. Malacara, D. , 3rd, John Wiley and Sons. New York. (2007).
  19. Wang, Y., Zhang, S. Three-dimensional shape measurement with binary dithered patterns. Appl. Opt. 51 (27), 6631-6636 (2012).
  20. Ekstrand, L., Zhang, S. Autoexposure for three-dimensional shape measurement with a digital-light-processing projector. Opt. Eng. 50 (12), 123-603 (2011).
  21. Huang, P. S., Zhang, S. Fast three-step phase-shifting algorithm. Appl. Opt. 45 (21), 5086-5091 (2006).
  22. Zhang, S., Li, X., Yau, S. -T. Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction. Appl. Opt. 46 (1), 50-57 (2007).
  23. Xu, Y., Ekstrand, L., Dai, J., Zhang, S. Phase error compensation for 3-D shape measurement with projector defocusing. Appl. Opt. 50 (18), 2572-2581 (2011).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Digital Fringe Projection3D Video ImagingPhase Shifting AlgorithmBinary DefocusingHigh Speed ImagingTriangulation MethodSurface MeasurementGraphics Processing UnitCalibration PlaneDepth Reconstruction

Related Articles