تصميم وتنفيذ إطار عمل لاكتشاف المشاة المعتمد على مصفوفة البوابات القابلة للبرمجة ميدانيا لتطبيقات القيادة الذاتية

Summary

توضح هذه المقالة البحثية تنفيذ خوارزمية اكتشاف المشاة في الوقت الحقيقي على أجهزة مصفوفة البوابات القابلة للبرمجة ميدانيا، وذلك بشكل أساسي لتطبيقات القيادة الذاتية. تجمع الخوارزمية بين مخطط التدرجات الموجهة (HoG) ومصنف آلة متجه الدعم (SVM)، وتظهر النتائج كفاءة من حيث السرعة واستهلاك الطاقة واستخدام الموارد.

Abstract

تقدم القيادة الذاتية طريقة واعدة لمواجهة العدد المتزايد من الوفيات الناتجة عن حوادث المرور. تتضمن المركبة الذاتية القيادة العديد من الميزات، لكن القدرة على اكتشاف المشاة أمر بالغ الأهمية وتحدي وذات صلة بمواقف زمنية حقيقية مثل المراقبة، وتتبع الأشخاص، والمراقبة. التعرف بدقة على المشاة صعب لأنهم قد يظهرون بأشكال ووضعيات ووضعيات مختلفة. يمكنهم ارتداء أنواع مختلفة من الملابس وأحيانا يكون مخفيا جزئيا أو يندمج مع الأشياء القريبة. تركز هذه الورقة على الكشف في الوقت الحقيقي عن المشاة للسيارات ذاتية القيادة باستخدام منصة أجهزة شهيرة: مصفوفة البوابات القابلة للبرمجة الميدانية (FPGA)، Ultra 96 v2. تطبق الدراسة طريقة لاكتشاف المشاة تعتمد على مخطط مدرج التدرجات الموجهة (HOG) مع مصنف آلة متجهة دعم (SVM) للتعرف على الأفراد في لوحة FPGA، مستفيدة من أدوات التوليف عالي المستوى (HLS). تم اختبار فعالية النظام على كل من الصور الثابتة والفيديو الحي. تظهر النتائج أن لوحات FPGA المتقدمة مثل Ultra 96 v2 تحسن بشكل كبير مؤشرات الأداء. يعمل النظام بتردد ساعة 150 ميجاهرتز مع استهلاك أقل من نصف الموارد المتاحة واستهلاك حوالي 2.5 واط من الطاقة. كما يبلغ النظام عن دقة اكتشاف المشاة التي تقترب من 95٪ ومقاييس فعالة أخرى لتقييم الكشف، مثل الدقة (78.6٪)، الاستدعاء (88.3٪)، ودرجة F1 (83.1٪). باختصار، يمكن للنظام المطور اكتشاف المشاة في الوقت الحقيقي ولديه القدرة على تحسين بيئة نقل ذكية وآمنة بشكل كبير.

Introduction

التنمية الحضرية وظهور المدن الذكية هما مواضيع تهم على مستوى العالم. تعمل جميع الدول على تطوير مدنها بحيث يمكن بناؤها بطريقة آمنة ومريحة للسكان^الذين يعيشون فيها^. لكن في الوضع الحالي، لوحظ أنه مع زيادة عدد السكان وزيادة الازدحام على الطرق، يرتفع معدل الوفيات الناتجة عن حوادث الطرق الناتجة عن إهمال القيادة وضعف الرؤية بشكل مقلق. حل واعد لهذه القضايا هو ظهور المركبات الذاتية القيادة حول العالم، والتي أطلقت ابتكارا 1,2,3,4، ويبذل الباحثون جهودا لتطوير مركبات ذاتية القيادة بالكامل تمكن الركاب من الاسترخاء دون أي قلق. تنبع الحاجة إلى تطوير المركبات الذاتية القيادة من حقيقة أن حتى السائقين ذوي الخبرة قد يواجهون ضغوطا أو معضلات أو إرهاق أو صعوبة في استشعار بيئتهم بسبب سوء الأحوال الجوية، وكل هذه المشاكل تؤدي إلى حوادث الطرق. تم تصميم المركبة ذاتية القيادة لتجنب الحوادث أثناء السفر، وتحسين استخدام موارد المحرك، والامتثال لقوانين المرور، مما سيعزز بلا شك وسائل النقل ^2,4. المركبة الذاتية القيادة مجهزة بميزات وحساسات ووظائف متعددة تسمح لها بالإحساس بمحيطها بدقة عالية، وتجنب أي حوادث أو تصادمات، ولهذا أصبحت الآن حلا واعدا لجعل النقل آمنا^ومحميا 1,2,3,4.

من بين جميع الميزات المدمجة في المركبات ذاتية القيادة، من أهم الميزات هو اكتشاف المشاة. يمكن لنظام كشف المشاة القوي أن يساعد بشكل كبير في تقليل وفيات حوادث الطرق 5,6,7,8، حيث أن غالبية ضحايا هذه الحوادث هم من المشاة. يتضمن اكتشاف المشاة تحديد الأفراد على الطريق وتجنب أي تصادم معهم. هذه الميزة ليست مفيدة فقط للسيارات ذاتية القيادة، بل أيضا لمجالات تطبيقية أخرى مثل مراقبة الحشود، وتحديد هوية الأشخاص، وتتبع ^9,10,11. الجانب الرئيسي في عملية الكشف هذه هو سرعة ودقة الكشف. من الضروري اكتشاف المشاة بدقة وسرعة حتى يكون وقت الاستجابة في أدنى حد أدنى. هناك تحد هائل يفرضه اكتشاف المشاة. يمكن أن يكون المشاة على الطريق بأي ملابس أو مظهر أو وضعية، وقد يكونون غير مرئيين بسبب سوء الأحوال الجوية أو الانسداد^{10، 11، 12، 13، 14}. علاوة على ذلك، من الممكن جدا أن المشاة لا يلتزمون بالقواعد بأنفسهم، ولا يمكن التحكم في طبيعة الإنسان، لذا فإن أفضل نهج ممكن هو تزويد المركبة بالذكاء للتعامل مع أي تصرف خاطئ وتجنب وقوع وفاة. يمكن فهم التدفق الكامل للعمل في هذا البحث والدافع وراء تنفيذ اكتشاف المشاة على الأجهزة بسهولة من الشكل 1 أدناه، الذي يشرح الحاجة إلى اكتشاف المشاة، ومجالات تطبيقه المختلفة، والتحديات المتضمنة، وتطبيقه على FPGA للاستفادة من الفوائد المقدمة.

الشكل 1: اكتشاف المشاة. الحاجة إلى اكتشاف المشاة، ومجالات التطبيق الرئيسية لاكتشاف المشاة، والتحديات المرتبطة باكتشاف المشاة، وتدفق تنفيذ اكتشاف المشاة على لوحة FPGA. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

لتحديد المشاة على الطريق، توجد العديد من الخوارزميات. يمكن تقسيم هذه المهمة بشكل أساسي إلى مهمتين فرعيتين رئيسيتين: الخطوة الأولى تستخرج الميزات من صورة إدخال، مع الاحتفاظ فقط بالميزات المهمة التي تنقل المعلومات ذات الصلة، مع تجاهل الميزات الزائدة. للتعرف الفعال على البشر أو المشاة في الصورة، من الضروري أن تشير هذه الخصائص إلى وجود شخصية بشرية داخل المشهد^13،14. بعد هذا الاستخراج، يجب إرسال الميزات إلى مصنف يمكنه تحديد ما إذا كانت الميزات المحددة تتوافق مع الإنسان. لذلك، تتطلب الخوارزمية مرحلة استخراج ووصف الميزات، تليها خطوة تصنيف لتحديد وجود المشاة في مشهد الإدخال. هناك خوارزميات متنوعة متاحة لهذا الغرض. ومع ذلك، فإن الطريقة الأكثر قبولا لاكتشاف المشاة حتى الآن لا تزال الجمع بين مخطط التدرجات الموجهة (HoG) مع مصنف آلة المتجه الداعمة (SVM) ^12,13,14,15. هناك العديد من الأمثلة على التطورات البرمجية، لكن الهدف في النهاية هو نقل التنفيذ إلى منصة عتادية متوافقة، والتي يمكن دمجها بعد ذلك في نظام التطبيق للاستخدام في الوقت الحقيقي. لذلك، التركيز الحالي ينصب على تحقيق الأجهزة. لذا يمكن القول إنه من الضروري تطوير تطبيق مادي مناسب لأنظمة كشف المشاة، حيث يمكن نشر كاميرات مزودة بأجهزة مناسبة على المركبات وتحديد المشاة على الطريق. عند النظر في الأجهزة المناسبة لهذه التطبيقات، فإن أحد الخيارات الأكثر استخداما هو مصفوفة البوابات القابلة للبرمجة الميدانية (FPGA) بسبب مزاياها العديدة، بما في ذلك تقليل وقت التصميم، وقابلية التوسع، وسهولة التعديلات، وإعادة التكوين، واستهلاك أقل للطاقة^{والطاقة} 15,16,17,18,19,20,21^,22.

لقد تطورت لوحات FPGA باستمرار وتستخدم الآن على نطاق واسع لتطبيقات رؤية الحاسوب المعقدة والمتقدمة التي تتراوح من معالجة الصور الأساسية إلى اكتشاف الأجسام، والواقع المعزز، والتعلم العميق 20,21,22. حاليا، تقدم العديد من لوحات FPGA عالية الأداء قدرات معمارية استثنائية لاستيعاب المعالجة المكثفة المطلوبة لهذه التطبيقات المعقدة. إذا تم تنفيذ الميزات المتقدمة للمركبات ذاتية القيادة، مثل اكتشاف المشاة، على هذه المنصات العتادية، يمكن أن تكون هذه المنصات مفيدة جدا لتطوير النماذج الأولية السريعة لتحليل الأداء، وبعد التحسين، يمكن نقل الخوارزمية المنفذة إلى دوائر متكاملة فعلية لدمجها في النظام.

لأكثر من عقد من الزمن، كانت هناك منشورات مهمة تعتمد على تطبيق اكتشاف المشاة باستخدام طريقة HoG وSVM على منصات FPGA المختلفة. يلخص الجدول 1 المقالات في هذا المجال خلال الفترة من 2015 إلى 2025^{15، 16، 17، 18، 19، 20، 21، 22، 23، 24}، مع التركيز على العوامل الرئيسية مثل دقة الصورة، معدل الإنتاجية، أو عدد الإطارات في الثانية (FPS)، نوع المصنف، والنقاط البارزة الرئيسية أو المساهمات التي قدمها ورق.

المرجع	منصة FPGA	دقة الصورة	المصنف	أبرز النقاط / المساهمات
15	زيلينكس زينك	640×480	آدابوست	تنفيذ FPGA في الوقت الحقيقي؛ كفاءة الموارد؛ يستخدم الثنائية للتحسين؛ دقة اكتشاف جيدة.
16	مجلس DE1-SOC الخاص بتيراسيك	640×480	SVM	مستخرج HOG عالي الأداء؛ يدمج SVM؛ الكشف بمقياس واحد؛ خط أنابيب منخفض التأخير.
17	ألتيرا DE2-115	640×480	آدابوست	يقيم الأداء من وجهات نظر متعددة؛ تنفيذ FPGA ل HOG+AdaBoost؛ الكشف المباشر عن المشاة.
18	إنتل ستراتيكس V	640×480	SVM	كشف المشاة متعدد المقاييس؛ خط أنابيب HOG+SVM الصديق ل FPGA؛ تبرز المقايضات بين الدقة وكفاءة الأجهزة.
19	زينك ألتراسكيلي+ MPSoC	3840×2160	SVM	معالجة UHD في الوقت الحقيقي؛ HOG+SVM في خط الأنابيب المستمر؛ تنفيذ SoC FPGA؛ تحسين النقاط الثابتة؛ هندسة معمارية قابلة للتوسع.
20	غير محدد	غير محدد	SVM	يحقق دقة اكتشاف >95٪؛ تنفيذ FPGA في الوقت الحقيقي؛ يستغل التوازي؛ تصميم دقيق لتقنية HOG+SVM FPGA لاكتشاف المشاة.
21	Zync 7000 FPGA	1920×1080	SVM	بنية تدفق عالي الإنتاجية ل HOG+SVM؛ يدعم دقة HD؛ خط أنابيب فعال لتسريع FPGA.
22	ألترا96 (النسخة الأولى)	240×320	SVM	تنفيذ FPGA باستخدام HLS؛ يكتشف إشارات المرور الحمراء؛ يحسب الاحتمالات في 891 منطقة؛ يتراوح زمن الاستجابة بين 153,838 إلى 19 دورة.
23	زيلينكس زينكيو-7000 FPGA	640 × 480	HOG + SVM	تم تنفيذ اكتشاف المشاة باستخدام HOG-SVM على FPGA، محققا أداء في الوقت الحقيقي مع استهلاك طاقة أقل مقارنة بمعالجة المعالج. تم إثبات خط أنابيب استخراج الميزات المحسن المناسب لتطبيقات الرؤية المدمجة.
24	Xilinx Virtex-6 FPGA	640 × 480	كاشف الأجسام ذات النقطة الثابتة (ميزات شبيهة بهار)	اقتراح تسريع FPGA عالي الإنتاجية لاكتشاف الأجسام باستخدام حساب النقاط الثابتة، مما يقلل التكلفة الحسابية مع الحفاظ على الدقة. أظهرت تسارعا بنسبة 15× مقارنة بتطبيقات المعالج مع استخدام موارد الأجهزة بكفاءة.

الجدول 1: مراجعة الأدبيات للأبحاث المبنية على اكتشاف المشاة في FPGA (2015–2025).

يلخص الجدول 1 أن هناك أدبيات واسعة في مجال اكتشاف المشاة، وتطبيق الأجهزة هو المجال الذي يهم الباحثون. ومن الواضح أيضا وجود تقنيات متقدمة للتعلم العميق وتعلم الآلة، مثل الكواشف القائمة على شبكات العصبية الالفافية (CNNs) مثل YOLO، وهياكل المحولات، وغيرها، لمهمة اكتشاف المشاة. بل إنها تتفوق حتى على خوارزمية HoG التقليدية من حيث الدقة، ولكن عند النظر في تنفيذ الأجهزة، فإن الخوارزميات المتقدمة تؤدي إلى استهلاك هائل للموارد^23,24 بسبب تعقيدات الخوارزمية التي قد تؤثر أيضا على معايير أداء أخرى، كما لوحظ أنه بسبب التعقيدات الإضافية تكون السرعة أفضل قليلا في حالة خوارزمية HoG التقليدية^{24. 25}. كما لوحظ أن التقنيات المتقدمة تستهلك طاقة أكبر عند تنفيذها على الأجهزة^24,26. لذا، فإن هدف العمل المنفذ في هذه الورقة هو إجراء اكتشاف المشاة باستخدام إطار HoG التقليدي وSVM على أجهزة FPGA وتحقيق مقايضة دقة وسرعة وقوة ملائمة للتضمين في الوقت الحقيقي. من الجدول 1 يتضح تماما أنه عند تحليل الأعمال القائمة على HoG وSVM، يلاحظ وجود منشورات محدودة استخدمت لوحة تطوير FPGA²⁷ المعتمدة على Zynq UltraScale+ MPSoC (نظام متعدد المعالجات على الشريحة) التي تم تقديمها مؤخرا لاستكشاف قدرات هذه اللوحات، حيث تطورت هذه اللوحات من وجهة نظر البنية، وتقدم إمكانيات كبيرة من حيث تنفيذ تطبيقات رؤية الحاسوب في الوقت الحقيقي عالية الجودة. هناك منشورات محدودة أنجزت نظام كشف المشاة بالكامل في الوقت الحقيقي على لوحات FPGA. ومع ذلك، ركزوا على التنفيذ الفعال أو تحسين المهام الوسيطة. علاوة على ذلك، تعتمد معظم هذه التطبيقات على تنفيذ النظام بأكمله على لوحة FPGA من خلال استخدام لغات وصف الأجهزة. قلة فقط استفادوا من أدوات التوليف عالي المستوى (HLS) لتسريع دورة التصميم. توضح هذه الورقة تصميم وتنفيذ الكشف اللحظي للمشاة على لوحة FPGA مخصصة لتطبيق القيادة الذاتية. تستخدم الورقة إطار عمل HoG وSVM لغرض اكتشاف المشاة على الصور الثابتة أو الفيديو أو إدخال الكاميرا الحقيقية. الأجهزة المستخدمة هي لوحة FPGA متطورة وصدرت حديثا، وهي Ultra96 v2، وهي بنية FPGA متقدمة تشكل منصة قوية لرؤية الحاسوب، ومعالجة الصور، وتعلم الآلة، والحوسبة الحافية، ^{وغيرها.} Ultra96 v2 هو لوحة تطوير تتميز بمعالج AMD Xilinx Zynq UltraScale+ MPSoC²⁷ المعتمد على Arm. تشمل هذه اللوحة قسم نظام المعالجة (PS)، الذي يتكون من أنوية معالج مبنية على ARM تدير الجوانب البرمجية للمشروع، وقسم المنطق القابل للبرمجة (PL) الذي يسمح بتسريع الأجهزة القابل للتخصيص 20,21,22. معا، تعزز هذه المكونات وظائف النظام الهجين، حيث يدير جزء PS التحكم والتفاعل مع العناصر الخارجية، بينما يتعامل جزء PL مع منطق المعالجة الفعلي.

Protocol

يتم توضيح إجراء التنفيذ المستخدم في هذا البحث، المعتمد على اكتشاف المشاة باستخدام HoG + SVM على لوحة FPGA، مستفيدا من فوائد التوليف عالي المستوى، في الشكل 2 أدناه.

الشكل 2: إجراءات التصميم لتنفيذ اكتشاف المشاة على لوحة FPGA. المرحلة 1: خوارزمية اكتشاف المشاة باستخدام HoG+SVM على أداة HLS وتوليد كتلة IP. المرحلة الثانية: خوارزمية اكتشاف المشاة باستخدام HoG+SVM لتنفيذ FPGA الفعلي وتوليد ملف البت. المرحلة 3: برمجة اللوحة باستخدام ملف البت المولد. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

1. اكتشاف المشاة باستخدام HoG وSVM على أداة HLS

1. قم بتحميل بيئة التطوير المتكاملة (IDE) في بايثون حسب خصائص النظام التي يتم عليها عملية التنزيل.
   ملاحظة: في هذا العمل، تم استخدام نسخة بايثون 3.10.
2. تنفيذ سكريبت بايثون لتشغيل نموذج تدريب باستخدام خوارزمية HoG ومصنف SVM. ابدأ السكربت بتحميل العينات الموجبة والسالبة من مجموعة البيانات.
   ملاحظة: استخدم مجموعة بيانات INRIA^{رقم 11}.
3. استخرج ميزات HoG لنافذة بحجم 64 × 128.
4. قسم بيانات التدريب والاختبار من مجموعة بيانات INRIA بنسبة 80/20 مع خلط عشوائي لإعادة الإنتاج.
   ملاحظة: يتم خلط مجموعة البيانات عشوائيا باستخدام دالة بايثون قبل تقسيم البيانات. لضمان قابلية التكرار بحيث يتم نفس التقسيم في كل مرة يتم فيها تثبيت قيمة البذور في الكود.
5. تدريب باستخدام تصنيف متجه دعم C (SVC) SVM باستخدام نواة خطية.
6. استخرج متجهات الوزن والانحياز.
7. احفظ أوزان SVM والانحياز بصيغة Q8.8 الثابتة لتنفيذ FPGA.
   ملاحظة: يتم التحويل عن طريق تحجيم كل قيمة فاصلة عائمة تتولد أصالة بمقدار 256 (2⁸) وتحويل النتيجة إلى عدد صحيح.
8. اختبر النموذج المدرب من خلال سكريبت بايثون آخر وضبط معامل التنظيم C، حتى يتم حساب الدقة لتزيد عن 95٪.
   ملاحظة: تم الحصول على معامل تنظيم محسن: C = 0.05.
9. افتح أداة HLS وأنشأ مشروعا جديدا مع اختيار رقم الجزء ك xczu3eg-sbva484-1-e.
10. اكتب رمز اكتشاف المشاة على أداة التوليف عالية المستوى باستخدام لغات عالية المستوى مثل C++.
11. في الكود، اكتب ثلاثة سكريبتات C++ مختلفة: واحد لواصف ميزات HoG ومصنف SVM، وآخر لمنصة الاختبار لتوفير مدخلات لصور الاختبار وحفظ صور الإخراج، والثالث لملف رأس يعلن عن المعلمات المستخدمة في الكود.
12. في كود حساب ميزات HoG، قم بتغيير حجم الصورة إلى 640 × 480 وتطبيق بنية نافذة منزلقة بحجم نافذة 64 × 128. لكل نافذة، احسب مقدار التدرج والاتجاه لكل كتلة متداخلة بحجم 8 × 8.
    ملاحظة: من المهم مسح الصورة بالكامل من خلال مفهوم النافذة المنزلقة حتى يتم تغطية كل منطقة في الصورة وتحديد المشاة بكل الحجم الممكن.
13. في الجزء الآخر من نفس الكود لوصف ميزة HoG، مرر التدرجات المحسوبة إلى مصنف SVM. اكتب الكود لمطابقة الميزات مع أوزان المصنف وقارن مع العتبة لتصنيف الميزة المكتشفة كميزة إنسان أو لا.
14. انقر على تشغيل محاكاة C في أداة HLS لمحاكاة الكود بمساعدة منصة اختبار للتحقق من صحة وظائف الكود.
15. قدم صورا مختلفة للكود وتحقق من صور المخرج مع المشاة المكتشفين.
16. انقر على تشغيل C Synthesis لتركيب الكود لتعيين الكود إلى لغات الأجهزة بواسطة الأداة وتوليد تقارير التوقيت والاستخدام.
    ملاحظة: تقوم الأداة بفتح تقارير توليف HLS تلقائيا. يعرض هذا التقرير تقدير تردد الساعة المطلوب لتنفيذ المهمة المشفرة على منصة FPGA المختارة، كما يوفر تقديرا للموارد المستخدمة. هذه القيم المبلغ عنها هي تقديرات فقط، ويتم حساب المعاملات الفعلية فقط بعد التنفيذ على لوحة FPGA.
17. انقر على تصدير RTL لتصدير كتلة الملكية الفكرية (IP) لخوارزمية HoG لاكتشاف المشاة.
    ملاحظة: يجب استخدام هذا العنوان في المراحل اللاحقة من التنفيذ.

2. برمجة لوحة FPGA

1. افتح أداة برمجة FPGA وأنشئ مشروعا جديدا. اختر رقم الجزء ك xczu3eg-sbva484-1-e وأنشئ تصميم كتلة جديدة.
   ملاحظة: تم إنشاء هذا المخطط الكتل لإثبات التكامل بين الجزء من PS وPL في لوحة FPGA. بروتوكول الاتصال المستخدم هو بروتوكول واجهة التوسيع المتقدمة (AXI).
2. ابحث عن كتالوج IP في الأداة وبمجرد العثور عليه افتحه.
3. إنشاء مستودع مستخدم بإضافة مسار عنوان IP RTL المصدر في الخطوة 1.17.
4. في نافذة تصميم الكتل الجديدة ، انقر بزر الفأرة الأيمن واختر إضافة عنوان IP. جميع عناوين IP ستكون مرئية، بما في ذلك تلك التي توفرها الأداة بالإضافة إلى المستودعات التي أضافها المستخدم.
5. أضف كتلة Zync Ultrascale PS من المستودع.
   ملاحظة: تعكس هذه الكتلة جزء PS من النظام، المسؤول عن توليد الساعات المطلوبة، كما تحتوي على منافذ الرئيسية وتابعة للاتصال بعنوان IP HoG المستورد عبر كتلة الربط AXI، والتي تعمل على أساسيات بروتوكول AXI.
6. أضف 8 عناوين IP ل HoG لأن النظام سيعالج 8 نوافذ في نفس الوقت للاستفادة من ميزة التوازي الذي توفره لوحة FPGA.
7. أضف كتلة إعادة ضبط نظام المعالج ، وهي أيضا تتحكم في الساعة وإعادة ضبط كل كتلة في الرسم التخطيطي.
8. أضف كتلين axi_smart connect لتوصيل عناوين HoG مع كتلة Zync PS. يظهر مخطط الكتل بالكامل مع الوصلات الكاملة في الشكل 3.
   ملاحظة: كما هو موضح في الشكل 3، تم عرض جميع الكتل التي يجب إضافتها إلى التصميم بوضوح. يتم التقاط الشكل 3 من الأداة ويظهر المنافذ الداخلية لكل كتلة بالإضافة إلى الترابط بين منافذ الكتل المختلفة. هذه الكتلة هي التصميم الرئيسي لأنها مسؤولة عن إنشاء الواجهة بين PS وجزء PL من لوحة FPGA.
9. بعد إكمال التوصيلات كما هو موضح في الشكل 3، انقر على التحقق من التصميم.
   ملاحظة: التحقق من الصحة يتحقق أساسا من الاتصالات المفقودة أو المقطعة، مما قد يؤدي إلى مشاكل في مراحل لاحقة.
10. انقر على التوليف ثم تنفيذ التصميم في ال tool بعد نجاح التحقق من مخطط الكتل.
    ملاحظة: يقوم Synthesis برسم مخطط الكتل المصمم ويعطيه على لوحة FPGA. ستبلغ هذه الخطوة عن أي مخالفات قد تشير إلى أن التصميم لا يمكن تنفيذه على الأجهزة.
11. ستقوم الأداة أيضا بتوليد تقارير تتعلق بالتوقيت، واستخدام الموارد، واستهلاك الطاقة. افحص التقارير بعناية للتحقق من أي مخالفات توقيت وتحليل أداء النظام المصمم.
12. انقر على إنشاء ملف تدفق البتات الذي سيولد ملف .bit المطلوب لبرمجة لوحة FPGA.

الشكل 3: مخطط كتلة لاكتشاف المشاة باستخدام عنوان IP مستورد HoG + SVM. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

3. التنفيذ النهائي على لوحة FPGA

1. احصل على لوحة FPGA وأدخل بطاقة SD مع ملف الصورة المناسب في الفتحة على اللوحة.
2. وصل اللوحة بالكمبيوتر أيضا.
3. قم بتشغيل لوحة FPGA في وضع بطاقة SD لتفعيل برمجة بايثون عليها^21,22.
4. يمكنك الوصول إلى منصة Jupyter على اللوحة بعد توصيلها بالواي فاي.
5. وصل كاميرا ويب باللوحة.
6. اكتب كود بايثون لاستيراد ملف البت المنشأ وأداء مهمة الوصول إلى صور الكاميرا.
7. في الكود، اكتب السكربت بحيث تكتب الصورة في ذاكرة لوحة FPGA عبر جزء PS وتمرر إلى جزء PL للمعالجة.
   ملاحظة: جزء PL من اللوحة الذي يتوافق مع عناوين HoG IP يصل إلى بكسلات الصورة عبر مواقع الذاكرة هذه ويعالجها ويوفر الدرجات كمخرجات.
8. اكتب الكود المناسب بنفس سكريبت بايثون لقراءة الصور المعالجة وعرضها على شاشة الكمبيوتر.
   ملاحظة: هذا يكمل التصميم بالكامل وأصبح النظام جاهزا للنشر في التطبيقات الواقعية. جميع الرموز المستخدمة في هذه الدراسة تم رفعها كملفات ترميز تكميلية (الملف التكميلي 1 [Script_1_train_test.py]، الملف التكميلي 2 [Script_2_HLS_hog.cpp]، الملف التكميلي 3 [Script_3_HLS_test_bench.cpp]، الملف التكميلي 4 [Script_4_HLS_consts.h]، الملف التكميلي 5 [Script_5_jupyter_code.txt]).

Results

تنفيذ اكتشاف المشاة على نظام HLS
يوضح الشكل 4 نتائج المحاكاة على أداة HLS لاكتشاف المشاة باستخدام HoG + SVM. يتم إدخال صورة إدخال مع مشاة كمدخل اختبار للرمز، ويتم عرض المخرج مع المشاة المكتشفين. هناك قسمان في الصورة. الكشف الأول يحتوي على العديد من الصناديق المحيطة بنفس المشاة مرارا وتكرارا، وفي الصورة الثانية، تزال الصناديق المتداخلة ويتم قمعها، لتبقى فقط صناديق الكشف الرئيسية.

Discussion

تنفذ هذه الدراسة بشكل فعال نظام كشف المشاة في الوقت الحقيقي باستخدام خوارزمية HoG + SVM على أجهزة FPGA متقدمة تعتمد على لوحة تطوير Zynq UltraScale+ MPSoC^{رقم 24}. تشير النتائج إلى أن خوارزمية HoG التقليدية للكشف البشري¹¹ تحقق دقة تقارب 95٪ وتستخدم فقط نصف موارد FPGA المدمجة (LUTs، FFs، BRAM، DSPs)، مما يترك قدرة هائلة على تضمين معالجة أكبر بكثير لأداء بعض المهام المختلفة. عند تحليل نهج التنفيذ بالكامل، يلاحظ وجود خطوات حرجة متداخلة. إحدى الخط...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Python	Python	الإصدار 3.10
لوحة Ultra 96 V2 FPGA	Xilinx	تم تقديمه في عام 2018	منصة تنفيذ الأجهزة المستخدمة لتنفيذ خوارزمية كشف المشاة
Vivado	AMD	2019.2	أداة برمجة FPGA المستخدمة لبرمجة لوحة Ultra 96 v2 FPGA بخوارزمية كشف المشاة
Vivado HLS	AMD	2019.2	أداة التركيب على المستوى العالي المستخدمة للبرمجة على المستوى العالي لكود كشف المشاة في الورقة لتصدير الملكية الفكرية (IP)