طريقة تحسين التعليقات على الصور المجزأة للدراجات الكهربائية في سيناريوهات المصاعد المعقدة بناء على الميزات المحلية

Summary

يتم تقديم طريقة توضيح صورة مجزأة تعتمد على الميزات المحلية لتحسين اكتشاف الدراجات الكهربائية في سيناريوهات المصاعد المعقدة باستخدام مجموعة بيانات EBike-DET ونماذج كشف الكائنات السائدة.

Abstract

أدى الاستخدام المتزايد للدراجات الكهربائية (EBikes) في البيئات الضيقة مثل المصاعد السكنية إلى إثارة مخاوف خطيرة بشأن السلامة وطرح تحديات كبيرة في الكشف التلقائي عن الأجسام، خاصة بسبب الإسقاط المتكرر. غالبا ما تفشل طرق الكشف التقليدية، التي تعتمد بشكل أساسي على التعليقات الشاملة، في التعرف بدقة على EBiks المحجوبة جزئيا في المشاهد البصرية المعقدة. لتجاوز هذه القيود، تقترح هذه الدراسة طريقة جديدة للتعليق المجزئي تعتمد على الميزات المحلية، مقدمة استراتيجية توضيحية أكثر قابلية للتفسير. من خلال تفكيك EBike إلى مناطق رئيسية متعددة لوضع العلامات المستقلة، تمكن الطريقة المقترحة نماذج الكشف من تعلم معلومات هيكلية دقيقة الحبيبات، مما يحسن المتانة في ظروف الانسداد الكثيف. بالإضافة إلى ذلك، تم تطوير مجموعة بيانات مخصصة، EBike-DET، لدعم مهام الكشف في سيناريوهات المصاعد الواقعية. تم تعليق هذه المجموعة باستخدام النهج المجزأ وإضافة ظروف بيئية محاكاة، مما يعزز أداء النموذج وقابلية التكيف. تعزز الطريقة المقترحة تطوير الذكاء الاصطناعي القابل للتفسير (XAI) من خلال جعل اكتشاف الأجسام أكثر شفافية وقابلية للتفسير الهيكلي، وهو أمر ذو قيمة خاصة في التطبيقات الحيوية للسلامة. تجرى تجارب واسعة باستخدام ثلاثة نماذج رئيسية (YOLOv5، YOLOv10، وSSD). تظهر النتائج أن YOLOv5، عند تدريبه على EBike-DET مع تعليقات مجزأة، يحقق تحسنا بنسبة 3.7٪ في الدقة، 5.3٪ في الاسترجاع، 4.5٪ في درجة F1، و4.4٪ في mAP. مقارنة بمجموعات البيانات العامة، يظهر EBike-DET استقرارا وقوة أكبر تحت الإغلاق. لا تطور هذه الدراسة فقط دقة الكشف، بل توفر أيضا خطوة نحو حلول ذكاء اصطناعي أكثر قابلية للتفسير وتفسيرها لنشرها في أنظمة مراقبة السلامة الواقعية.

Introduction

مع الانتشار السريع للدراجات الكهربائية (EBikes) حول العالم، خاصة في الصين، حيث تجاوز إجمالي الدراجات 350 مليون وحدة بحلول عام 2022، أصبحت إي بايك وسيلة مهيمنة للنقل لمسافات قصيرة. ومع ذلك، فإن استخدامها المتكرر في الأماكن الضيقة مثل المصاعد السكنية يشكل مخاطر أمنية خطيرة، بما في ذلك الاهتزازات غير الطبيعية، وتلف المعدات، والروائح الكريهة، ومخاطر الحريق. تشير دراسة حديثة إلى أن حوادث الحرائق المرتبطة ب EBike تحدث باحتمال يقارب 1.44٪¹. تسلط هذه المخاطر الضوء على الحاجة الملحة لطرق كشف إلكترونية فعالة ودقيقة لتعزيز السلامة في بيئات المصاعد.

على الرغم من التقدم في رؤية الحاسوب والتعلم العميق، لا يزال اكتشاف إي بايك في المصاعد تحديا. مجموعات البيانات المتاحة للجمهور نادرة وغالبا ما تفتقر إلى التنوع في نماذج إيبايك، الألوان، وظروف الإخفاء، مما يحد من تعميم النموذج². علاوة على ذلك، غالبا ما تتضمن سيناريوهات المصاعد إغلاقات معقدة، حيث تكون البطاقات الإلكترونية مخفية جزئيا بواسطة الركاب أو المكونات الهيكلية، مما يقلل من دقة الكشف ^3,4,5. طرق التعليق الشاملة الموجودة، التي تعامل الإي بايك كصندوق محدد واحد، غالبا ما تفشل في مثل هذه الظروف، مما يدل على الحاجة لتحسين استراتيجيات التعليق والكشف. كما هو موضح في الجدول 1، يؤدي التعليق الشمولي إلى انخفاض ملحوظ في الأداء، مع انخفاض يصل إلى 21.5٪ في متوسط الدقة عند تقاطع فوق عتبة الاتحاد (IoU) بنسبة 0.5 (mAP@0.5) مقارنة بالتعليق المجزأ.

التقدم في الكشف القائم على التعلم العميق

تم تطبيق طرق التعلم العميق، وخاصة الشبكات العصبية الالتفاوية (CNNs)، على نطاق واسع في اكتشاف الأجسام. عائلة You Only Look Once (YOLO) تظهر أداء قويا في الوقت الحقيقي. ومع ذلك، عند اكتشاف الأجسام المحجوبة أو المتداخلة، تميل نماذج YOLO إلى إنتاج صناديق إحاطية متكررة. على سبيل المثال، يعزز YOLOv5 استخراج الميزات متعدد المقاييس من^{خلال الالتفاف} العميق وشبكات الهرم ^6,7، بينما يلغي YOLOv10 القمع غير الأقصى ويستخدم شبكات تجميع المسارات لتحسين السرعة والاندماج متعدد المقاييس ^8,9. رغم هذه التحسينات، لا تزال صناديق الحدود المتكررة وانخفاض المتانة في البيئات التي تحتوي على إعاقات عالية لا تزال قضايا غير محلولة. ومع ذلك، كلاهما يعاني عندما تكون هياكل EBike الرئيسية محجوبة جزئيا، لأن التعليقات الشاملة توفر إشارات محلية محدودة. كما هو موضح في الشكل 1A-C، يؤدي هذا القيد إلى صناديق إحاطة زائدة وعدم استقرار ثقة الكشف تحت الإغلاق المتوسط أو القوي. على النقيض من ذلك، يقلل التعليق المقطع من هذه المشكلة من خلال تمكين النموذج من اكتشاف مناطق منفصلة - مثل العجلات أو المنطقة الخلفية - مما يقلل من صناديق الحدود المتكررة تحت الإغلاق. يوضح الشكل 1D-F أيضا أن التعليق المقطع يحسن تحديد المواقع ويحافظ على استقرار الكشف عندما تبقى مكونات EBike جزئية فقط مرئية.

وبالمثل، يوفر نموذج 10,11 من كاشف الصندوق المتعدد الأحادي (SSD)^10,11، المبني على العمود الفقري VGG-16، اكتشافا فعالا عبر المقاييس ويؤدي أداء جيدا على الأجسام الصغيرة¹². ومع ذلك، يواجه SSD صعوبة أيضا عندما تنكسر استمرارية الميزات بسبب الإغلاق الكبير، مما يؤدي إلى اكتشافات غير دقيقة أو انحدار صندوق غير مستقر - حتى عند إدخال آليات الانتباه¹³. يوفر التعليق المجزأ ميزة هنا أيضا: يمكن للنموذج الاعتماد على الأجزاء المحلية المرئية المتبقية، مما يحسن استقرار الكشف في الظروف متعددة المقاييس والمحجوبة.

استراتيجيات التعليق وتعلم الميزات المحلية

تعتمد معظم طرق الكشف الحالية التعليق الشامل، الذي يبسط التعليق لكنه يعتمد بشكل رئيسي على الميزات العالمية^14,15. تواجه هذه الطريقة صعوبة عندما تكون المناطق الحيوية في إي بايك - مثل العجلات أو المنطقة الأمامية أو الخلفية - مفقودة جزئيا. أظهرت دراسة^{حديثة رقم 16} أن تعلم الميزات المحلية، الذي يقسم الكائنات إلى أجزاء مشروحة متعددة، يمكن أن يحسن المتانة والدقة في السيناريوهات الصعبة. وبما يتوافق مع ذلك، تظهر نتائج الجدول 2 أن التعليقات المجزأة تظل فعالة عندما يبقى ما لا يقل عن 40٪-60٪ من المكونات الرئيسية ل EBike مرئية، خاصة عند التعليق على العجلات والمنطقة الأمامية والمنطقة الخلفية. على النقيض من ذلك، تظل صناديق الإحاطة الشمولية كافية في السيناريوهات منخفضة الانسداد (مثل <20٪ إخفاء) أو عندما تكون دقة الصورة ≥1280 × 720، حيث يتم الحفاظ على الصورة الكاملة. تقل فائدة التقسيم عندما يتجاوز الحجب ≈70٪، أو عندما تصبح مناطق الميزة صغيرة جدا بحيث لا توفر معلومات مكانية تمييزية.

المبرر المنهجي لاستخدام اكتشاف زاوية هاريس

يتم اختيار اكتشاف زاوية هاريس لاستخراج الميزات المحلية بسبب سلوكه الحتمي، وكفاءته الحسابية، وخصائصه الخالية من التدريب، وهي ضرورية للتعليق الموثوق في بيئات المصاعد. على عكس كواشف نقاط المفتاح المكتسبة مثل SuperPoint وLoFTR، فإنه يتجنب التدريب الإضافي ويقلل من تغيير المجال تحت البيانات المشروحة المحدودة والاحتجاز الكثيف. مقارنة بمشغلي الحواف مثل كاني وسوبل، تركز زوايا هاريس على التقاطعات ذات المعنى الهندسي بدلا من الحواف الخلفية المزعجة، مما يتيح توطين مستقر لهياكل إي بايك، بما في ذلك تقاطعات العجلات والإطارات. علاوة على ذلك، يوفر اكتشاف زاوية هاريس معايير فائقة قابلة للتفسير. الثابت التجريبي k يتحكم في حساسية وثبات الزوايا. كما هو موضح في القسم 2.6.2.4 والشكل 2، يدعم تعديل k توازنا مضبوطا بين المتانة والكشف الزائد، وهو ما يتماشى جيدا مع استراتيجية التعليقات المجزأة المقترحة القائمة على القواعد.

تعزيز البيانات من أجل المتانة

أثبتت تعزيز البيانات فعاليتها في تعزيز تنوع وقدرة التكيف على نماذج الكشف. تشمل التقنيات الشائعة التحويلات الهندسية (مثل الدوران، التحجيم، القص) وتعديلات الألوان (مثل التدرج الرمادي، تعديلات السطوع)، التي تحاكي ظروف العالم الحقيقي وتغيرات الإضاءة^{17، 18، 19}. من خلال دمج هذه الاستراتيجيات، تصبح نماذج الكشف أكثر قدرة على تحمل التغيرات وأكثر ملاءمة للنشر في العالم الحقيقي.

لمعالجة القيود المذكورة أعلاه، تقترح هذه الدراسة طريقة تحسين للتعليق المقطع بناء على الميزات المحلية. تعزز الطريقة تعلم الميزات ومتانتها من خلال تقسيم الكتب الإلكترونية إلى أجزاء مشروحة مستقلة متعددة، مما يتيح اكتشافا أكثر فعالية تحت الإغلاق المعقد. بالإضافة إلى ذلك، يتم إنشاء مجموعة بيانات مخصصة لاكتشاف الدراجات الكهربائية (EBike-DET) مصممة لبيئات المصاعد، وتثري من خلال تعزيزات بيانات متنوعة لتحسين قابلية التكيف مع النماذج. أخيرا، تم التحقق من صحة الطريقة على YOLOv5 وYOLOv10 وSSD، مما يظهر مكاسب أداء ثابتة تتراوح بين +5.69٪ إلى +39.81٪ mAP، كما هو موضح في الجدول 3. يمكن تلخيص المساهمات كما يلي: طريقة تحسين التعليق المجزأة التي تعزز تعلم الميزات تحت ظروف الحجب، بناء مجموعة بيانات متخصصة من EBike-DET لسيناريوهات المصاعد، دمج تقنيات تعزيز متعددة، والتحقق التجريبي على نماذج الكشف السائدة، مما يظهر دقة وقوة محسنة مقارنة بالتعليقات الشاملة.

Protocol

تتكون مجموعة بيانات EBike-DET المستخدمة في هذه الدراسة من صور جمعها المؤلفون من خلال التصوير الفوتوغرافي في بيئات المصاعد ومواقف السيارات والشوارع، بالإضافة إلى صور إي بايك المتاحة للجمهور من منصات الويب. تم إجراء جميع عمليات جمع الصور في الموقع في بيئات غير خاصة فقط للأبحاث التقنية المتعلقة بالسلامة حول اكتشاف EBike. الصور لا تستهدف الأفراد عمدا، وأي أشخاص تم تصويرهم بالصدفة غير قابلين للتعرف عليه بسبب المسافة أو الإخفاء أو الرؤية الخلفية أو المعالجة المناسبة التي تزيل ملامح الوجه والمعرفات الشخصية الأخرى. تم الحصول على الصور المأخوذة من الويب حصريا من منصات تسمح بإعادة الاستخدام للبحث الأكاديمي أو من الموارد التي تم إصدارها بموجب تراخيص مفتوحة. جميع الصور تستخدم لأغراض بحثية وتعليمية غير تجارية فقط. ونظرا لعدم جمع أي بيانات شخصية محددة ولم يحدث تفاعل مباشر مع البشر، لم تتطلب هذه الدراسة موافقة لجنة أخلاقيات مؤسسية وفقا لإرشادات المؤلف.

1. بناء مجموعة البيانات

1. دقة الصورة، مساحة الألوان، وصيغ الملفات
   1. اضبط الدقة الأصلية للصور على 1280 × 720 بكسل لالتقاط تفاصيل عالية الجودة لملفات EBiks في مشاهد مختلفة.
   2. بعد التوحيد القياسي، قم بتغيير حجم الصور إلى 640 × 480 بكسل لتحقيق التوازن بين الكفاءة الحسابية والاحتفاظ بالميزات.
   3. قم بتعيين مساحة الألوان على RGB للحفاظ على معلومات الألوان الكاملة، مما يضمن التعرف الدقيق على الميزات في ظروف الإضاءة المختلفة.
   4. احفظ الصور بصيغة JPEG لتحسين التخزين دون التأثير بشكل كبير على جودة الصورة.
2. تعريف وتقسيم مجموعات بيانات التدريب والتحقق والاختبار
   1. قسم مجموعة البيانات إلى مجموعات تدريب، واختبار، واختبار بنسبة 7:2:1، لضمان تقسيم مجموعة البيانات بشكل مناسب لتدريب النماذج، وضبط المعاملات الفائقة، وتقييم الأداء.
   2. اضبط البذرة العشوائية على 42 لضمان قابلية تكرار البيانات المقسمة بين تجارب مختلفة.
   3. تطبيق أخذ عينات طبقية للحفاظ على توزيع متسق لنماذج EBike ومستويات الإخفاء في كل تقسيم لمجموعة البيانات، مع ضمان عدم وجود اختلال في التوازن بين المجموعات.
   4. تأكد من عدم وجود تسرب بين مجموعات التدريب والتحقق والاختبار من خلال التأكد من عدم ظهور صورة EBike في أكثر من مجموعة واحدة.
3. بناء مجموعة البيانات العامة
   1. اختر مجموعة بيانات الكشف المتاحة للجمهور من منصة المصادر^{المفتوحة} 20,21,22,23، والتي تحتوي على 210 صور لإي بايكس في مشاهد بانورامية ومشاهد محجوبة جزئيا.
   2. تعرف على حدود مجموعة البيانات العامة، بما في ذلك زاوية الكاميرا الفردية، والدقة المنخفضة، والمشاهد الخلفية البسيطة، والتي قد تحد من قدرة النموذج على التعميم، خاصة في سيناريوهات الإغلاق المعقدة.
4. بناء مجموعة بيانات EBike-DET
   1. قم بإنشاء مجموعة بيانات EBike-DET لتعزيز تغطية المشاهد وتنوع العينات، والتي تتكون من 1,680 صورة عالية الجودة من منصات إلكترونية وتصوير فوتوغرافي في الموقع.
   2. تأكد من تضمين بيئات متنوعة، مثل المصاعد ومواقف السيارات والشوارع، مع التقاط الظروف المختلفة التي قد تكون فيها الكتب الإلكترونية.
   3. ادمج مجموعة متنوعة من زوايا الكاميرا (من الأمام، والجانب، وللعلو) لالتقاط كامل مجموعة مظهر EBike، مما يضمن تدريبا قويا على نماذج الكشف.
   4. قم بإثراء مجموعة البيانات من خلال تضمين عدة علامات تجارية ونماذج من EBike، مع اختلافات في الألوان والحجم والإكسسوارات، لزيادة تنوع العينات.
   5. تأكد من تضمين سيناريوهات الإغلاق، حيث يتم إغلاق البطاقات الإلكترونية جزئيا بواسطة المشاة والمركبات، مما يحاكي الظروف الواقعية في الأماكن الضيقة مثل المصاعد.
   6. تأكد من أن مجموعة بيانات EBike-DET تتضمن عينات متنوعة ومعقدة، مما يجعلها مجموعة بيانات موثوقة لاكتشاف الأهداف تحت ظروف الانسداد المعقدة.
5. قواعد الإدراج والاستبعاد للصور على الويب والموقع
   1. صور الويب: تشمل فقط تلك المتاحة للجمهور، الملتقطة في بيئات متنوعة، بدقة عالية وظروف إضاءة متنوعة. استبعد الصور ذات الدقة المنخفضة أو الخلفيات البسيطة.
   2. الصور في الموقع: تضمين الصور الملتقطة في بيئات واقعية، وخاصة في أماكن مثل المصاعد أو مواقف السيارات أو الشوارع. تأكد من أن الصور تمثل سيناريوهات واقعية على إي بايك مع اختلافات في الانسداد والتعقيد والخلفية وظروف الطقس. استبعد الصور التي تحتوي على ضوضاء مفرطة أو تشويه أو إعدادات غير واقعية.
   3. تأكد من أن الصور على الويب والموقع تتبع نفس معايير الدقة ومساحة الألوان للحفاظ على الاتساق عبر مجموعة البيانات.
6. بناء تعزيز البيانات
   1. تطبيق عمليات تعزيز أساسية، مثل التدرج الرمادي والدوران، لزيادة تنوع العينات ومحاكاة ظروف الإضاءة المختلفة واتجاهات الكاميرا.
   2. قسم هدف إي بايك إلى عدة مناطق محلية مستقلة، بما في ذلك منطقة العجلة، والمنطقة الأمامية، والمنطقة الخلفية، لتعزيز تعلم الميزات المحلية.
   3. قم بتدوين كل منطقة بشكل مستقل لتحسين دقة الكشف تحت الحجب وضمان أداء قوي للنموذج عبر أجزاء EBike المختلفة.
   4. تحقق من أن جميع الصور المعززة والتعليقات المجزأة تحافظ على اتساق هيكلي مع ميزات EBike لتجنب بيانات التدريب غير المتطابقة أو غير الصالحة.

2. التعليقات المجزأة على الميزات المحلية

ملاحظة: لتعزيز دقة اكتشاف الإلكترونيات الإلكترونية في سيناريوهات الإغلاق المعقدة، تم اقتراح طريقة تعليق مجزأة تعتمد على ميزات محلية محسنة. تقوم هذه الطريقة بتقسيم منطقة إي بايك عن طريق استخراج نقاط الميزة المحلية وتحدد ما إذا كان يجب تعليق المنطقة بناء على درجة الانسداد في منطقة الميزة المقابلة. يتم توضيح العملية التجريبية التفصيلية في الشكل 3.

1. باستخدام مجموعات بيانات التدريب والتحقق والاختبار التي تم إنشاؤها مسبقا.
2. التعليق اليدوي: استخدم أداة LabelImg في بيئة بايثون للتعليق اليدوي. صنف جميع الصور حصريا كملفات إلكترونية، لضمان تقليل التداخل من العينات السلبية^24,25.
3. معالجة البيانات والتعزيز
   1. تطبيق الطريقة التي اقترحها يونغجيانغ وآخرون لإزالة الضوضاء وتوحيد الصور لضمان حجم موحد عبر مجموعة البيانات.
   2. إجراء عمليات تعزيز البيانات (مثل الدوران، ضبط السطوع، التدرج الرمادي) لزيادة تنوع العينات. تأكد من أن جميع الصور المعززة تحافظ على جودة الصورة وتعزز متانة النموذج لمختلف الخلفيات.
4. زراعة منطقة إي بايك
   1. لضمان تكرار توطين العائد على الاستثمار، طبق معلمات الاستدلال من الجدول 4 ل YOLOv10 (باستخدام ملف الوزن المدرب مسبقا yolov10x.pt). إحداثيات صندوق الإخراج المحيطة هي كما يلي:
      عائد الاستثمار = [x₁, y₁, x₂, y₂] (1)
      المعادلة (1) تعرف إحداثيات صندوق حدود ROI²⁶ [x₁, y₁, x₂, y₂] ، حيث: x₁, y₁ =إحداثيات الزاوية العلوية اليسرى لعائد EBike; x₂, y₂ =إحداثيات الزاوية اليمنى السفلية لعائد EBike. هذه الإحداثيات مشتقة من الناتج الخام ل YOLOv10، الذي يتنبأ بصناديق الحدود بصيغة [c_x,_{c y}, w, h] لكل كائن مكتشف. صيغ التحويل هي:
      (2)
      (3)
      (4)
      (5)
      حيث c_x، c_y هي إحداثيات مركز أفقية/عمودية مطبعة لصندوق الحدود المتوقع (محجمة إلى حجم الصورة المدخلة 640 × 480).  w, h هو العرض/الارتفاع المعياري لصندوق الحدود المتوقع (مدرج حسب حجم الصورة المدخلة).
   2. قم بتصفية مخرجات YOLOv10 بعتبة الثقة (0.5) للاحتفاظ فقط بالاكتشافات المتعلقة ب EBike (معرف الفئة المقابل للدراجة الكهربائية)، ثم قم بمعالجة NMS (IoU=0.45) لإزالة الصناديق الزائدة. حول صندوق الحدود المتبقي إلى [x₁,_{y 1}, x₂, y₂] لقص العائد على العائد.
   3. التعامل مع اكتشافات متعددة
      ملاحظة: في سيناريوهات المصاعد (الهدف الأساسي لمجموعة بيانات EBike-DET)، تكون إي بايكس عادة ذات مثيل واحد (بسبب قيود المساحة). في الحالات التي تحتوي على عدة اكتشافات من EBike (مثل المصاعد المزدحمة التي تحتوي على اثنين من EBiks)، تنطبق القواعد التالية.
      1. أعلى أولوية ثقة: اختر الصندوق المحيط الذي يحمل أعلى درجة ثقة (تعكس ثقة الإخراج في YOLOv10 يقين النموذج بأن الكائن هو EBike).
      2. فحص الصلاحية المكانية: إذا كانت الاكتشافات المتعددة تحمل درجات ثقة >0.7، تحقق من التداخل المكاني مع حدود هيكل المصاعد (مثلا، تجنب المربعات المحيطة التي تمتد خارج جدران المصعد). احتفظ بالكشف الذي تكون نقطة مركزه c_x, c_y الأقرب إلى مركز الصورة (عادة ما تراقب المصاعد بواسطة كاميرات أمامية، مع وضع الأهداف في المنتصف).
      3. التعامل مع الحالات الحافية: إذا لم تحقق أي اكتشافات صحيحة عتبة الثقة (مثل الانسداد الشديد)، ضع علامة على الصورة لتصحيح العائد على الاستثمار يدويا (يمثل <3٪ من مجموعة بيانات EBike-DET).
5. تحويل وتطبيع التدرج الرمادي
   1. قم بتحويل التدرج الرمادي على صورة RGB المقطوعة من ROI. استخدم طريقة المتوسط المرجح للتحويل، وفقا للصيغة:
      I_gra = 0.299 × R + 0.587 × G + 0.114 × B (6)
      حيث تمثل R وG وB قيم البكسلات في القنوات الحمراء والخضراء والزرقاء على التوالي. تتماشى هذه الطريقة مع إدراك الإنسان للسطوع عبر ألوان مختلفة.
   2. قم بتطبيع قيم البكسل لصورة التدرج الرمادي إلى نطاق [0, 1] عن طريق التحجيم الخطي من [0, 255]. هذا التطبيع يحسن استقرار الحسابات العددية ويضمن أن الحسابات التدرجية اللاحقة والعتبات تعمل باستمرار تحت ظروف إضاءة متغيرة.
6. اكتشاف زاوية هاريس
   1. طبق اكتشاف زاوية Harris على التدرج الرمادي وقم بتطبيع منطقة EBike لاستخراج نقاط الميزات المحلية.
      ملاحظة: المبدأ الأساسي لاكتشاف الزوايا في هاريس يتضمن حساب مصفوفة الارتباط الذاتي لتحديد موقع الزوايا بدقة في الصورة، كما هو موضح بصريا في الشكل 4B. عادة ما ترتبط هذه المنعطفات المكتشفة بمكونات رئيسية في EBike مثل العجلات، والمنطقة الأمامية، والمنطقة الخلفية، والتي غالبا ما تظهر ميزات منعطفات واضحة.
   2. احسب تدرج الصورة لتحديد المناطق التي تتغير فيها شدة كبيرة كما هو موضح أدناه.
      1. تنعيم الصورة: تطبيق ترشيح غاوسي على الصورة الرمادية لقمع الضوضاء، والحصول على الصورة الملساء كما يلي:
         I_s = G_σ*I (7)
         حيث تمثل * عملية الالتفاف، وG_σ نواة غاوسية ثنائية الأبعاد ذات انحراف معياري σ، والتي تتحكم في مستوى التنعيم. القيمة النموذجية ل هي 1.0.
      2. حساب تدرج الصورة: استخدم عامل تدرج (مثل مشغل سوبل) لحساب التدرجات الأفقية (x) والعمودية (y) للصورة الملساء:
         I_x = K_{x *} i_s ,I_y=K_{y *} I_y (8)
         حيث I_x و_{i y} هما خرائط التدرج في اتجاهين x و y على التوالي، وGx و Gy هما نوى الالتفاف لعامل سوبل:
         , (9)
      3. قم بإنشاء مصفوفة الارتباط الذاتي M بناء على التدرجات المحسوبة سابقا، باستخدام نافذة محلية 3 × 3 W مركزة في كل بكسل (x,y):
         (10)
         في الصيغة، تشير W إلى نافذة محلية في الموضع (x,y)، وتمثل العملية ∑W مجموع جميع عناصر الصورة داخل هذه النافذة؛ A = ∑W I_ײ يمثل مجموع التدرجات المربعة في نافذة W في اتجاه x، مما يعكس شدة التغيرات في اتجاه x؛ B=∑W I_y² يمثل مجموع التدرجات المربعة في نافذة W في اتجاه y، مما يعكس شدة التغيرات في اتجاه y؛ C = ∑W_{i xI y} يمثل مجموع حاصل ضرب التدرجات في اتجاهين x و y داخل نافذة W، موضحا ارتباط التغيرات بين هذين الاتجاهين.
      4. احسب مجموع التدرجات المربعة في كلا الاتجاهين x و y ليعكس شدة التغيرات على كل اتجاه. يعكس الحد التقاطع بين التدرجات I_x i_y الارتباط بين اتجاهين x و y.
      5. دالة استجابة الزاوية: حساب دالة استجابة الزاوية R بناء على المحدد وأثر مصفوفة الارتباط الذاتي لاكتشاف نقاط الزوايا في الصورة. احسب قيمة الاستجابة لكل بكسل واختر نقاطا ذات قيم استجابة أعلى كزوايا نهائية كما هو موضح في الشكل 2. دالة الاستجابة الزاوية تعطى بالتالي:
         det(M) = A ⋅ B - C² (11)
         trace(M) = A + B (12)
         R = det(M) - k ⋅ (trace(M)⁾² (13)
         حيث det(M) هو محدد M، يعكس التغير الكلي في منطقة الميزة المحلية، وtrace(M) هو أثر المصفوفة الذي يعكس شدة التدرج الكلي في المنطقة. عادة ما يتم ضبط الثابت التجريبي k بين 0.04 و0.06.
         ملاحظة: استنادا إلى التجارب، وجد أن اختيار k يؤثر بشكل كبير على النتائج:
         عندما يكون k = 0.04، تكون قيم الاستجابة مرتفعة جدا، مما يؤدي إلى زيادة نقاط الزوايا التي تم اكتشافها بشكل خاطئ.
         عندما يكون k=0.05، تكون قيم الاستجابة أكثر توازنا، حيث تكتشف الزوايا الحقيقية بدقة.
         عندما يكون k=0.06، تكون قيم الاستجابة منخفضة جدا، مما يصعب اكتشاف نقاط الزوايا بشكل موثوق.
   3. قم بإجراء تقسيم خشن للمناطق المحلية في EBike باستخدام نتائج اكتشاف نقاط الزاوية من هاريس. قسم EBike إلى مناطق بناء على البنية الهندسية وتوزيع نقاط الزوايا، كما هو موضح في الشكل 4C، لتحسين متانة النموذج وأداء الكشف في سيناريوهات الانسداد المعقدة.
   4. مساحة العجلة: اعتبر المنطقة صالحة إذا كانت تحتوي على ما لا يقل عن 15 نقطة زاوية موزعة بشكل متماثل على شكل دائري، مع درجة تماثل لا تقل عن 0.85. درجة التناظر موضحة في المعادلة 11. يجب أن تكون نسبة العرض إلى الارتفاع في منطقة العجلة تقريبا 1:1، مما يضمن أنها تعكس بدقة الخصائص الهندسية للعجلة.
   5. المنطقة الأمامية: أضف المنطقة إذا كانت تحتوي على 10 نقاط زاوية على الأقل بدرجة تماثل لا تقل عن 0.80، ونسبة العرض إلى الارتفاع تتراوح بين 1.2:1 و1.5:1، لضمان أن المنطقة الأمامية تتوافق مع الميزات الهيكلية المتوقعة.
   6. المنطقة الخلفية: أضف المنطقة إذا كانت تحتوي على 12 نقطة زاوية على الأقل، مع درجة تماثل لا تقل عن 0.75، وتتراوح نسبة العرض إلى الارتفاع بين 1.5:1 و2:1، لضمان التزام المنطقة الخلفية بالخصائص الهندسية المتوقعة.
7. تمثيل مناطق إي بايك الحرجة مع صناديق محيطة
   1. لتحويل نقاط الزوايا إلى صناديق تحد مستطيلة، استخدم خوارزمية تجميع DBSCAN. تجمع هذه الطريقة نقاط الزوايا القريبة في مجموعات، مما يضمن أن نقاط الزوايا التي تشكل منطقة تجمع معا. اضبط المسافة القصوى بين النقاط داخل العنقود إلى 30 بكسل.
   2. لكل مجموعة من نقاط الزوايا، حدد الإحداثيات الصغرى والعظمى x و y. تمثل هذه الإحداثيات حواف صندوق الإحداد.
   3. أضف هامشا من 10 بكسل حول مربع الإطار لضمان تضمين جميع الميزات ذات الصلة. يعوض هذا الهامش عن احتمال عدم المحاذاة أو عدم دقة البكسل في اكتشاف نقاط الزوايا.
   4. قم بتقريب إحداثيات صندوق الإحداثيات إلى أقرب عدد صحيح لضمان محاذاة البكسل بشكل صحيح لمعالجة الصور.
   5. تمثيل إحداثيات صندوق الحدود النهائي للمكون رقم i (مثل العجلة، المنطقة الأمامية، المنطقة الخلفية) كما هو موضح أدناه.
      1. اجمع المناطق المحددة (مساحة العجلة، المنطقة الأمامية، والمنطقة الخلفية) ومثل جميع المناطق الحرجة في إي بايك باستخدام صناديق تحد مستطيلة.
      2. تعريف إحداثيات صندوق الحدود لمكون i (مثل العجلة، المنطقة الأمامية، المنطقة الخلفية) كما يلي:
         (14)
         حيث يمثل B_i صندوق الحدود للمكون i، و و هما إحداثيات الزاويتين العلوية اليسرى والسفلى اليمنى على التوالي.
8. التعامل مع الانسداد الجزئي
   1. قيم درجة تناظر الزوايا لكل منطقة. اقبل منطقة إذا كانت درجة التناظر أكبر من أو تساوي 0.7.
   2. للتعامل مع الإغلاق، قس رؤية نقاط الزوايا. اقبل منطقة إذا كانت 50٪ على الأقل من الزوايا مرئية. إذا كانت 30٪-50٪ من الزوايا مرئية، قم بتحديد المنطقة لمزيد من المراجعة. إذا كانت أقل من 30٪ من الزوايا مرئية، ارفض المنطقة بسبب ضعف الرؤية للكشف بدقة.
9. الحكم الدقيق لمناطق الميزات المحلية
   1. تقييم دقة كل منطقة ميزات محلية باستخدام ثلاثة مقاييس تشغيلية كمية: مقياس التناظر S، مقياس استمرارية الكنتور C، ومقياس بنية الاتصال L. تطبيق هذه المقاييس بشكل موحد على مساحة العجلة، والمساحة الأمامية، والمنطقة الخلفية.
   2. اقبل منطقة فقط عندما تفي جميع المقاييس بالعتبات المحددة مسبقا. إذا فشل أحد المقاييس ضمن نطاق محتمل، قم بتوسيع العائد على الاستثمار وإعادة التقييم. إذا فشل مقياسان أو أكثر، قم بوضع علامة على المنطقة كغير موثوقة.
10. تحليل دقة ميزات منطقة العجلة
    1. نقطة تفتيش تشغيلية من الأمام
       1. احسب مقياس التماثل:
          (15)
          حيث nL و nR ترمز إلى عد الزوايا على الجانب الأيسر والأيمن.
       2. اقبل المنطقة إذا كانت S ≥ 0.85. كما هو موضح في الشكل 5A، تظهر العجلة بشكل دائري مع تماثل، وتشكل نقاط زاوية هاريس على طول المحيط نمطا متماثلا. لذا، ضع تعليقات على منطقة العجلة بالكامل.
       3. إذا كان 0.70 ≤ S<0.85، قم بتوسيع ROl بمقدار 10-20 بكسل وكرر التقييم للسماح بدخول ميزات أكثر واقعية إلى منطقة الحساب، ثم أعد التقييم. كما هو موضح في الشكل 5D، يحدث انسداد جزئي للعجلة، لذا يجب توسيع نطاق القص لالتقاط المزيد من ميزات Ebike للتقييم.
       4. إذا كان S<0.70، قم بتصنيف المنطقة على أنها غير موثوقة. كما هو موضح في الشكل 5G، يتم تشويش الشكل الدائري؛ استبعد هذه المنطقة من التعليقات.
    2. نقطة تفتيش تشغيلية من الجانب
       1. قياس استمرارية الكنتور باستخدام:
          (16)
       2. اقبل عندما ≥ C 0.75. كما هو موضح في الشكل 5B، نسبة طول القوس المستمر الفعلي إلى طول القوس المتوقع تلبي المتطلبات، وأن الشكل يتناسب تماما مع الحافة، ولا يوجد انكسار واضح.
       3. إذا كانت درجة الحرارة 0.55 ≤ درجة مئوية < 0.75، قم بتحسين استخراج الشكل وأعد الفحص. كما هو موضح في الشكل 5E، نسبة التيار من طول القوس المستمر إلى الطول المتوقع للقوس تكون في النطاق الحرج؛ من الضروري تعديل عتبة خوارزمية الاستخراج لجعل الشكل أكثر اكتمالا.
       4. إذا < C 0.55، ارفض المنطقة بسبب عدم كفاية الاستمرارية الهندسية. كما هو موضح في الشكل 5H، لا يمكن تلبية متطلبات التحليل.
    3. نقطة تفتيش تشغيلية من الأعلى
       1. تقييم الترابط الهيكلي باستخدام ما يلي:
          (17)
       2. اقبل عندما ≥ L 0.70. كما هو موضح في الشكل 5C، يتم تعويض الانحراف بين المسافة المرصودة والمسافة المتوقعة فعليا، ويفي الاتصال الهيكلي بالمتطلبات، وتصل الموضع النسبي بين المركبة وبيئة المصعد بالكامل.
       3. إذا كان L < 0.70، قم بتوسيع العائد على الاستثمار وأعد التقييم. كما هو موضح في الشكل 5F، فإن الانحراف الحالي بين المسافة المرصودة والمسافة المتوقعة كبير نسبيا؛ من الضروري توسيع نطاق التحليل ويشمل المزيد من الهياكل المحيطة لتحسين دقة تقييم الاتصال.
       4. إذا ظل الاتصال غير متسق، صنف المنطقة على أنها غير موثوقة. كما هو موضح في الشكل 5I، لا يمكن استخدامه كمجال تحليل فعال.
11. تحليل دقة ميزات المنطقة الأمامية
    1. لتقييم دقة الميزات لمنطقة واجهة EBike، اتبع الإطار الموحد القائم على القواعد المحدد في القسم 2.10، بما في ذلك تقييم التماثل تحت الرؤية الأمامية باستخدام المقياس S كما هو معرف في المعادلة 15، وتقييم استمرارية الشكل تحت العرض الجانبي باستخدام المقياس C كما هو معرف في المعادلة 16، والتحقق من صحة الترابط الهيكلي تحت العرض العلوي باستخدام المقياس L كما هو معرف في المعادلة 17.
    2. بسبب التغيرات الهندسية والانسداد الجزئي المتكرر في المنطقة الأمامية، اعتمد عتبات معتدلة الاسترخاء مقارنة بمنطقة العجلة. تقبل منطقة أمامية عندما ≥ S 0.80، وC ≥ 0.70، وL ≥ 0.65. كما هو موضح في الشكل 6A-C، تظهر المناطق التي تستوفي هذه المعايير توزيعات ميزات متوازنة بين اليسار واليمين، وملامح متماسكة، وترابطا هيكليا مستقرا.
    3. إذا كان أي مقياس يقع ضمن النطاق الوسيط المحدد في القسم 2.10، قم بتوسيع منطقة الاهتمام وإعادة التقييم لتشمل ميزات سياقية إضافية، كما هو موضح في الشكل 6D-F. المناطق التي لا تستوفي الحد الأدنى من المعايير بعد إعادة التقييم تصنف على أنها غير موثوقة، كما هو موضح في الشكل 6G-I.
12. تحليل دقة الميزات في المنطقة الخلفية
    1. لتحليل دقة ميزات المنطقة الخلفية، يرجى الالتزام ببروتوكول التقييم المحدد في القسم 2.10، باستخدام المقاييس S كما هو معرف في المعادلة 15، C كما هو معرف في المعادلة 16، وL كما هو معرف في المعادلة 17 تحت الجهات الأمامية والجانبية والعلوية على التوالي.
    2. المنطقة الخلفية أكثر عرضة للانسداد الناتج عن الركاب أو الأشياء المحمولة أو هياكل المصاعد. لذلك، تطبيق شروط رفض أكثر صرامة لتجنب التعليقات غير الموثوقة. يقبل منطقة خلفية عندما ≥ S 0.75، وC ≥ 0.70، وL ≥ 0.65. تظهر الحالات المقبولة التمثيلية التي تحتوي على تناظر كاف، واستمرارية ملامح، واتصال في الشكل 7A-C.
    3. بالنسبة للمناطق ذات القيم المقطرية الحدية، قم بإجراء توسيع وإعادة تقييم عائد الاستثمار، كما هو موضح في الشكل 7D-F. إذا بقيت العلاقات الهندسية غامضة أو فشلت المقاييس في تلبية معايير القبول، ضع علامة على المنطقة كغير موثوقة، كما هو موضح في الشكل 7G-I.
13. تحليل دقة ميزات المنطقة الخلفية
    1. لتحليل دقة ميزات المنطقة الخلفية، اتبع بروتوكول التقييم المحدد في القسم 2.10، باستخدام نفس المقاييس S كما هو معرف في المعادلة 15، C كما هو معرف في المعادلة 16، و L كما هو معرف في المعادلة 17 تحت وجهات النظر المقابلة.
    2. مقارنة بالمنطقة الأمامية، فإن المنطقة الخلفية أكثر عرضة للانسداد الناتج عن الركاب والأشياء المحمولة وهياكل المصاعد الداخلية. لذلك، طبقوا معايير رفض أكثر صرامة قليلا لمنع التعليقات غير الموثوقة. يقبل منطقة خلفية عندما ≥ S 0.75، وC ≥ 0.70، وL ≥ 0.65. كما هو موضح في الشكل 7A-C، تحافظ المناطق المقبولة على تماثل كاف، وتماسك الكنتور، والترابط البنيوي.
    3. بالنسبة للمناطق ذات القيم المترية الحدية، قم بتوسيع وإعادة تقييم العائد على الاستثمار وفقا للقسم 2.10، كما هو موضح في الشكل 7D-F. إذا بقي الاتساق الهندسي غير كاف بعد إعادة التقييم، ضع علامة على المنطقة كغير موثوقة، كما هو موضح في الشكل 7G-I.
14. تنفيذ خط الأنابيب
    1. هيكل الملفات والمجلدات: يتبع التنفيذ هيكل دليل معياري يفصل بين الاكتشاف، واستخراج الميزات المحلية، والحكم على التعليقات. انظر تنظيم الملفات التمثيلية الموضح أدناه. تخزين جميع النتائج الوسيطة في مجلدات فرعية مخصصة للسماح بفحص مستقل لكل خطوة معالجة.
       project_root/
       │
       ├── بيانات/
       │ ├── صور/
       │ │ ├── قطار/
       │ │ ├── فال/
       │ │ └── اختبار/
       │ └── تعليقات/
       │
       ├── الكشف/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── روي/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── هاريس/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── الإعدادات/
       └── عتبات.yaml
    2. خط أنابيب التنفيذ وأمثلة أسطر الأوامر
       1. اكتشاف إي بايك وتحديد موقع العائد على الاستثمار: توطين مناطق إي بايك باستخدام نموذج كشف كائنات مدرب مسبقا. تخزين نتائج الكشف كإحداثيات صندوق محيط.
          اكتشاف بايثون/detect_ebike.py \
          --بيانات مدخل/صور/اختبار/ \
          --عائد الإخراج على العائد على detections.json
       2. قص العائد على العائد: استخدم صناديق الحدود المكتشفة لقص مناطق EBike من الصور الأصلية.
          بايثون ROI/crop_roi.py \
          --الاكتشافات ROI/detections.json \
          --بيانات الصور/صور/اختبار/ \
          --عائد الإخراج على العائلة/cropped_images/
          احفظ كل صورة مقطوعة باستخدام تنسيق التسمية: imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. استخراج زاوية هاريس: تطبيق اكتشاف زاوية هاريس على كل عائد عائد تم قصه بعد تحويل التدرج الرمادي. احفظ خرائط استجابة الزوايا والتراكبات البصرية للفحص.
          بايثون هاريس/harris_corner.py \
          --عائد الدخل / cropped_images/ \
          --إخراج هاريس/corner_visualization/ \
          --config configs/thresholds.yaml
       4. تقسيم الحبيبات الخشنة وشرح القطع: تقسيم مناطق الميزات المحلية إلى العجلة، والمنطقة الأمامية، والخلفية بناء على التوزيع المكاني لنقاط الزوايا. تطبيق حكم الصلاحية باستخدام معايير هندسية ومعايير تعتمد على الميزات.
          بايثون chunk_annotation/region_partition.py \
          --الزاوية هاريس/corner_visualization/ \
          --output chunk_annotation/final_annotations/
    3. المخرجات الوسيطة المتوقعة ونقاط التحقق البصرية: حفظ المخرجات الوسيطة التي تنتجها كل مرحلة معالجة والتي تعمل كنقاط تحقق بصرية. تمكن هذه المخرجات الوسيطة من التحقق خطوة بخطوة من تحديد موقع العائد على الاستثمار، وجودة استخراج الزوايا، وتقسيم المناطق، وقرارات التعليقات النهائية.
       1. مخرجات القص على العائد على العائد: حفظ صور EBike المقطوعة بعائد الاستثمار/cropped_images/. تحتوي كل صورة على منطقة واحدة من EBike مستخرجة من الإطار الأصلي.
       2. تصور زاوية هاريس: حفظ تراكبات الزوايا في هاريس/corner_visualization/. بالنسبة لمناطق العجلات الصالحة، يمكن ملاحظة مجموعة كثيفة من نقاط الزوايا على طول بنية الحافة الدائرية. المناطق التي لا توجد فيها استجابات زاوية كافية يمكن التعرف عليها في هذه المرحلة.
       3. نتائج تقسيم المناطق: تصور المناطق المقسمة (العجلة، المنطقة الأمامية، المنطقة الخلفية) بشكل مستقل. احتفظ فقط بالمناطق التي تلبي معايير الصلاحية المحددة مسبقا (مثل كثافة الزوايا الكافية والاتساق الهندسي).
       4. مخرجات التعليق النهائي: تخزين المناطق المقبولة في chunk_annotation/final_annotations/ كملفات توضيحية منظمة. استبعد المناطق التي لم تحقق الحكم الصحيح ولا تنقلها إلى مراحل لاحقة.
          ملاحظة: جميع العتبات المستخدمة لاكتشاف الزوايا وحكم صلاحية المنطقة مركزية في ملفات التكوين. يعمل خط الأنابيب على مدخلات أحادية الإطار دون اعتماد زمني، مما يسمح بإعادة إنتاج النتائج بشكل مستقل لكل صورة. مع وجود صور إدخال متطابقة، وملفات التكوين، وترتيب التنفيذ، تبقى المخرجات الوسيطة المولدة والتعليقات النهائية حتمية.
15. خطوات الانتهاء وإصدار مجموعة البيانات
    ملاحظة: لضمان انتهاء البروتوكول بنقطة نهاية واضحة وقابلة للتكرار، تم تعريف مرحلة إنهاء لدمج حفظ التعليقات، والتحقق من الجودة، وتغليف مجموعات البيانات، وتوثيق الإصدارات.
    1. حفظ التعليقات النهائية: بعد الحكم على صحة المناطق، احفظ جميع التعليقات المقبولة بصيغة chunk_annotation/final_annotations/ باستخدام تنسيق نص YOLO، مع ملف تعليق واحد لكل صورة. احتفظ فقط بالمناطق التي تلبي المعايير الهندسية المحددة مسبقا والمعايير القائمة على الميزات في مجموعة التعليقات النهائية واستبعاد المناطق المرفوضة أو غير الموثوقة من الاستخدام الإضافي.
    2. التحقق من جودة التعليق: التحقق من جودة التعليق النهائي من خلال إعادة تطبيق نفس معايير الصلاحية المستخدمة أثناء تقييم المنطقة، بما في ذلك التماثل، واستمرارية الكنتور، ومقاييس الترابط الهيكلي. إزالة التعليقات التي لا تستوفي هذه المعايير خلال مرحلة التحقق هذه، لضمان الاتساق بين توليد التعليقات ومراقبة الجودة.
    3. تغليف مجموعة البيانات: بعد التحقق، نظم الصور والتعليقات التوضيحية في تدريب ثابت، وتحقق من الصحة، وتقسيمات اختبار وفقا لقسم مجموعة البيانات المحدد. يتم تجميد هيكل الدليل وقوائم الملفات في هذه المرحلة، ويتم إعداد مجموعة البيانات المعبأة للتدريب والتقييم دون الحاجة إلى تعديلات إضافية.
    4. توثيق الإصدار والبذرة: يتم حفظ ملفات التكوين، بما في ذلك معلمات اكتشاف الزوايا وعتبات صلاحية المنطقة، مع مجموعة البيانات المعبأة. استخدم بذور عشوائية لتقسيم البيانات، وتثبيت تنفيذ الخوارزميات، والتسجيل. بالإضافة إلى ذلك، وثق نسخ أوزان النماذج، وملفات التكوين، وأدوات التعليق. مع وجود بيانات إدخال متطابقة، وملفات التكوين، والبذور المسجلة، تبقى التعليقات النهائية وتقسيمات مجموعات البيانات حتمية.

3. تعزيز البيانات

ملاحظة: أظهرت دراسة سابقة أن مجموعات بيانات التدريب التي تفتقر إلى المعالجة المسبقة الكافية وتعزيز البيانات غالبا ما تؤدي إلى تدهور أداء النموذج²². لمواجهة هذه التحديات، تم اتباع الإجراء التالي.

1. الإضاءة
   1. محاكاة تغيرات الإضاءة داخل المصاعد لمعالجة التغيرات المتكررة في الإضاءة عن طريق ضبط عامل السطوع ضمن النطاق من 0.6 إلى 1.4، مع احتمال 0.8.
   2. قم بتطبيق تعديلات شدة الضوء للانتقال من البيئات الساطعة إلى البيئات الخافتة، محاكاة التمويه الناتج عن حركة EBike. استخدم احتمال 0.7 لهذه العملية.
   3. توليد عينات معززة عن طريق ضبط ظروف الإضاءة، لضمان رؤية مستقرة تحت مستويات إضاءة مختلفة.
   4. قم بتطبيق هذه العمليات الإضاءة دون اتصال وتخزينها للمعالجة لاحقا. اضبط البذرة العشوائية على 42 لضمان قابلية تكرار عملية التعزيز.
2. الإخفاء
   1. أنشئ سيناريوهات انسداد اصطناعية تعكس حالات المصاعد المزدحمة. تطبيق أقنعة الإخفاء (مثل الظلال البشرية، كتل الأشياء) باحتمال 0.6.
   2. تطبيق حواجز فسيفسائية لمحاكاة الانسداد الجزئي لأجهزة الإي بايك أثناء دخول وخروج المصعد. استخدم نسب الإخفاء 30٪، 50٪، أو 70٪، وتأكد من تطبيق الإخفاء عشوائيا في أي ربع (علوي، أسفل، يسار، يمين) من الصورة.
   3. دمج عينات محجوبة لتحسين متانة الكشف واستقراره تحت الرؤية الجزئية، مما يضمن بقاء مكون رئيسي واحد على الأقل (مثل العجلة، المنطقة الأمامية، المنطقة الخلفية) مرئيا.
   4. قم بإجراء تعزيز الإغلاق دون اتصال والتحقق من صحة العينات لضمان الاحتفاظ بميزات EBike الأساسية. اضبط البذرة العشوائية على 42 لإعادة الإنتاج.
3. وجهات النظر
   1. قم بضبط زوايا الرؤية ضمن نطاق محدد مسبقا يبلغ ±15° لمحاكاة زوايا الكاميرا المتنوعة في بيئات المصاعد المختلفة. يجب تطبيق هذه العملية باحتمال 0.7.
   2. تطبيق تحويلات منظور مع معاملات تشوه بين 0.0 و0.2 لمحاكاة مواقع مختلفة للكاميرا (مثل المرتفعة، الجوانب والزاوية المائلة).
   3. قم بتعديل وتغيير منطقة إي بايك بمقدار 0.8–1.2 مرة لمحاكاة التغيرات في مسافة الكاميرا عن الهدف. طبق هذا التحويل باحتمال 0.8.
   4. تأكد من أن جميع تحويلات وجهة النظر تحتفظ بسلامة EBike الهندسية وأنه لا توجد أي ميزات حرجة مشوهة.
   5. قم بإجراء تحويلات وجهة النظر دون اتصال بالإنترنت وتخزين الصور المعززة. اضبط البذرة العشوائية على 42 لإعادة الإنتاج.
4. التعزيز
   1. تطبيق التدرج الرمادي على 30٪ من الصور باحتمال 0.3 لإدخال اختلافات مدفوعة بالسطوع وتعزيز متانة النموذج في ظروف الإضاءة المنخفضة.
   2. استخدم معادلة المخطط الهيستوغرامي على 20٪ من العينات لتعزيز التباين ووضوح الميزات الرئيسية لجهاز EBike تحت ظروف الإضاءة الصعبة.
   3. اجمع بين استراتيجيات الإضاءة، والإخفاء، وتعزيز وجهة النظر بشكل متسلسل لتوليد عينات عالية التنوع. استخدم احتمالات 0.9 لهذه العملية متعددة الخطوات.
   4. راجع العينات المعززة للتأكد من أنها تحافظ على سلامة هيكل إي بايك قبل دمجها في مجموعة البيانات النهائية.
   5. نفذ عمليات التحسين دون اتصال وتخزين الصور لاستخدامها في التدريب لاحقا. اضبط البذرة العشوائية على 42 لضمان قابلية تكرار عملية التعزيز بالكامل.

4. البيئة التجريبية

1. تكوين بيئة التجربة لضمان الكفاءة الحاسوبية والاستقرار أثناء تدريب واختبار النماذج.
2. استخدم معالجا حديثا متعدد الأنوية، وبطاقة رسومات مخصصة لتسريع التعلم العميق، وذاكرة كافية، ونظام تخزين مستقر لدعم معالجة بيانات الصور على نطاق واسع عبر EBike.
3. مطابقة بيئة البرمجيات مع تكوين الأجهزة من خلال تثبيت نسخ متوافقة من إطار التعلم العميق، وتعريفات GPU، ومكتبات التسريع لتحسين سرعة التدريب وأداء الاستدلال.
4. راجع الجداول 5، والجدول 6، والجدول 7، والجدول 8 للحصول على مواصفات الأجهزة التفصيلية، وبيئة البرمجيات، وتبعيات النماذج، وإعدادات معدات التصوير لضمان قابلية التكرار.
5. التحليل الحسابي الشامل ووقت التشغيل
   1. حلل العبء الحسابي المرتبط باستراتيجية التعليق المجزئي من حيث تعقيد التعليقات وكفاءة وقت التشغيل. مقارنة بالتعليق الشامل، يمثل التعليق المقطع EBike باستخدام مناطق من مستوى الجزء، بما في ذلك منطقة العجلة، والمنطقة الأمامية، والمنطقة الخلفية. قم بتوضيح هذه المناطق فقط عندما تكون مرئية وتحقق معايير الصلاحية الهندسية والمعتمدة على الميزات، بدلا من تطبيقها في كل حالة.
      ملاحظة: من منظور التعليقات التوضيحية، لا يزال الزيادة في عدد الملصقات محدودة ومقيدة هيكليا. تساهم نسخة إي بايك في ثلاث تعليقات على مستوى الأجزاء على الأكثر، بينما يتم توضيح مناطق أقل في حالات الإغلاق الجزئي (مثلا، عندما تكون المنطقة الأمامية مرئية فقط). نتيجة لذلك، يختلف عدد التسميات لكل صورة حسب رؤية المشهد وظروف الإخفاء، ويزداد متوسط عدد الملصقات بشكل معتدل، كما هو موضح في الجدول 9. يوازن هذا التصميم بين تمثيل الميزات المحلية وتعقيد التعليقات. من منظور الاستدلال، لا يؤدي التعليق المجزأ إلى زيادة متناسبة في تكلفة المعالجة اللاحقة. على الرغم من أن الكشف على مستوى الجزء قد يولد صناديق تحديد مرشحة إضافية، إلا أن الاكتشافات تجمع على مستوى كائن إي بايك للتقييم النهائي، ويتم تطبيق تصفية قائمة على الثقة قبل المعالجة اللاحقة. هذه الاستراتيجية المشروطة المدفوعة بالرؤية تحد من المرشحين غير الضروريين للاكتشاف. بالنسبة لنماذج مثل YOLOv10، التي تقلل الاعتماد على الكبت التقليدي غير الأقصى للقمع، يبقى الحمل الإضافي الناتج عن التقسيم محدودا عمليا.
   2. قيم أداء وقت التشغيل بدقة مراقبة مصعد نموذجية تبلغ 640 × 480 بكسل باستخدام وحدة معالجة الرسوميات NVIDIA RTX 3090. كما هو موضح في الجدول 9، يحافظ التعليق المجزئي على قدرة الاستدلال في الوقت الحقيقي، مع تقليل طفيف فقط في الإطارات في الثانية مقارنة بالتعليقات الشاملة. تشير هذه النتائج إلى أن استراتيجية التعليق المجزئي لا تزال مناسبة للمراقبة الفورية على EBike في بيئات المصاعد.

5. مقاييس التقييم

ملاحظة: على الرغم من استخدام التعليقات المجزأة أثناء التدريب والاستنتاج، إلا أن التقييم يجرى على مستوى كائن الدراجة الكهربائية. يتم تجميع اكتشافات مستوى الأجزاء في قرار واحد للدراجة الكهربائية وفقا للقواعد المحددة في القسم 2.4,3.

1. تطبيق مقاييس التقييم القياسية المستخدمة عادة في أبحاث اكتشاف الأهداف²⁷ لتقييم أداء الخوارزميات بشكل شامل في سيناريوهات كشف الانسداد في EBike.
2. دقة الكشف (P)
   1. استخدم المعادلة (8) لحساب دقة الكشف، التي تقيس نسبة العينات الإلكترونية المعروفة بشكل صحيح بين جميع العينات الموجبة المتوقعة.
      (18)
      حيث تشير TP إلى الإيجابيات الحقيقية وFP إلى الإيجابيات الكاذبة.
   2. اضبط عتبة IoU على 0.5 لتحديد ما إذا كانت صناديق الحدود المتوقعة تتطابق مع صناديق الحقيقة-الأرضية.
   3. استخدم الدقة لتقييم قدرة النموذج على تقليل الإنذارات غير الضرورية الناتجة عن التعرف الخاطئ على الأجسام غير التابعة ل EBike.
   4. الأوامر (الأوامر) لتوليد هذا المقياس: استخدم سكريبت التقييم المناسب (مثل evaluate_precision.py). احفظ النتائج في precision_results.txt لمزيد من التحليل.
3. معدل الاستدعاء (R)
   1. استخدم المعادلة (9) لتحديد مدى فعالية النموذج في تحديد الإشارات الإلكترونية في بيئات المصاعد، خاصة عندما يؤثر الإخفاء على الرؤية.
      (19)
      حيث تمثل FN السلبيات الكاذبة.
   2. اضبط عتبة IoU عند 0.5 لتقييم دقة الكشف. استخدم الاستدعاء لتقييم قدرة النموذج على تقليل الاكتشافات الفائتة، لضمان بقاء البطاقات الإلكترونية محددة بدقة حتى عندما تكون معجوبة جزئيا.
   3. استخدم الأوامر/أوامر لتوليد هذا المقياس: شغل evaluate_recall.py. الحفظ يؤدي إلى recall_results.txt.
      ملاحظة: الاكتشافات الفائتة أمر بالغ الأهمية في سيناريوهات المصاعد المزدحمة ويجب تقليل ذلك للسلامة. الاكتشافات الفاشلة تثير مخاوف تتعلق بالسلامة في سيناريوهات المصاعد المزدحمة ويجب تقليلها إلى الحد الأدنى.
4. نتيجة F1
   1. احسب درجة F1 باستخدام المعادلة (10) للحصول على تمثيل متوازن لأداء دقة النموذج واستدعاءه.
      (20)
   2. استخدم درجة F1 لتقديم تقييم شامل، خاصة في الحالات التي تظهر فيها التنازلات بين الدقة والاستدعاء تحت مستويات إخفاء مختلفة.
   3. استخدم أوامر(أوامر) لتوليد هذا المقياس: شغل evaluate_f1.py لحساب درجة F1. الحفظ يؤدي إلى f1_score_results.txt.
5. متوسط الدقة المتوسطة (mAP)
   1. استخدم المعادلة (11) لقياس القدرة العامة على الكشف للنموذج عبر مظاهر EBike المختلفة، وظروف الإخفاء، وتغيرات الإضاءة.
      (21)
      حيث يشير AP_c إلى متوسط دقة الفئة c و C هو عدد الفئات.
   2. اضبط عتبة IoU إلى 0.5 لتقييم أداء النموذج عبر الفئات المختلفة.
   3. استخدم mAP@0.5 لتحديد مدى تكيف النموذج مع الظروف البصرية المتنوعة في إعدادات المصاعد، مما يضمن تقييما شاملا لأداء الكشف.
   4. استخدم الأوامر التالية لإنشاء هذا المقياس: نفذ evaluate_map.py باستخدام المعلمات المحددة. الحفظ يؤدي إلى map_results.txt.

Results

مقارنة بين التعليقات الشاملة والتعليقات المجزأة على مجموعة البيانات العامة

تم إجراء التقييم على مجموعة بيانات عامة تضم 210 صور من EBike تم جمعها من مشاهد مراقبة ومراقبة حركة المرور المفتوحة، مع ظروف إضاءة متنوعة، وألوان EBike، ودرجات متفاوتة من الحجب. تم تدوين كل صورة باستخدام الطريقة الشاملة (صندوق الحدود الواحد) والطريقة المقترحة المقسمة (تقسيم الإي بايك إلى عجلات، ومنطقة أمامية، ومناطق خلفية).

تلخص النتائج الكمية...

Discussion

خطوات حرجة

خطوة حاسمة في هذا البروتوكول هي طريقة التعليق المجزأ بناء على الميزات المحلية، حيث يتم تقسيم EBiks إلى مناطق العجلة والأمامية والخلفية. يضمن هذا القسم أن نماذج الكشف يمكنها من تعلم التمثيلات الدقيقة، وهو أمر كان ضروريا في بيئات المصاعد الغنية بالانسداد. على سبيل المثال، YOLOv5 المدرب مع تعليقات مجزأة على مجموعة بيانات EBike-DET حسن mAP@0.5 من 0.925 إلى 0.966، مما يؤكد ضرورة تقسيم الميزات المحلية بدقة لأداء قوي. بالإضافة إلى ذلك، تع...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	مجموعة HDF	2.10.0
مات بلوتليب (SSD)	مجتمع ماتبلوتليب	3.1.2
مات بلوتليب (YOLOv10)	مجتمع ماتبلوتليب	3.9.0
ماتبلوتليب (YOLOv5)	مجتمع ماتبلوتليب	3.8.4
matplotlib (YOLOv5+SAHI)	مجتمع ماتبلوتليب	3.8.4
matplotlib (YOLOv8-Seg)	مجتمع ماتبلوتليب	3.9.0
numpy (SSD)	مجتمع نومبي	1.17.0
numpy (YOLOv10)	مجتمع نومبي	1.26.3
numpy (YOLOv5)	مجتمع نومبي	1.26.4
numpy (YOLOv5+SAHI)	مجتمع نومبي	1.26.4
numpy (YOLOv8-Seg)	مجتمع نومبي	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	مايكروسوفت	1.15.1
onnxruntime (YOLOv5)	مايكروسوفت	1.15.1
onnxruntime (YOLOv5+SAHI)	مايكروسوفت	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
الباندا (YOLOv10)	مجتمع الباندا	2.2.2
الباندا (YOLOv5)	مجتمع الباندا	2.2.2
الباندا (YOLOv5+SAHI)	مجتمع الباندا	2.2.2
الباندا (YOLOv8-Seg)	مجتمع الباندا	2.2.2
الوسادة (SSD)	مطورو الوسادة	8.2.0
وسادة (YOLOv10)	مطورو الوسادة	10.2.0
وسادة (YOLOv5)	مطورو الوسادة	8.5.0
وسادة (YOLOv5+SAHI)	مطورو الوسادة	8.5.0
وسادة (YOLOv8-Seg)	مطورو الوسادة	10.2.0
psutil (YOLOv10)	مبنى بسوتيل	5.9.8
psutil (YOLOv5)	مبنى بسوتيل	5.9.8
psutil (YOLOv5+SAHI)	مبنى بسوتيل	5.9.8
بايكوكوتوز (YOLOv10)	اتحاد COCO	2.0.7
بايكوكوتولز (YOLOv5)	اتحاد COCO	2.0.7
بايكوكوتولز (YOLOv5+SAHI)	اتحاد COCO	2.0.7
بايكوكوتولز (YOLOv8-Seg)	اتحاد COCO	2.0.7
py-cpuinfo (YOLOv10)	مطورو Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5)	مطورو Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5+SAHI)	مطورو Py-CPUInfo	9.0.0
باي يامل (YOLOv10)	بييمل	6.0.1
باي يامل (YOLOv5)	بييمل	6.0.1
باي يامل (YOLOv5+SAHI)	بييمل	6.0.1
باي يامل (YOLOv8-Seg)	بييمل	6.0.1
الطلبات (SSD)	طلبات بايثون	2.27.1
الطلبات (YOLOv10)	طلبات بايثون	2.32.3
الطلبات (YOLOv5)	طلبات بايثون	2.31.0
الطلبات (YOLOv5+SAHI)	طلبات بايثون	2.31.0
ساهي	مطورو SAHI	0.3.4+
سكي بي (SSD)	مجتمع SciPy	1.2.1
سكيبي (YOLOv10)	مجتمع SciPy	1.13.0
سكي بي (YOLOv5)	مجتمع SciPy	1.13.0
سكي بي (YOLOv5+SAHI)	مجتمع SciPy	1.13.0
سكي بي (YOLOv8-Seg)	مجتمع SciPy	1.13.0
Seaborn (YOLOv10)	سيبورن ديفلوبرز	0.13.2
سيبورن (YOLOv5)	سيبورن ديفلوبرز	0.13.2
المولود البحري (YOLOv5+SAHI)	سيبورن ديفلوبرز	0.13.2
سيبورن (YOLOv8-Seg)	سيبورن ديفلوبرز	0.13.2
جميل (YOLOv5+SAHI)	مطورو شيبلي	2.0.4
SSD	مؤلفو Café/SSD الأصليون	بايثون 3.6.13+؛ PyTorch 1.2.0+؛ CUDA 10.0؛ CUDNN 7.4.1
لوحة التنسور (SSD)	جوجل	2.10.1
لوحة التنسور (YOLOv5)	جوجل	2.16.2
لوحة التنسور (YOLOv5+SAHI)	جوجل	2.16.2
تورشفيجن (SSD)	بايتورش	0.4.0
تورشفيجن (YOLOv10)	بايتورش	0.15.2
تورشفيجن (YOLOv5)	بايتورش	0.17.2
تورشفيجن (YOLOv5+SAHI)	بايتورش	0.17.2
تورشفيجن (YOLOv8-Seg)	بايتورش	0.16.1+
tqdm (SSD)	مطورو TQDM	4.60.0
tqdm (YOLOv10)	مطورو TQDM	4.66.4
tqdm (YOLOv5)	مطورو TQDM	4.66.2
tqdm (YOLOv5+SAHI)	مطورو TQDM	4.66.2
الألترا للتحليل (YOLOv8-Seg)	التحليل الفائق	8.2.99+
YOLOv10	فريق YOLOv10	بايثون 3.8.0+؛ PyTorch 2.0.1+cu118; CUDA 11.8؛ CUDNN 8.7
YOLOv5	التحليل الفائق	بايثون 3.8.0+؛ PyTorch 2.2.2+; CUDA 11.2؛ CUDNN 8.1.2
YOLOv5 + SAHI	Ultralytics + مطورو SAHI	بايثون 3.8.0+؛ PyTorch 2.2.2+; CUDA 11.2؛ CUDNN 8.1.2
YOLOv8-Seg	التحليل الفائق	بايثون 3.8.0+؛ PyTorch 2.0.1+cu118; CUDA 11.8؛ CUDNN 8.6.0+