إطار عمل تعليمي ذاتي الإشراف من مرحلتين لتصنيف صور النباتات الشتوية والأعشاب الضارة

Manishankar Sahu; Babita Majhi; Sujata Dash

doi:10.3791/69953

Research Article

إطار عمل تعليمي ذاتي الإشراف من مرحلتين لتصنيف صور النباتات الشتوية والأعشاب الضارة

DOI:

10.3791/69953

⸱

February 24th, 2026

Manishankar Sahu¹ , Babita Majhi¹ , Sujata Dash²

¹Department of Computer Science and Information Technology, Guru Ghasidas Vishwavidyalaya, Bilaspur, ²Department of Information Technology, School of Engineering and Technology, Nagaland University, Kohima Campus, Meriema

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يقيم هذا العمل تطبيق خط أنابيب التعلم العميق المكون من مرحلتين للتدريب المسبق الذاتي والإشراف على تصنيف صور المحاصيل والأعشاب الشتوية. تجرى التجارب على مجموعة بيانات WinterCropWeedDB باستخدام تقسيم داخلي واحد، مع تضمين تصورات Grad-CAM المشتركة.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تتطلب الزراعة الدقيقة تمييزا دقيقا بين المحاصيل الشتوية والأعشاب الضارة، لكن هناك نقص في بيانات الصور المشروحة لأنظمة الزراعة الشتوية. تبحث هذه الورقة في نهج التعلم العميق ذو المرحلتين الذي يدمج التعلم الذاتي الإشراف على الميزات مع الضبط الدقيق تحت الإشراف لتصنيف صور المحاصيل والأعشاب الشتوية. تم اقتراح واستخدام مجموعة بيانات جديدة لصور المحاصيل الشتوية والأعشاب الضارة، WinterCropWeedDB، في هذه الورقة، والتي تحتوي على 1,136 صورة عالية الدقة لستة أنواع من المحاصيل الشتوية وأربعة أنواع من الأعشاب الضارة جمعت من الحقول الزراعية في وسط الهند. في المرحلة الأولى من التعلم الذاتي الإشرافي، يتم تدريب نموذج EfficientNet-B3 مسبقا باستخدام نهج التعلم الذاتي الإشراف على نمط SimCLR مع دالة فقدان InfoNCE (درجة الحرارة τ = 0.5) على الصور. تنخفض قيمة الخسارة التباينية المتوسطة من 2.0712 في التكرار الأول إلى 1.6835 في نهاية التدريب المسبق. في المرحلة الثانية من الضبط الدقيق تحت الإشراف، يتم ضبط نموذج EfficientNet-B3 المدرب مسبقا مع رأس مصنف مراقب على الصور ويتم اختباره على تقسيم تحقق داخلي واحد (30٪) من مجموعة البيانات. يصل النموذج المضبوط بدقة إلى دقة تحقق قصوى تبلغ 98.27٪، مع متوسط درجة F1 ماكرو يبلغ 0.98. تستخدم خرائط تفعيل الفئة المرجحة بالتدرج (Grad-CAM) وGrad-CAM++ في النموذج المضبوط بدقة لتوفير تصور نوعي لمناطق الصورة التي تساهم في توقعات الفئة. تظهر نتائج التجربة جدوى استخدام التدريب المسبق الذاتي الإشراف والضبط الدقيق المراقب لتصنيف صور المحاصيل الشتوية والأعشاب الضارة على مجموعة بيانات خاصة بالمنطقة، مع التأكيد أيضا على أهمية إجراء اختبارات إضافية على مجموعات اختبار مستقلة.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

شهدت الزراعة الدقيقة تزايد استخدام طرق الرؤية الحاسوبية القائمة على التعلم العميق لتصنيف المحاصيل والأعشاب الضارة بشكل تلقائي¹. ثبت أن الشبكات العصبية الالفافية فعالة في مهام التعرف على النباتات؛ ومع ذلك، يعتمد أدائها عادة على توفر مجموعات بيانات كبيرة تم توضيحها بدقة². في معظم البيئات الزراعية، خاصة في أنظمة الزراعة الممثلة تمثيلا ناقصا مثل المحاصيل الشتوية، فإن عملية الحصول على بيانات الصور الموسومة الواسعة تستغرق وقتا طويلا، ومرهقة،^ومكلفة ^3,4. وهذا يشكل عائقا أمام تطوير أنظمة دعم اتخاذ القرار المبنية على البيانات لأنظمة الزراعة الشتوية. التعلم الذاتي الإشراف (SSL) هو نموذج أظهر مؤخرا وعدا في تعلم التمثيل، حيث يستخدم عددا كبيرا من الصور لتعلم ميزات مفيدة رغم أنها ليست مصنفة^{ب 5}. من خلال تصميم مهام الدعاية، مثل التعلم التبايني، يسمح SSL للشبكات العصبية بتعلم الأنماط الهيكلية والدلالية في بيانات الصور، والتي يمكن نقلها بعد ذلك إلى مهام التعلم المراقب⁶. أظهرت الدراسات السابقة في التصوير الزراعي أن التدريب المسبق القائم على SSL يمكن أن يحسن الأداء في المراحل النهائية عندما تكون البيانات الموسومة محدودة، مما يدفعه لاستكشاف مشاكل التعرف على المحاصيل والأعشاب الضارة ^1,7.

في الوقت نفسه، تم استكشاف طرق التعلم شبه الإشراف وطرق التعلم التبايضي. تم استكشاف طرق التعلم شبه المراقبة التي تستفيد من البيانات الموسومة وغير المعنونة، مثل التعلم بين المعلم والطالب والوسم الزائف، لتصنيف وكشف الحشيش²^،⁴. مؤخرا، أظهرت طرق التعلم التباينية ذات الأهداف الواعية للفئة إمكانية تعلم تمثيلات قابلة للنقل من الصور الزراعية، خاصة في السيناريوهات التي تحتوي على اختلال في التوازن الطبقي أو قلة التعليقات ^1,3. على الرغم من أن هذه الدراسات تشير إلى الفوائد المحتملة للتعلم شبه المراقب والتقنيات ذات الصلة مقارنة بالتعلم المراقب بالكامل، إلا أن الغالبية العظمى من الأدبيات الحالية كانت مقتصرة على أنظمة الزراعة الصيفية، أو اكتشاف الأجسام، أو مجموعات البيانات واسعة النطاق.

بعيدا عن الدقة التنبؤية، لا تزال قابلية تفسير آليات اتخاذ القرار الداخلية للشبكات العصبية العميقة مصدر قلق مهم للتطبيقات الزراعية العملية. تقنيات الذكاء الاصطناعي القابل للتفسير (XAI) مصممة لتقديم تفسيرات قابلة للتفسير لتوقعات النموذج، مما يحاول سد الفجوة بين توقعات النماذج والخبرة البشرية⁸. تنتج خوارزميات التصور القائمة على التدرج، مثل رسم خرائط تنشيط الفئات المرجحة بالتدرج (Grad-CAM) وامتدادها Grad-CAM+⁺^9,10، خرائط حرارة تمييزية للفئة تشير إلى المناطق المثيرة للاهتمام في الصورة والتي تكون الأكثر صلة بتوقعات النموذج. تستخدم هذه الخوارزميات عادة في التحليل النوعي للتمثيلات المتعلمة في مهام تحليل الصور الزراعية، لكنها لا تمثل تأكيدا رسميا على قابلية التفسير.

الهدف الأساسي من هذا العمل البحثي هو دراسة إمكانيات إطار التعلم ذو المرحلتين لتصنيف صور المحاصيل الشتوية والأعشاب الضارة باستخدام التعلم التمثيلي الذاتي والإشراف الدقيق مع الضبط الدقيق، إلى جانب التصور النوعي. في هذا البحث، تم دراسة تطبيق خط أنابيب تعليمي مكون من خطوتين لتصنيف صور المحاصيل الشتوية والأعشاب الضارة، مع دمج التدريب المسبق الذاتي الإشراف مع SimCLR والضبط الدقيق المراقب مع EfficientNet-B3. تجرى التجارب على مجموعة بيانات WinterCropWeedDB، وهي مجموعة بيانات خاصة بالمنطقة لصور المحاصيل والأعشاب الشتوية التي جمعت من حقول زراعية في^{وسط الهند.} يتم تحليل النتائج بناء على تقسيم داخلي واحد، وتستخدم Grad-CAM وGrad-CAM++ لتصوير انتباه النموذج. يهدف هذا البحث إلى دراسة إمكانية دمج طرق التعلم والتصوير الذاتي الإشراف الذاتي لتصنيف صور المحاصيل الشتوية والأعشاب الضارة، مع الانتباه أيضا لقيود إعداد التجربة. يهدف هذا السير إلى التقييم الاستكشافي لمجموعات بيانات النباتات الزراعية الخاصة بالمنطقة ذات البيانات المحددة بعلامات محدودة، وليس معيارا معتمدا للتعميم أو الاستخدام على نطاق واسع.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

وصف مجموعة البيانات

تتكون مجموعة بيانات WinterCropWeedDB من 1,136 صورة RGB عالية الدقة (أحمر، أخضر، أزرق) لستة أنواع من المحاصيل الشتوية (القمح، الحمص، البازلاء، العدس، الخردل، والبازلاء العشبية) وأربعة أنواع من الأعشاب الضارة (فيتش الشائع، عشب الكناري الصغير، قدم الإوز (ألبوم تشينوبوديوم)، ويوفوربيا كليمنتي) مأخوذة من حقول زراعية شتوية في ولاية تشهاتيسغاره، الهند (الشكل 1). تم التقاط الصور في ظروف طبيعية، بما في ذلك اختلاف الإضاءة، ومراحل النمو، وتعقيد الخلفية. كانت جميع الصور في البداية غير مشروحة وتستخدم فقط للتدريب المسبق تحت الإشراف الذاتي. في الضبط الدقيق تحت الإشراف، تم تعليق الصور يدويا وتقسيمها باستخدام العينات الطبقية إلى مجموعات تدريب (70٪) ومجموعات تحقق (30٪). تم استخدام مجموعة التحقق فقط لتقييم النموذج الداخلي ولم يتم تعزيزها. لمعالجة مشاكل عدم توازن الفئة والمتانة أثناء التدريب، تم إجراء تعزيز البيانات فقط على مجموعة التدريب. شملت تقنيات التعزيز دورانات عشوائية (+/-20°)، وقلب أفقي، وتحجيم، وترجمة، وتغيرات في السطوع، وتحولات أفينية خفيفة. تم تعزيز عينات التدريب إلى هدف 150 صورة لكل فئة، مما أدى إلى إجمالي 1,500 صورة تدريبية، بينما تكونت مجموعة التحقق من 347 صورة أصلية. لم تتضمن مجموعة التحقق أي صور معززة أو تركيبية لمنع تحيز التقييم. بالإضافة إلى تقييم الانتظار، تم إجراء تحقق متقاطع طبقي خماسي على مجموعة البيانات الأصلية المعنونة كتحليل ثانوي. في كل مرحلة، تم إجراء تعزيز البيانات فقط على مجموعات التدريب، وتم الحفاظ على مجموعات التحقق دون تغيير للحفاظ على الاتساق مع نظام التقييم الرئيسي.

سير العمل الحاسوبي لتدريب النماذج الذاتي والإشراف

تم استخدام خط أنابيب حسابي مكون من خطوتين للتحقيق في جدوى دمج التعلم التمثيلي الذاتي والإشراف على الضبط الدقيق لتصنيف صور المحاصيل الشتوية مقابل صور الأعشاب الضارة (الشكل 2). يتضمن هذا الخط: (1) تدريبا مسبقا ذاتيا تحت إشراف الصور غير المعنونة، و(2) الضبط الدقيق تحت الإشراف مع عينة معنونة من الصور. تم تغيير حجم جميع الصور إلى 300 × 300 بكسل وتم تطبيعها قبل التدريب. تم إجراء تقييمات للنماذج فقط على تقسيم داخلي واحد، دون استخدام مجموعة اختبار خارجية.

المرحلة الأولى - التدريب المسبق تحت الإشراف الذاتي

في المرحلة الأولى، تم استخدام بنية EfficientNet-B3 كشبكة عمود فقري في إعداد تعلم ذاتي الإشراف مستوحى من SimCLR. قلل رأس الإسقاط ذو الطبقتين تمثيل العمود الفقري إلى فضاء تضمين ب 128 بعدا. للتعلم الذاتي الإشرافي، تم تحويل كل صورة إلى معرضين باستخدام قص عشوائي معاد حجمه، وتقليب أفقي، وتحويل الألوان، وتمويه غاوسي، وتحويلها إلى التدرج الرمادي. تمت معالجة الرؤيين معا لتحسين دالة الخسارة التباينية بشكل مشترك. تم تنفيذ عملية التعلم الذاتي الإشراف لمدة 30 عصرا، حيث تشير إحدى الفترات إلى مرور كامل لمجموعة بيانات التدريب عبر النموذج أثناء التحسين، مع حجم دفعة مكون من 16 صورة باستخدام محسن آدم (خوارزمية تحسين تكيفية تعتمد على التدرج تقدر اللحظات من الدرجة الأولى والثانية للتدرجات لضبط معدلات التعلم أثناء التدريب). تم استخدام قص التدرج بحد أقصى 1.0 لضمان تدريب مستقر. بالإضافة إلى ذلك، تم حفظ نقاط تفتيش النماذج بعد كل حقبة لتسهيل قابلية التكرار. تم استخدام قيمة درجة الحرارة 0.5 أثناء حساب فقدان InfoNCE أثناء التعلم الذاتي الإشرافي.

المرحلة الثانية - ضبط دقيق تحت إشراف

بعد التدريب المسبق الذاتي الإشرافي، تمت إزالة رأس الإسقاط، وتم استخدام أوزان العمود الفقري المدربة مسبقا للضبط الدقيق تحت الإشراف. تمت إضافة رأس مصنف متصل بالكامل إلى العمود الفقري لتصنيف الفئات المتعددة. تم الضبط الدقيق باستخدام الصور المعنونة فقط من مجموعة التدريب. استخدم التدريب المراقب فقدان الإنتروبيا المتقاطع مع وزن الفئة وتنعيم المسميات للتعامل مع اختلال التوازن الطبقي. تم استخدام محسن آدم بمعدلات تعلم مختلفة للعمود الفقري (1 × 10⁻⁵) والمصنف (1 × 10⁻⁴). تم استخدام جدولة معدلات التعلم لتقليل معدل التعلم عندما تستقر دقة التحقق. تم التدريب لمدة 20 عصرا، وتم حفظ نقطة التحقق النموذجية ذات أعلى دقة تحقق للتقييم.

بالإضافة إلى التقييم الرئيسي للبقاية، تم إجراء تحقق متقاطع طبقي من خمسة أضعاف كتحليل إضافي على المجموعة الموسومة. في كل طي، تم إجراء التعزيز فقط على مجموعات التدريب، وتركت مجموعات التحقق دون تغيير. تم عرض نتائج التحقق المتقاطع بشكل منفصل ولم تستخدم لاختيار النموذج أو تحسين نقاط التحقق. مقاييس الأداء المقدمة في هذه الدراسة تعتمد فقط على تقسيم التحقق الداخلي وتمثل نتائج الأداء المرصود ضمن الإعداد التجريبي الحالي.

تصور Grad-CAM و Grad-CAM++

للتحليل النوعي للانتباه في النموذج، تم استخدام طرق رسم خرائط تنشيط الفئات القائمة على التدرج (Grad-CAM و Grad-CAM++) على النموذج المضبوط بدقة. تم الحصول على خرائط الميزات والتدرجات من الطبقة الالفافية النهائية للشبكة الأساسية، وتم الحصول على خرائط حرارة خاصة بالفئة لصور التحقق المختارة. تم استخدام هذه فقط لغرض التحليل النوعي للنموذج ولم يتم التحقق منها. جدول المواد يسرد جميع الأجهزة، ومكتبات البرمجيات، ومجموعات البيانات، وسكريبتات التدريب المخصصة المستخدمة في هذا سير العمل.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

نظرة عامة على الأساليب السابقة وتحديد موضع سير العمل

ملخص لأساليب التعلم الممثلة التي تم تطبيقها سابقا للتعرف على الأعشاب الزراعية في الجدول 1. يقدم الجدول نظرة عامة على استراتيجيات التعلم الخاضع للإشراف، شبه الإشراف، والمراقبة الذاتية، ومجموعات البيانات المستخدمة، والنتائج المبلغ عنها، والقيود المقدمة. تركز معظم الأعمال السابقة على أنظمة الزراعة الصيفية أو مهام اكتشاف الأجسام ويتم تقييمها على مجموعات بيانات أكبر نسبيا، مما يؤ...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

درس هذا العمل استخدام نهج التعلم العميق المكون من خطوتين يتضمن التدريب المسبق الذاتي الإشراف باستخدام فكرة SimCLR وضبط دقيق تحت إشراف لتصنيف صور المحاصيل والأعشاب الشتوية على مجموعة بيانات WinterCropWeedDB. تظهر النتائج أن النهج المقترح يمكن تدريبه بشكل موثوق على مجموعة بيانات صور الزراعة الشتوية الخاصة بالمنطقة واختباره على تقسيم واحد من مجموعة التحقق الداخلية. يقدم هذا القسم تحليلا للنتائج والآثار والقيود لهذا العمل.

في مجال الرؤية الحاسوبية الزراعية، بحثت أ...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يعلن المؤلفون عدم وجود مصالح متنافسة. تم استخدام أدوات اللغة المعتمدة على الذكاء الاصطناعي (QuillBot) فقط لصقل اللغة وتحضير الرد، وجميع المحتوى العلمي والاستنتاجات كان من تأليف المؤلفين.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

لم تحصل هذه الأبحاث على أي منح محددة من وكالات تمويل في القطاعات العامة أو التجارية أو غير الربحية.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
Name	Company	Catalog Number
مجموعة أدوات CUDA	NVIDIA	12.8
cuDNN	NVIDIA	9.1
وحدة معالجة الرسوميات (GPU)	NVIDIA	بطاقة رسومات اللابتوب GeForce RTX 5050
ماتبلوتليب	مطوري ماتبلوتليب	3.9.2
نومباي	مطورو نومبي	1.26.0
نظام التشغيل	مايكروسوفت	لينكس (WSL2)، النواة 6.6.87
بايثون	مؤسسة بايثون للبرمجيات	3.12.7
بايتورش	مؤسسة بايتورش	2.1.0 (بناء التطوير)
سكيكيت-لرن	مطورو scikit-learn	1.5.1
تيم	مستودع GitHub	1.0.24
تورشفيجن	مؤسسة بايتورش	0.25.0 (بناء التطوير)
وينتركروب ويددي بي	بيانات مندلي، DOI: 10.17632/m4h6zdsh79.1	الإصدار 1

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Güldenring, R., Nalpantidis, L. Self-supervised contrastive learning on agricultural images. Comput. Electron. Agric. 191, 106510(2021).
Li, J., et al. Performance evaluation of semi-supervised learning frameworks for multi-class weed detection. Front. Plant Sci. 15, 1396568(2024).
Saleh, A., et al. WeedCLR: Weed contrastive learning through visual representations with class-optimized loss in long-tailed datasets. arXiv. , (2023).
Saleh, A., et al. Semi-supervised weed detection for rapid deployment and enhanced efficiency. Comput. Electron. Agric. 236, 110410(2025).
Wang, Y., Zhang, S., Dai, B., Yang, S., Song, H. Fine-grained weed recognition using Swin Transformer and two-stage transfer learning. Front. Plant Sci. 14, 1134932(2023).
Kar, S., et al. Self-supervised learning improves classification of agriculturally important insect pests in plants. Plant Phenomics J. 6 (1), e20079(2023).
Garibaldi-Márquez, F., et al. Advances on deep learning for proximal image-based weed recognition and control under authentic farmlands: a state-of-the-art review. Smart Agric. Technol. 12, 101405(2025).
Mohan, R. N. V. J., Rayanoothala, P. S., Sree, R. P. Next-gen agriculture: integrating AI and XAI for precision crop yield predictions. Front. Plant Sci. 15, 1451607(2025).
Grad-CAM: Visual explanations from deep networks via gradient-based localization. Selvaraju, R. R., et al. Proc. IEEE Int. Conf. Comput. Vis. (ICCV), , 618-626 (2017).
Grad-CAM++: Generalized gradient-based visual explanations for deep convolutional networks. Chattopadhyay, A., Sarkar, A., Howlader, P., Balasubramanian, V. N. Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), , 839-847 (2018).
Sahu, M., Majhi, B. WinterCropWeedDB-Sample: A benchmark dataset for weed classification in winter crops. Mendeley Data. V1, (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

إطار عمل تعليمي ذاتي الإشراف من مرحلتين لتصنيف صور النباتات الشتوية والأعشاب الضارة

In This Article

Summary

Abstract

Introduction

Protocol

Results

Discussion

Disclosures

Acknowledgements

Materials

References

Reprints and Permissions

Tags

Related Articles