מסגרת למידה בפיקוח עצמי בת שני שלבים לסיווג תמונות של גידול חורף ועשב עשב

Summary

עבודה זו מעריכה את יישום צינור למידה עמוקה דו-שלבי לאימון עצמי מוקדם ופיקוח על סיווג תמונות גידולי חורף ועשבים שוטים. הניסויים במאגר הנתונים WinterCropWeedDB מתבצעים באמצעות פיצול פנימי יחיד, עם ויזואליזציות Grad-CAM.

Abstract

חקלאות מדויקת דורשת הבחנה מדויקת בין גידולי חורף לעשבים שוטים, אך אין נתוני תמונות מוערים למערכות גידול חורפי. מאמר זה בוחן גישת למידה עמוקה דו-שלבית המשלבת למידת תכונות בפיקוח עצמי עם כיוונון מדויק מפוקח לסיווג תמונת גידולים ועשבים בחורף. מאגר נתונים חדש לתמונות גידולים ועשבים חורפיים, WinterCropWeedDB, מוצע ומשמש במאמר זה, הכולל 1,136 תמונות ברזולוציה גבוהה של שישה מיני גידולי חורף וארבעה מיני עשבים שנאספו משדות חקלאיים במרכז הודו. בשלב הראשון של למידה בפיקוח עצמי, מודל EfficientNet-B3 מאומן מראש באמצעות גישת למידה בפיקוח עצמי בסגנון SimCLR עם פונקציית אובדן InfoNCE (טמפרטורה τ = 0.5) על התמונות. ערך האובדן הניגודי הממוצע יורד מ-2.0712 באיטרציה הראשונה ל-1.6835 בסיום ההכשרה המוקדמת. בשלב השני של כיוונון מדויק בפיקוח, מודל EfficientNet-B3 המוכשר מראש מכוון עם ראש מסווג מפוקח על התמונות ונבדק על חלוקת אימות פנימית אחת (30%) של מערך הנתונים. המודל המדויק מגיע לדיוק אימות מקסימלי של 98.27%, עם ציון F1 ממוצע מאקרו של 0.98. מיפוי הפעלה מחלקתי משוקלל לפי גרדיאנט (Grad-CAM) ו-Grad-CAM++ משמשים במודל המכוון כדי לספק ויזואליזציה איכותנית של אזורי התמונה התורמים לחיזוי מחלקות. תוצאות הניסוי מדגימות את היתכנות השימוש באימון עצמי מראש וכיוונון מדויק בפיקוח עצמי לסיווג תמונות גידולי חורף ועשבים על מאגר נתונים ספציפי לאזור, תוך הדגשת חשיבות הבדיקות הנוספות על קבוצות בדיקה עצמאיות.

Introduction

חקלאות מדויקת חוותה שימוש גובר בשיטות ראייה ממוחשבת מבוססות למידה עמוקה^{לסיווג אוטומטי} של גידולים ועשבים 1. רשתות עצביות קונבולוציונליות הוכחו כיעילות במשימות זיהוי צמחים; עם זאת, הביצועים שלהם בדרך כלל תלויים בזמינות של מערכי נתונים גדולים שמסומנים בצורה מדויקת². ברוב הסביבות החקלאיות, במיוחד במערכות גידול שאינן מיוצגות מספיק כמו גידולי חורף, תהליך קבלת נתוני תמונה מסומנים נרחבים הוא גוזל זמן, מייגע ויקר ^3,4. זה מהווה מכשול לפיתוח מערכות תמיכה בקבלת החלטות המבוססות על נתונים עבור אקוסיסטמות חקלאיות חורפיות. למידה בפיקוח עצמי (SSL) היא פרדיגמה שהראתה לאחרונה פוטנציאל ללמידת ייצוג, שבה היא משתמשת במספר רב של תמונות כדי ללמוד תכונות אינפורמטיביות, אף על פי שאינן מסומנות⁵. באמצעות עיצוב משימות תירוץ, כגון למידה ניגודית, SSL מאפשר לרשתות עצביות ללמוד דפוסים מבניים וסמנטיים בנתוני תמונה, שניתן להעביר אותם למשימות למידה מפוקחת⁶. מחקרים קודמים בהדמיה חקלאית הראו כי קדם-הכשרה מבוססת SSL יכולה לשפר את הביצועים במורד הזרם כאשר הנתונים המסומנים מוגבלים, מה שמניע את החיפוש אחר בעיות זיהוי גידולים ועשבים שוטים ^1,7.

במקביל, נבדקו גם שיטות למידה חצי-מפוקחת ולמידה ניגודית. שיטות למידה חצי-מפוקחות המנצלות נתונים מתויגים ולא-מתויגים כאחד, כמו למידת מורה-תלמיד ותיוג פסאודו, נחקרו לסיווג וזיהוי קנאביס ^2,4. בשנים האחרונות, שיטות למידה ניגודיות עם מטרות מודעות למחלקות הראו פוטנציאל ללמוד ייצוגים ניתנים להעברה מתמונות חקלאיות, במיוחד בתרחישים עם חוסר איזון במחלקות או מעט הערות ^1,3. למרות שמחקרים אלו מצביעים על היתרונות הפוטנציאליים של למידה חצי-מפוקחת וטכניקות קשורות על פני למידה מפוקחת מלאה, רוב הספרות הקיימת הוגבלה למערכות גידול בקיץ, גילוי עצמים או מאגרי נתונים בקנה מידה גדול.

מלבד הדיוק החיזוי, הפרשנות של מנגנוני קבלת ההחלטות הפנימיים של רשתות עצביות עמוקות עדיין מהווה דאגה רלוונטית ליישומים חקלאיים מעשיים. טכניקות בינה מלאכותית ניתנת להסבר (XAI) נועדו להציע הסברים ניתנים לפרשנות של תחזיות המודל, ובכך לנסות למלא את הפער בין תחזיות המודל למומחיות האנושית⁸. אלגוריתמים של ויזואליזציה מבוססי גרדיאנט, כגון מיפוי הפעלה מחלקות משוקלל (Grad-CAM) וההרחבה שלו Grad-CAM+^+9,10, מייצרים מפות חום מבחינת מחלקות שמצביעות על האזורים המעניינים בתמונה הרלוונטיים ביותר לתחזיות המודל. אלגוריתמים אלו משמשים בדרך כלל לניתוח איכותני של ייצוגים נלמדים במשימות ניתוח תמונה חקלאיים, אך אינם מהווים אימות פורמלי של פרשנות.

המטרה העיקרית של עבודת מחקר זו היא לחקור את הפוטנציאל של מסגרת למידה דו-שלבית לסיווג תמונות גידולי חורף ועשבים תוך שימוש בלמידת ייצוג בפיקוח עצמי וכיוונון מדויק בפיקוח, לצד ויזואליזציה איכותנית. במחקר זה נחקר יישום צינור למידה דו-שלבי לסיווג תמונת יבול חורף ועשבים, תוך שילוב הכשרה מוקדמת בפיקוח עצמי עם SimCLR וכיוונון מדויק מפוקח עם EfficientNet-B3. הניסויים מבוצעים על מאגר הנתונים WinterCropWeedDB, מאגר נתונים ספציפי לאזור של תמונות גידולי חורף ועשבים שנאספו משדות חקלאיים במרכז הודו¹¹. התוצאות מנותחות על בסיס פיצול פנימי יחיד, ו-Grad-CAM ו-Grad-CAM++ משמשים להמחשת תשומת הלב של המודל. מטרת המחקר היא לחקור את האפשרות לשלב שיטות למידה ויזואליזציה בפיקוח עצמי לסיווג תמונת גידולי חורף ועשבים, תוך מודעות למגבלות הניסוי. תהליך עבודה זה מיועד להערכה חקרנית על מערכי נתוני גידולים-עשבים ספציפיים לאזור עם נתונים מתויגים מוגבלים, ואינו מיועד כמדד מאומת להכללה או לשימוש בקנה מידה רחב.

Protocol

תיאור מערך הנתונים

מאגר הנתונים WinterCropWeedDB כולל 1,136 תמונות RGB ברזולוציה גבוהה (אדום, ירוק, כחול) של שישה מיני גידולים חורפיים (חיטה, חומוס, אפונה, עדשים, חרדל ואפונת דשא) וארבעה מיני עשבים (ווטש נפוץ, דשא קנרי קטן, רגלי אווז (Chenopodium album) ו-Euphorbia clementei) שנלקחו משדות חקלאיים חורפיים במדינת צ'אטיסגר, הודו (איור 1). התמונות צולמו בתנאים טבעיים, כולל תאורה משתנה, שלבי גדילה ומורכבות רקע. כל התמונות היו בתחילה ללא הערות ושימשו רק לאימון מוקדם בפיקוח עצמי. לצורך כוונון מדויק בפיקוח, התמונות עברו הערות ידניות וחולקו באמצעות דגימה שכבתית לקבוצות אימון (70%) ואימות (30%). סט האימות שימש רק להערכת מודלים פנימית ולא הורחב. כדי להתמודד עם בעיות חוסר איזון ועמידות מחלקתית במהלך האימון, בוצעה הרחבת נתונים רק על מערכת האימון. טכניקות ההרחבה כללו סיבובים אקראיים (+/-20°), הפיכה אופקית, קנה מידה, תרגום, שינויים בבהירות וטרנספורמציות אפיניות קלות. דגימות האימון הורחבו ליעד של 150 תמונות לכל מחלקה, מה שהוביל לסך של 1,500 תמונות אימון, בעוד שסט האימות כלל 347 תמונות מקוריות. לא נכללו תמונות מורחבות או סינתטיות בסט האימות כדי למנוע הטיית הערכה. מלבד הערכת ההשעיה, בוצעה גם אימות צולב מדורג של חמישה חלקים על מערך הנתונים המקורי המסומן כניתוח משני. בכל קיפול, הרחבת הנתונים בוצעה רק על ערכות האימון, ומערכות האימות נשמרו ללא שינוי כדי לשמור על עקביות עם סכמת ההערכה הראשית.

זרימת עבודה חישובית להכשרת מודלים בפיקוח עצמי ובפיקוח עצמי

צינור חישובי דו-שלבי שימש לבחינת היתכנות שילוב למידת ייצוג בפיקוח עצמי וכיונון מדויק בפיקוח לסיווג תמונת יבול חורף לעומת תמונת עשבים (איור 2). צינור זה כולל: (i) אימון מוקדם בפיקוח עצמי עם תמונות לא מסומנות, ו-(ii) כיוונון מדויק בפיקוח עם דגימה מסומנת של התמונות. כל התמונות שונו לגודל של 300 × 300 פיקסלים וננרמו לפני האימון. הערכות המודלים בוצעו רק על פיצול פנימי אחד, ללא שימוש בסט בדיקה חיצוני.

שלב 1 - הכשרה מוקדמת בפיקוח עצמי

בשלב הראשוני, ארכיטקטורת EfficientNet-B3 שימשה כרשת עמוד השדרה במערך למידה מפוקח עצמי בהשראת SimCLR. ראש ההקרנה הדו-שכבתי צמצם את ייצוג עמוד השדרה למרחב הטמעה של 128 ממדים. ללמידה בפיקוח עצמי, כל תמונה הומרה לשתי תצוגות באמצעות חיתוך אקראי בגודל שונה, הפיכה אופקית, טרנספורמציית צבעים, טשטוש גאוסיאני והמרה לגווני אפור. שתי התצוגות עובדו יחד כדי לאופטימיזציה משותפת של פונקציית האובדן הניגודית. תהליך הלמידה בפיקוח עצמי בוצע במשך 30 תקופות, כאשר תקופה אחת מסמנת מעבר מלא של כל מאגר הנתונים של האימון דרך המודל במהלך האופטימיזציה, עם גודל אצווה של 16 תמונות באמצעות האופטימיזר אדם (אלגוריתם אופטימיזציה אדפטיבי מבוסס גרדיאנט שמעריך את המומנטים מסדר ראשון ושני של הגרדיאנטים כדי להתאים את קצב הלמידה במהלך האימון). חיתוך גרדיאנט עם נורמה מקסימלית של 1.0 שימש להבטחת אימון יציב. בנוסף, נקודות ביקורת של מודלים נשמרו לאחר כל תקופה כדי להקל על שחזוריות. ערך הטמפרטורה של 0.5 שימש בעת חישוב אובדן ה-InfoNCE במהלך למידה בפיקוח עצמי.

שלב 2 - כיוונון מדויק בפיקוח

לאחר אימון מוקדם בפיקוח עצמי, ראש ההקרנה הוסר, ומשקולות עמוד השדרה המאומנות מראש שימשו לכיוונון מדויק בפיקוח. ראש מסווג מחובר לחלוטין נוסף לעמוד השדרה לסיווג רב-מחלקתי. הכוונון המדויק נעשה רק באמצעות התמונות המתויגות מהסט האימון. אימון מפוקח השתמש באובדן אנטרופיה צולבת עם משקל מחלקות והחלקת תוויות כדי להתמודד עם חוסר איזון מעמדי. אופטימייזר אדם שימש עם קצבי למידה שונים עבור עמוד השדרה (1 × 10⁻⁵) ומסווג (1 × 10⁻⁴). מתזמן קצב למידה שימש להורדת קצב הלמידה כאשר דיוק האימות התייצב. הכשרה בוצעה במשך 20 תקופות, ונקודת הבדיקה של המודל עם דיוק האימות הגבוה ביותר נשמרה להערכה.

בנוסף להערכה העיקרית של ההערכה, בוצעה אימות צולב מדורג של חמישה שכבות כניתוח נוסף על הקבוצה המסויגת. בכל קיפול, ההרחבה בוצעה רק על ערכות האימון, וסטים האימות נותרו ללא שינוי. תוצאות האימות ההדדי הוצגו בנפרד ולא שימשו לבחירת מודלים או לאופטימיזציה של נקודות הביקורת. מדדי הביצועים המוצגים במחקר זה מבוססים אך ורק על חלוקת האימות הפנימית ומייצגים את תוצאות הביצועים שנצפו במסגרת הניסוי הנוכחי.

הדמיית Grad-CAM ו-Grad-CAM++

לניתוח איכותני של תשומת הלב במודל, שימשו שיטות מיפוי הפעלה מבוססות גרדיאנט (Grad-CAM ו-Grad-CAM++) במודל המכוון היטב. מפות התכונות והגרדיאנטים התקבלו מהשכבה הקונבולוציונית הסופית של רשת הבסיס, והתקבלו מפות חום ספציפיות למחלקה עבור תמונות אימות נבחרות. אלו שימשו רק לצורך ניתוח איכותני של המודל ולא אומתו. טבלת החומרים מפרטת את כל החומרה, ספריות התוכנה, מערכי הנתונים וסקריפטי האימון המותאמים אישית שמשמשים בזרימת עבודה זו.

Results

סקירה של גישות קודמות ומיצוב זרימת עבודה

סיכום של גישות למידה מייצגות שיושמו בעבר לזיהוי גידולים חקלאיים-עשבים מוצג בטבלה 1. הטבלה מציגה סקירה של אסטרטגיות למידה בפיקוח, חצי-מפוקח ועצמי, מאגרי נתונים בשימוש, תוצאות מדווחות והמגבלות המוצגות. רוב העבודות המוקדמות מתמקדות במערכות גידול קיץ או במשימות גילוי עצמים ומוערכות על מאגרי נתונים גדולים יחסית, מה שמבסס את החקירה המוגבלת של תרחישי סיווג גידולי חורף-עשבים ספציפיים לאזור.

...

Discussion

עבודה זו בחנה את השימוש בגישת למידה עמוקה דו-שלבית, הכוללת הכשרה מוקדמת בפיקוח עצמי באמצעות רעיון SimCLR וכיוונון מדויק מפוקח לסיווג תמונת גידולים ועשבים בחורף במאגר הנתונים WinterCropWeedDB. התוצאות מראות כי ניתן לאמן את הגישה המוצעת באופן אמין על מאגר נתוני תמונות חקלאות חורף ייחודית לאזור ולבחון על פיצול אחד של מערך האימות הפנימי. חלק זה מציג ניתוח של התוצאות, ההשלכות והמגבלות של עבודה זו.

בראייה ממוחשבת חקלאית, מחקרים קודמים חקרו אסטרטגיות למידה מפוקחות, ח...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
ערכת כלים של CUDA	NVIDIA	12.8
cuDNN	NVIDIA	9.1
יחידת עיבוד גרפיקה (GPU)	NVIDIA	כרטיס גרפי למחשב נייד GeForce RTX 5050
Matplotlib	מפתחי Matplotlib	3.9.2
NumPy	מפתחי NumPy	1.26.0
מערכת הפעלה	מיקרוסופט	Linux (WSL2), kernel 6.6.87
פייתון	קרן התוכנה של פייתון	3.12.7
פייטורץ'	קרן פייטורץ'	2.1.0 (בניית פיתוח)
סקיקיט-לרן	מפתחי scikit-learn	1.5.1
טים	מאגר GitHub	1.0.24
טורצ'וויז'ן	קרן פייטורץ'	0.25.0 (בניית פיתוח)
WintercropWeedDB	מנדלי דאטה, DOI: 10.17632/m4h6zdsh79.1	גרסה 1