Kış Ürün Ekisi-Yabani Ot Görsel Sınıflandırması için İki Aşamalı Kendi Denetimli Öğrenme Çerçevesi

Manishankar Sahu; Babita Majhi; Sujata Dash

doi:10.3791/69953

Research Article

Kış Ürün Ekisi-Yabani Ot Görsel Sınıflandırması için İki Aşamalı Kendi Denetimli Öğrenme Çerçevesi

DOI:

10.3791/69953

⸱

February 24th, 2026

Manishankar Sahu¹ , Babita Majhi¹ , Sujata Dash²

¹Department of Computer Science and Information Technology, Guru Ghasidas Vishwavidyalaya, Bilaspur, ²Department of Information Technology, School of Engineering and Technology, Nagaland University, Kohima Campus, Meriema

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, kış ürünü ve yabani ot görüntü sınıflandırmasının kendi denetimli ön eğitim ve denetimli ince ayarlanması için iki aşamalı derin öğrenme boru hattının uygulanmasını değerlendirmektedir. WinterCropWeedDB veri seti üzerindeki deneyler, Grad-CAM görselleştirmeleri dahil olmak üzere tek bir dahili bölünme kullanılarak gerçekleştirilir.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Hassas tarım, kış ürünleri ile yabani otlar arasında doğru ayrım gerektirir, ancak kış tarım sistemleri için açıklamalı görüntü verileri eksiktir. Bu makale, kendi kendine denetlenen özellik öğrenimini ve kış ürünü ve yabani ot görüntü sınıflandırması için denetimli ince ayar ile bütünleştiren iki aşamalı derin öğrenme yaklaşımını incelemektedir. Bu makalede önerilen ve kullanılan yeni bir kış ürünü ve yabani ot görsel veri seti olan WinterCropWeedDB, Orta Hindistan'daki tarım tarlalarından toplanan altı kış ürünü türü ve dört yabani ot türünün 1.136 yüksek çözünürlüklü görüntüsünü içermektedir. Kendi denetimli öğrenmenin ilk aşamasında, EfficientNet-B3 modeli, SimCLR tarzı kendi denetimli öğrenme yaklaşımı kullanılarak ve görüntülerde InfoNCE kayıp fonksiyonu (sıcaklık τ = 0.5) kullanılarak önceden eğitilir. Ortalama karşılaştırmalı kayıp değeri, ilk iterasyonda 2.0712'den ön eğitimin sonunda 1.6835'e düşer. Denetimli ince ayarın ikinci aşamasında, önceden eğitilmiş EfficientNet-B3 modeli, görüntülerde denetimli sınıflandırıcı başlığı ile ince ayar edilir ve veri setinin tek bir iç doğrulama bölünmesinde (%30) test edilir. İnce ayarlanmış model, %98,27'lik maksimum doğrulama doğruluğuna ulaşır ve makro ortalamalı F1 puanı 0,98'dir. Gradyen ağırlıklı sınıf aktivasyon haritalaması (Grad-CAM) ve Grad-CAM++ ile sınıf tahminlerine katkıda bulunan görüntü bölgelerinin niteliksel görselleştirilmesini sağlamak için ince ayarlanmış modelde kullanılır. Deney sonuçları, bölgeye özgü veri setinde kış mahsulü ve yabani ot görüntülerinin sınıflandırılması için kendi denetimli ön eğitim ve denetimli ince ayarlama kullanmanın uygulanabilirliğini gösterirken, bağımsız test setlerinde ek testlerin önemini vurguluyor.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Hassas tarımda, otomatik ürün ve yabani ot sınıflandırması için derin öğrenme tabanlı bilgisayar görme yöntemlerinin giderek daha fazla kullanılmasına yol^{açmıştır 1}. Konvolüsyon sinir ağlarının bitki tanıma görevlerinde etkili olduğu gösterilmiştir; ancak performansları genellikle büyük veri kümelerinin mevcut olup ve kesin şekilde açıklama yapılmasına^{bağlıdır 2}. Çoğu tarım ortamında, özellikle kış ürünleri gibi az temsil edilen tarım sistemlerinde, kapsamlı etiketlenmiş görüntü verisi elde etme süreci zaman alıcı, zahmetli ve pahalıdır ^3,4. Bu, kışın agroekosistemleri için veri odaklı karar destek sistemlerinin geliştirilmesine engel oluyor. Kendi denetimli öğrenme (SSL), son zamanlarda temsil öğrenmesi için umut vaat eden bir paradigmadır; burada çok sayıda görüntü kullanarak bilgilendirici özellikleri öğrenmek için 5 olarak^{etiketlenmemiş olsa} da. Karşılaştırmalı öğrenme gibi bahane görevlerinin tasarımı sayesinde, SSL sinir ağlarının görüntü verilerindeki yapısal ve anlamsal desenleri öğrenmesine olanak tanır; bu desenler daha sonra denetli öğrenme görevlerine^{aktarılabilir 6}. Tarımsal görüntüleme alanındaki önceki çalışmalar, SSL tabanlı ön eğitimin, etiketlenmiş veriler sınırlı olduğunda aşağı akış performansını iyileştirebileceğini ve bu nedenle ürün ve yabani ot tanıma sorunlarının araştırılmasına teşvik^{edildiğini göstermiştir} ^1,7.

Aynı zamanda, yarı denetimli öğrenme ve karşılaştırmalı öğrenme yöntemleri de araştırılmıştır. Hem etiketlenmiş hem de etiketlenmemiş verileri kullanan yarı denetimli öğrenme yöntemleri, öğretmen-öğrenci öğrenimi ve sözde etiketleme gibi, weed sınıflandırması ve tespiti^{için incelenmiştir} ^2,4. Daha yakın zamanda, sınıf farkında hedeflere sahip karşılaştırmalı öğrenme yöntemleri, özellikle sınıf dengesizliği veya az açıklama içeren senaryolarda, tarımsal görsellerden aktarılabilir temsilleri öğrenme^{potansiyelini göstermiştir} ^1,3. Bu çalışmalar, yarı denetimli öğrenme ve ilgili tekniklerin tam denetimli öğrenmeye kıyasla potansiyel faydalarını gösterse de, mevcut literatürün çoğu yaz ekin sistemleri, nesne tespiti veya büyük ölçekli veri setleriyle sınırlıdır.

Tahmin doğruluğunun yanı sıra, derin sinir ağlarının iç karar alma mekanizmalarının yorumlanabilirliği pratik tarımsal uygulamalar için hâlâ önemli bir endişe kaynağıdır. Açıklanabilir yapay zeka (XAI) teknikleri, model tahminlerine yorumlanabilir açıklamalar sunmak için tasarlanmıştır ve böylece model tahminleri ile insan uzmanlığı arasındaki boşluğu^{doldurmaya çalışır 8}. Gradient tabanlı görselleştirme algoritmaları, örneğin gradyen ağırlıklı sınıf aktivasyon eşlemesi (Grad-CAM) ve uzantısı Grad-CAM+^9,10, bir modelin tahminleriyle en ilgili olan bir görüntüdeki ilgi alanlarını gösteren sınıf ayırt edici ısı haritaları üretir. Bu algoritmalar, tarımsal görüntü analiz görevlerinde öğrenilen temsillerin niteliksel analizinde yaygın olarak kullanılır, ancak yorumlanabilirliğin resmi bir doğrulamasını temsil etmezler.

Bu araştırma çalışmasının temel amacı, kendi denetimli temsil öğrenimi ve denetimli ince ayar ile nitel görselleştirme ile birlikte kış ürünü ve yabani ot görüntülerinin sınıflandırılması için iki aşamalı bir öğrenme çerçevesinin potansiyelini araştırmaktır. Bu araştırmada, kış ürünü ve yabani ot görüntü sınıflandırması için iki aşamalı öğrenme hattı uygulaması, SimCLR ile kendi denetimli ön eğitim ve EfficientNet-B3 ile denetimli ince ayar entegre edilmesi araştırıldı. Deneyler, orta Hindistan'daki tarım tarlalarından toplanan kış ürünleri ve yabani ot görüntülerinden oluşan bölgeye özgü bir veri seti olan WinterCropWeedDB veri^{seti üzerinde gerçekleştirilmektedir 11}. Sonuçlar tek bir iç bölünmeye göre analiz edilir ve modelin dikkatini görselleştirmek için Grad-CAM ve Grad-CAM++ kullanılır. Bu araştırmanın amacı, kış mahsulleri ve yabani ot görüntü sınıflandırması için kendi denetimli temsil öğrenme ve görselleştirme yöntemlerini birleştirme olasılığını araştırmak, aynı zamanda deneysel kurulumun sınırlamalarının farkında olmaktır. Bu iş akışı, sınırlı etiketlenmiş verilerle bölgeye özgü bitki-yabani ot veri setlerinde keşif değerlendirmesi için tasarlanmıştır ve genelleme veya geniş ölçekli kullanım için doğrulanmış bir kıyaslama olarak tasarlanmamıştır.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Veri seti açıklaması

WinterCropWeedDB veri seti, Hindistan'ın Chhattisgarh eyaletindeki kış tarım tarlalarından alınan altı kış ürün türü (buğday, nohut, bezelye, mercimek, hardal ve çimen bezelye) ve dört yabani ot türünün (yaygın fırcık, küçük kanarya otu, kaz ayağı (Chenopodium albümü) ve Euphorbia clementei ile ilgili 1.136 yüksek çözünürlüklü (kırmızı, yeşil, mavi) RGB görüntüsünden oluşur (Şekil 1). Görüntüler, değişen aydınlatma, büyüme aşamaları ve arka plan karmaşıklığı dahil olmak üzere doğal koşullar altında çekildi. Tüm görseller başlangıçta açıklamasızdı ve sadece kendi denetimli ön eğitim için kullanıldı. Denetimli ince ayar için, görüntüler manuel olarak notlandırıldı ve stratifikasyon örnekleme kullanılarak eğitim (%70) ve doğrulama (%30) setlerine bölündü. Doğrulama seti yalnızca dahili model değerlendirmesi için kullanıldı ve genişletilmedi. Eğitim sırasında sınıf dengesizliği ve dayanıklılık sorunlarını ele almak için veri artırma işlemi yalnızca eğitim setinde gerçekleştirildi. Artırma teknikleri rastgele dönüşler (+/-20°), yatay çevirme, ölçeklendirme, dönüşüm, parlaklık değişiklikleri ve hafif afin dönüşümleri içeriyordu. Eğitim örnekleri, ders başına 150 görüntü hedefine kadar artırıldı ve toplamda 1.500 eğitim görsesi elde edildi, doğrulama seti ise 347 orijinal görüntüden oluşuyordu. Değerlendirme yanlılığını önlemek için doğrulama setine artırılmış veya sentetik görüntüler dahil edilmedi. Bekletme değerlendirmesinin yanı sıra, orijinal etiketli veri setinde ikincil analiz olarak katmanlı beş katlı çapraz doğrulama da gerçekleştirildi. Her katlamada, veri artırma yalnızca eğitim setlerinde yapıldı ve doğrulama setleri ana değerlendirme şemasıyla tutarlılığı korumak için değişmeden tutuldu.

Kendi denetimli ve denetimli model eğitimi için hesaplamalı iş akışı

Kendi denetimli temsil öğrenme ve kış ürünü ile yabani ot görüntü sınıflandırması için denetimli ince ayarlama entegrasyonunun uygulanabilirliğini araştırmak için iki aşamalı hesaplamalı bir boru hattı kullanılmıştır (Şekil 2). Bu pipeline şunları içerir: (i) etiketlenmemiş görsellerle kendi denetimli ön eğitim ve (ii) etiketlenmiş bir görüntü örneğiyle denetimli ince ayarlama. Tüm görüntüler 300 × 300 piksel boyutlarına yeniden boyutlandırıldı ve eğitimden önce normalleştirildi. Modellerin değerlendirmeleri yalnızca bir iç bölünme üzerinde yapıldı, harici test seti kullanılmadı.

Aşama 1 - Kendi Denetimli Ön Eğitim

İlk aşamada, SimCLR'den ilham alan kendi denetimli öğrenme kurulumunda EfficientNet-B3 mimarisi omurga ağı olarak kullanıldı. İki katmanlı projeksiyon başlığı, omurga temsili 128 boyutlu bir göme alanına indirdi. Kendi denetimli öğrenme için, her görüntü rastgele yeniden boyutlandırılmış kırpma, yatay çevirme, renk dönüşümü, Gauss bulanıklaştırma ve gri tonlamaya dönüştürülerek iki görünüme dönüştürüldü. İki görünüm, kontrast kaybı fonksiyonunu birlikte optimize etmek için birlikte işlendi. Kendi denetimli öğrenme süreci, 30 dönem boyunca gerçekleştirildi; bir dönem, optimizasyon sırasında tüm eğitim veri setinin modelden tamamen geçişini gösterir ve Adam optimizatoru (eğitim sırasında öğrenme oranlarını ayarlamak için gradyanların birinci ve ikinci dereceden anlarını tahmin eden adaptif gradyan tabanlı optimizasyon algoritması) kullanılarak 16 görüntüden oluşan bir parti büyüklüğü kullanılır. Stabil eğitimi sağlamak için maksimum 1.0 normlu gradyen kırpma kullanıldı. Ayrıca, her dönemden sonra model kontrol noktaları kaydedildi ve tekrarlanabilirliği kolaylaştırdı. Kendi denetimli öğrenme sırasında InfoNCE kaybı hesaplanırken 0.5 sıcaklık değeri kullanıldı.

2. aşama - denetimli ince ayar

Kendi denetimli ön eğitimden sonra, projeksiyon başlığı çıkarıldı ve önceden eğitilen omurga ağırlıkları denetimli ince ayar için kullanıldı. Çok sınıflı sınıflandırma için omurga tamamen bağlı bir sınıflandırıcı başlığı eklendi. İnce ayar sadece eğitim setinden etiketlenmiş görseller kullanılarak yapıldı. Denetimli eğitim, sınıf dengesizliğini yönetmek için çapraz entropi kaybı, sınıf ağırlıklandırması ve etiket yumuşatma ile kullanıldı. Adam optimizatoru, omurga için farklı öğrenme oranlarıyla (1 × 10⁻⁵) ve sınıflandırıcı (1 × 10⁻⁴) ile kullanıldı. Doğrulama doğruluğu sabit kaldığında öğrenme hızını düşürmek için bir öğrenme hızı zamanlayıcısı kullanıldı. 20 dönem boyunca eğitim yapıldı ve en yüksek doğrulama doğruluğuna sahip model kontrol noktası değerlendirme için kaydedildi.

Ana tutma değerlendirmesine ek olarak, etiketlenmiş küme üzerinde ek bir analiz olarak katmanlı beş katlı çapraz doğrulama yapıldı. Her katlamada, artırma sadece eğitim setlerinde yapıldı ve doğrulama setleri değişmeden bırakıldı. Çapraz doğrulama sonuçları ayrı ayrı sunuldu ve model seçimi veya kontrol noktalarının optimizasyonu için kullanılmadı. Bu çalışmada sunulan performans metrikleri yalnızca iç doğrulama bölünmesine dayanmakta olup, mevcut deneysel düzen altında gözlemlenen performansın sonuçlarını temsil etmektedir.

Grad-CAM ve Grad-CAM++ görselleştirme

Modeldeki dikkatin niteliksel analizi için, ince ayar modelinde gradyan tabanlı sınıf aktivasyon haritalama yöntemleri (Grad-CAM ve Grad-CAM++) kullanılmıştır. Özellik haritaları ve gradyanlar, temel ağın son konvolüsyon katmanından elde edildi ve seçilen doğrulama görüntüleri için sınıfa özgü ısı haritaları alındı. Bunlar yalnızca modelin niteliksel analizi amacıyla kullanıldı ve doğrulanmadı. Materyaller Tablosu , bu iş akışında kullanılan tüm donanım, yazılım kütüphaneleri, veri setleri ve özel eğitim betiklerini listeler.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Önceki yaklaşımlar ve iş akışı konumlandırması genel görünümü

Tarımsal ürün yabani otu tanıma için daha önce uygulanan temsili öğrenme yaklaşımlarının özeti Tablo 1'de verilmiştir. Tablo, denetimli, yarı denetimli ve kendi kendine denetimli öğrenme stratejileri, kullanılan veri setleri, raporlanan sonuçlar ve sunulan sınırlamalar hakkında genel bir bakış sunmaktadır. Önceki çalışmaların çoğu, yazlık tarım sistemleri veya nesne...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, SimCLR fikrini kullanarak kendi denetimli ön eğitim ve WinterCropWeedDB veri setinde kış mahsulü ve yabani ot görüntü sınıflandırması için denetli ince ayar içeren iki aşamalı derin öğrenme yaklaşımının kullanımını inceledi. Sonuçlar, önerilen yaklaşımın bölgeye özgü bir kış tarımı görüntü veri seti üzerinde güvenilir şekilde eğitilebileceğini ve dahili doğrulama setinin tek bir bölümünde test edilebileceğini göstermektedir. Bu bölüm, bu çalışmanın sonuçları, sonuçları ve sın...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar rekabet eden çıkarlar belirtmemektedir. Yapay zeka tabanlı dil araçları (QuillBot) yalnızca dil parlatma ve yanıt hazırlığı için kullanıldı ve tüm bilimsel içerik ile sonuçlar yazarlar tarafından yazıldı.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu araştırma, kamu, ticari veya kar amacı gütmeyen sektörlerdeki finansman kuruluşlarından özel bir hibe almamıştır.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
Name	Company	Catalog Number
CUDA Araç Seti	NVIDIA	12.8
cuDNN	NVIDIA	9.1
Grafik işlemci birimi (GPU)	NVIDIA	GeForce RTX 5050 Dizüstü Bilgisayar Kartı
Matplotlib	Matplotlib Geliştiricileri	3.9.2
NumPy	NumPy Geliştiricileri	1.26.0
İşletim sistemi	Microsoft	Linux (WSL2), kernel 6.6.87
Python	Python Yazılım Vakfı	3.12.7
PyTorch	PyTorch Vakfı	2.1.0 (geliştirme sürümü)
scikit-learn	scikit-learn Geliştiriciler	1.5.1
Timm	GitHub repository	1.0.24
Torchvision	PyTorch Vakfı	0.25.0 (geliştirme sürümü)
WinterCropWeedDB	Mendeley Data, DOI: 10.17632/m4h6zdsh79.1	Sürüm 1

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Güldenring, R., Nalpantidis, L. Self-supervised contrastive learning on agricultural images. Comput. Electron. Agric. 191, 106510(2021).
Li, J., et al. Performance evaluation of semi-supervised learning frameworks for multi-class weed detection. Front. Plant Sci. 15, 1396568(2024).
Saleh, A., et al. WeedCLR: Weed contrastive learning through visual representations with class-optimized loss in long-tailed datasets. arXiv. , (2023).
Saleh, A., et al. Semi-supervised weed detection for rapid deployment and enhanced efficiency. Comput. Electron. Agric. 236, 110410(2025).
Wang, Y., Zhang, S., Dai, B., Yang, S., Song, H. Fine-grained weed recognition using Swin Transformer and two-stage transfer learning. Front. Plant Sci. 14, 1134932(2023).
Kar, S., et al. Self-supervised learning improves classification of agriculturally important insect pests in plants. Plant Phenomics J. 6 (1), e20079(2023).
Garibaldi-Márquez, F., et al. Advances on deep learning for proximal image-based weed recognition and control under authentic farmlands: a state-of-the-art review. Smart Agric. Technol. 12, 101405(2025).
Mohan, R. N. V. J., Rayanoothala, P. S., Sree, R. P. Next-gen agriculture: integrating AI and XAI for precision crop yield predictions. Front. Plant Sci. 15, 1451607(2025).
Grad-CAM: Visual explanations from deep networks via gradient-based localization. Selvaraju, R. R., et al. Proc. IEEE Int. Conf. Comput. Vis. (ICCV), , 618-626 (2017).
Grad-CAM++: Generalized gradient-based visual explanations for deep convolutional networks. Chattopadhyay, A., Sarkar, A., Howlader, P., Balasubramanian, V. N. Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), , 839-847 (2018).
Sahu, M., Majhi, B. WinterCropWeedDB-Sample: A benchmark dataset for weed classification in winter crops. Mendeley Data. V1, (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Kış Ürün Ekisi-Yabani Ot Görsel Sınıflandırması için İki Aşamalı Kendi Denetimli Öğrenme Çerçevesi

In This Article

Summary

Abstract

Introduction

Protocol

Results

Discussion

Disclosures

Acknowledgements

Materials

References

Reprints and Permissions

Tags

Related Articles