겨울 작물 잡초 이미지 분류를 위한 2단계 자기 지도 학습 프레임워크

Summary

이 연구는 겨울 작물 및 잡초 이미지 분류의 자기 감독 사전 학습 및 감독 하에 미세 조정을 위한 2단계 딥러닝 파이프라인의 적용을 평가합니다. WinterCropWeedDB 데이터셋에서의 실험은 Grad-CAM 시각화를 포함한 단일 내부 분할 방식을 사용하여 수행되었습니다.

Abstract

정밀 농업은 겨울 작물과 잡초 간의 정확한 구분이 필요하지만, 겨울 작물 시스템에 대한 주석이 달린 이미지 데이터가 부족합니다. 본 논문은 겨울 작물 및 잡초 이미지 분류를 위한 자기 지도 기반 특징 학습과 지도 기반 미세 조정을 통합한 2단계 딥러닝 접근법을 조사합니다. 새로운 겨울 작물 및 잡초 이미지 데이터셋인 WinterCropWeedDB가 제안되어 이 논문에 사용되었으며, 이 데이터에는 인도 중부 농경지에서 수집된 6종의 겨울작물 및 잡초 종에 대한 1,136장의 고해상도 이미지가 포함되어 있습니다. 자기 지도 학습의 1단계에서는 EfficientNet-B3 모델이 SimCLR 스타일의 자기지도 학습 방식을 사용하여 InfoNCE 손실 함수(temperature τ = 0.5)를 이미지에 적용하여 사전 학습됩니다. 평균 대비 손실 값은 첫 번째 반복의 2.0712에서 사전 학습 종료 시 1.6835로 감소합니다. 감독 기반 미세 조정의 두 번째 단계에서는 사전 학습된 EfficientNet-B3 모델을 이미지에 대한 감독 분류기 헤드로 미세 조정하고, 데이터셋의 단일 내부 검증 분할(30%)에서 테스트합니다. 미세 조정된 모델은 최대 검증 정확도 98.27%에 도달하며, 거시평균 F1 점수는 0.98입니다. 이 미세 조정 모델에서는 구배 가중 클래스 활성화 매핑(Grad-CAM)과 Grad-CAM++를 사용하여 클래스 예측에 기여하는 이미지 영역의 질적 시각화를 제공합니다. 실험 결과는 지역별 데이터셋에서 겨울 작물 및 잡초 이미지 분류에 자기 지도 사전 학습과 감독 미세 조정을 사용하는 것이 타당함을 보여주며, 독립적인 테스트 세트에 대한 추가 테스트의 중요성을 강조합니다.

Introduction

정밀 농업에서는 자동화된 작물 및 잡초 분류를 위한 딥러닝 기반 컴퓨터 비전 기법의 사용이 증가하고 있습니다. 합성곱 신경망은 식물 인식 과제에서 효과적임이 입증되었습니다; 그러나 성능은 보통 정밀하게 주석이 달린 대규모 데이터셋의 가용성에 의존합니다². 대부분의 농업 환경, 특히 겨울작물과 같은 저대표 작물 시스템에서는 광범위한 라벨링 이미지 데이터를 얻는 과정이 시간과 노력, 비용이 많이 듭니다. 이는 겨울 농업생태계를 위한 데이터 기반 의사결정 지원 시스템 개발에 장애물이 됩니다. 자기지도 학습(SSL)은 최근 표현 학습에 가능성을 보여주는 패러다임으로,^{5로 표시}되지 않더라도 많은 이미지를 사용해 정보 제공 기능을 학습합니다. 대조 학습과 같은 프리텍스트 작업 설계를 통해 SSL은 신경망이 이미지 데이터의 구조적·의미적 패턴을 학습하고, 이를 감독 학습 과제로 이전할 수 있게 합니다^. 농업 영상 분야의 이전 연구들은 라벨링 데이터가 제한적일 때 SSL 기반 사전 학습이 하위 성능을 향상시킬 수 있음을 보여주었으며, 이는 작물 및 잡초 인식 문제 탐색의 동기가 되었습니다 ^1,7.

동시에 반지도 학습과 대조 학습 방법도 탐구되었습니다. 교사-학생 학습과 의사 라벨링 같은 라벨링 및 비라벨링 데이터를 활용하는 반지도 학습 방법이 잡초 분류 및 탐지에 대해 탐구되었습니다 ^2,4. 최근에는 클래스 인지 목적을 가진 대조적 학습 방법이 농업 이미지로부터 전이 가능한 표현을 학습할 수 있는 잠재력을 보여주었으며, 특히 클래스 불균형이나 주석이 적은 상황에서 그렇습니다 ^1,3. 이 연구들은 완전 지도 학습보다 반감독 학습과 관련 기법의 잠재적 이점을 제시하지만, 기존 문헌의 대부분은 여름철 작물 시스템, 객체 탐지, 또는 대규모 데이터셋에 한정되어 있습니다.

예측 정확성 외에도, 딥 신경망의 내부 의사결정 메커니즘 해석 가능성은 실제 농업 응용에 여전히 중요한 관심사입니다. 설명 가능한 인공지능(XAI) 기법은 모델 예측에 대한 해석 가능한 설명을 제공하도록 설계되어 모델 예측과 인간 전문성 사이의 간극을 메우려 합니다⁸. 구배 기반 시각화 알고리즘, 예를 들어 경배 가중 클래스 활성화 매핑(Grad-CAM)과 그 확장 Grad-CAM^++9,10은 모델 예측과 가장 관련 있는 이미지 내 관심 영역을 가리키는 클래스 판별 히트맵을 생성합니다. 이 알고리즘들은 농업 이미지 분석 과제에서 학습된 표현의 정성적 분석에 흔히 사용되지만, 해석 가능성의 공식적인 검증을 제공하지는 않습니다.

이 연구의 주요 목적은 자기 지도 표현 학습과 지도 기반 미세 조정, 그리고 정성적 시각화를 활용하여 겨울 작물 및 잡초 이미지 분류를 위한 2단계 학습 프레임워크의 잠재력을 조사하는 것입니다. 본 연구에서는 겨울 작물 및 잡초 이미지 분류를 위한 2단계 학습 파이프라인의 적용, SimCLR과 자기 지도 사전 학습, EfficientNet-B3의 감독 미세 조정 방식을 조사하였습니다. 이 실험들은 인도 중부 농경지에서 수집된 겨울작물 및 잡초 이미지를 지역별 데이터셋인 WinterCropWeedDB 데이터셋에서 수행^한다. 결과는 단일 내부 분할을 기반으로 분석되며, 모델의 주의를 시각화하는 데 Grad-CAM과 Grad-CAM++가 사용됩니다. 이 연구의 목적은 겨울 크롭 및 잡초 이미지 분류를 위한 자기 지도 표현 학습 및 시각화 방법을 결합할 가능성을 조사하는 것이며, 동시에 실험 환경의 한계를 인지하는 것입니다. 이 워크플로우는 제한된 라벨링 데이터를 가진 지역별 작물 잡초 데이터셋에 대한 탐색적 평가를 위한 것이며, 일반화나 대규모 사용을 위한 검증된 벤치마크가 아닙니다.

Protocol

데이터셋 설명

WinterCropWeedDB 데이터셋은 인도 차티스가르 주의 겨울 농경지에서 촬영된 6종의 겨울작물(밀, 병아리콩, 완두콩, 렌틸콩, 겨자, 완두콩)과 4종의 잡초(일반 베치, 작은 카나리아 풀, 구스푸트(Chenopodium 앨범), 유포르비아 클레멘테이(Euphorbia clementei)의 1,136장의 고해상도(빨강, 초록, 파랑) RGB 이미지로 구성되어 있습니다(그림 1). 이 이미지들은 다양한 조명, 성장 단계, 배경 복잡성 등 자연 조건 하에서 촬영되었습니다. 모든 이미지는 처음에는 주석이 없었고 자기 감독 사전 학습에만 사용되었습니다. 감독 하 미세 조정을 위해 이미지는 수동 주석을 달고 계층화된 샘플링을 사용해 훈련(70%)과 검증(30%) 세트로 나누어 나누었습니다. 검증 세트는 내부 모델 평가에만 사용되었으며 보강되지 않았습니다. 훈련 중 클래스 불균형과 견고성 문제를 해결하기 위해 데이터 증강은 훈련 세트에서만 수행되었습니다. 증강 기법은 무작위 회전(+/-20°), 수평 뒤집기, 스케일링, 평행 이동, 밝기 변화, 그리고 약간의 아핀 변환을 포함했습니다. 학습 샘플은 클래스당 150장의 이미지를 목표로 확장하여 총 1,500장의 학습 이미지가 생성되었으며, 검증 세트는 347장의 원본 이미지로 구성되었습니다. 평가 편향을 방지하기 위해 증강 또는 합성 이미지는 검증 세트에 포함되지 않았습니다. 홀드아웃 평가 외에도, 원래 라벨이 붙은 데이터셋에 대해 2차 분석으로 5단계 교차 검증이 수행되었습니다. 각 폴드에서 데이터 증강은 훈련 세트에만 적용되었고, 검증 세트는 주요 평가 체계와의 일관성을 유지하기 위해 변경되지 않았습니다.

자가 지도 및 지도 모델 학습을 위한 계산 워크플로우

2단계 계산 파이프라인을 사용하여 겨울 작물 이미지 분류를 위한 자기 지도 표현 학습과 지도 기반 미세 조정의 통합 가능성을 조사했습니다(그림 2). 이 파이프라인에는 (i) 라벨이 붙지 않은 이미지에 의한 자가 지도 사전 학습, (ii) 라벨이 붙은 이미지 샘플을 이용한 감독 하에 미세 조정이 포함됩니다. 모든 이미지는 300× 300픽셀로 리사이즈되고 정규화된 후 훈련이 완료되었습니다. 모델 평가는 외부 테스트 세트 없이 한 개의 내부 분할에만 적용되었습니다.

1단계 - 자율감독 사전 훈련

초기 단계에서는 EfficientNet-B3 아키텍처가 SimCLR에서 영감을 받은 자기 지도 학습 시스템의 백본 네트워크로 사용되었습니다. 2층 투영 헤드는 백본 표현을 128차원 임베딩 공간으로 축소했습니다. 자기 지도 학습을 위해 각 이미지는 무작위 크기 재조정, 수평 뒤집기, 색상 변환, 가우시안 흐림 처리, 그리고 회색 스케일 변환을 통해 두 개의 뷰로 변환되었습니다. 두 뷰는 함께 처리되어 대비 손실 함수를 공동으로 최적화했습니다. 자기 감독 학습 과정은 30 에포흐 동안 수행되었으며, 이 중 한 에포크는 최적화 중 전체 학습 데이터셋을 모델에 완전히 통과한 것을 의미하며, Adam 옵티마이너(적응형 구배 기반 최적화 알고리즘, 학습 중 학습 속도를 조정하기 위해 1차 및 2차 모멘트를 추정하는 알고리즘)를 사용해 16장의 배치 크기를 나타냅니다. 최대 노름 1.0의 그라디언트 클리핑이 사용되어 안정적인 훈련을 보장했습니다. 또한, 재현성을 높이기 위해 모델 체크포인트는 각 에포크마다 저장되었습니다. 온도 값 0.5는 자기 지도 학습 중 InfoNCE 손실을 계산할 때 사용되었습니다.

2단계 - 감독 하에 있는 미세 조정

자가 감독 사전 학습 후, 투사 헤드가 제거되었고, 사전 훈련된 백본 웨이트를 사용해 감독 하에 미세 조정을 진행했습니다. 다중 분류를 위해 완전 연결된 분류기 헤드가 백본에 추가되었습니다. 미세 조정은 훈련 세트에서 라벨이 붙은 이미지만을 사용하여 수행되었습니다. 감독 교육은 클래스 불균형을 다루기 위해 교차 엔트로피 손실과 클래스 가중치 및 라벨 스무딩을 사용했습니다. 아담 옵티마이저는 백본(1 × 10⁻⁵)과 분류기(1 × 10⁻⁴)에 대해 서로 다른 학습 속도로 사용되었습니다. 학습률 스케줄러는 검증 정확도가 정체될 때 학습률을 낮추기 위해 사용되었습니다. 훈련은 20개 에포크에 걸쳐 수행되었으며, 검증 정확도가 가장 높은 모델 체크포인트를 평가용으로 저장했습니다.

주요 홀드아웃 평가 외에도, 라벨링된 집합에 대한 추가 분석으로 계층화된 5중 교차 검증이 수행되었습니다. 각 접힘에서 증강은 훈련 집합에만 적용되었고, 검증 집합은 변경되지 않았습니다. 교차 검증 결과는 별도로 제시되었으며, 체크포인트 모델 선택이나 최적화에는 사용되지 않았습니다. 본 연구에서 제시된 성능 지표는 내부 검증 분할만을 기반으로 하며, 현재 실험 환경에서 관찰된 성능 결과를 나타냅니다.

Grad-CAM 및 Grad-CAM++ 시각화

모델 내 주의력의 질적 분석을 위해 미세 조정 모델에는 그라디언트 기반 클래스 활성화 매핑 방법(Grad-CAM 및 Grad-CAM++)이 사용되었습니다. 특징 맵과 그라디언트는 기본 네트워크의 최종 컨볼루션 계층에서 얻었고, 선택된 검증 이미지에 대해서는 클래스별 히트맵을 얻었습니다. 이 자료들은 모델의 정성적 분석 목적으로만 사용되었으며 검증되지 않았습니다. 재료 표 에는 이 워크플로우에서 사용되는 모든 하드웨어, 소프트웨어 라이브러리, 데이터셋, 맞춤형 학습 스크립트가 나열되어 있습니다.

Results

이전 접근법과 워크플로우 위치 설정 개요

이전에 농작물 잡초 인식에 적용된 대표성 학습 접근법의 요약은 표 1에 나와 있습니다. 표는 지도 지도, 반지도, 자가 지도 학습 전략, 사용 데이터셋, 보고된 결과 및 제시된 한계에 대한 개요를 제시합니다. 대부분의 초기 연구는 여름 작물 시스템이나 객체 탐지 과제에 초점을 맞추고 비교적 더 큰 데이터셋에서 평가되어, 지역별 겨울 작물 잡초 분류 시나리오에 대한 제한된 탐색을 확립합니다.

표 1: 농작물 잡초 인식에 적용된 대표적 학습 접근법 요약. 농작물 및 잡초 분류에 관한 이전 연구 요약으로, 학습 전략, 사용된 데이터셋, 문제 정의, 달성한 결과, 그리고 각 연구에서 관찰된 한계를 언급합니다.

Discussion

이 연구는 SimCLR 아이디어를 이용한 자가 지도 사전 학습과 WinterCropWeedDB 데이터셋에서 겨울 작물 및 잡초 이미지 분류를 위한 지도 기반 미세 조정으로 구성된 2단계 딥러닝 접근법의 사용을 검토했습니다. 결과는 제안된 접근법이 지역별 겨울 농업 이미지 데이터셋에서 신뢰성 있게 학습할 수 있으며, 내부 검증 세트의 한 분할에서 테스트할 수 있음을 보여줍니다. 이 섹션에서는 이 연구의 결과, 함의, 한계에 대한 분석을 제시합니다.

농업 컴퓨터 비전 분야에서는 여름 작물 시스템이나 객체 탐지 과제에 중점을 두었으며, 작물 및 잡초 분류를 위한 감독, 반감독, 자가 지도 학습 전략을 조사해 왔습니다. 최근 자기 지도 학습 전략, 특히 대조적 학습 기반 접근법은 라벨이 없는 농업 이미지로부터 전이 가능한 표현을 획득할 잠재력을 보여주었습니다. 그럼에도 불구하고, 특히 다중 분류 이미지 분류에 대한 지역별 겨울...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 툴킷	엔비디아	12.8
cuDNN	엔비디아	9.1
그래픽 처리 장치(GPU)	엔비디아	GeForce RTX 5050 노트북 GPU
매트플롯립	Matplotlib 개발자	3.9.2
넘버피	넘피 개발자들	1.26.0
운영 체제	마이크로소프트	리눅스 (WSL2), 커널 6.6.87
파이썬	파이썬 소프트웨어 재단	3.12.7
파이토치	파이토치 재단	2.1.0 (개발 빌드)
시킷-학습	scikit-learn 개발자들	1.5.1
팀	GitHub 저장소	1.0.24
토치비전	파이토치 재단	0.25.0 (개발 빌드)
윈터크롭위드DB	멘델리 데이터, DOI: 10.17632/m4h6zdsh79.1	버전 1