冬季作物雑草画像分類のための2段階の自己教師あり学習フレームワーク

Summary

本研究は、冬季作物および雑草画像分類の自己教師ありの事前学習および監督下の微調整のための2段階ディープラーニングパイプラインの適用を評価します。WinterCropWeedDBデータセットの実験は、Grad-CAMの可視化を含む単一の内部分割で実施されています。

Abstract

精密農業では冬作物と雑草の正確な識別が必要ですが、冬季作物システムに関する注釈付き画像データが不足しています。本論文では、自己教師あり特徴学習と冬季作物および雑草画像分類のための教師ありファインチューニングを統合した2段階のディープラーニングアプローチを調査します。本論文では、新しい冬季作物および雑草画像データセットWinterCropWeedDBが提案・使用されており、中央インドの農地から採取された6種の冬作物と4種の雑草の高解像度画像1,136枚が含まれています。自己教師あり学習の第一段階では、EfficientNet-B3モデルがSimCLRスタイルの自己教師あり学習アプローチを用いて事前学習され、画像に対してInfoNCE損失関数(温度τ=0.5)を用います。平均コントラストロス値は、最初のイテレーションの2.0712から、事前訓練終了時には1.6835に減少します。教師ありファインチューニングの第2段階では、事前に学習済みのEfficientNet-B3モデルをイメージの教師あり分類器ヘッドで微調整し、データセットの30%の内部検証分割でテストします。ファインチューニングされたモデルは最大検証精度98.27%に達し、マクロ平均F1スコアは0.98です。細かく調整されたモデルでは、グラデーション加重クラス活性化マッピング(Grad-CAM)とGrad-CAM++が用いられ、クラス予測に寄与する画像領域の定性的可視化を提供します。実験結果は、地域特有データセット上で冬季作物および雑草画像の分類に自己教師ありの事前学習と教師ありの微調整を用いることが実現可能であることを示すとともに、独立したテストセットでの追加テストの重要性を強調しています。

Introduction

精密農業では、自動作物や雑草分類のための深層学習に基づくコンピュータビジョン手法の利用が増加^{しています。}畳み込みニューラルネットワークは植物認識タスクに効果的であることが示されています。しかし、その性能は通常、正確な注釈が付けられた大規模なデータセットの利用可能性に依存します².特に冬季作物のような過小評価の作物システムでは、広範なラベル付き画像データの取得プロセスは時間がかかり、手間がかかり、高コストです。^3,4。これは、冬季農業生態系のデータ駆動型意思決定支援システムの開発を妨げています。自己教師あり学習(SSL)は、ラベルが⁵つでないにもかかわらず情報量のある特徴を学習するために多数の画像を用いる表現学習において、最近有望なパラダイムを示しています。対比学習などの前提タスクの設計を通じて、SSLはニューラルネットワークが画像データの構造的および意味的パターンを学習し、それを教師あり学習タスクに移すことを可能にします^。農業イメージングの先行研究では、ラベル付きデータが限られている場合にSSLベースの前学習が下流性能を向上させることが示されており、作物や雑草認識の問題の探求が進められています^1,7。

同時に、半教師あり学習や対照的学習法も検討されています。教師と生徒の学習や疑似ラベリングなど、ラベル付き・非ラベルデータの両方を活用したセミ教師あり学習法が、雑草の分類と検出のために探求されています^。近年では、クラス認識目的を持つ対照的学習法が、特にクラス不均衡や注釈が少ない状況で農業画像から移転可能な表現を学習する可能性を示している^1,3。これらの研究は、半教師あり学習や関連技術が完全教師あり学習よりも潜在的に利点があることを示していますが、既存の文献の大半は夏季作物システム、物体検出、または大規模データセットに限られています。

予測精度に加え、ディープニューラルネットワークの内部意思決定メカニズムの解釈可能性は、実用的な農業応用において依然として重要な課題です。説明可能な人工知能(XAI)技術は、モデル予測の解釈可能な説明を提供するよう設計されており、モデル予測と人間の専門知識の間のギャップを埋めようと^{しています。}勾配ベースの可視化アルゴリズム、例えば勾配加重クラス活性化マッピング(Grad-CAM)やその拡張Grad-CAM++^9,10は、モデルの予測に最も関連性の高い画像内の関心領域を示すクラス識別ヒートマップを作成します。これらのアルゴリズムは農業画像解析タスクにおける学習表現の質的解析に一般的に用いられますが、解釈可能性の正式な検証を示すものではありません。

本研究の主な目的は、自己教師あり表現学習と教師ありの微調整、そして定性的可視化を用いて、冬作物および雑草画像の分類に二段階学習フレームワークの可能性を探ることです。本研究では、冬季作物および雑草画像の分類のための2段階学習パイプラインの応用、自己教師ありの事前学習とSimCLRの統合、およびEfficientNet-B3による教師ありの微調整を調査しました。実験はWinterCropWeedDBデータセットで実施されており、これはインド中部の農地から収集された冬季作物および雑草画像の地域特有データセット^です。結果は単一の内部分割に基づいて分析され、モデルの注意を可視化するためにGrad-CAMおよびGrad-CAM++が使用されます。本研究の目的は、自己監督型表現学習と可視化手法を組み合わせて冬作物および雑草画像の分類を行う可能性を探ることであり、実験装置の限界も認識することです。このワークフローは、限られたラベル付きデータを持つ地域特有の作物雑草データセットに対する探索的評価を目的としており、一般化や大規模利用のための検証済みベンチマークを意図したものではありません。

Protocol

データセットの説明

WinterCropWeedDBデータセットは、インド・チャッティースガル州の冬季農地から取得された6種の冬作物(小麦、ひよこ豆、エンドウ豆、レンズ豆、マスタードエンドウ)と4種の雑草(コモンベッチ、ココカナリーグラス、グースフット(Chenopodiumアルバム)、 ユーフォルビア・クレメンテイ)の高解像度(赤、緑、青)RGB画像1,136枚で構成されています(図1).これらの画像は、異なる照明、成長段階、背景の複雑さなど、自然な条件下で撮影されました。すべての画像は当初注釈なしで、自己監督の事前訓練のみに使用されました。教師ありの微調整では、画像を手動で注釈付けし、トレーニング(70%)と検証(30%)に分けて階層化サンプリングを用いて分割しました。検証セットは内部モデル評価のみに使用され、拡張は行われませんでした。トレーニング中のクラスバランスの不均衡や堅牢性の問題に対処するため、データ拡張はトレーニングセットのみで実施されました。増大技術にはランダム回転(+/-20°)、水平反転、スケーリング、平行移動、明るさ変化、軽いアフィン変換が含まれていました。トレーニングサンプルは1クラスあたり150枚の画像を目標に増強され、合計1,500枚のトレーニング画像となりました。一方、検証セットは347枚のオリジナル画像で構成されていました。評価バイアスを防ぐため、検証セットには拡張画像や合成画像は含まれていませんでした。ホールドアウト評価に加え、元のラベル付きデータセットに対して二次分析として階層化された5重クロス検証も実施されました。各フォールドでは、データ拡張はトレーニングセットのみで行われ、検証セットは主な評価スキームとの整合性を維持するために変更されませんでした。

自己監督型および教師ありモデル訓練のための計算ワークフロー

2段階の計算パイプラインを用いて、自己教師あり表現学習と教師あり微調整を統合し、冬作物と雑草画像の分類の実現可能性を調査しました(図2)。このパイプラインには、(i) ラベルなし画像を用いた自己教師ありの事前学習、(ii) ラベル付き画像サンプルを用いた教師ありの微調整が含まれます。すべての画像は300×300ピクセルにリサイズされ、訓練前に正規化されました。モデルの評価は外部テストセットを使わず、1つの内部分割のみで行われました。

第1段階 - 自己監督型プレトレーニング

初期段階では、EfficientNet-B3アーキテクチャがSimCLRに触発された自己教師あり学習のバックボーンネットワークとして採用されました。2層投影ヘッドにより、バックボーン表現は128次元埋め込み空間に還元されました。自己指導学習では、各画像をランダムなリサイズトリミング、水平反転、カラー変換、ガウスぼかし、グレースケールへの変換を用いて2つのビューに変換しました。この2つの視点は一緒に処理され、コントラスト損失関数を共同で最適化しました。自己教師あり学習プロセスは30エポックにわたって行われ、そのうち1エポックは最適化中にトレーニングデータセット全体をモデルに完全通過したことを示し、16枚の画像をバッチサイズで作成します。これはAdam optimizer(勾配の1階および2階のモーメントを推定し、学習速度を調整する適応型勾配ベースの最適化アルゴリズム)を用いて16枚の画像を割り当てます。安定した訓練を確保するために、最大ノルム1.0の勾配クリッピングが用いられました。さらに、再現性を促進するために、各エポック後にモデルのチェックポイントが保存されました。自己教師あり学習中のInfoNCE損失を計算する際に温度値0.5が使用されました。

ステージ2 - 監督下の微調整

自己監督式の事前訓練後、プロジェクションヘッドは取り外され、事前に訓練済みの背骨重りを用いて監督付きの微調整に使われました。マルチクラス分類のために、完全接続型の分類器ヘッドがバックボーンに追加されました。ファインチューニングは、トレーニングセットからラベル付き画像のみを用いて行われました。監督付きトレーニングでは、クラスの重み付けやラベル平滑化を用いたクロスエントロピー損失を用いてクラスの不均衡を処理しました。アダムオプティマイザーは、バックボーン(1 × 10⁻⁵)と分類器(1 × 10⁻⁴)で異なる学習率で使用されました。学習率スケジューラは、検証精度が頭打ちになった際に学習率を下げるために用いられました。20エポックのトレーニングを行い、最も検証精度の高いモデルチェックポイントを評価のために保存しました。

主なホールドアウト評価に加え、ラベル付き集合に対して追加解析として階層化された5重クロス検証が実施されました。各フォールドでは、拡張はトレーニングセットのみで行われ、検証セットは変更されませんでした。交差検証の結果は別途提示され、モデル選択やチェックポイントの最適化には使用されませんでした。本研究で提示された性能指標は内部検証分割のみに基づいており、現在の実験環境下での観察された性能の結果を表しています。

Grad-CAMおよびGrad-CAM++の可視化

モデル内の注意の定性解析には、勾配ベースのクラス活性化マッピング手法(Grad-CAMおよびGrad-CAM++)がファインチューニングモデルで用いられました。特徴マップと勾配は基底ネットワークの最終畳み込み層から得られ、選択した検証画像にはクラス特有のヒートマップが取得されました。これらはモデルの定性分析のみに使用され、検証は行われていません。 資料表 には、このワークフローで使用されるすべてのハードウェア、ソフトウェアライブラリ、データセット、カスタムトレーニングスクリプトが一覧化されています。

Results

これまでのアプローチとワークフローの位置づけの概要

これまで農作物・雑草認識に適用された代表的な学習手法の概要は 表1に示されています。この表は、教師あり、半教師あり、自己教師ありの学習戦略、使用されたデータセット、報告された結果、そして提示された制限の概要を示しています。初期の研究の多くは夏季作物システムや物体検出タスクに焦点を当てており、比較的大きなデータセットで評価されるため、地域特有の冬季作物・雑草分類シナリオの探求が限られていることが確立されています。

表1:農作物雑草認識に適用される代表的な学習手法のまとめ。 農作物および雑草分類に関する過去の研究の概要で、学習戦略、使用データセット、問題定義、達成された成果、各研究で観察された制限事項を述べています。

Discussion

本研究では、SimCLRアイデアを用いた自己教師ありの事前学習と、WinterCropWeedDBデータセット上の冬季作物および雑草画像分類のための教師ありファインチューニングからなる2段階の深層学習アプローチの利用を検討しました。結果は、提案されたアプローチが地域特有の冬季農業画像データセット上で信頼性高く訓練でき、内部検証セットの一つの分割でテストできることを示しています。このセクションでは、この研究の結果、示唆、限界の分析を示します。

農業コンピュータビジョンでは、これまでの研究では、夏季作物システムやオブジェクト検出タスクに焦点を当てた、作物および雑草の分類における教師あり、半教師あり、自己教師あり学習戦略が調査されています。最近の自己教師あり学習戦略、特に対照的学習ベースのアプローチは、ラベルのない農業画像から移転可能な表現を獲得する可能性を示しています。それにもかかわらず、これらの戦略を地域特有の冬季作物および雑草画像分類、特に多分類画像分類に用いることは比較的十分に研究されていません。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDAツールキット	NVIDIA	12.8
cuDNN	NVIDIA	9.1
グラフィックス処理装置(GPU)	NVIDIA	GeForce RTX 5050 ノートパソコン GPU
Matplotlib	Matplotlib開発者	3.9.2
NumPy	NumPy 開発者	1.26.0
オペレーティングシステム	マイクロソフト	Linux (WSL2)、カーネル 6.6.87
パイソン	Pythonソフトウェア財団	3.12.7
パイトーチ	パイトーチ財団	2.1.0(開発ビルド)
scikit-learn	scikit-learn 開発者	1.5.1
ティム	GitHubリポジトリ	1.0.24
トーチビジョン	パイトーチ財団	0.25.0(開発ビルド)
WinterCropWeedDB	Mendeley Data, DOI: 10.17632/m4h6zdsh79.1	バージョン1