UNet、GAN、CNNを用いた自動織物パターン認識のためのエンドツーエンドのディープラーニングフレームワーク

サマリー

CNN、GAN、UNetベースのノイズ除去を統合したエンドツーエンドのディープラーニングフレームワークが、織物パターンの自動認識のために開発されました。拡張および合成画像生成により堅牢性が向上しました。この方法は99.1%の精度を達成し、産業用繊維検査においてスケーラブルなソリューションを提供しました。

要約

高品質な織物の品質と生産は、織り模様の正確な認識に大きく依存しており、伝統的には手作業による目視検査によって識別されます。しかし、この方法は主観的で時間がかかり、誤りも多いです。機械学習の手法は自動化を提供しますが、照明やイメージングの変化に敏感な手作りの機能に依存することが多いため、その堅牢性や拡張性が制限されています。ディープラーニングモデルでさえ、現実世界の取得条件におけるドメインシフトによる一般化の問題に直面しており、これらの課題に対処するために、コンボリューションニューラルネットワーク(CNN)と生成的敵対ネットワーク(GAN)を組み合わせた新しいディープラーニングフレームワークが提案されています。この手法は、幾何学的および光度データの増加をUNetベースの画像ノイズ除去と統合し、GANコンポーネントは高品質な合成画像を生成して、トレーニングの多様性と特徴学習を強化します。織物データセットでの実験では、この手法が最先端の性能を達成し、バランスの取れた99.1%の精度、一般化可能性、視覚歪みに対する堅牢性においてベースラインモデルを上回ることが示されました。このフレームワークは、自動化された繊維検査のためのスケーラブルで信頼性の高いソリューションを提供し、工業用繊維製造における効率向上と手作業削減に大きな影響を与えます。この研究は、CNN、GAN、U字型畳み込みニューラルネットワーク(UNet)モジュールを統合し、ノイズ除去、データ作成、分類を別々のプロセスとして扱うのではなく、単一の最適化ベースの学習パイプラインに統合しています。共同トレーニングメカニズムは、生成ネットワークと判別ネットワークの間にフィードバックループを生み出し、標準的なファインチューニング手法よりも一歩進んだ方法論的要素となっています。

概要

デザイン、再設計、質感分析、素材の美的外観はすべてパターンに大きく影響されており、これは布の生産において最も重要な要素です。布は歴史的な人間の発明であり、手作りの布から現代の機械生産デジタルファブリックへと進化^{してきました。}織物機械でさらに加工される前に、織られた布の模様を識別する必要があります。現在では、顕微鏡や虫眼鏡などの道具によって強化された視覚的知覚に頼る従来の手法が布の模様検出の主流となっています。通常、必要な訓練と経験を持つ専門家がこの手動評価を行います。しかし、過度な労働、非効率、時間の消費といった多くの欠点に加え、身体的・精神的ストレス、倦怠感、疲労といった心理的問題も関連付けられており、これらは最終的に識別結果に影響を与えます。したがって、生地のパターンを特定し、顧客のニーズに合った高品質な製品を作るためには、コンピュータ化された検査^{アプローチが必要です。}

布のパターン認識は最近注目を集め、大きな成功を収めています。³.大まかに言えば、織り模様を認識する方法にはテクスチャベースの統計法とモデルベースの方法の2種類があります。テクスチャベースの統計手法は、前処理済み画像を使用します。光度微分解析に基づく手法が、適応型ウィーナーフィルターとヒストグラム均等化を用いて、さまざまな方向から織物構造に関する情報を収集^{しました。}その後、適応メッシュモデルを用いて画像をサブ画像に分割し、グレースケールの特徴を抽出しました。作業は単純な織物に限定されていましたが、このモデルは織り構造内の絡み合いの箇所を回収するのに信頼性がありました。認識または分類アルゴリズムは、データベース/モデルベースの認知技術によって素材の織りパターンを認識し、一致させます。

ファブリックテクスチャは、局所バイナリパターン(LBP)やグレーレベル共現行列(GLCM⁾⁵を通じて特徴抽出した後、サポートベクターマシン(SVM)を用いて分類されています。LBPとGLCMの組み合わせは、個別の記述子と比較して認識性能を向上させました。しかし、このアプローチは完全に手作りの特徴に依存しており、編み物や不織布では評価されていませんでした。織布パターンは変換不変ローランクテクスチャ(TILT)や向き付き勾配ヒストグラム(HOG)を用いて特定され、経糸と緯糸の交差点はファジーc平均クラスタリング(FCM)⁶を用いて検出されました。この方法は回転変動が大きい場合に限界があり、二重糸織り構造の検出効果が低下しました。さらに、複雑テクスチャ解析のために可視化戦略を備えた改良型畳み込みニューラルネットワーク(CNN)が提案されています。しかし、検証は限られたデータセット、制限された^{実験条件の下で}行われました。

テクスチャデータはCIE-Labのカラーモデルと共現行列を用いて抽出され、その後自己組織化マップ(SOM)ネットワークを用いて布^{織物パターン8}を分類しました。しかし、これらのアルゴリズムの性能と精度はデータベースの規模によって影響を受けました。テキスタイルとは、繊維からなる平面素材のことです。FabricNetは、特殊なクラスベースのアンサンブルCNNアーキテクチャを用いて開発され、画像⁹から繊維を識別するための初期の技術の一つでした。ファブリックデータセットを用いて、Faster R-CNN、SSD、Residual Network(ResNet50)、ResNet101アルゴリズムを用いた正確なファイバー認識のための深層学習手法が実装されており、Faster R-CNNが最も効果的とされています。

パルス結合ニューラルネットワーク(PCNN)法は他の手法を上回る性能を示しており、経糸編み布のデータベースに関するさらなる研究の必要性を浮き彫りに^{しました。}テキスタイルの認識は、手動の視覚検査に時間がかかるため依然として困難であり、残留ネットワーク(ResNet)を用いた分類や特徴抽出のためのデータ増強や転移学習の研究が行われており、主に手織りとパワールーム織物の区別に焦点を当てています。異なるステッチの種類を特定し識別する方法も提案されていますが、実験は編み目と裏編みに限定され^{ていました。}多くの初期技術は、リバースエンジニアリングを通じて単一の画像を用いて布のプロトタイピングを行っていました。さらに、欠陥フリース生地の特徴抽出と分類において主成分解析に基づく次元削減手法が導入され、K近傍分類器がナイーブベイズ分類器よりも高い精度を達成していることが示されました。

また、インド北東部アッサムの現地織工から収集された6種類の手織り織物のタグ付きデータセット25,166枚に適用した深層メトリウム学習アルゴリズムを用いて手織り生地の自動同定も達成されています¹²。学習済み特徴空間内でファイバータイプの効率的な分離を可能にするバイアス特徴表現を学習することで、広範なテストとベースラインモデルとの比較を経て97.8%の分類精度を達成しました。データ増強や転移学習に基づく深層学習モデルも提案されており、残留ネットワーク(ResNet)を用いて織物の特徴を自動的に抽出・分類し、精度、バランス精度、F1スコアで性能評価を行います。実験結果は、このモデルが繊維の物理特性が変化しても安定した状態を維持し、最先端の精度を達成していることを示しています¹³。

深層学習は、再^発特性と畳み込み特性を組み合わせたアーキテクチャを用いて三次元繊維幾何学のシミュレーションにもさらに応用されています。デジタル要素ベースのシミュレーションで生成された事前計算された織物ケースのライブラリを用いてディープニューラルネットワーク(DNN)を訓練することで、この手法は3Dテキスタイルアーキテクチャを推定し、誤差範囲を10%未満で剛性特性を予測し、従来のモデリング手法と比較して計算効率が向上したことを示しました。さらに、孤立ブロック、垂直・水平断面の連続、斜線連続性などのパラメータを測定するパターン認識および画像処理技術を通じて、織物のコンテキストが分析^{されています。}これらのパラメータにより、分析階層プロセス(AHP)を用いて基本的な織りパターンをサテン、ツイル、プレーンの各カテゴリーに分類することが可能です。統計的評価では予測された分類結果と実験的な分類結果の間に強い一致が示されています。

ファブリック設計解析には、ファブリック画像の収集、前処理、特徴抽出、分類の4つの主要なフェーズからなるフォグコンピューティングベースの最適化手法が提案^{されています。}画像取得にフォグエッジデバイスを用い、前処理時に様々なフィルタリング技術を適用し、その後グレーレベル共現行列(GLCM)を用いて特徴を抽出し、アンサンブル深層学習モデルで分類します。実験結果はこのアプローチの有効性を示しており、既存のアルゴリズムと比較して優れた精度を示しています。さらに、マクロレベルの^{機械的特性}に基づく客観的な分類基準を確立し、織物の傘状ドレープを特徴づけるニューラルネットワークベースのフレームワークが開発されました。このフレームワークは、ResNet-18とディープグラフ畳み込みニューラルネットワーク(DGCNN)を統合し、それぞれドレープ画像や点群から特徴を抽出・分類します。教師あり学習を通じて、ラベルのないデータセットからドレープスタイルを抽出する最も効果的なモデルを特定するために両ネットワークが評価されました。さらに、傘形のドレープの点雲を表現するためにスケッチダウンサンプリング(SDS)技術が導入され、布のドレープを客観的に評価し、類似度に基づく布の回収などの下流応用を支援しました。

ディープラーニングの進歩にもかかわらず、織物の識別は手作業の特徴工学への依存や標準化された大規模データベースの欠如により依然として妨げられています。従来の検査方法は人的ミスや一貫性の欠如に悩まされ、多くの自動化モデルは照明、回転、カメラアングルの変化に対応するためのドメイン適応性を欠いています。さらに、エンドツーエンドの自動化フレームワークや高度なデータ拡張技術の欠如は、既存の分類システムの汎用化や実用的なスケーラビリティを制限しています。UNet、GAN、CNNを独立して用いる従来の手法とは異なり、本研究はUNetノイズ除去出力がGANベースの合成を導き、生成されたテクスチャが従来のモデルスタッキングやファインチューニングを超えた反復的フィードバックプロセスを通じてCNN分類をさらに洗練させる共最適化戦略を提案します。

そのため、UNetベースのノイズ除去、GANベースのデータ合成、CNNベースの分類を組み合わせた統合型エンドツーエンドの深層学習フレームワークが導入され、自動織物パターン認識、統合データ強化、生成的拡張、特徴学習を単一の訓練可能なシステム内で実現します。このフレームワークでは、UNet除去ノイズ画像は前処理入力だけでなくGAN生成のフィードバックとしても機能し、光度の一貫性とテクスチャのリアリズムを向上させ、ノイズ除去、合成増強、分類の共同最適化により表現学習とドメインの堅牢性が向上します。UNetベースのノイズ除去およびGAN生成の合成データを用いて特徴の変動性とモデルの一般化を高め、これらの識別特徴に基づいてCNN分類器を訓練することで、手動検査や従来の機械学習に代わるものとなり、産業検査の効率、品質管理の向上、労働集約的なエラーの削減を目指しています。

提案されたエンドツーエンドアーキテクチャは、CNNベースの分類、GAN駆動の合成データ生成、UNetノイズ除去を統合し、照明やテクスチャ変動に対する堅牢性を高め、99.1%の分類精度を達成しつつ、過学習を減らし、手作業の特徴設計を排除することで、産業用繊維検査におけるドメイン適応性を向上させます。

プロトコル

この研究は人間参加者や動物被験者を含みませんでした。したがって、倫理的な承認やインフォームド・コンセントは必要ありませんでした。提案されたエンドツーエンドの織物分類フレームワーク(図1)は、画像取得、前処理・拡張、モデル訓練、評価の4つの連続段階で構成されています。各段階の出力が次の段階への入力として機能します。

ステージ1:画像取得: データセットから織られた布の画像が得られ、デジタルカメラで制御された照明装置で撮影されました。画像は50mmの固定焦点距離を用いて300dpiで撮影されました。

第2段階:前処理と増強: 画像はサイズ変更され、トレーニングのために準備されました。一般化を図るために、水平および垂直フリップ(p = 0.1)、アフィン平行移動(±0.1)、スケーリング(0.8–1.2)、回転(±45°)を含む深層学習フレームワークを用いた幾何学的および光度的増強が適用されました。光度調整には明るさ、コントラスト、彩度の変化(±40%)と色相の変化(±10%)が含まれていました。
訓練前にUNetベースのノイズ除去が適用されました。UNetモデルはディープラーニングソフトウェアライブラリ(Keras Deep learningフレームワーク)で実装され、Adam optimizer(学習率=0.001、バッチサイズ=16)で30エポックにわたり訓練されました。

ステージ3:モデルトレーニング: GANは織られた布の合成画像を生成するために使われ、特徴を強調しました。識別器はLeakyReLUを起動した5つの畳み込み層で構成され、ジェネレーターは4つの畳み込み層と4つのデ畳み込み層で構成されていました。GANは2値クロスエントロピー損失(学習率=0.0002、β₁=0.5)を用いて100エポックに学習されました。CNN分類器(ResNet-50バックボーン)は、バッチサイズ32、ドロップアウト0.2、学習率0.001、Adam optimizemを持つ反復的なGAN–CNNフレームワークで共同トレーニングされました。

ステージ4:モデル評価: モデルの性能は、正確性、精度、想起率、F1スコア、バランス精度を用いて評価されました。

1. データセットの記述

管理された照明条件¹²のもとで、公開データセットから880の生地サンプルから合計3,540枚の織物画像を取得しました。そのうち2,832枚の画像がテストに使用され、残りの708枚は11,328枚の訓練サンプルを生成するために拡張されました。このデータセットは匿名化されているため、倫理的承認は必要ありません。代表的なサンプルは 図2に示されています。

データセットは、プレーン、サテン、ツイルの3つの織りクラスで構成されています。織物は、経糸としてポリエステルテクスチャードヤーン(110 dtex;1.14および3.05 dtexのフィラメント線密度)およびポリエステルマイクロフィラメントテクスチャードヤーン(110 dtex;0.33、0.57、0.76 dtex)を経糸として、経糸として83 dtexポリエステル糸(1.14 dtex)を用いて製造されました。3種類の織り方—1/1プレーン、3/2ツイル、4/1サテン—が製造されました。

本研究で使用されたデータは、生画像および前処理画像、増強メタデータ、GAN生成サンプルを含む公開データセットから得られています¹²。追加の補強とGANベースの合成が適用され、訓練の多様性をさらに強化しました。データセットの。最終データセットには11,328枚のトレーニング画像と2,832枚のテスト画像が含まれていました。トレーニングデータの80%はモデルトレーニングに、20%は検証に使用されました。構造パラメータは以下の通りです:糸線密度(Ne:6–40)、糸数(25–58端/cm)、および布地密度(125–485 gsm)。トレーニングとテストは、ディープラーニングフレームワークとソフトウェアを用いてグラフィックス処理装置上で行われました。

2. 拡張を伴う効率的な前処理の提案

限られた訓練データに対応し、一般化を改善するために、データ拡張が適用されました。拡張はモデルアーキテクチャを変更せずにデータセットを拡張し、過学習を減らし、堅牢性を高めます。2種類の補強が用いられました。

幾何学的増大:
変換には水平および垂直の反転(p = 0.1)、アフィン変換(換収 = 0.1、スケール = 0.8–1.2)、固定角度回転(45°)が含まれます。これらの操作は経糸と緯糸の向きやイメージング条件の変化をシミュレートします(図3)。

光度増強:
照明の堅牢性とセンサーの変動性を高めるために、明るさ、コントラスト、彩度は±40%、色相は±10%調整されました。これらの変更により、幾何学的構造は維持されつつ、照明特性は変化します(図4)。

3. UNetを用いたノイズ除去

UNetは、構造化された織物テクスチャのノイズ除去に使用されるエンコーダ–デコーダの畳み込み型アーキテクチャです。ファブリックパターンはセンサーや照明ノイズに敏感なため、構造の詳細を保存するために分類前にノイズ除去が行われます。ネットワークは出力層でシグモイド活性化関数を使用し、UNetベースのノイズ除去アーキテクチャを採用しています(図5)。ノイズ除去画像は、合成生成および分類のためのGAN–CNNパイプラインへの精緻化入力として機能しました。UNetのノイズ除去プロセスとGAN最適化戦略(式1–10)の数学的定式化は 補足ファイル1に記載されています。エンドツーエンドフレームワーク内でのUNet、GAN、CNNモジュール間の相互作用は 図6に示されています。

4. GAN-CNNを用いたエンドツーエンドモデル生成および訓練の提案

織布パターン認識にはGAN–CNNハイブリッドフレームワークが採用されました。 図6に示すように、生成的敵対ネットワーク(GAN)は生成者(G)と判別器(D)で構成され、異なる照明、ノイズ、質感条件下でリアルな織物画像を合成し、データセットの多様性を高めました。一方、CNNは実際のサンプルと生成サンプルの両方から識別特徴を学習し、分類精度を向上させました。

5. CNNに基づく分類

GANベースの画像合成の後、実際の織物画像と生成された織物画像の両方を用いてCNNをテクスチャ特徴抽出と分類に訓練しました。3種類の織りを分類するために、事前学習済みのResNet-50アーキテクチャが採用されました。元の完全連結層は削除され、初期の畳み込み層は骨格として残されました。このバックボーンの上に、グローバル平均プーリング層、2つのバッチ正規化層、2つの完全連結層(512および256ニューロン)、ReLU活性化、ドロップアウトが追加されました。Softmaxレイヤーが最終的な3クラス分類を行いました。修正されたアーキテクチャは 図7に示されています。

モデルはAdamオプティマイザーを用いて、カテゴリカルクロスエントロピー損失を50エポック(バッチサイズ=32、学習率=0.001、ドロップアウト=0.2)で訓練しました。ハイパーパラメータの調整はグリッドサーチによって行われます(学習率:0.001–0.0001;バッチサイズ:16–64;ドロップアウト:0.1–0.3)。検証損失に基づく早期停止を適用し、過学習防止のために約2.3時間で収束を達成しました。

ノイズ除去、データ統合、分類段階で一貫性を確保するために、エンドツーエンドの協調的なトレーニング戦略が採用されました。UNetは最初に30エポック向けにノイズのクリーンな画像ペア(Adam、学習率=0.001、バッチサイズ=16、MSE損失)を用いて事前学習されました。GANモジュールは、4つの畳み込み層と4つのデ畳み込み層を持つジェネレーターと、LeakyReLUの活性化を用いた5つの畳み込み層を持つ識別子で構成され、100エポック(バイナリクロスエントロピー損失、β₁ = 0.5、学習率=0.0002)に対して対抗的に訓練されました。その後、GANとCNNは50エポック(バッチサイズ=32)の反復ループで共同学習され、生成されたサンプルを分類器の更新に使用しました。CNN最適化ではアダム最適化器(学習率=0.001、ドロップアウト=0.2)が用いられ、安定した収束と織りの種類を超えた一般化の向上が促進されました。

結果

評価指標
正確さは分類において最も広く使われる評価統計量です。これは、すべての予測の中で正確な予測の割合として定義されます。 式11 は、これらの状況においてバランスの取れた精度が適切なパフォーマンス評価指標であることを示しています¹⁸。「N」はクラス数を表します。TP、TN、FP、FNは、それぞれ本研究における真陽性、真陰性、偽陽性、偽陰性の数を表し、N=3です。達成されたバランスの取れた精度は99.1%でした

(11)

混乱行列(図8)、訓練および検証損失曲線(図...

ディスカッション

提案されたGAN–CNNフレームワークは強い一般化を示していますが、トランスフォーマーベースの視覚アーキテクチャ、注意強化CNN、自己教師あり表現学習など、類似の仮説に対処できる他の代替手法も存在します。これらは特徴の解釈可能性や計算効率において利点をもたらす可能性があり、将来的に比較評価されるべきです^17,19。

認識と分類精度の向上は、3つの重要な要因に起因します。まず、糸の太さ、直径、向き、素材の色、照明の不均一な照度などの物理的特性の変化を考慮してもモデルは安定します。第二に、UNetベースのノイズ除去はトレーニングを強化し、モデルのパターン認識能力を向上させます。第三に、提案されているGAN–CNNフレームワークは手動で設計された特徴に依存していません。代わりに、特徴抽出と分類のために完全自動化されたエンドツーエンドアーキテクチャを採用しています。今後の研究では、この枠組みを不織布や編み物...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
キヤノンEOS 90D	キヤノン株式会社、東京、日本	EOS 90D 32.5 MP CMOSセンサー	ファブリック画像取得用のデジタルイメージングカメラ
Intel i7プロセッサ	インテル社、カリフォルニア州サンタクララ、アメリカ合衆国	https://www.intel.com	計算処理のためのマルチコア中央処理装置(CPU)
Kerasディープラーニングフレームワーク	Google LLC、カリフォルニア州マウンテンビュー、アメリカ合衆国	https://keras.io	ニューラルネットワーク開発のためのディープラーニングソフトウェアライブラリ
LEDリングライト(5500 K)	市販の実験室照明システム	該当しません	均一な画像取得のための制御照明源
NVIDIA GeForce GTX1060MQ GPU	NVIDIA社、カリフォルニア州サンタクララ、アメリカ合衆国	https://www.nvidia.com	深層学習の高速化計算のためのグラフィックス処理ユニット(GPU)
OpenCVライブラリ	オープンソースコミュニティ	https://opencv.org	画像処理用のコンピュータビジョンソフトウェアライブラリ
Pythonプログラミング言語	Python Software Foundation、ウィルミントン、DE、アメリカ合衆国	https://www.python.org	機械学習実装のための高水準プログラミング言語
ResNet50事前学習モデル	Microsoft Research / He ほか(2016年)	https://keras.io/api/applications/resnet/	特徴抽出と分類のための事前学習済み畳み込みニューラルネットワークアーキテクチャ
scikit-learnライブラリ	オープンソースコミュニティ	https://scikit-learn.org	データ解析およびモデル評価のための機械学習ソフトウェアライブラリ
TensorFlowフレームワーク	Google LLC、カリフォルニア州マウンテンビュー、アメリカ合衆国	https://www.tensorflow.org	ニューラルネットワークのトレーニングと展開のためのディープラーニングフレームワーク
経糸(ポリエステル、83 dtex)	館内繊維研究所	該当しません	織物サンプルの経糸材として使われる合成繊維糸
織物サンプル(プレーン、サテン、ツイル)	館内繊維研究所	ポリエステル糸 110 dtex	異なる織り構造を持つ代表的な織物サンプル