一种基于UNet、GAN和CNN的端到端深度学习框架用于自动化机织物图案识别

摘要

开发了一种端到端的深度学习框架，该框架结合了卷积神经网络（CNN）、生成对抗网络（GAN）以及基于UNet的去噪方法，用于自动识别机织物的织物图案。通过数据增强和合成图像生成提高了模型的鲁棒性。该方法达到了99.1%的准确率，为工业纺织品检测提供了一种可扩展的解决方案。

摘要

高品质纺织品的质量与生产在很大程度上依赖于对织物组织图案的准确识别，而传统上这一识别过程主要依靠人工目视检测。然而，这种方法具有主观性强、耗时长且易出错的缺点。尽管机器学习方法能够实现自动化，但它们通常依赖于手工设计的特征，这些特征对光照和成像条件的变化较为敏感，从而限制了其鲁棒性和可扩展性。即使是深度学习模型，也常因实际采集条件下存在的域偏移问题而面临泛化能力不足的挑战。为应对上述问题，本文提出一种结合卷积神经网络（CNN）与生成对抗网络（GAN）的新型深度学习框架，用于端到端的织物分类。该方法融合了几何与光度数据增强技术，并结合基于UNet的图像去噪处理；其中GAN组件用于生成高质量的合成图像，以增强训练数据的多样性并促进特征学习。在机织物数据集上的实验结果表明，该方法达到了当前最优的性能水平，平衡准确率达到99.1%，在准确性、泛化能力以及对视觉畸变的鲁棒性方面均优于基线模型。该框架为自动化纺织品检测提供了一种可扩展且可靠的解决方案，对提升工业织物制造中的效率并减少人工劳动具有重要意义。本研究将CNN、GAN以及U型卷积神经网络（UNet）模块整合到一个统一的基于优化的学习流程中，而非将去噪、数据生成与分类作为独立过程处理。这种联合训练机制在生成网络与判别网络之间建立了反馈回路，在方法论上超越了传统的微调策略。

引言

图案是织物生产中最重要的因素，它极大地影响着材料的设计、重新设计、质地分析以及美学外观。织物是一项历史悠久的人类发明，已从手工织造发展到现代机器生产的数字织物¹。在进一步通过织造机械加工之前，必须识别出机织织物的图案。如今，依赖视觉感知并借助显微镜或放大镜等工具增强的传统方法仍是织物图案检测的主要手段。通常由具备必要培训和经验的专家进行这种人工评估。然而，这种方法存在诸多缺点，例如工作量过大、效率低下和耗时较长，同时还伴随身体和心理上的压力、迟钝感以及疲劳等心理问题，最终影响识别结果。因此，为了准确识别织物图案并生产出符合客户需求的高质量产品，有必要采用计算机化的检测方法²。

织物图案识别近年来受到关注，并取得了巨大成功³。总体而言，识别织造图案的方法可分为两类：基于纹理的统计方法和基于模型的方法。基于纹理的统计方法使用预处理后的图像。一种基于光度微分分析的方法采用了自适应维纳滤波和直方图均衡化，以从多个方向获取织物结构的信息⁴。随后，他们利用自适应网格模型将图像划分为子图像，以提取灰度特征。尽管该研究仅限于简单的机织材料，但该模型在检索织造结构中的交织位置方面具有较高的可靠性。基于数据库/模型的认知技术则采用识别或分类算法，用于识别并匹配材料的织造图案。

在通过局部二值模式（LBP）和灰度共生矩阵（GLCM）提取特征后，采用支持向量机（SVM）对织物纹理进行了分类⁵。相比单独使用任一特征描述符，LBP与GLCM的联合使用提高了识别性能；然而，该方法完全依赖于手工设计的特征，且未在针织或非织造织物上进行评估。此外，已有研究利用变换不变低秩纹理（TILT）和方向梯度直方图（HOG）识别机织物图案，并通过模糊C均值聚类（FCM）检测经纱与纬纱的交叉点⁶。该方法在显著旋转变化条件下表现出局限性，且在检测双股纱线织造结构时效果下降。另外，已有研究提出一种结合可视化策略的改进型卷积神经网络（CNN）用于复杂纹理分析；然而，其验证仅在有限的数据集和受限的实验条件下进行⁷。

采用CIE-Lab颜色模型和共生矩阵提取纹理数据，随后利用自组织映射（SOM）网络对织物编织图案进行分类⁸。然而，这些算法的性能和准确性受数据库规模的影响。纺织品是由纺织纤维构成的平面材料。FabricNet采用一种特殊的基于类别的集成卷积神经网络（CNN）架构，是早期从图像中识别纺织纤维的技术之一⁹。利用织物数据集，已通过Faster R-CNN、SSD、残差网络（ResNet50）和ResNet101算法实现了用于精确纤维识别的深度学习方法，其中Faster R-CNN被证实为最有效的算法。

已有研究报道，脉冲耦合神经网络（PCNN）方法的性能优于其他方法，并强调了进一步开展经编针织物数据库研究的必要性¹⁰。由于人工视觉检测耗时较长，纺织品识别仍具挑战性；为此，已有研究采用数据增强和迁移学习，结合残差网络（ResNet）进行分类与特征提取，相关工作主要集中于区分手工织机与动力织机织物。此外，已有方法被提出用于定位和识别不同类型的针织结构，但实验仅限于纬平针和罗纹针等基本针织结构¹¹。许多早期技术依赖单幅图像，通过逆向工程实现织物原型构建。同时，已有研究引入基于主成分分析的降维方法，用于有缺陷绒类织物的特征提取与分类，结果表明K近邻分类器的准确率高于朴素贝叶斯分类器。

通过将深度度量学习算法应用于来自印度东北部阿萨姆邦本地织工的六类手工纺织品共计25,166张带标签图像数据集，已实现手工织物的自动识别¹²。该方法通过学习有偏的特征表示，从而在学习到的特征空间中有效区分纤维类型，在经过广泛测试并与基线模型进行比较后，分类准确率达到97.8%。此外，还提出了基于数据增强和迁移学习的深度学习模型，用于机织纺织品分类，采用残差网络（ResNet）自动提取和分类纹理特征，并通过准确率、平衡准确率和F1分数评估模型性能；实验结果表明，即使织物物理特性发生变化，该模型仍保持稳定，并达到最先进的分类准确率¹³。

深度学习已进一步应用于模拟三维纺织结构，采用结合了循环和卷积特性的网络架构¹⁴。通过使用基于数字单元模拟生成的预计算织造案例库来训练深度神经网络（DNN），该方法可估计三维纺织结构，并以低于10%的误差预测刚度特性，相较于传统建模方法表现出更高的计算效率。此外，研究人员还通过模式识别与图像处理技术分析织物组织结构，测量诸如孤立块、垂直与水平截面序列以及对角线连续性等参数¹⁵。这些参数可用于基于层次分析法（AHP）将基本织造图案分类为缎纹、斜纹和平纹三类，统计评估结果显示预测分类结果与实验结果具有高度一致性。

提出了一种基于雾计算的织物设计分析优化方法，该方法包含四个主要阶段：织物图像采集、预处理、特征提取和分类¹⁶。系统利用雾-边设备进行图像获取，在预处理阶段应用多种滤波技术，随后通过灰度共生矩阵（GLCM）提取特征，并采用集成深度学习模型进行分类。实验结果表明，该方法具有良好的有效性，在准确性方面优于现有算法。此外，还开发了一种基于神经网络的框架，通过建立基于宏观力学性能的客观分类标准，对机织物的伞状悬垂性进行表征¹⁷。该框架将ResNet-18与深度图卷积神经网络（DGCNN）相结合，分别用于从悬垂图像和点云中提取和分类特征。通过监督学习对两个网络进行评估，以确定从无标签数据集中提取悬垂风格的最优模型。此外，引入了一种草图下采样（SDS）技术，用于表示伞形悬垂的点云，从而实现对织物悬垂性的客观评估，并支持基于相似性的织物检索等下游应用。

尽管深度学习取得了进展，但机织物识别仍受限于对手工设计特征工程的依赖以及缺乏标准化的大规模数据库。传统检测方法存在人为误差和不一致性问题，而许多自动化模型则缺乏应对光照、旋转和相机角度变化所需的领域适应能力。此外，缺乏端到端的自动化框架和先进的数据增强技术，限制了现有分类系统的泛化能力和实际可扩展性。与以往单独使用UNet、GAN或CNN的方法不同，本研究提出一种协同优化策略：利用UNet去噪输出指导基于GAN的纹理生成，再通过生成的纹理以迭代反馈方式进一步优化CNN分类性能，从而超越传统的模型堆叠或微调方法。

因此，本文提出了一种集成的端到端深度学习框架，结合基于UNet的去噪、基于生成对抗网络（GAN）的数据合成以及基于卷积神经网络（CNN）的分类方法，用于实现机织物图案的自动识别，将数据增强、生成式增广和特征学习统一于一个可训练的系统中。在该框架中，经UNet去噪后的图像不仅作为预处理输入，还作为GAN生成过程的反馈信息，从而提升图像的光度一致性和纹理真实性；同时，去噪、合成增广与分类任务的联合优化进一步增强了表征学习能力与领域鲁棒性。通过采用基于UNet的去噪处理和GAN生成的合成数据以增加特征多样性并提升模型泛化能力，并在这些判别性特征基础上训练CNN分类器，该系统旨在取代人工检测和传统机器学习方法，提高工业检测效率与质量控制水平，减少因人工操作带来的误差。

所提出的端到端架构集成了基于卷积神经网络（CNN）的分类、由生成对抗网络（GAN）驱动的合成数据生成以及UNet去噪技术，能够增强对光照和纹理变化的鲁棒性，在减少过拟合的同时消除了手动特征工程，从而提升了工业纺织品检测中的领域适应能力，并实现了99.1%的分类准确率。

方案

本研究未涉及人类参与者或动物实验对象，因此无需伦理审批和知情同意。所提出的端到端机织物分类框架（图1）包含四个依次进行的阶段：图像获取、预处理与数据增强、模型训练以及评估。每个阶段的输出即为下一阶段的输入。

第一阶段：图像采集：通过数字相机在受控照明条件下，从数据集中获取机织织物图像。图像采集分辨率为300 dpi，采用50 mm固定焦距镜头。

第二阶段：预处理与数据增强：对图像进行缩放并准备用于训练。为了增强模型的泛化能力，使用深度学习框架进行了几何变换和光度变换的数据增强，包括水平和垂直翻转（p = 0.1）、仿射平移（±0.1）、缩放（0.8–1.2）以及旋转（±45°）。光度调整包括亮度、对比度和饱和度的变化（±40%）以及色调变化（±10%）。
在训练前应用了基于UNet的去噪方法。该UNet模型在深度学习软件库（Keras深度学习框架）中实现，并使用Adam优化器（学习率 = 0.001，批量大小 = 16）训练了30个周期。

阶段3：模型训练：采用生成对抗网络（GAN）生成机织织物的合成图像以增强特征。判别器包含五个卷积层，激活函数为LeakyReLU；生成器则包含四个卷积层和四个反卷积层。GAN使用二元交叉熵损失函数训练100个周期（学习率 = 0.0002，β₁ = 0.5）。随后，在迭代的GAN-CNN框架中联合训练CNN分类器（ResNet-50主干网络），批量大小为32，丢弃率为0.2，学习率为0.001，并采用Adam优化器。

第4阶段：模型评估：使用准确率、精确率、召回率、F1分数和平衡准确率来评估模型性能。

1. 数据集描述

在受控照明条件下，从公开可用的数据集中获得了来自880个织物样本的共计3,540幅机织物图像¹²。其中，2,832幅图像用于测试，其余708幅图像经过数据增强后生成了11,328个训练样本。该数据集已匿名化处理，因此无需伦理审批。代表性样本如图2所示。

该数据集包含三种织物组织：平纹、缎纹和斜纹。织物采用聚酯变形纱（110 dtex；单丝线密度分别为1.14和3.05 dtex）以及聚酯微细变形纱（110 dtex；单丝线密度分别为0.33、0.57和0.76 dtex）作为纬纱，以83 dtex聚酯纱线（1.14 dtex）作为经纱制备而成。共构建了三种织造结构：1/1平纹、3/2斜纹和4/1缎纹。

本研究使用的数据来自一个公开的数据集 ，其中包含原始图像和预处理图像、增强元数据以及生成对抗网络（GAN）生成的样本¹²。为进一步提升训练数据的多样性，还额外应用了数据增强和基于 GAN 的合成方法。最终数据集包含 11,328 张训练图像和 2,832 张测试图像；其中 80% 的训练数据用于模型训练，20% 用于验证。结构参数范围如下：纱线线密度（Ne：6–40）、纱线密度（25–58 根/cm）和织物面密度（125–485 gsm）。训练与测试均在图形处理器上使用深度学习框架和软件完成。

2. 提出的高效预处理与数据增强方法

为解决训练数据有限的问题并提高模型泛化能力，采用了数据增强方法。数据增强可在不修改模型结构的情况下扩充数据集，减少过拟合，并增强模型的鲁棒性。本研究采用了两种类型的数据增强：

几何增强：
变换包括水平和垂直翻转（p = 0.1）、仿射变换（平移 = 0.1，缩放 = 0.8–1.2）以及固定角度旋转（45°）。这些操作可模拟织物经纬取向和成像条件的变化（图3）。

光度增强：
为提高对光照和传感器差异的鲁棒性，将亮度、对比度和饱和度调整±40%，色调调整±10%。这些修改在改变光照特性的同时保持了几何结构不变（图4）。

3. 使用UNet进行去噪

UNet 是一种编码器-解码器卷积架构，用于对结构化的机织织物纹理进行去噪。由于织物图案对传感器和光照噪声敏感，因此在分类之前先进行去噪以保留结构细节；该网络在输出层使用了 S 型激活函数，并基于 UNet 的去噪架构（图5）。去噪后的图像作为优化输入，用于生成对抗网络-卷积神经网络（GAN–CNN）流程中的合成生成与分类任务。UNet 去噪过程的数学表达式以及 GAN 的优化策略（公式 1–10）详见 补充文件1。端到端框架中 UNet、GAN 与 CNN 模块之间的相互作用如 图6 所示。

4. 使用 GAN-CNN 进行端到端模型生成与训练的方案

采用生成对抗网络（GAN）与卷积神经网络（CNN）的混合框架进行机织物图案识别。如图6所示，生成对抗网络（GAN）由生成器（G）和判别器（D）组成，用于在不同光照、噪声和纹理条件下合成逼真的机织物图像，以增加数据集的多样性；而卷积神经网络（CNN）则从真实样本和生成样本中学习判别性特征，从而提高分类准确率。

5. 基于卷积神经网络的分类

在基于生成对抗网络（GAN）的图像合成之后，将真实和生成的机织物图像均用于训练卷积神经网络（CNN），以进行纹理特征提取与分类。采用预训练的 ResNet-50 架构对三种织物组织类型进行分类。移除了原始的全连接层，保留早期卷积层作为主干网络。在此主干网络之上，添加了全局平均池化层、两个批归一化层、两个全连接层（分别包含 512 和 256 个神经元）、ReLU 激活函数以及 Dropout 层。最后通过 Softmax 层实现三类分类任务。修改后的网络结构如图7所示。

模型使用 Adam 优化器进行训练，损失函数为分类交叉熵，共训练 50 轮（批大小 = 32，学习率 = 0.001，丢弃率 = 0.2）。超参数调优通过网格搜索进行（学习率：0.001–0.0001；批大小：16–64；丢弃率：0.1–0.3）。根据验证损失应用早停机制以防止过拟合，每次训练约 2.3 小时达到收敛。

采用协调的端到端训练策略，以确保去噪、数据合成和分类阶段之间的一致性。首先，使用含噪-干净图像对对UNet进行预训练，共30个训练周期（Adam优化器，学习率 = 0.001，批量大小 = 16，MSE损失函数）。GAN模块包含一个由四个卷积层和四个反卷积层构成的生成器，以及一个使用LeakyReLU激活函数的五层卷积判别器，该模块以对抗方式训练100个训练周期（二元交叉熵损失，β₁ = 0.5，学习率 = 0.0002）。随后，GAN与CNN在50个训练周期内以迭代方式联合训练（批量大小 = 32），并利用生成的样本更新分类器。CNN优化采用Adam优化器（学习率 = 0.001，dropout = 0.2），以促进在不同织物类型上的稳定收敛和泛化性能提升。

结果

评估指标
准确率是分类任务中最广泛使用的评估统计量，定义为所有预测中正确预测所占的比例。公式 11 表明，在这些情况下，平衡准确率是合适的性能评估指标¹⁸。其中，“N”表示类别数量。在本研究中 N=3，TP、TN、FP 和 FN 分别表示真阳性、真阴性、假阳性和假阴性的数量。所达到的平衡准确率为 99.1%

(11)

混淆矩阵（图8）、训练与验证损失曲线（图9）以及类...

讨论

尽管所提出的GAN-CNN框架表现出较强的泛化能力，但仍存在其他替代方法，例如基于Transformer的视觉架构、注意力增强型CNN或自监督表征学习方法，这些方法也可用于验证类似的假设。这些方法可能在特征可解释性或计算效率方面具有优势，未来应对其进行比较评估^17,19。

识别与分类准确率的提升可归因于三个关键因素。首先，当考虑物理属性的变化（如纱线粗细、直径、取向、材料颜色以及光照不均）时，模型仍能保持稳定。其次，基于UNet的去噪方法增强了训练效果，提升了模型的模式识别能力。第三，所提出的GAN-CNN框架不依赖于人工设计的特征，而是采用完全自动化的端到端架构进行特征提取与分类。未来的研究可将该框架扩展至非织造布和针织物的识别与分类，以及其他纺织结构的分析。

性能比较
本研究还采用VGG-16预训练的CNN架构评估了模型的性能。在准确率及其他评估指标上观察到显著...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
佳能 EOS 90D	佳能公司，日本东京	EOS 90D 3250万像素 CMOS 传感器	用于织物图像采集的数码成像相机
英特尔 i7 处理器	英特尔公司，美国加利福尼亚州圣塔克拉拉	https://www.intel.com	用于计算处理的多核中央处理器（CPU）
Keras 深度学习框架	谷歌有限责任公司，美国加利福尼亚州山景城	https://keras.io	用于神经网络开发的深度学习软件库
LED 环形灯（5500 K）	市售实验室照明系统	不适用	用于均匀图像采集的受控照明光源
NVIDIA GeForce GTX1060MQ GPU	NVIDIA 公司，美国加利福尼亚州圣塔克拉拉	https://www.nvidia.com	用于加速深度学习计算的图形处理器（GPU）
OpenCV 库	开源社区	https://opencv.org	用于图像处理的计算机视觉软件库
Python 编程语言	Python 软件基金会，美国特拉华州威尔明顿	https://www.python.org	用于机器学习实现的高级编程语言
ResNet50 预训练模型	微软研究院 / He 等人（2016）	https://keras.io/api/applications/resnet/	用于特征提取和分类的预训练卷积神经网络架构
scikit-learn 库	开源社区	https://scikit-learn.org	用于数据分析和模型评估的机器学习软件库
TensorFlow 框架	谷歌有限责任公司，美国加利福尼亚州山景城	https://www.tensorflow.org	用于神经网络训练与部署的深度学习框架
经纱（聚酯，83 dtex）	本单位纺织实验室	不适用	用作机织物样品经向材料的合成纺织纱线
机织物样品（平纹、缎纹、斜纹）	本单位纺织实验室	聚酯纱线 110 dtex	具有不同组织结构的代表性机织纺织样品