Сквозная фреймворк глубокого обучения для автоматизированного распознавания шаблонов ткани с использованием UNet, GAN и CNN

Краткое содержание

Была разработана сквозная система глубокого обучения, интегрирующая CNN, GAN и UNet для автоматического распознавания узоров тканей. Увеличение и генерация синтетических изображений повысили устойчивость. Метод достиг точности 99,1%, обеспечив масштабируемое решение для промышленной текстильной инспекции.

Аннотация

Качество и производство высококачественного текстиля во многом зависят от точного распознавания узоров ткания, которые традиционно определяются с помощью ручного визуального осмотра. Однако этот подход субъективен, требует много времени и подвержен ошибкам. Хотя методы машинного обучения обеспечивают автоматизацию, они часто опираются на ручные функции, чувствительные к освещению и вариациям изображения, что ограничивает их надёжность и масштабируемость. Даже модели глубокого обучения сталкиваются с проблемами обобщения из-за сдвига доменов в реальных условиях приобретения данных, и для решения этих проблем предлагается новый фреймворк глубокого обучения, сочетающий сверточную нейронную сеть (CNN) с генеративными состязательными сетями (GAN) для сквозной классификации тканей. Этот подход интегрирует геометрическое и фотометрическое дополнение данных с шумозаносом на основе UNet, а компонент GAN генерирует высококачественные синтетические изображения для повышения разнообразия обучения и изучения признаков. Эксперименты на наборе данных тканей показали, что этот метод достигает передовых результатов с сбалансированной точностью 99,1%, превосходя базовые модели по точности, обобщённости и устойчивости к визуальным искажениям. Эта структура предлагает масштабируемое и надёжное решение для автоматизированной инспекции текстиля, что имеет значительные последствия для повышения эффективности и сокращения ручного труда в промышленном производстве тканей. В этой работе объединяются модули CNN, GAN и U-образной сверточной нейронной сети (UNet) в единый обучающий конвейер на основе оптимизации, а не обрабатывает шумомещение, создание данных и классификацию как отдельные процессы. Механизм совместного обучения создаёт петлю обратной связи между генеративной и дискриминативной сетями, идя на шаг дальше методологически по сравнению со стандартными методами тонкой настройки.

Введение

Дизайн, редизайн, текстурный анализ и эстетический облик материалов сильно зависят от узора, который является самым важным фактором в производстве ткани. Ткань — это историческое изобретение человека, которое эволюционировало от ручной работы ткани к современным цифровым тканям, изготовленным^{на машине. 1}. Перед дальнейшей обработкой ткацким оборудованием необходимо определить узоры тканей ткани. Сегодня традиционные методы, основанные на визуальном восприятии, усиленные такими инструментами, как микроскопы или увеличительные стекла, остаются основой обнаружения узоров ткани. Обычно эту ручную оценку проводит специалист с необходимым опытом и подготовкой. Однако это связано с рядом недостатков, таких как чрезмерная работа, неэффективность и затраты времени, а также психологические проблемы, такие как физический и психический стресс, вялость и истощение, которые в конечном итоге влияют на результаты идентификации. Поэтому для выявления узоров тканей и производства высококачественной продукции, удовлетворяющей потребности клиентов, необходим компьютеризированный подход^{к экспертизе 2}.

Распознавание выкроек тканей недавно привлекло внимание и добилось большого^{успеха 3}. В широком смысле существует два типа методов распознавания узоров плетения: статистические методы на основе текстур и методы на основе моделей. Статистический метод, основанный на текстурах, использует предварительно обработанные изображения. Метод, основанный на фотометрическом дифференциальном анализе, был реализован с использованием адаптивного фильтра Винера и гистограммного эквализации для сбора информации о структуре ткани с разных^{направлений 4}. Затем они разделили изображения на подизображения, используя адаптивную сетчатую модель для выделения оттенков серого. Хотя работа ограничивалась простыми ткаными материалами, модель была надёжна для поиска переплетенных участков в ткачестве. Алгоритм распознавания или классификации используется когнитивной техникой, основанной на базе данных/моделях, для распознавания и согласования узоров переплетения материалов.

Текстуры ткани классифицировались с помощью машин поддержки векторов (SVM) после извлечения признаков через локальные бинарные паттерны (LBP) и матрицы совместного появления серого уровня (GLCM^)5. Совместное использование LBP и GLCM улучшило эффективность распознавания по сравнению с любым из дескрипторов по отдельности; однако этот подход полностью основывался на ручной работе и не оценивался на вязаных или нетканых тканях. Также были выявлены узоры ткани с помощью преобразованно-инвариантных низкоранговых текстур (TILT) и гистограммы ориентированных градиентов (HOG), тогда как пересечения основы и утка были обнаружены с помощью нечеткой c-средней кластеризации (FCM)⁶. Этот метод показал ограничения при значительных вариациях вращения и снизил эффективность в обнаружении структур двойного переплетения. Кроме того, была предложена усовершенствованная сверточная нейронная сеть (CNN) со стратегией визуализации для анализа сложных текстур; однако валидация проводилась на ограниченном наборе данных в условиях ограниченных^{экспериментальных условий 7}.

Текстурные данные были извлечены с помощью цветовой модели CIE-Lab и матрицы совместного появления, после чего для категоризации узоров тканевого ткачества была использована самоорганизующаяся карта (SOM) для категоризации узоров^{ткани 8}. Однако производительность и точность этих алгоритмов зависели от размера базы данных. Текстиль — это плоский материал, состоящий из текстильных волокон. FabricNet, разработанный с использованием специальной архитектуры ансамбля CNN на основе классов, был одним из первых методов идентификации текстильных волокон по^{изображениям 9}. Используя наборы данных fabric, методы глубокого обучения для точного распознавания волокон были реализованы с помощью алгоритмов Faster R-CNN, SSD, Residual Network (ResNet50) и ResNet101, при этом наиболее эффективным был признан Faster R-CNN.

Метод импульсно-связанной нейронной сети (PCNN) опережает другие подходы и подчёркивает необходимость дальнейших исследований баз данных тканей с основным^{вязанием 10}. Распознавание текстилем остаётся сложным из-за трудоёмкого характера ручного визуального осмотра, и исследования внедрили дополнение и обучение передачи данных для классификации и извлечения признаков с помощью остаточных сетей (ResNet), при этом основная работа была направлена на различение тканей ручного ткацкого станка и электроткацких тканей. Также были предложены методы поиска и идентификации различных типов петель, хотя эксперименты ограничивались вязаными и изванными^{петлями 11}. Многие ранние методы основывались на одном изображении для прототипирования ткани путём обратного инжиниринга. Кроме того, был введён метод снижения размерности на основе анализа основных компонентов для извлечения и классификации признаков в дефектных флисовых тканях, что демонстрирует, что классификатор K-ближайших соседей достигает более высокой точности, чем наивный классификатор Байеса.

Автоматическая идентификация тканей ручного ткачества также была достигнута с помощью алгоритма глубокого метрического обучения, применяемого к маркированному набору из 25 166 изображений из шести типов ручного ткацкого текстиля, собранных у местных ткачей в Ассаме, Северо-Восточная Индия¹². Изучая предвзятые представления признаков, которые позволяют эффективно разделять типы волокон в рамках изученного пространства признаков, подход достиг точности классификации 97,8% после обширного тестирования и сравнения с базовыми моделями. Модели глубокого обучения, основанные на дополнении данных и обучении передачи, также были предложены для классификации тканого текстила с использованием остаточной сети (ResNet) для автоматического извлечения и классификации текстурных особенностей, при этом производительность оценивается с помощью точности, сбалансированной точности и F1-результата; Экспериментальные результаты показывают, что модель остаётся стабильной и достигает передовой точности даже при различных физических характеристиках^{ткани 13}.

Глубокое обучение дополнительно применялось для моделирования трёхмерной текстильной геометрии с использованием архитектур, сочетающих повторяющиеся и сверточные^{характеристики 14}. Обучая глубокие нейронные сети (DNN) с использованием библиотеки заранее вычисленных случаев плетения, полученных с помощью цифрового элементного моделирования, метод оценивал 3D-текстильные архитектуры и предсказывал свойства жёсткости с погрешностью менее 10%, демонстрируя повышенную вычислительную эффективность по сравнению с традиционными методами моделирования. Кроме того, контекст ткани был проанализирован с помощью методов распознавания образов и обработки изображений, которые измеряют параметры, такие как изолированные блоки, вертикальная и горизонтальная последовательность сечений, а также непрерывность диагональной линии¹⁵. Эти параметры позволяют классифицировать базовые узоры плетения на атласные, саржевые и простые категории с помощью Аналитического иерархического процесса (AHP), при этом статистическая оценка показывает сильное соответствие между предсказанными и экспериментальными результатами классификации.

Был предложен метод оптимизации на основе туманных вычислений для анализа дизайна ткани, состоящий из четырёх основных этапов: сбор изображений ткани, предварительная обработка, извлечение признаков и^{классификация 16}. Используя устройства с туманным краем для получения изображений, система применяет различные методы фильтрации во время предварительной обработки, после чего признаки извлекаются с помощью матрицы совместного возникновения серого уровня (GLCM) и классифицируются через модель ансамблевого глубокого обучения. Экспериментальные результаты демонстрируют эффективность этого подхода, демонстрируя превосходящую точность по сравнению с существующими алгоритмами. Кроме того, была разработана нейронная сетевая структура для характеристики зонтичного покрытия тканей путём установления объективных критериев категоризации на основе макроуровневых механических^{свойств 17}. Фреймворк интегрирует ResNet-18 с глубокой графовой сверточной нейронной сетью (DGCNN) для извлечения и классификации признаков из драпировочных изображений и точечных облаков соответственно. С помощью контролируемого обучения обе сети были оценены для определения наиболее эффективной модели извлечения стилей драпировок из немаркированных наборов данных. Кроме того, была внедрена техника эскиза-даунсэмплинга (SDS) для представления точечных облаков зонтикообразных драпировок, что позволило объективно оценить драпировку ткани и поддерживать дальнейшие приложения, такие как поиск ткани на основе сходства.

Несмотря на достижения в области глубокого обучения, идентификация тканей по-прежнему затрудняется из-за зависимости от ручной инженерии признаков и отсутствия стандартизированных крупномасштабных баз данных. Традиционные методы инспекции страдают от человеческих ошибок и непоследовательности, тогда как многие автоматизированные модели не обладают необходимой адаптивностью для обработки изменений освещения, вращения и углов камеры. Кроме того, отсутствие сквозных автоматизированных фреймворков и продвинутых методов дополнения данных ограничивает обобщение и практическую масштабируемость существующих систем классификации. В отличие от предыдущих подходов, использующих UNet, GAN или CNN независимо, это исследование предлагает стратегию ко-оптимизации, при которой UNet-дешумированные выходы направляют синтез на основе GAN, а сгенерированные текстуры дополнительно уточняют классификацию CNN через итеративный процесс обратной связи, выходя за рамки традиционного стека моделей или тонкой настройки.

Соответственно, внедряется интегрированный сквозный фреймворк глубокого обучения, объединяющий UNet-ориентированное шумовозведение, синтез данных на основе GAN и классификацию на основе CNN для автоматизированного распознавания шаблонов ткани, объединяющего улучшение данных, генеративное дополнение и обучение признаков в рамках одной обучаемой системы. В этой структуре изображения, очищенные UNet, служат не только предварительно обработанными входами, но и обратной связью для генерации GAN, улучшая фотометрическую согласованность и реализм текстур, а совместная оптимизация при удалении шума, синтетической дополнении и классификации повышает обучение представления и устойчивость домена. Используя шумовозведение на базе UNet и синтетические данные, генерируемые GAN для увеличения вариативности признаков и обобщения моделей, а также обучение классификатора CNN этим дискриминационным признакам, система стремится заменить ручную инспекцию и традиционное машинное обучение, повысить эффективность промышленных инспекций, контролировать качество и снизить трудоёмкие ошибки.

Предлагаемая сквозная архитектура интегрирует классификацию на основе CNN, генерацию синтетических данных на базе GAN и дешумизацию UNet для повышения устойчивости к вариативности освещения и текстуры, достигая точности классификации 99,1%, снижая переподгонку и устраняя ручное инженерное проектирование элементов, тем самым повышая адаптивность для промышленной текстильной инспекции.

Протокол

В этом исследовании не участвовали люди или животные. Поэтому этическое одобрение и информированное согласие не требовались. Предлагаемая сквозная система классификации тканей тканей (рисунок 1) состоит из четырёх последовательных этапов: получение изображений, предварительная обработка и дополнение, обучение модели и оценка. Выход каждого этапа служит входом для следующего.

Этап 1: Получение изображений: Изображения ткани были получены из набора данных и сделаны с помощью цифровой камеры с контролируемым освещением. Изображения были получены с частотой 300 dpi с фиксированным фокусным расстоянием 50 мм.

Этап 2: Предобработка и усиление: Изображения были изменены и подготовлены к тренировкам. Для улучшения обобщения применялись геометрические и фотометрические дополнения с использованием фреймворка глубокого обучения, включая горизонтальные и вертикальные перевороты (p = 0,1), аффинный сдвиг (±0,1), масштабирование (0,8–1,2) и вращение (±45°). Фотометрические корректировки включали вариации яркости, контраста и насыщенности (±40%) и вариации оттенков (±10%).
Перед обучением применялся дешум на базе UNet. Модель UNet была реализована в библиотеке программного обеспечения Deep Learning (фреймворк Keras Deep Learning) и обучена для 30 эпох с использованием оптимизатора Adam (скорость обучения = 0,001, размер пакета = 16).

Этап 3: Обучение модели: GAN использовался для создания синтетических изображений ткани с целью усиления особенностей. Дискриминатор состоял из пяти сверточных слоёв с активацией LeakyReLU, а генератор включал четыре сверточных и четыре слоя деконволюции. GAN обучался для 100 эпох с использованием бинарных потерь перекрёстной энтропии (скорость обучения = 0,0002, β₁ = 0,5). Классификатор CNN (магистраль ResNet-50) затем был совместно обучен в итеративном фреймворке GAN–CNN с размером пакета 32, dropout 0.2, скоростью обучения 0.001 и оптимизатором Adam.

Этап 4: Оценка модели: Производительность модели оценивалась с помощью точности, точности, отзыва, результатов F1 и сбалансированной точности.

1. Описание набора данных

Всего было получено 3 540 изображений тканей из 880 образцов ткани из общедоступного набора данных при контролируемых условиях^{освещения 12}. Из них 2 832 изображения были использованы для тестирования, а оставшиеся 708 изображений были дополнены для генерации 11 328 обучающих образцов. Набор данных анонимизирован и, следовательно, не требует этического одобрения. Репрезентативные выборки показаны на рисунке 2.

Набор данных состоит из трёх классов плетения: простой, сатиновый и твил. Ткани производились с использованием текстурированных пряж с полиэфирной текстурой (110 dtex; линейная плотность филамента 1,14 и 3,05 dtex) и текстурированных нити из полиэфира (110 dtex; 0,33, 0,57 и 0,76 dtex) в качестве утка, а также 83 dtex полиэфирных пряж (1,14 dtex) в качестве основы. Были построены три типа тканей — 1/1 Plain, 3/2 Twill, и 4/1 Satin.

Данные, использованные в данном исследовании, были получены из общедоступного набора данных, включающего необработанные и предварительно обработанные изображения, метаданные дополнения и образцы, созданные GAN^{. 12}. Для дальнейшего увеличения разнообразия обучения применялись дополнительные усиления и синтез на базе GAN (GAN). набора данных. Окончательный набор данных содержал 11 328 обучающих и 2832 тестовых изображений; 80% обучающих данных использовались для обучения моделей, а 20% — для валидации. Конструктивные параметры варьировались следующим образом: линейная плотность пряжи (Ne: 6–40), количество нити (25–58 концов/см) и плотность площади ткани (125–485 гсм). Обучение и тестирование проводились на графическом процессоре с использованием фреймворка глубокого обучения и программного обеспечения.

2. Предлагаемая эффективная предобработка с дополнением

Для устранения ограниченных обучающих данных и улучшения обобщения применялось дополнение данных. Дополнение расширяет набор данных без изменения архитектуры модели, снижает перенагонку и повышает устойчивость. Применялись два типа усиления:

Геометрическое дополнение:
Преобразования включали горизонтальные и вертикальные перевороты (p = 0,1), аффинное преобразование (перевод = 0,1, масштаб = 0,8–1,2) и поворот с фиксированным углом (45°). Эти операции моделируют вариации ориентации основы и утоковых условий (рисунок 3).

Фотометрическое дополнение:
Для повышения прочности освещения и вариабельности датчиков яркость, контраст и насыщенность были скорректированы на ±40%, а оттенок — на ±10%. Эти изменения сохраняют геометрическую структуру, изменяя характеристики освещения (рисунок 4).

3. Шумозанос с помощью UNet

UNet — это сверточная архитектура энкодер-декодер, используемая для устранения шума в структурированных текстурах ткани. Поскольку узоры ткани чувствительны к шуму датчиков и освещения, обезшумление проводится перед классификацией для сохранения конструктивных деталей; сеть использует функцию активации сигмоидов на выходном слое и архитектуру дешума на базе UNet (рисунок 5). Очищенные изображения служили усовершенствованными входами для конвейера GAN–CNN для синтетической генерации и классификации. Математическая формулировка процесса снятия шума UNet и стратегии оптимизации GAN (уравнения 1–10) приведены в дополнительном файле 1. Взаимодействие между модулями UNet, GAN и CNN в рамках сквозной структуры иллюстрируется на рисунке 6.

4. Предлагаемая сквозная генерация и обучение моделей с использованием GAN-CNN

Гибридная структура GAN–CNN была использована для распознавания узоров тканей тканей. Как показано на рисунке 6, генеративная состязательная сеть (GAN), состоящая из генератора (G) и дискриминатора (D), использовалась для синтеза реалистичных изображений тканей ткани при различных условиях освещения, шума и текстуры с целью увеличения разнообразия наборов данных, в то время как CNN изучала дискриминативные признаки как из реальных и сгенерированных образцов, чтобы повысить точность классификации.

5. Классификация на основе CNN.

После синтеза изображений на базе GAN использовались как реальные, так и сгенерированные изображения ткани для обучения CNN извлечению и классификации текстурных признаков. Была принята заранее обученная архитектура ResNet-50 для классификации трёх типов переплетений. Оригинальный полностью соединённый слой был убран, в то время как ранние сверточные слои остались в качестве основы. Поверх этого основы были добавлены слой среднего пула по всему миру, два слоя пакетной нормализации, два полностью связанных слоя (512 и 256 нейронов), активации ReLU и выпадающий слой. Слой Softmax выполнил финальную классификацию из трёх классов. Модифицированная архитектура показана на рисунке 7.

Модель была обучена с использованием оптимизатора Адама с категорической потерей кросс-энтропии для 50 эпох (размер партии = 32, скорость обучения = 0,001, dropout = 0,2). Настройка гиперпараметров осуществляется с помощью поиска по сетке (скорость обучения: 0,001–0,0001; размер партии: 16–64; выпадание: 0,1–0,3). Ранняя остановка была применена на основе потери валидации для предотвращения перенагона, при этом сходимость достигалась примерно за 2,3 часа за обучение.

Была применена скоординированная сквозная стратегия обучения для обеспечения согласованности на этапах обезшумления, синтеза данных и классификации. UNet впервые был предварительно обучен для 30 эпох с использованием пар изображений шумно-чистый (Адам, скорость обучения = 0,001, размер партии = 16, потеря MSE). Модуль GAN, состоящий из генератора с четырьмя сверточными и четырьмя слоями деконволюции, а также дискриминатор с пятью сверточными слоями с использованием активаций LeakyReLU, был обучен состязательно на протяжении 100 эпох (бинарная потеря перекрёстной энтропии, β₁ = 0,5, скорость обучения = 0,0002). Впоследствии GAN и CNN совместно обучались в итеративном цикле для 50 эпох (размер партии = 32), при этом генерированные выборки использовались для обновления классификатора. Оптимизация CNN использовала оптимизатор Адама (скорость обучения = 0,001, dropout = 0,2), что способствовало стабильной сходимости и улучшению обобщения между типами плетения.

Результаты

Метрики оценки
Точность — самая широко используемая статистика оценки категоризации. Это определяется как доля точных предсказаний среди всех предсказаний. Уравнение 11 показывает, что сбалансированная точность является подходящим показателем оценки эффективности в таких^{случаях 18}. «N» обозначает количество классов. TP, TN, FP и FN обозначают соответственно количество истинных положительных, истинных отрицательных, ложноположит...

Обсуждение

Хотя предлагаемая структура GAN–CNN демонстрирует сильное обобщение, существуют и другие альтернативные методы, такие как архитектуры зрения на основе трансформаторов, CNN с повышением внимания или самоконтролируемое обучение представлениям, которые могут решить аналогичные гипотезы. Они могут иметь преимущества в интерпретации признаков или вычислительной эффективности и должны быть сравнительно оценены в^{будущем 17,19}.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Canon EOS 90D	Canon Inc., Токио, Япония	CMOS-сенсор EOS 90D 32,5 МП	Цифровая камера для съёмки тканевых изображений
Процессор Intel i7	Intel Corporation, Санта-Клара, Калифорния, США	https://www.intel.com	Многоядерный центральный процессор (CPU) для вычислительной обработки
Фреймворк глубокого обучения Keras	Google LLC, Маунтин-Вью, Калифорния, США	https://keras.io	Библиотека программного обеспечения для глубокого обучения для разработки нейронных сетей
Светодиодный кольцевой светильник (5500 К)	Коммерчески доступная система лабораторного освещения	Не применимо	Контролируемый источник освещения для равномерного захвата изображений
NVIDIA GeForce GTX1060MQ GPU	NVIDIA Corporation, Санта-Клара, Калифорния, США	https://www.nvidia.com	Графический процессор (GPU) для ускоренных вычислений в глубоком обучении
Библиотека OpenCV	Сообщество с открытым исходным кодом	https://opencv.org	Библиотека программного обеспечения для компьютерного зрения для обработки изображений
Язык программирования Python	Фонд программного обеспечения Python, Уилмингтон, Делавэр, США	https://www.python.org	Язык программирования высокого уровня для реализации машинного обучения
Предобученная модель ResNet50	Microsoft Research / He и др. (2016)	https://keras.io/api/applications/resnet/	Предварительно обученная архитектура сверточной нейронной сети для извлечения и классификации признаков
Библиотека scikit-learn	Сообщество с открытым исходным кодом	https://scikit-learn.org	Библиотека программного обеспечения машинного обучения для анализа данных и оценки моделей
Фреймворк TensorFlow	Google LLC, Маунтин-Вью, Калифорния, США	https://www.tensorflow.org	Фреймворк глубокого обучения для обучения и развертывания нейронных сетей
Основная пряжа (полиэстер, 83 dtex)	Внутренняя текстильная лаборатория	Не применимо	Синтетическая текстильная пряжа, используемая в качестве основного материала в образцах тканей
Образцы плетёных тканей (простые, атласные, саржевые ткани)	Внутренняя текстильная лаборатория	Полиэфирные пряжи 110 dtex	Репрезентативные образцы тканого текстила с разной структурой ткани