Инновационные гибридные модели глубокого обучения CNN-трансформатора для автоматизированной диагностики оспы обезьян по медицинским изображениям

Краткое содержание

Использование кураторской коллекции из 2 280 изображений кожных поражений создало стандартизированный бинарный процесс глубокого обучения для классификации наличия mpox в каждом изображении. Были сравнены кастомная модель и InceptionV3, ResNetV2, ResNet50, DenseNet121 и гибридная CNN-трансформаторная модель в рамках общего конвейера предобработки и обучения.

Аннотация

Визуальный облик кожных поражений от оспы обезьян остаётся слабо изученным из-за сходства с другими везикулярными и гнойными кожными заболеваниями. В этой статье была проверена гипотеза о том, что гибридная модель глубокого обучения, интегрированная с сверточными и трансформерными энкодерами признаков, может автоматически классифицировать mpox-изображения в рамках единого экспериментального конвейера. Для обеспечения согласованности между моделями и отчётами основной анализ проводился в виде бинарной задачи: mpox и другие условия с такой же или похожей презентацией. Эти эталонные данные включали 2 280 изображений: 1 020 mpox и 1 260 изображений поражения без mpox. Изображения были сокращены до стандартного размера входа 150 × 150 пикселей, а значения находились в диапазоне [0, 1]. Во время тренировки изображения дополнялись вращением, трансляцией, сдвигом, зумом и горизонтальным переворотом. Были сравнены кастомные Sequential CNN, InceptionV3, ResNetV2, ResNet50, DenseNet121 и предлагаемая гибридная архитектура CNN-трансформатора. Каждая базовая модель тренировалась для 15 эпох с использованием оптимизатора Адама и бинарных потерь кросс-энтропии. Точность обучения и валидации, потери, точность, отзыв, результат F1 и площадь под кривой рабочей характеристики приёмника измерялись для оценки производительности, где это было возможно. Лучшая точность внутренней валидации была зафиксирована на Sequential CNN, гибридная модель достигла точности 98,50, отзыва 98,50 и F1-балла 98,58, обеспечив сбалансированный дискриминативный профиль. InceptionV3 демонстрирует признаки перенагонки, а ResNetV2 не предоставил достаточных данных валидации для проведения надёжного обобщающего теста. В целом гибридную модель можно рассматривать как жизнеспособную и сбалансированную стратегию, которая не обязательно лучше всех базовых моделей.

Введение

Автоматизированное и быстрое обнаружение mpox в медицинских случаях имеет клиническое значение, поскольку заболевание может быть похоже на различные другие везикулярные или пустукулярные высыпания при первоначальной визуальной оценке. Практикующие клиницисты не уделяют особого внимания только морфологии поражений, но сочетают закономерность, распределение, анамнез, риск воздействия, эпидемиологический контекст и лабораторное^{подтверждение 1}. Тем не менее, вычислительные инструменты используют изображения и могут выполнять полезную процедуру сортировки в условиях, где квалифицированное дерматологическое обследование ограничено или задерживается. Он особенно актуален при отслеживании вспышек, теледерматологическом скрининге и условиях с ограниченными ресурсами и значительным количеством возможных случаев, которым следует приоритетно пройти подтверждающее тестирование.

Подходы, основанные на глубоком обучении, также стали привлекательными для этой задачи, поскольку они позволяют обнаруживать дискриминационные изображения поражений без использования дескрипторов, которые нужно создавать^{вручную 2}. Самый популярный обзор литературы по-прежнему относится к сверточным нейронным сетям благодаря их эффективности в локальной текстуре, цветовом диапазоне и распознавании краёв^{поражения 3}. Недавние исследования дополнительно развили эту парадигму с помощью трансферного обучения, механизмов внимания и трансформерных модулей, которые пытаются смоделировать более широкую пространственную зависимость изображения. Тем не менее, литература по mpox содержит высокие показатели эффективности, которые следует относиться с осторожностью. Большое разнообразие исследований использовало разреженные публичные наборы данных, имело разные наборы гетерогенных классов или сравнивало результаты с различными режимами предварительной обработки и валидации^{. 4}. Из-за этого часто возникает дилемма: являются ли повышение производительности результатом действительно превосходящей модели, желательного разделения, энергичного расширения или различий в формулировке базовой задачи.

Мпокс остаётся одним из значимых инфекционных заболеваний с негативным влиянием на общественное здоровье, поскольку его поражения, связанные с кожными инфекциями, по-видимому, могут быть смешаны с другими везикулярными и гнойными поражениями на интерфейсе во время скрининга глаз в ходе первичного^{обследования 5}. На практике клиницисты не ставят диагноз мпоксида на основе морфологии: закономерность, распределение, анамнез, эпидемиология и лабораторное подтверждение являются составляющими решения о^{постановке диагноза 6}. Тем не менее, они могут играть полезную роль в процессе сортировки с помощью вычислительных инструментов, основанных на изображениях, особенно когда опыт дерматологов недостаточен, медленен или недоступен. Они могут быть применимы в теледерматологии, в случаях, когда вспышка должна быть выявлена с помощью скрининга, а также в местах с ограниченными ресурсами, где подозреваемые случаи из списка приоритетов необходимо быстро^{решать 7.}

Методы, основанные на глубоком обучении, поскольку позволяют изучать дискриминативные представления поражений, были бы привлекательны для этой задачи, поскольку они изучают такие представления без ручной работы дескрипторов, в зависимости от характеристик входных^{изображений 8}. В области дерматологических изображений стало настоящим ажиотажем использование сверточных нейронных сетей (CNN) для анализа изображений, поскольку они способны кодировать локальную текстуру, периферию поражений и изысканное значение морфологии. Позднейшие исследования предоставили эту парадигму через подмодули на основе трансферного обучения, внимания и трансформеров для изучения более общих пространственных отношений и контекстуальных^{тенденций 9}. Тем не менее, литература по mpox-визуализации остаётся неоднородной. Нередко отмечается, что производительность зависит не только от выбора архитектуры, но и на структуре набора данных, плане дополнения, определении классов и структуре валидации¹⁰. Кроме того, хорошая производительность заголовков не обязательно означает увеличение обобщения.

В текущей работе эта проблема решается с помощью более заметного и внутренне согласованного бинарного mpox-классификационного бенчмарка¹¹. В ней не обсуждается вклад в формате предложения совершенно новой гибридной архитектуры, поскольку методы CNN-трансформаторов уже были разбросаны по всей^{литературе 12}. Вместо этого эксперимент вводит стандартное сравнение с явным первичным бинарным разложением, где дополнительные многоклассовые доказательства, предобработка/обучение и производительность модели рассматриваются с точки зрения протокола, а производительность модели рассматривается консервативно по сравнению с экспериментальной^{средой 13}. В этой парадигме модель CNN-трансформатора всё ещё может иметь функциональное значение, поскольку CNN оптимально структурированы для захвата информации о локальных поражениях, тогда как представления на основе трансформаторов имеют потенциал для представления дальнодействующих пространственных структур, интересующих дерматологию.

Недавние исследования классификации изображений mpox можно разделить на три основных направления, основанные на методологии. Последний основан на традиционных CNN и трансферном обучении благодаря своей зрелости, скорости вычисления и воссозданию текстур, специфичных для^{поражения 14}. Вторая исследует модели, основанные на внимании, или трансформеры, которые лучше подходят для изучения глобального контекста поражения. Третий интегрирует свертку и внимание в гибридные конвейеры, чтобы сохранить локальную чувствительность, но при этом использовать более крупное контекстное моделирование. Несколько исследований отмечают высокую производительность, которую сложно сравнивать напрямую, поскольку исследования различаются размером набора данных, стратегией курирования, структурой классов, протоколом предварительной обработки и^{валидации 15}. Они ориентированы на бинарную классификацию, многоклассовую дерматологическую дискриминацию, и не все из них имеют одинаковые показатели оценки. Наборы данных Mpox изображений, сделанные публично доступными, могут также включать почти дублирующиеся или очень похожие изображения, что потребует увеличения видимой производительности в случае недостаточного распределения^{контроля 16}.

Данный анализ основан на контролируемом бинарном наборе из 2 280 фотографий кожных поражений, 1 020 фотографий mpox и 1 260 фотографий Other. Категория «Другая» пересекается с не-мпоксовыми поражениями, которые проявляются невооружённым глазом, что делает задачу клинически интересной ранней сортировкой по сравнению с полной дерматологической системой^{локализации 17}. Все изображения были изменены, нормализованы, стандартизированы, дополнены и оценены в типичном конвейере внутреннего обучения-валидации. Основной целью было сравнение поведения традиционных и гибридных моделей глубокого обучения в прозрачном бенчмарке и заключение о том, предлагает ли предложенная гибридная архитектура лучший баланс между дискриминационной и интерпретируемой по сравнению с популярными базовыми показателями.

Определённый пробел, который устраняет текущая переработанная версия, — это не просто представление гибридной модели, поскольку стратегии гибридного CNN-трансформатора уже рассматривались в литературе. Вместо этого разрыв заключается в том, что требовалась более чёткая, внутренне согласованная метрика, которая игнорирует основную бинарную задачу и исследовательские мультиклассовые результаты, характеризует конвейер предобработки и обучения в воспроизводимой форме и представляет производительность модели так, чтобы не преувеличивать новизну или клиническую^{готовность 18}. В этом отношении гибридная архитектура заслуживает рассмотрения, поскольку CNN превосходно справляются с локальным выделением признаков, а трансформаторное внимание теоретически может моделировать глобальные конфигурации поражений и дальнодействующие пространственные связи для облегчения визуальной^{диагностики 19}. Практический вопрос заключается не в том, будет ли гибридный дизайн иметь благоприятный баланс между дискриминацией, стабильностью и интерпретируемостью по сравнению с типичными базовыми показателями по одному и тому же курированному аспекту данных, а в том, обеспечивает ли он хороший баланс между налогообложением, стабильностью и интерпретируемостью.

Последние работы по анализу mpox-изображений можно разделить на три основных направления изучения методов. Первая использует традиционные CNN и архитектуры трансферного обучения благодаря их зрелости, вычислительной эффективности и способности изучать специфические текстуры поражения и локальные морфологические^{особенности 20}. Второй поток предлагает модели с трансформером зрения или повышенным вниманием, чтобы захватить более широкие пространственные ассоциации над полем поражения, особенно когда текстурные участки состоят из контекстуального распределения поражений, и поэтому они могут быть столь же важны, как отдельные текстурные участки. Третий поток добавляет сверточную систему и внимание к поддержке гибридных конвейеров в попытке сохранить локальную чувствительность CNN, но при этом использовать возможности контекстного моделирования блоков внимания.

Хотя большинство этих работ заявляют о высокой точности, сравнение кросс-исследований — задача непростой из-за различий в размерах, стратегии курирования, составе классов и дизайне валидации между наборами^{данных 21}. Существуют публикации, оценивающие бинарную дискриминацию, а также те, что оценивают многоклассовую дерматологическую категоризацию, некоторые также сбалансированы по точности отчетности и запоминания, а некоторые сосредоточены на^{точности 22}. Кроме того, отчётные наборы данных mpox могут основываться на онлайн-коллекциях изображений, курируемых коллекциях или дополненных подмножествах, что может повысить отчётную производительность при утечках валидации поездов или ненадлежащем контроле почти дублированных изображений. Таким образом, Таблица 1 хранится не просто как сборник предыдущих работ, а скорее как схематическая карта семейств моделей, ограничений наборов данных и возможностей, предоставляемых методами, доступными в данном исследовании.

Методологическая ценность данной работы отражается в более ограниченном и обоснованном виде. В этой статье будет рассмотрена необходимость использования прозрачного бинарного бенчмарка с помощью предоставленного кураторского набора данных, будет отчёт о процедуре предварительной обработки и обучения, а также будет напрямую сравнена предлагаемая гибридная модель с популярными^{базовыми линиями 23}. Эти изменения также разделяют основной бинарный эксперимент и мультиклассовые доказательства по добавкам таким образом, чтобы утверждать о производительности с соответствующим^{экспериментальным контекстом 24}. Это различие решающее влияет на дискурсивный анализ поведения модели, отчетных мер и практичности.

Основной эксперимент этого сценария — это бинарный классификационный эксперимент на меньшем наборе из 2280 изображений кожных поражений, который был отборован вручную. В этом наборе данных количество изображений, идентифицированных как mpox, составило 1020, а отнесённых к другим — 1260. Вторая категория включает проявление дерматологических проявлений, не связанных с мпоксами, визуального характера, в основном поражения, которые в рукописи называют ветрянкой и корью,^{похожими на ветрянку 25}. Эта двойная номенклатура делает эту бинарную группировку клинически значимой как формулировку примитивного скрининга, поскольку модель исследует, способна ли модель деагрегировать подозреваемый mpox и визуально запутанные альтернативы, но при этом она менее сложна, чем полный мультиклассовый дерматологический бенчмарк.

Обучение моделей должно было быть стандартизировано, при этом все изображения предварительно прорабатывались перед обучением. В рукописи также упоминаются изменение размера, нормализация интенсивности, дополнение и преобразование категориальных меток в бинарные. Однако в обновлённом смысле эти шаги рассматриваются как компоненты воспроизводимого конвейера, а не как заметки, записанные на периферии. Его массив был дополнительно разделён на подмножества обучения и валидации, состоящие из каталогов, и указанные показатели эффективности следует рассматривать как внутреннее влияние на эффективность валидации, а не как индикаторы полностью независимой внешней тестовой группы. Для ясности, эта коллекция из 2 280 изображений будет считаться официальными данными, по которым будет проводиться основной анализ. Бинарное кадрирование было выбрано, потому что оно отражает ранний вопрос сортировки, распространённый на практике: является ли изображение подозрительного поражения более склонным к мпокси, чем другие визуально схожие состояния? Такое формулирование ограничено по сравнению с обширным дерматологическим диагнозом, но является валидной и технически интерпретируемой начальной точкой для сравнительного бенчмаркинга.

Обновлённое описание набора данных также учитывает тот факт, что статья включает некоторые дополнительные результаты, полученные с помощью различных классовых структур или некоторых обогащённых подмножеств, что показано на рисунках 1A–I. Вместо удаления этих материалов рукопись теперь напрямую помещает их в контекст, позволяя читателям увидеть результаты, входящие в бинарный бенчмарк, и те, что являются частью вторичных экспериментов. Этот метод сохраняет всю документацию исследования, но не позволит включать несовместимые эксперименты в одно утверждение.

Протокол

ПРИМЕЧАНИЕ: Используйте кураторский бинарный набор изображений mpox, описанный в рукописи, для основного эксперимента. Набор данных содержит 2 280 изображений кожных поражений, включая 1 020 mpox-изображений и 1 260 изображений, обозначенных как Other. Используйте только вторичный анализ изображений; Не проводите прямой набор пациентов, клиническое вмешательство, эксперименты на животных или создание новых биологических образцов в рамках этого рабочего процесса.

1. Получить и курировать набор данных

1. Определим бинарную схему маркировки с двумя классами: mpox и Other.
2. Присвоите визуально похожие не-mpox поражения классу Other.
3. Проверяйте все изображения на читаемость, идентичность класса и пригодность для контролируемой классификации.
4. Исключайте неиспользуемые или неоднозначные изображения во время курирования.
5. Организуйте отобранные изображения в папки классов на основе каталогов для загрузки с помощью генераторов изображений.

2. Изменить размер и нормализовать изображения

1. Уменьшите размер всех изображений до 150 x 150 пикселей перед обучением модели.
2. При изменении размера применяйте бикубическую интерполяцию для сохранения плавных переходов изображения.
3. Масштабируйте интенсивность пикселей, разделив значение каждого пикселя на 255.
4. Нормализуйте все интенсивности изображения до диапазона [0,1].
   ПРИМЕЧАНИЕ: Используйте одинаковую процедуру пространственного разрешения и нормализации для всех моделей, чтобы поддерживать справедливое сравнение между архитектурами.

3. Дополнить обучающие изображения

1. Применяйте аугментацию только к учебному подмножеству.
2. Установите диапазон вращения на 20°.
3. Установить диапазон ширины и смещения на 0.2.
4. Установите диапазон смещения высоты на 0.2.
5. Установите диапазон сдвига на 0.2.
6. Установите диапазон зума на 0.2.
7. Включите горизонтальное переворачивание.
8. Используйте заполнение ближнего соседа для пикселей, введённых во время увеличения.
9. Проводите дополнение онлайн во время обучения, а не постоянно копируйте файлы изображений.
   ПРИМЕЧАНИЕ: Не дополняйте изображения валидации; Только масштабировать их.

4. Закодировать метки и разделить набор данных

1. Закодировать оба класса как бинарные метки.
2. Загрузите изображения с помощью генераторов каталогов в режиме двоичных классов.
3. Установите размер партии на 32.
4. Разделите набор данных на учебные и валидационные подмножества.
   ПРИМЕЧАНИЕ: В рукописи содержится только внутренний тест-валидационный бенчмаркинг и не включена независимая внешняя тестовая группа.

5. Создайте базовые модели CNN

1. Постройте последовательную базу CNN с тремя сверточными блоками.
2. Используйте 32 фильтра в первом сверточном блоке и следуйте за блоком с максимальным пулингом.
3. Используйте 64 фильтра во втором сверточном блоке и следуйте за блоком с максимальным пулингом.
4. Используйте 128 фильтров в третьем сверточном блоке и следуйте за блоком с максимальным пулингом.
5. Выравнивайте извлечённые карты объектов.
6. Добавьте плотный слой с 512 единицами.
7. Подайте заявку на отчисление с коэффициентом 0,5.
8. Используйте сигмоидный выходной слой для двоичной классификации.
9. Включайте InceptionV3, ResNetV2, ResNet50 и DenseNet121 как сравнительные базовые архитектуры.
   ПРИМЕЧАНИЕ: Используйте один и тот же кураторский бинарный набор данных и конвейер предварительной обработки для всех базовых сравнений, где это применимо.

6. Определите гибридную модель CNN-трансформатора

1. Используйте модуль CNN в качестве локального кодера признаков.
2. Извлекать текстуру поражения, край и локальные морфологические узоры с помощью компонента CNN.
3. Используйте модуль на базе трансформатора в качестве контекстного кодера.
4. Моделировать более широкие пространственные зависимости в изученном представлении с помощью трансформаторного компонента.
5. Проецируйте векторы признаков CNN и трансформатора на одну и ту же размерность и объединяйте их с помощью сложения по элементам.
6. Сопоставьте слитое представление в бинарный выход mpox-против Other через классификационную головку.
   ПРИМЕЧАНИЕ: Указывайте гибридную архитектуру на уровне модуля, если количество головок внимания, размеры вложения и слои трансформаторов явно недоступны.

7. Процесс обучения и практика оценки

1. Собрать бинарный классификатор с использованием реализованной модели с оптимизатором Адама, бинарной потерей перекрестной энтропии и точностью в качестве основной обучающей метрики.
2. Обучить четко определённую базовую модель для 15 эпох на кураторском наборе данных mpox против других.
3. Проводите все эксперименты в среде глубокого обучения на основе Python на системе с GPU и резюмируйте программные ресурсы и обобщённую вычислительную среду в таблице материалов.
4. Отслеживайте кривые потерь в обучении и валидации во время обучения, а также вычисляйте точность, точность, отзыв, результат F1 и AUC для каждой отдельной модели, когда это возможно.
5. Интерпретировать производительность модели с акцентом на согласованность поведения в отчётности и обобщении, а также уделять приоритет балансу между чувствительностью и специфичностью над отдельными значениями максимальной точности.
6. Сформулируйте два вопроса оценки для каждой модели: (i) насколько хорошо модель соответствует обучающим данным и (ii) насколько хорошо изученное представление переносится на хранящиеся валидационные изображения из того же кураторского источника.
   ПРИМЕЧАНИЕ: Эти два аспекта явно представлены в рукописи, чтобы отличить репрезентативную способность от полезного обобщения.
7. Интерпретировать высокую точность обучения как доказательство достаточной репрезентативной способности и интерпретировать высокую и стабильную валидационную эффективность как более значимый показатель полезного обобщения.

8. Экспериментальные анализы

1. Сообщайте только результаты, которые напрямую подтверждаются зафиксированными результатами, и избегайте экстраполяций за пределы задокументированных данных.
2. Явно указывайте ограничения там, где отсутствует информация о валидации или где таблица отражает другую структуру класса.
3. Рассматривайте задачу бинарной классификации mpox-и других как основной анализ и используйте её как внутренний ориентир для всех экспериментов.
4. Преведите исходный код реализации в нарративный протокол и в Таблицу 2 , чтобы набор данных, программная среда, семейства моделей и обучающая конфигурация были кратко обобщены для воспроизводимости.
5. Обобщить описания аппаратного и программного обеспечения так, чтобы акцент оставался на методологической воспроизводимости, а не на одной платформе, специфичной для производителя.
6. Текущие модели получают ту же последовательность, что и вводятся архитектуры, что упростит сравнение поведения в обучении, валидационного поведения и полноты отчетности.
7. Опишите базовый уровень последовательного CNN как достигнутый очень высокий уровень внутренней валидации, при этом предупреждая, что это может отражать благоприятные характеристики расщепления и не обобщаться внешне.
8. Интерпретировать последовательную модель как сильный внутренний ориентир, а не как окончательное доказательство развертываемой диагностической устойчивости.
9. Оправдывает сохранение отдельных панелей InceptionV3, поскольку траектории потерь и точности вместе показывают эффективную оптимизацию обучения, но непоследовательное поведение валидации.
10. Опишите ResNetV2 как информативный, но частично отчётливый исходный показатель, поскольку сопоставимые метрики валидации не были доступны.
11. Рассматривайте мультиклассовый эксперимент ResNet50 как дополнительное доказательство, отличное от первичного бинарного эталонного ориентира.
12. Интерпретируем DenseNet121 как промежуточный эталонный показатель с конкурентной, но не доминирующей производительностью на сообщенном бинарном подмножестве.
13. Опишите гибридный CNN-трансформатор как достижение сбалансированной классовой дискриминации, а не одностороннего прироста по одной метрике.
14. Избегайте утверждений о универсальном превосходстве гибридной модели по всем базовым значениям, поскольку некоторые модели оценивались при разных условиях отчётности.
15. Позиционировать гибридную модель как перспективный компромисс между высокой эффективностью валидации и метрическим балансом, а также рекомендовать дальнейшую оценку стандартизированных внешне протестированных бенчмарков.

Результаты

Сравнение, выходящее за рамки точности заголовков

Эти результаты показывают, что сравнения моделей в медицинском анализе изображений должны быть сосредоточены не только на точности заголовков, но и на поведении архитектур с учётом ряда метрик и различных экспериментальных параметров. На протяжении всех экспериментов модели вели себя не одинаково: простой Sequential CNN показал исключительно высокую производительность при внутреннем разделе вал...

Обсуждение

Ключевой результат исследования заключается в том, что бинарная классификация mpox по сравнению с визуально похожими поражениями, называемая автоматизированной классификацией, возможна с помощью тщательно отображённого набора данных, использованного в этом исследовании, но такой успех во многом зависит от интерпретации доказательств²⁷. Разделяя эксперименты соответствующим образом, рукопись приводит доказательства того, что как традиционные, так и предлагаемые гиб...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Набор данных	Кураторский набор изображений mpox; 2 280 изображений для основного бинарного бенчмарка (1 020 mpox и 1 260 Other)	Основное обучение и источник внутренней валидации
Определение задачи	Бинарная классификация для основного исследования; дополнительные многоклассовые и дополненные резюме сохраняются отдельно	Обеспечивает последовательную интерпретацию представленных метрик
Среда программирования	Рабочий процесс с блокнотами на основе Python	Обработка данных, обучение моделей и построение графиков
Фреймворк глубокого обучения	Реализация TensorFlow / Keras, представленная в поданном коде	Разработка и оптимизация модели
Утилиты для изображений	ImageDataGenerator с перемасштабированием и дополнением; Построение библиотек для обучающих кривых	Предобработка, дополнение и визуальная отчетность
Базовые архитектуры	Sequential CNN, InceptionV3, ResNetV2, ResNet50, DenseNet121	Сравнительный бенчмаркинг
Предлагаемая архитектура	Гибридный CNN-трансформаторный классификатор	Основной методологический вклад
Обучающие условия	Размер входа 150 x 150; размер партии 32; оптимизатор Адама; бинарная перекрёстная энтропия; 15 эпох, отчитываемых для предоставленного базового кода	Воспроизводимость основного рабочего процесса
Вычислительная среда	вычислительная система с поддержкой GPU; Детали аппаратного обеспечения, обобщённые в повествовании	Ускорение модели во время обучения