Фреймворк глубокого обучения на базе EfficientNetB7 для улучшенной классификации гистопатологических изображений рака лёгких и толстой кишки

Summary

Здесь мы представляем систему глубокого обучения с моделью EfficientNetB7 для точной классификации гистопатологических изображений рака лёгких и толстой кишки. Модель достигла точности на 96% благодаря применению предварительной обработки, расширения данных и трансферного обучения. Метод имеет высокую вероятность помощи в клинической диагностике рака.

Abstract

Ранняя диагностика рака легких играет ключевую роль в улучшении лечения и выживаемости пациентов. Это остаётся важным направлением клинических исследований. Искусственный интеллект (ИИ) преобразил патологию, значительно повысив точность и эффективность диагностики. В данном исследовании представлена надежная модель глубокого обучения в виде предварительно обученной модели EfficientNetB7 для классификации гистопатологических изображений толстой кишки и ткани лёгких с чрезвычайно высокой точностью — 96%. Производительность модели была оптимизирована с помощью продвинутых методов предварительной обработки, тонкой настройки и специализированных методов дополнения данных. Эти стратегии помогают уменьшить такие проблемы, как классовый дисбаланс и тонкие гистологические вариации. Для решения проблемы перенасадки были комбинированы различные методы увеличения данных, и был введён ранний критерий остановки. Такой подход позволил проводить эффективное и экономически экономичное обучение. Надёжная валидация модели демонстрирует высокую полезность для клинических применений и позволяет патологам своевременно и точно ставить диагнозы. Интеграция современных моделей глубокого обучения в рабочие процессы медицинской визуализации открывает большие перспективы для ранней и точной диагностики рака, что в конечном итоге улучшает результаты лечения.

Introduction

Рак лёгких и толстой кишки — одни из самых распространённых видов рака в мире по уровню смертности. Рак лёгких является ведущим смерательным видом рака с более чем 1,8 миллионами смертей ежегодно, за ним следует рак толстой кишки, занимающий третье место по количеству случаев злокачественных опухоль и вторая по распространённости причиной смертности от рака, согласно глобальной статистике здравоохранения. Точная и ранняя диагностика имеют решающее значение для эффективного лечения и повышения выживаемости этих видов рака. Гистопатологическое исследование, или микроскопическая оценка образцов тканей патологами, остаётся одним из самых распространённых методов обнаружения рака¹. На рисунке 1 показаны образцы гистопатологических изображений нескольких типов лёгких и тканей толстой^{кишки 2}.

Рисунок 1: Примеры изображений из набора данных. На этом рисунке показаны представительные примеры из каждого класса в LC25000 наборе данных, подчёркивая визуальное разнообразие доброкачественных и злокачественных изображений легких и тканей толстой кишки. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Цифровая патология преобразила индустрию, позволив оцифровывать гистологические слайды, которые теперь диагностируются с помощью сложных алгоритмов глубокого^{обучения. 3}. В сочетании с моделями глубокого обучения алгоритмы отлично распознают тонкие закономерности в больших данных, значительно повышая точность и эффективность диагностики. В таблице 1 приведено описание каждого класса тканей.

Название класса	Описание
Доброкачественная ткань легких	Нераковая ткань лёгких, не участвующая в раковом росте.
Аденокарцинома лёгких	Разновидность рака легких, возникающая из железистой эпителиальной ткани, известная своими злокачественными паттернами роста.
Плоскоклеточный карцинома лёгких	Разновидность рака лёгких, отличающаяся определённой клеточной морфологией, возникающей из плоских клеток, выстилающих дыхательные пути.
Аденокарцинома толстого кишки	Большинство случаев рака толстой кишки вызваны распространённым видом рака толстой кишки, который начинается в железистых клетках оболочки толстой кишки.
Доброкачественная ткань толстой кишки	Здоровая ткань в толстой кишке, которая не проявляет признаков раковых или предраковых состояний.

Таблица 1: Обзор пяти классов тканей и рака в наборе данных, включая названия классов, характеристики и количество изображений в каждом классе.

EfficientNetB7, передовая архитектура сверточных нейронных сетей, была признана особенно эффективной для задач классификации изображений благодаря сбалансированному масштабированию глубины, ширины и разрешения. По сравнению с широко используемыми архитектурами, такими как ResNet и DenseNet, EfficientNetB7 обеспечивает превосходный баланс между точностью классификации и вычислительной эффективностью благодаря сложному масштабированию, пропорционально масштабирующему глубину, ширину и разрешение сети. Хотя ResNet и DenseNet продемонстрировали надёжную производительность в задачах по классификации медицинских изображений, им обычно требуется большее количество параметров и большие вычислительные ресурсы для достижения сопоставимой точности, что делает EfficientB7 более подходящим для крупномасштабного гистопатологического анализа в клинических условиях с ограниченными^{ресурсами 4}. Применение передовых вычислительных моделей, включая инструменты ИИ, такие как EfficientNetB7, открывает новые возможности для преодоления традиционных диагностических задач, предоставляя инструменты, поддерживающие патологоанатомов и потенциально улучшающие диагностические результаты. Интеграция ИИ в практику патологии может демократизировать доступ к качественным диагностическим услугам, что позволит регионам с ограниченной медицинской экспертизой проводить продвинутую диагностику.

Недавние эталонные исследования и всесторонние обзоры в области анализа медицинских изображений постоянно подчеркивают растущее влияние архитектур глубокого обучения в^{гистопатологии 5}. Крупномасштабные анализы показали, что сверточные нейронные сети и их современные варианты обеспечивают передовые результаты в выявлении тонких морфологических признаков в различных типах тканей, часто превосходя традиционные методы диагностики. Сравнительные оценки показывают, что продвинутые архитектуры, включая EfficientNet и другие масштабируемые модели, не только достигают лучшей точности классификации, но и демонстрируют повышенную вычислительную^{эффективность 6}. Кроме того, систематические обзоры цифровой патологии подчёркивают её трансформирующую роль в рутинной диагностике, обеспечивая воспроизводимость, снижая изменчивость между наблюдателями и обеспечивая интеграцию с автоматизированными конвейерами. Эти совместные результаты подтверждают актуальность внедрения современных моделей глубокого обучения для классификации гистопатологического рака и предоставляют убедительные доказательства того, что применение масштабируемых и эффективных архитектур может решать клинические проблемы, такие как классовый дисбаланс, гистологическая вариативность и ограниченная доступность экспертных патологов.

Цели этого исследования: (i) создание и оценка модели глубокого обучения для категоризации изображений гистопатологии рака лёгких и толстой кишки на основе архитектуры EfficientNetB7; (ii) Демонстрация способности модели достигать высокой точности классификации, потенциально превосходящей традиционные методы диагностики; (iii) Изучение влияния дополнения данных, методов предварительной обработки и трансферного обучения на производительность модели в конкретном контексте.

Это исследование не только демонстрирует высокую диагностическую точность, которую можно достичь с помощью EfficientNetB7 на гистопатологических изображениях, но и тщательно решает ключевые проблемы, такие как дисбаланс классов и перенагон, с помощью целенаправленного расширения данных, надёжных стратегий валидации и методов раннего остановки. Методология специально разработана для отражения реальных клинических условий с использованием крупномасштабных дополненных наборов данных и бенчмаринга эффективности модели по клинически значимым метрикам. Автоматизация и эффективность рабочих процессов обеспечивают практичность интеграции системы в цифровые лаборатории патологии, что позволяет повысить продуктивность патологоанатомов, повысить диагностическую согласованность и обеспечить более широкий доступ к анализу экспертного уровня как в условиях с большим количеством ресурсов, так и в условиях ограниченных ресурсов.

Несмотря на значительный прогресс в области глубокого обучения для медицинской визуализации, при классификации гистопатологических изображений рака лёгких и толстой кишки остаётся^{ряд проблем 7}. Современные модели, как правило, не справляются с классовым дисбалансом, когда некоторые виды рака могут быть недостаточно представлены в наборах данных и создавать предвзятые прогнозы. Кроме того, тонкие гистологические различия между подтипами рака, такими как аденокарцинома и плоскоклеточный карцинома легких, представляют собой серьёзный вызов для правильной классификации. Большинство предыдущих работ проводилось по классификации одного рака или с ограниченными небольшими наборами данных, что исключало широкую применимость и полезность в клинической практике. Традиционные подходы также менее эффективны с вычислительной точки зрения, поэтому менее привлекательны для больших данных или клинических приложений в реальном^{времени 8}.

Настоящее исследование преодолевает эти пробелы, используя архитектуру EfficientNetB7 — современную модель глубокого обучения с доказанной масштабируемостью и эффективностью. Случайные увеличения, перевороты, вращения и сдвиги используются как продвинутые методы пополнения данных для максимизации устойчивости и возможностей обобщения модели на различных гистопатологических паттернах. Трансферное обучение также используется для тонкой настройки предварительно обученной модели EfficientNetB7, чтобы она могла учиться и адаптироваться в специфическом режиме для наборов данных по раку лёгких и толстой кишки, минимизируя время обучения и вычислительные^{затраты 9}. Использование глобального среднего пулирования и ранней остановки также улучшает эффективность модели в области хорошей подготовки и предотвращения перенагона.

Применение глубокого обучения в медицинской визуализации, особенно для диагностики рака, за последние несколько лет достигло огромного прогресса. Традиционная диагностика рака лёгких и толстой кишки в основном зависит от гистопатологического исследования, при котором патологоанатомы изучают образцы тканей под^{микроскопом 10}. Хотя он эффективен, он требует трудоёмких сил, подвержен вариативности между наблюдателями и обычно ограничен ограниченным количеством экспертов-патологов, особенно в условиях с ограниченными ресурсами. Эти ограничения привели к разработке компьютеризированных диагностических систем на базе искусственного интеллекта и глубокого обучения.

Модели глубокого обучения, особенно сверточные нейронные сети (CNN), добились впечатляющих успехов в анализе изображений гистопатологических^{образцов 11}. Они особенно хорошо определяют сложные закономерности и тонкие вариации морфологии тканей — задачи, подходящие для классификации рака. Несмотря на прогресс, сохраняются недостатки, такие как дисбаланс классов, ограниченное обобщение сценариев с множеством данных и высокие вычислительные затраты в текущих подходах. Например, большая часть работ посвящена классификации одного рака, что ограничивает его использование сценариями многорака. Кроме того, плохие методы предварительной обработки и расширения данных делают его уязвимым к перенагону, особенно в небольших или несбалансированных ситуациях с набором данных.

Недавние достижения в области трансферного обучения частично преодолели эти ограничения, используя предобученные модели на крупномасштабных наборах данных, таких как ImageNet. EfficientNet, ResNet и DenseNet — это некоторые модели, которые привлекли внимание в анализе медицинских изображений, поскольку они могут изучать высокоуровневые характеристики на основе ограниченных объёмов обучающих^{данных 12}. EfficientNet также получил широкое распространение благодаря масштабируемости и эффективности, поскольку достигает передовой точности по нескольким эталонам классификации изображений. Применение EfficientNet для классификации комбинированного рака лёгких и толстой кишки не изучено подробно, особенно в отношении дисбаланса классов и тонких гистологических^{вариаций 13}.

Дополнение данных стало ключевым подходом для устойчивости моделей и улучшения^{обобщения 14}. Включая вариации, такие как вращение, смещение, масштабирование и переворот, техники увеличения данных моделируют вариабельность, присутствующую в реальных гистопатологических изображениях, позволяя моделям изучать инвариантные признаки. Методы ранней остановки и регуляризации дополнительно повышают производительность модели, избегая перенагонки и максимизируя эффективность обучения. Несмотря на все эти достижения, по-прежнему необходимы сквозные фреймворки, которые включают продвинутую предобработку, дополнение и трансферное обучение для достижения высокой точности и вычислительной эффективности для классификации множественных видов рака. Таблица 2 15,16,17,18,19,20,21,22,23,24 показывает литературу исследования из существующей литературы.

Изучение	Цель
Талукдер, М. А. и др.15 (2022)	Представить гибридную модель экстракции признаков ансамбля, объединяющую глубокое обучение и машинное обучение для выявления рака толстой кишки и легких.
Атталлах, О. и др.16 (2022)	Предоставить низковесовую структуру глубокого обучения, объединяющую различные модели и методы трансформации для раннего выявления рака лёгких и толстой кишки.
Хаге Чехаде, А. и др.17 (2022)	Создайте систему компьютерной поддержки диагностических систем на основе машинного обучения, которая сможет выявлять различные типы тканей лёгких и толстой кишки.
Вахид, Р. Р. и др.18 (2023)	Используйте систему компьютерной диагностики с помощью CNN для выявления рака лёгких и толстой кишки.
Кумар, Н. и др.19 (2022)	Сравните и противопоставьте методы извлечения признаков, используемые для классификации рака толстой кишки и лёгких.
Мехмуд, С. и др.20 (2022)	Создайте предварительно обученную нейронную сеть с модифицированной моделью диагностики рака лёгких и толстой кишки, которая будет одновременно точной и эффективной.
Чжоу, Л. и др.21 (2024)	Прогнозировать новые цели для Вогонина (WOG) в лечении рака лёгких, мочевого пузыря и толстой кишки с помощью биоинформатики.
Редди, К. Р. и др.22 (2022)	Предоставить гибридный метод извлечения признаков на основе машинного обучения для обнаружения рака толстой кишки (LCC).
Шандилля, С., Найяк, С. R.23 (2022)	CNN и дизайн визуальных трансформеров помогают классифицировать изображения гистопатологии рака лёгких и толстой кишки.
Хасан, М. и др.24 (2023)	Используя множество моделей CNN, классифицируйте изображения рака лёгких и толстой кишки для улучшения диагностики.

Таблица 2: Сравнение соответствующих предыдущих исследований по классификации гистопатологических изображений, описание используемых наборов данных, типов моделей и отчетных результатов.

Данная статья развивает эти вклады, внедряя модель глубокого обучения с использованием архитектуры EfficientNetB7, дополненную современными технологиями дополнения и передачи данных. Текущее решение превосходит недостатки предыдущих решений благодаря повышенной точности классификации, классовому равновесию и снижению вычислительных затрат, поэтому является оптимальным решением для клинической практики.

Protocol

В этом исследовании не проводились прямые эксперименты на людях или животных. Вся работа проводилась с использованием общедоступного, анонимизированного LC25000 гистопатологических изображений, которые не содержали идентифицируемой информации о пациентах или прямом обращении с человеческими тканями. Одобрение Институционального контрольного совета (IRB) или Институционального комитета по уходу и использованию животных (IACUC) не требовалось. Все процедуры соответствовали этическим стандартам и соответствовали условиям использования набора данных для академических исследований. На рисунке 2 показаны шаги диаграммы рабочего процесса.

Рисунок 2: Рабочий процесс предлагаемого метода. Рабочий процесс включает предварительную обработку данных, дополнение, обучение моделей и оценку. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Описание набора данных
Для этого исследования был использован LC25000 набор данных. Он состоял из 25 000 гистопатологических изображений, все они были равномерно оформлены в формате JPEG с разрешением 768 × 768 пикселей. Набор данных основан на первоначальном наборе из 1250 оригинальных изображений, включая 250 изображений доброкачественной ткани лёгких, 250 аденокарцином лёгких, 250 плоскоклеточных карцином, 250 изображений доброкачественной ткани толстой кишки и 250 аденокарцином толстой кишки. Оставшиеся изображения были созданы путём расширения данных для расширения набора данных, обеспечивая разнообразную и обширную коллекцию для надёжного обучения и валидации моделей.

Изображения высокого разрешения позволяли детально изучать клеточные структуры, что было крайне важно для точной классификации рака. Дополнение данных было необходимо из-за ограниченного количества оригинальных изображений; Для синтетического увеличения размера и разнообразия наборов данных применялись такие методы, как вращения, флипы, зумы и сдвиги (Zoom) и сдвиг. Этот процесс сгенерировал дополнительно 23 750 синтетических изображений в сбалансированном порядке класса, в результате чего был получен окончательный набор из 25 000 изображений, каждый из которых содержал 5 000 изображений после дополнения.

Предварительная обработка данных
Исходные гистопатологические изображения в наборе данных имели разрешение 768 × 768 пикселей. Для обеспечения совместимости с архитектурой EfficientNetB7 и максимизации вычислительной эффективности каждое изображение было изменено с 768 × 768 до 224 × 224 пикселей. Этот процесс изменения размера представлял собой компромисс между сохранением основных гистологических признаков и уменьшением вычислительных затрат. Операция изменения размера была математически представлена, как показано в

Уравнение 1: (1)

где X обозначал исходное изображение, X_resize — это изображение с измененным размером, а h и w — желаемой высотой и шириной соответственно. Все значения пикселей нормализовались в диапазоне от 0 до 1, что стабилизировало и ускорило обучение, обеспечивая равномерное распределение входов между изображениями. Эта нормализация была математически рассчитана, как показано в уравнении 2. Этот шаг был необходим для улучшения сближения моделей во время обучения.

(2)

Дополнение данных было использовано как критически важный метод для повышения надёжности и применимости моделей глубокого обучения, особенно в контексте медицинской визуализации с ограниченными и несбалансированными наборами данных. В этом исследовании были применены различные методы дополнения с использованием модуля ImageDataGenerator от TensorFlow для моделирования in vivo вариаций гистопатологических изображений. Эти методы включали случайные вращения до 20 градусов для имитации вариабельности ориентации тканей, горизонтальные и вертикальные сдвиги до 20% от размеров изображения для имитации вариабельности положения во время подготовки слайда и случайные зумы до 20% для отражения вариабельности уровней увеличения.

Кроме того, был выполнен горизонтальный флиппинг для введения зеркальных вариаций, что дополнительно обогатило обучающий набор данных. Для управления новыми синтезированными пикселями, сгенерированными в ходе этих преобразований, была принята стратегия заполнения ближайших соседей для обеспечения плавных переходов и сохранения целостности ключевых гистологических признаков. Двумерная матрица вращения, используемая для увеличения, представлена в уравнении 3, а уравнение 4 определяет функцию с инкрементальным изменением:

(3)

(4)

Эти методы дополнения компенсировали такие проблемы, как классовый дисбаланс, незначительные гистологические вариации и ограничения наборов данных, позволяя модели изучать инвариантные признаки и снижая риск переподгонки. Синтетически расширяя набор данных и включая контролируемую вариабельность, дополнение данных значительно повысило способность модели обобщать на новые, невидимые данные, тем самым создав более прочную и надёжную систему для клинического применения в диагностике рака лёгких и толстой кишки.

Архитектура модели
Модель была разработана на основе архитектуры EfficientNetB7 — современной сети глубокого обучения, известной своей производительностью, масштабируемостью и результативностью в задачах классификации изображений. EfficientNetB7 был построен с использованием серии блоков Mobile Inverted Bottleneck Convolution (MBConv), которые включали глубинно разделяемые свёртки. Такая структурная конструкция эффективно сжала модель, что привело к значительному сокращению количества параметров с минимальными потерями производительности. Такое новшество позволило модели достигать высокой точности при меньших вычислительных затратах, что делает её особенно удобной для вычислительных приложений, таких как анализ гистопатологических изображений. На рисунке 3 показана архитектура модели предварительно обученного EfficientNetB7.

Рисунок 3: Архитектура модели EfficientNetB7. На рисунке показана детальная структура модели EfficientNetB7, иллюстрирующе её основные слои и функциональные блоки, используемые для классификации изображений. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Модель принимала предварительно обработанные гистопатологические изображения, которые были изменены с исходных размеров 768 × 768 пикселей до 224 × 224 пикселей, чтобы соответствовать требованиям входа EfficientNetB7. Каждое изображение проходило через несколько процессов внутри сети, включая пакетную нормализацию, функции активации Swish и операции свёртки. Пакетная нормализация была рассчитана, как показано в уравнении 5. Функция активации Swish ввела нелинейность и позволила более быстрое и эффективное обучение по сравнению с традиционными функциями, такими как ReLU. Эти слои были разработаны для извлечения и улучшения иерархических признаков, позволяя модели постепенно обучаться от низкоуровневых до высокоуровневых паттернов по мере распространения изображений по сети.

(5)

Сверточная основа EfficientNetB7, предварительно обученная на наборе данных ImageNet, обеспечивала высоко обобщённый набор детекторов признаков, эффективных в широком спектре областей изображений. Предварительно обученная база сыграла ключевую роль в фиксации тонких, но информативных закономерностей в гистопатологических изображениях, которые часто характеризуются высокой внутриклассовой вариабельностью и мелкозернистыми чертами. Выход из сверточных слоёв передавался в глобальный средний пулинговый слой, который уменьшал пространственные измерения до одного вектора признаков для каждого изображения. Этот вектор, инкапсулирующий наиболее релевантные признаки, изученные сверточными слоями, затем был сжат в одномерный массив для совместимости с полностью связными слоями. Алгоритм усиленного обнаружения рака лёгких и толстой кишки представлен в дополнительном файле 1.

Последующая архитектура сети включала два плотных (полностью соединённых) слоя с 128 и 64 единицами соответственно. Оба слоя использовали функцию активации Rectified Linear Unit (ReLU) для добавления дополнительной нелинейности и тонкой настройки извлечённых признаков, что позволило модели распознавать более точные закономерности и отношения в данных. Последний слой модели представлял собой выходной слой SoftMax с пятью нейронами, каждый из которых представлял один из пяти классов в наборе данных. Функция SoftMax создавала вероятностное распределение между классами, отражающее прогноз модели для каждого входного изображения, как описано в уравнении 6:

(6)

Сочетание передовых сверточных методов, надёжной регуляризации и эффективных стратегий оптимизации привело к созданию модели глубокого обучения, хорошо подходящей для классификации медицинских изображений с высокими ставками. Модель достигла точности, масштабируемости и операционной эффективности, демонстрируя высокий потенциал клинического применения в диагностике рака лёгких и толстой кишки. В рамках этой системы регуляризация в основном осуществлялась за счёт продвинутого расширения данных и использования ранней остановки; На плотные слои не применялось явное выпадение или затухание веса.

Обучение и валидация
Конвейер валидации и предварительного обучения сверточной нейронной сети (CNN) для классификации LC25000 гистопатологических изображений был разработан для оптимизации производительности модели и обеспечения хорошей обобщённости. Конвейер начался с комплексной предварительной обработки, которая включала сокращение исходных 768 × 768-пиксельных изображений до 224 × 224 пикселей, чтобы соответствовать требованиям входа архитектуры EfficientNetB7. Интенсивность пикселей нормализовалась до диапазона [0, 1] для стабилизации и ускорения тренировки, а для добавления вариативности и снижения перенагонов применялись методы увеличения данных, включая случайные вращения, сдвиги, масштабирование и горизонтальные перевороты. Эти операции предварительной обработки обеспечивали изучение инвариантных признаков и эффективное обобщение для новых данных.

Модель EfficientNetB7, предварительно обученная на наборе данных ImageNet, использовалась в качестве основы, обеспечивая надёжный набор детекторов признаков, способный выявлять тонкие гистологические закономерности. Модель была впоследствии доработана двумя плотными слоями (128 и 64 единицы), активируемыми функцией Rectified Linear Unit (ReLU), а затем выходным слоем SoftMax для классификации по пяти классам. Эта архитектура была оптимизирована как для точности, так и для вычислительной эффективности, что делает её отлично подходящей для анализа медицинских изображений. Правило обновления оптимизатора Адама для θ показано в уравнении 7.

(7)

Обучение модели проводилось партиями по 128 изображений с использованием оптимизатора Адама, который адаптивно масштабировал скорость обучения для обеспечения эффективной сходимости. Был реализован ранний критерий остановки для мониторинга потерь валидации и остановки обучения при отсутствии улучшения, что предотвращало переподгонку и оптимизировало вычислительные ресурсы. В ходе обучения ключевые показатели производительности — включая точность, потери, точность и отзыв — отслеживались с помощью набора валидации, составляющего 20% данных. Этот набор предоставил критически важные данные о возможностях обобщения модели и снизил риск перенаправки с невидимыми данными.

Интеграция современных стратегий предварительной обработки, расширения данных и оптимизации привела к отличной точности и надёжности моделей, демонстрируя значительный потенциал клинического применения в выявлении рака лёгких и толстой кишки. Все эксперименты проводились на видеокарте NVIDIA Tesla P100 с 16 ГБ оперативной памяти и 64 ГБ системной оперативной памяти. Полный обучающий конвейер — включая предобработку, дополнение и оптимизацию модели — занял примерно три часа для завершения десяти эпох с размером партии 128. Эта вычислительная инфраструктура была выбрана для эффективного управления большим дополненным набором данных при сохранении разумных сроков обучения, подходящих для клинических исследований.

Для воспроизводимости все критические гиперпараметры были явно указаны. Модель была обучена с помощью оптимизатора Адама с постоянной скоростью обучения 0,001. Тренировки проводились максимум 10 эпох, с ранней остановкой на основе потери валидации и терпения трёх эпох для предотвращения переоснащения. Для обучающего и валидационного этапов использовался объём партии 128 экземпляров. Для обеспечения единообразных результатов случайный seed был установлен на 42 на всех этапах загрузки данных и обучения модели. Во время обучения не применялось график снижения скорости обучения.

Протокол сочетал систематическую предобработку, хорошо откалиброванные гиперпараметры, строгие схемы валидации и открытую вычислительную среду для повышения точности и воспроизводимости. Рабочий процесс, объединяя надёжную архитектуру глубокого обучения, эффективную оптимизацию и воспроизводимый экспериментальный проект, заложил прочную основу для классификации гистопатологических изображений. Помимо демонстрации высокой эффективности в выявлении рака легких и толстой кишки, протокол определил масштабируемую структуру, которую можно было бы расширить на аналогичные задачи биомедицинской визуализации в будущих исследованиях.

В ходе разработки модели были внесены различные практические корактировки для достижения надёжных и воспроизводимых результатов. Ранние остановки и расширенное дополнение данных использовались для устранения дисбаланса классов и перенастройки. Высокое использование памяти во время обучения было снижено за счёт изменения размера изображений до 224 × 224 пикселей и использования пакетного размера 128. При медленной сходимости скорость обучения эмпирически устанавливалась на 0,001. Ручная проверка структуры каталога изображений проводилась для предотвращения ошибок при загрузке данных, а случайные посевы исправлялись для обеспечения воспроизводимости. Эти стратегии могут служить практическим руководством для исследователей, сталкивающихся с аналогичными трудностями при обучении моделей глубокого обучения на больших гистопатологических наборах изображений.

Статистический анализ
Статистическое моделирование эффективности модели проводилось с использованием комплексного набора метрик для оценки точности, стабильности и обобщаемости. Ключевые показатели оценки включали точность, воспоминание, результат F1 и точность для количественной оценки эффективности классификации. Матрица путаницы использовалась для отчёта классовых метрик ошибок, рассчитанных согласно уравнениям 8-10:

(8)

(9)

(10)

Кроме того, для оценки точности предсказания оценивались такие показатели ошибки, как средняя квадратична ошибка (MSE), корневой средний квадрат ошибки (RMSE) и средняя абсолютная ошибка (MAE), рассчитанные с использованием уравнений 11-13:

(11)

(12)

(13)

Для оценки способности модели различать классы на различных порогах использовались кривая операционной характеристики приёмника (ROC) и площадь под кривой (AUC). AUC был рассчитан как показано в уравнении 14:

(14)

Эти статистические анализы предоставили тщательную оценку эффективности классификации модели, устойчивости и обобщения на невидимые данные.

Исследование абляции
Для дальнейшей оценки вклада каждого компонента в систему классификации было проведено абляционное исследование с выборочным исключением или изменением отдельных архитектурных элементов окончательной модели. В частности, были оценены две альтернативные экспериментальные конфигурации: одна конфигурация включала слои глобального среднего пула и плоскость, за которыми следовали два плотных слоя (соответственно 128 и 64 единицы); другая конфигурация отсутствовала как слой Flatten, так и плотный слой из 128 единиц, оставив только слой глобального среднего пулирования и один слой плотности на 64 единицы.

Полная архитектура, как показано в основных результатах, достигла точности валидации примерно 96%. Когда слой Flatten был исключён, и после глобального среднего пулирования использовались только плотные слои с плотностью 128 и 64 единицы, точность валидации снизилась до 81,6%. Наоборот, когда плотный слой в 128 единиц был исключён и слой Flatten сохранялся, точность валидации снижалась до 88%. Эти результаты показали необходимость включения как сверхплотного слоя, так и соответствующих архитектурных компонентов для достижения оптимальных характеристик классификации. Результаты абляционных экспериментов последовательно показывали, что сочетание глобального среднего пулирования, плоскости и двух полностью связанных слоёв позволяет более выразительно представлять признаки, что приводит к более надёжной и точной гистопатологической классификации изображений.

Results

Рисунок 4 показывает точность обучения и валидации. Рисунок 5 показывает потерю обучения и валидации.

Рисунок 4: Точность обучения и валидации по эпохам. Этот рисунок показывает прогрессию точности как для обучающих, так и для ва...

Discussion

В критическом обзоре ошибочно маркированных экземпляров в архитектуре глубокого обучения EfficientNetB7 проводится критический анализ случаев, когда прогнозы модели не совпадают с реальными метками в валидационном наборе данных. Критический анализ имеет огромное значение при анализе определённых ошибок классификации, особенно когда модель ошибочно классифицирует различные гистопатологические особенности тканей лёгких и толстой^{кишки 11}. Процедура заключается в том,...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Видеокарта A100 (CUDA)	NVIDIA	CUDA Версия 11.0	Ускорение GPU для обучения и оценки моделей.
Платформа Kaggle	Google	Н/Д	Облачный ноутбук для разработки моделей машинного обучения
Керас	TensorFlow (Google)	Версия 2.6.0	API глубокого обучения, работающий поверх TensorFlow.
LC25000	Борковски А.А., Буи М.М., Томас Л.Б., Уилсон К.П., ДеЛанд Л.А., Масторидес С.М. Набор данных по гистопатологическим изображениям рака лёгких и толстой кишки (LC25000)	Н/Д	Этот набор данных содержит 25 000 гистопатологических изображений с 5 классами. Все изображения имеют размер 768 x 768 пикселей и выполнены в формате jpeg.
Matplotlib	Фонд программного обеспечения Python	Версия 3.5.0	Библиотека визуализации для построения результатов.
NumPy	Фонд программного обеспечения Python	Версия 1.19.5	Библиотека численных вычислений.
OpenCV	Открытый исходный код	Версия 4.5.4	Библиотека обработки изображений и компьютерного зрения.
Панды	Фонд программного обеспечения Python	Версия 1.3.4	Инструмент анализа и обработки данных.
Python (распределение Anaconda)	Anaconda Inc	Версия 3.7.12	Включает предустановленные пакеты и инструменты управления окружением.
Scikit-learn	Фонд программного обеспечения Python	Версия 0.23.2	Инструменты машинного обучения для оценки производительности.
TensorFlow	Google	Версия 2.6.2	Фреймворк глубокого обучения для моделей диффузии.