Основной перевод: Внимание-управляемая передача обучения для классификации мозговых опухолей четырёх классов с использованием МРТ HTML-теги и форматирование останутся без изменений.

Summary

Это исследование представляет лёгкий фреймворк глубокого обучения на основе внимания для классификации мозговых опухолей в четырёх классах из МРТ-изображений с использованием трансферного обучения с MobileNetV2, EfficientNetV1 и Inception-ResNet-V2. Модель достигает высокой точности классификации при сниженной вычислительной сложности, поддерживая приложения для принятия решений в клинических условиях с ограниченными ресурсами.

Abstract

Целью данного исследования является разработка лёгкого, но точного фреймворка глубокого обучения для классификации опухолей головного мозга на четыре категории—глиомы, менингиом, опухоли гипофиза и здоровых тканей мозга—с использованием данных магнитно-резонансной томографии (МРТ). Предложенный методологический подход сочетает трансферное обучение с тремя предварительно обученными моделями сверточных нейронных сетей—MobileNetV2, EfficientNetV1 и Inception-ResNet-V2—интегрированными с механизмом внимания, который имитирует способность человеческой зрительной системы фокусироваться на клинически значимых областях изображения. Этот подход с учетом внимания усиливает локализацию опухоли, подавляя несущественную информацию на фоне. Фреймворк оценивается на большом, общедоступном наборе данных МРТ головного мозга, содержащем тысячи помеченных изображений для четырех классов. Для обеспечения простоты воспроизведения предложенного метода используются стандартная предобработка, расширение данных и протоколы обучения. Экспериментальные результаты показывают, что EfficientNetV1 достигает наилучшей производительности классификации, достигая высокой точности по сравнению как с MobileNetV2, так и с Inception-ResNet-V2. В исследовании делается вывод, что предложенный лёгкий фреймворк на основе внимания эффективно сочетает точность и вычислительную сложность, что делает его очень подходящим для приложений в реальном времени и мобильной медицине, особенно в условиях ограниченных ресурсов.

Introduction

```html

Точная классификация опухолей головного мозга с использованием магнитно-резонансной томографии (МРТ) играет важную роль в клинической диагностике, планировании лечения и оценке прогноза<sup>1</sup>. Опухоли головного мозга, включая глиому, менингиому и опухоль гипофиза, обладают характерными патологическими особенностями и реакцией на лечение; поэтому ранняя и надежная идентификация необходима для улучшения терапевтических результатов и уменьшения прогрессирования заболевания. МРТ широко используется для оценки опухолей головного мозга из-за своего превосходного контраста мягких тканей, безопасности и способности визуализации морфологии опухоли на нескольких анатомических плоскостях. Однако ручное толкование МРТ снимков часто требует много времени и высоко зависит от радиологической экспертизы, особенно когда границы опухоли имеют неправильную форму или когда существует визуальное сходство между классами опухолей. В связи с этим, автоматизированные компьютерные системы помощи в диагностике стали все более важными для радиологов в точной и эффективной классификации опухолей.

Техники анализа изображений на основе глубокого обучения (ДО) значительно продвинулись в области автоматизированной классификации заболеваний в биомедицинских и компьютерно-зрительных приложениях<sup>2,3</sup>. В нейроонкологии техники машинного обучения и трансфертного обучения показали многообещающие результаты для задач выявления, сегментации и классификации опухолей<sup>4</sup>. В частности, сверточные нейронные сети (СНС) показали превосходные возможности в автоматическом извлечении иерархических признаков изображения непосредственно из снимков МРТ без необходимости ручной разработки признаков. Архитектуры СНС могут учиться на дискриминативных представлениях, связанных с опухолями, из иммунных данных, тем самым улучшая производительность классификации по сравнению с традиционными подходами машинного обучения. Недавние достижения в области глубокого обучения позволили разработать высокопроизводительные системы классификации изображений, способные обрабатывать крупномасштабные иммунные наборы данных с улучшенной точностью и минимальным вмешательством человека.

Несмотря на эти достижения, традиционные архитектуры глубокой СНС часто требуют значительных вычислительных ресурсов, включая высокое потребление памяти, увеличенную сложность параметров и длительное время обучения<sup>5</sup>. Такие вычислительные требования ограничивают их применение в условиях клинической среды с ограниченными ресурсами и мобильных систем здравоохранения. Кроме того, легкие архитектуры сверточных нейронных сетей привлекают все больше внимания из-за их сниженной вычислительной сложности и пригодности для развертывания в приложениях с ограниченными ресурсами<sup>5</sup>. Несколько недавних исследований исследовали оптимизированные стратегии СНС, эффективные механизмы извлечения признаков и легкие рамки развертывания для повышения эффективности классификации без значительного снижения точности прогнозирования<sup>6,7,8</sup>. Однако сочетание вычислительной эффективности с надежной многоклассовой классификацией опухолей остается основной проблемой в анализе опухолей головного мозга на основе МРТ<sup>9</sup>.

Фреймворки глубокого обучения на основе внимания стали эффективным решением для улучшения представления признаков в анализе медицинских изображений<sup>10</sup>. Механизмы внимания позволяют нейронным сетям селективно подчеркивать диагностически значимые области изображений, подавляя несущественную информацию на фоне. Вдохновленные человеческой зрительной системой, архитектуры с управлением вниманием улучшают обучение дискриминативным признакам, направляя вычислительное внимание на специфические для опухолей пространственные области и контекстные характеристики. Такие механизмы особенно полезны для анализа МРТ опухолей головного мозга, так как ткани опухолей часто демонстрируют гетерогенные паттерны интенсивности, неправильную морфологию и перекрывающиеся визуальные характеристики среди категорий опухолей. В результате интеграция модулей внимания в архитектуры на основе СНС может улучшить точность классификации и улучшить производительность локализации признаков.

Несколько недавних исследований продемонстрировали потенциал фреймворков ДО для автоматизированной диагностики опухолей головного мозга и классификации опухолей на основе МРТ<sup>11,12</sup>. Gao и др. разработали и валидировали модель ДО для диагностики опухолей головного мозга с использованием данных МРТ, продемонстрировав сильную способность к автоматизированному анализу нейровизуализации<sup>11</sup>. Аналогично, Abdusalomov и др. исследовали подходы к обнаружению опухолей головного мозга на основе

Protocol

В данном исследовании использовался общедоступный анонимизированный набор данных; поэтому информированное согласие не требовалось. Предложенный подход включает шесть компонентов: предварительная обработка, свертка, модуль внимания, интеграция модулей свертки и внимания и полносвязные (FC) слои. Рисунок 1 иллюстрирует полный рабочий процесс нашего метода.

Получение набора данных
Метки мозговых МРТ-изображений получены из общедоступного набора данных Kaggle, включающего четыре категории опухолей и нормальную ткань.

Предварительная обработка данных
Изображения масштабируются до единой разрешенности и нормализируются по интенсивности. Для улучшения обобщаемости применяется необязательное расширение (поворот, переворачивание, масштабирование). Набор данных разделен на обучающий (70%) и тестовый (30%) наборы.

Архитектура модели
Три базовых CNN, предварительно обученные на ImageNet—MobileNetV2, EfficientNetV1 и Inception-ResNet-V2—были использованы для классификации мозговых опухолей на четыре категории с использованием МРТ-изображений. MobileNetV2 и EfficientNetV1 были настроены с размером входа 224 × 224 пикселя, в то время как Inception-ResNet-V2 требовал размера входа 299 × 299 пикселей. В процессе переноса обучения начальные светочувствительные слои были заморожены на старте, чтобы сохранить обобщенные признаки изображений, в то время как верхние слои были тонко настроены для адаптации модели для классификации мозговых опухолей. Каждый основной элемент был связан с легким классификационным заголовком, который включал Глобальное среднее пулы, плотные слои, дроп-аут для регуляризации и функцию активации Softmax для предсказания четырех классов. Дроп-аут был реализован для снижения переобученности и улучшения обобщаемости. Разработанная архитектура эффективно объединяла эффективное извлечение признаков с меньшими вычислительными требованиями, обеспечивая точную классификацию при сохранении пригодности для развертывания в условиях ограниченных ресурсов и доказательства концепции.

Извлечение признаков на основе внимания
Входные изображения обрабатываются через начальный светочувствительный слой, за которым следует кастомный модуль внимания. Параллельное максимальное и среднее пулы захватывают выдающиеся и контекстные признаки, которые объединяются и уточняются через свертку для акцентирования важных для опухоли областей.

Сверточная основа и слияние
Взвешенные вниманием признаки передаются в предварительно обученные основы (MobileNetV2, EfficientNetV1 или Inception-ResNet-V2). Высокоуровневые светочувствительные слои логически сливаются для уменьшения доступа к памяти и повышения вычислительной эффективности.

Классификация
Сглаженные признаки пропускаются через полносвязные слои с активированием ReLU6 и дроп-аутом, производя компактное представление для конечной классификации на четыре класса с помощью softmax.

Оценка
Производительность модели оценивается на тестовом наборе по точности, точности, полноте, F1-мере и матрицам ошибок.

Разработка фреймворка
Предлагаемое решение реализовано на Python и использует Keras для выполнения. Таблица 1 показывает гиперпараметры. Набор данных разделен на обучающий и тестовый наборы по соотношению 70:30. Используются пять различных произвольных разделений обучающих/тестовых наборов для отображения конечной сбалансированной производительности для каждого набора данных.

Предварительная обработка
Входные изображения должны быть обновлены, поскольку фреймворк MobileNetV2 служит основой для предлагаемого решения. Для извлечения высокоразрешенных признаков из фотографий используется предварительно обученная модель MobileNetV2 с ее входным размером. Затем каждое входное изображение масштабируется до 224×224 пикселей в диапазоне [-1, 1].

Сверточная модель
MobileNetV2 улучшает распознавание изображений, используя эффективную архитектуру светочувствительных нейронных сетей (CNN), предназначенную для минимизации вычислительных затрат. Хотя традиционные CNN достигают высокой точности, они часто требуют значительных объемов памяти и вычислительной мощности. MobileNetV1 ввел концепцию разделяемой свертки в глубину, которая разделяет стандартную свертку на две отдельные операции: свертка в глубину для фильтрации входов и точечная свертка для интеграции признаков. MobileNetV2 строится на этой идее, включая бутылочные остатки с остаточными блоками, состоящие из слоев расширения, свертки в глубину, проекционных слоев и остаточных связей. Проекционный слой сжимает каналы признаков, в то время как остаточные связи

Results

Три предварительно обученные модели глубокого обучения, а именно MobileNetV2, EfficientNetV1 и Inception-ResNet-V2, были оценены для классификации опухолей мозга на четыре класса с использованием изображений МРТ.

Использованный набор данных
Предложенный фреймворк был оценен с использованием общедоступного набора данных МРТ опухолей мозга, полученного с платформы Kaggle. Набор данных состоял из 835 нормальных изображений МРТ мозга, 826 изображений глиомы, 822 изображений менингиомы и 827 изображений гипофизарной опухоли. Представительные образцы МРТ из набора данных показаны в Рисунке 2.

MobileNetV2
Модель MobileNetV2 содержала 2 263 108 общих параметров, включая 2 228 996 обучаемых и 34 112 необучаемых. Метрики классификации представлены в Таблице 2. Модель достигла общей точности классификации 97% с сопоставимыми макро- и взвешенными средними F1 Scores. Матрица несоответствий, представленная в Таблице 3, демонстрирует высокую точность классификации по всем четырем категориям опухолей, с относительно небольшим количеством ошибок классификации между глиома и менингиомой.

Рисунок 3 представляет кривые точности/потерь обучения и валидации для MobileNetV2. Модель продемонстрировала стабильное сходимость после нескольких эпох обучения, с постепенным улучшением производительности валидации.

Inception-ResNet-V2
Модель Inception-ResNet-V2 имела 54 342 884 общих параметров, включая 54 282 340 обучаемых и 60 544 необучаемых. Метрики классификации суммаризированы в Таблице 4. Модель достигла общей точности классификации 98%, демонстрируя улучшенную производительность по сравнению с MobileNetV2.

Матрица несоответствий в Таблице 5 указывает на высокую точность классификации по всем категориям опухолей с уменьшенными показателями ошибок классификации. По сравнению с моделью MobileNetV2 наблюдалось улучшенное различие между классами опухолей. Рисунок 4 иллюстрирует кривые производительности обучения и валидации для Inception-ResNet-V2. Модель проявляла стабильное поведение обучения и устойчивое сходимость на протяжении эпох обучения.

EfficientNetV1
Модель EfficientNetV1 содержала 6 580 363 общих параметров, включая 6 518 308 обучаемых и 62 055 необучаемых. Метрики классификации, представленные в Таблице 6, демонстрируют наилучшую производительность среди оцененных моделей, достигая примерно 99% точности, точности, полноты и F1-score.

Матрица несоответствий в Таблице 7 демонстрирует высокую точность классификации по всем четырем классам опухолей с минимальным количеством ошибок классификации. Модель правильно классифицировала большинство изображений глиомы, менингиом, отсутствия опухоли и гипофизарной опухоли.

Рисунок 5 представляет кривые точности/потерь обучения и валидации для EfficientNetV1. Модель достигла стабильного сходимости с более низкими флуктуациями валидации по сравнению с другими оцененными архитектурами.

Общее сравнение
Среди оцененных моделей, EfficientNetV1 достиг наилучшей производительности классификации, сохраняя более низкую вычислительную сложность, чем Inception-ResNet-V2. MobileNetV2 продемонстрировал эффективную легкую производительность с уменьшенными требованиями к параметрам, в то время как Inception-ResNet-V2 достиг улучшенной точности классификации за счет значительно более высокой сложности модели. Результаты указывают на то, что EfficientNetV1 обеспечивает наилучший баланс между точностью классификации и вычислительной эффективностью для классификации МРТ опухолей мозга на четыре класса.

Доступность данных
Набор данных МРТ мозга, проанализированный в этом исследовании, является общедоступным через платформу Kaggle. Все данные, полученные и проанализированные в ходе этого исследования, включая результаты классификации, показатели производительности, матрицы несоответствий и результаты обучения/валидации, представлены в рисунках и таблицах этой статьи. Пользовательский код, используемый для разработки и оценки модели, доступен у соответствующего автора по умеренному запросу.

Рисунок 1: Фреймворк обучения с передаче

Discussion

Оценка производительности, основанная на точности, полноте, F1-мере и точности, показывает, что как MobileNetV2, так и Inception-ResNet-V2 достигают сопоставимых результатов при классификации опухолей головного мозга, каждый из них достигает суммарной и взвешенной средней точности 97–98%. В отличие от них, EfficientNet превосходит остальные модели, достигая точности 99% по макро- и взвешенно-средним показателям, благодаря своей улучшенной общей способности и стратегии масштабирования. Эти результаты согласуются с предыдущими исследованиями, демонстрирующими эффективность архитектур EfficientNet для многоклассификации опухолей МРТ и вычислительно эффективного изучения функций<sup>22</sup>. Аналогичным образом, фреймворки MobileNetV2 на основе обучения с переносом ранее показали высокую производительность в задачах классификации легких опухолей головного мозга при сохранении более низкой вычислительной сложности<sup>21</sup>.

Улучшенная производительность EfficientNetV1 может быть объяснена его сбалансированным масштабированием глубины сети, ширины и разрешения входных данных, что позволяет эффективно извлекать дискриминативные характеристики, связанные с опухолями. Сопоставимые наблюдения касательно преимуществ стратегий масштабирования были сообщены в более ранних исследованиях оптимизации CNN<sup>7,8</sup>. Кроме того, интеграция модуля извлечения функций с управлением вниманием, вероятно, способствовала улучшению локализации характеристик, относящихся к опухолям, подавляя несущественную информацию о фоне, что согласуется с результатами исследований классификации медицинских изображений с учетом внимания<sup>10,15</sup>.

Несмотря на эти результаты, в классификации опухолей головного мозга остаются несколько задач, включая точное различение нерегулярных опухолей, сегментацию подрегионов за пределами ядра опухоли и точную классификацию по различным типам тканей головного мозга. Предыдущие исследования также выделили ограничения, связанные с разнообразием данных, способностью к обобщению и вычислительной сложностью в системах классификации опухолей на основе МРТ<sup>9,11,12</sup>. Более того, мультимодальные МРТ-фреймворки продемонстрировали улучшенное представление характеристик и визуализацию опухолей, хотя эти методы часто требуют обширной предварительной обработки и более высоких вычислительных ресурсов<sup>13,17,18,20</sup>.

Таблица 8 показывает консолидированный анализ перекрестной валидации MobileNetV2, Inception-ResNet-V2 и EfficientNetV1 с 5-кратной валидацией. В таблице представлены среднее значение и стандартное отклонение точности, полноты, точности и F1-меры, а также точность по частям. MobileNetV2 демонстрирует стабильную, но сравнительно более низкую производительность, в то время как Inception-ResNet-V2 улучшает как точность, так и устойчивость. EfficientNetV1 достигает наивысокой средней точности (0,989 ± 0,003) с наименьшим отклонением, что указывает на прекрасную способность к обобщению. Его постоянно высокие точности по частям (0,986–0,992) демонстрируют устойчивую и стабильную производительность по нескольким разбиениям данных, что делает его наиболее эффективной моделью для классификации опухолей головного мозга на основе МРТ в четырех классах в данном исследовании.

Ограничения исследования
Текущая оценка фреймворка основывается исключительно на онлайн-расширении данных, что может ограничить его устойчивость при обработке более широкой изменчивости данных в реальных сценариях. Кроме того, исследование в основном исследует извлечение функций из конечных сверточных слоев, не оценивая потенциальные преимущества включения многоуровневой функции слияния. Исследование также ограничено статическими наборами данных МРТ и не было проверено в живой клинической работе, что может представлять проблемы интеграции.

Перспективы будущих исследований
В будущей работе следует исследовать многоуровневое агрегирование функций из MobileNetV2 и других базовых моделей для дальнейшего повышения точности классификации. Расширение фреймворка для поддержки многомодальных изображений и проверка его производительности в реальном клиническом окружении усилит его практическую применимость. Кроме того, оптимизация архитектуры для развертывания на мобильных и IoT-платформах, в сочетании с продвинутыми методами расширения и реальными наборами данных пациентов, может обеспечить масштабируемую, высокопроизводительную диагностику опухолей головного мозга в различных здравоохранительных условиях

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Набор данных для МРТ головного мозга	IEEE	https://dx.doi.org/10.21227/q2vt-tf46	Набор данных загружается с доступом к институту. Набор МРТ содержит четыре класса: глиома, менингеома, опухоль гипофиза и нормальный мозг
Ускоритель CNN (слияние слоев)	Предложенная работа	—	Логическое слияние верхних сверточных слоев для уменьшения доступа к памяти и повышения вычислительной эффективности
Пользовательский модуль внимания	Предложенная работа	—	Механизм внимания, интегрирующий максимальную и среднюю пулинги для выделения туморно-релевантных областей
EfficientNetV1	Google	Предварительно обучен (ImageNet)	Масштабируемая архитектура CNN, обеспечивающая оптимальный баланс точности и эффективности
Google Colaboratory	Google	https://colab.research.google.com/	Облачное окружение, использующееся для обучения моделей, оценки и экспериментов с поддержкой GPU
Inception-ResNet-V2	Google	Предварительно обучен (ImageNet)	Глубокая гибридная архитектура CNN, сочетающая модули Inception с остаточными связями
Keras	Google	v2.6.0	Библиотека высокого уровня для нейронных сетей, построенная на TensorFlow для быстрого создания прототипов моделей
Matplotlib	Matplotlib Developers	v3.4.3	Библиотека визуализации, используемая для построения кривых обучения, матриц путаницы и показателей эффективности
MobileNetV2	Google	Предварительно обучен (ImageNet)	Легкая основа CNN, оптимизированная для развертывания на мобильных устройствах и в условиях ограниченных ресурсов
NumPy	NumPy Developers	v1.21.4	Основная библиотека для научных вычислений, используемая для выполнения числовых операций
Pandas	Pandas Development Team	v1.3.4	Библиотека для обработки и манипуляции данными, используемая для организации наборов данных и обработки метаданных
Python	Python Software Foundation	v3.8.10	Основной язык программирования, используемый для предварительной обработки данных, разработки моделей и оценки
Scikit-learn	Scikit-learn Developers	Последняя стабильная	Используется для оценки таких показателей эффективности, как точность, полнота, F1-score и матрицы путаницы
Seaborn	Seaborn Developers	Последняя стабильная	Библиотека для статистической визуализации высокого уровня, используемая для улучшенного графического анализа
TensorFlow	Google	v2.6.0	Комплексная платформа для глубокого обучения, используемая для реализации основных блоков CNN и модулей внимания