Дополненный мультимодальный слияние для оптимизированного обнаружения опухолей головного мозга: оценка и сравнительный анализ

Краткое содержание

В этом исследовании предлагается оптимизированный метод обнаружения опухолей головного мозга путем интеграции и оценки пяти предварительно обученных моделей. Этот подход обеспечивает повышенную точность и обобщение за счет использования усовершенствованных методов увеличения изображения, настройки гиперпараметров и различных оптимизаторов, что вносит значительный вклад в медицинскую визуализацию для диагностики опухолей головного мозга.

Аннотация

Опухоли головного мозга представляют собой серьезную медицинскую проблему, требующую точных и эффективных методов обнаружения для своевременного вмешательства. Эта работа объединяет несколько предварительно обученных базовых моделей, таких как VGG16, MobileNetV2, DenseNet121, InceptionV3 и ResNet50, чтобы предложить новый метод диагностики опухолей головного мозга. Для размещения различных базовых моделей была предложена оптимизированная и стандартизированная методика, обеспечивающая согласованность и простоту обслуживания, а также облегчающая сравнение моделей. Чтобы расширить разнообразие обучающего набора данных и улучшить обобщение модели, используются известные методы дополнения изображений, такие как регулировка яркости и контрастности. Кроме того, эффективный конвейер обучения с использованием генераторов данных предназначен для эффективной обработки больших наборов данных при сохранении вычислительной мощности.

В исследовании был проведен тщательный анализ с использованием трех различных оптимизаторов (Adam, Stochastic Gradient Descent и Adamax), примененных к каждой предварительно обученной базовой модели, с всесторонней корректировкой гиперпараметров. Такие метрики, как полнота, точность, прецизионность, оценка F1 и матрицы неточностей, используются для оценки производительности модели, обеспечивая всестороннее понимание поведения модели. Систематическое сравнение производительности каждой модели позволило глубоко изучить сильные и слабые стороны, облегчив выбор модели и принятие решений для приложений обнаружения опухолей головного мозга. MobileNetV2 достиг высочайшей общей производительности с точностью 96%, точностью 96%, запоминаемостью 94% и оценкой F1 95% при использовании оптимизатора Adam. DenseNet121 и VGG16 также показали хорошие результаты, достигнув точности 95% и 94% соответственно. InceptionV3 продемонстрировал несколько более низкую производительность по сравнению с наиболее производительными моделями: точность 93%, точность 93%, запоминаемость 91% и оценка F1 92%. ResNet50 показал относительно более низкую производительность с точностью 77%, точностью 78%, запоминаемостью 76% и оценкой F1 76%. Эти показатели демонстрируют надежность и эффективность предложенного метода для обнаружения опухолей головного мозга.

Введение

Опухоли головного мозга, будь то доброкачественные или злокачественные, представляют значительную угрозу для здоровья и благополучия человека. Своевременное обнаружение этих опухолей играет ключевую роль в определении исходов лечения пациентов, что делает его приоритетным в области медицины ^1,39 (см. также Дополнительную таблицу S1). Выявление опухолей головного мозга на ранней стадии является не только жизненно важной медицинской задачей, но и важнейшим спасательным кругом для пациентов. Обеспечивая своевременное вмешательство и доступ к эффективным вариантам лечения, он способствует улучшению прогноза, расширяет возможности пациентов и снижает общее бремя этого сложного состояния⁴⁰. Непрерывный мониторинг прогрессирования заболевания, облегчаемый такими методами, как МРТ, имеет важное значение для корректировки стратегии лечения^и выявления потенциальных осложнений. Раннее выявление не только улучшает выживаемость пациентов, но и повышает качество жизни, давая надежду на успешные результаты и лучший долгосрочный прогноз.

Глубокое обучение играет важную роль в обнаружении опухолей головного мозга, предлагая беспрецедентные возможности для анализа сложных данных медицинской визуализации ^4,5,6 с удивительной точностью и скоростью. Модели глубокого обучения, особенно использующие усовершенствованные структуры нейронных сетей, такие как сверточные нейронные сети (СНС), очень эффективны в автономной идентификации сложных шаблонов и особенностей с помощью различных методов медицинской визуализации, таких как компьютерная томография (КТ), позитронно-эмиссионная томография (ПЭТ) и МРТ^.

Одним из ключевых преимуществ глубокого обучения в выявлении опухолей головного мозга является его способность обнаруживать их на самых ранних стадиях 8,9,10,11. Выявляя тонкие аномалии на медицинских изображениях, которые могут ускользнуть от наблюдения человека, алгоритмы глубокого обучения позволяют медицинским работникам быстро начать лечение, тем самым предотвращая прогрессирование опухоли 12,15,17,18,19,20 и улучшая результаты лечения пациентов ^15,17. Эта возможность имеет решающее значение для принятия решений о лечении и прогнозирования прогноза пациента 24,25,26. Модели глубокого обучения, обученные на обширных наборах данных 27,28,29, могут улавливать сложные взаимосвязи между функциями визуализации и опухолевой патологией, обеспечивая точную и надежную диагностическую информацию 30,31,32,33.

Последние достижения в области глубокого обучения привели к появлению архитектур на основе трансформеров, изначально разработанных для обработки естественного языка, в качестве революционных инструментов в медицинской визуализации. В отличие от традиционных СНС, трансформеры используют механизмы самовнимания для захвата глобальных зависимостей данных, что делает их особенно эффективными для сложных задач, таких как сегментация и классификация опухолей. Исследования, подобные тем, которые были проведены Saeed et ^al.41 и Mehmood et ^al.38 , подчеркнули успех моделей, усовершенствованных трансформаторами, таких как DeepLabV3+ и TransResUNet, которые значительно повысили точность сегментации и объяснимость при обнаружении опухолей головного мозга. Эти модели обеспечивают более глубокое понимание медицинских изображений, как было продемонстрировано в работе Xuanzhi et ^al.40, где трансформаторы были применены для предиктивного моделирования.

Их способность отображать сложные пространственные отношения с меньшей зависимостью от больших размеченных наборов данных преображает область, прокладывая путь к более адаптивным и масштабируемым диагностическим решениям. Это знаменует собой значительный сдвиг в медицинской визуализации, подчеркивающий точность и эффективность обнаружения и анализа. Обнаружение опухолей головного мозга с помощью глубокого обучения стало ключевой областью внимания в медицинской визуализации, что обусловлено прогрессом в области трансферного обучения и методов оптимизации¹. Несмотря на эти достижения, сохраняются такие проблемы, как изменчивость производительности модели, недостаточная изученность методов оптимизации и ограниченная оценка стратегий настройки гиперпараметров и дополнения данных.

Трансферное обучение в области медицинской визуализации

Методы оптимизации: Существующие алгоритмы оптимизации часто испытывают трудности с балансом между вычислительной эффективностью и скоростью сходимости, особенно в многомерных пространствах. Существует потребность в адаптивных и гибридных методах оптимизации, которые могут динамически подстраиваться под различные проблемные ландшафты.

Аугментация и предварительная обработка данных: Современные методы дополнения данных могут привести к нереалистичным преобразованиям, которые плохо обобщаются на реальные сценарии. Необходимы дополнительные исследования адаптивных стратегий дополнения, которые учитывают ограничения, специфичные для предметной области, и поддерживают целостность данных.

Сравнение моделей: Большинство исследований по сравнению моделей сосредоточены на эталонных наборах данных, которые могут не отражать реальные сложности. Существует пробел в исследованиях при оценке моделей на основе разнообразных, зашумленных и несбалансированных наборов данных, чтобы понять их истинные возможности обобщения.

Извлечение признаков с помощью моделей глубокого обучения: Хотя модели глубокого обучения могут автоматически извлекать признаки, им часто не хватает интерпретируемости. Требуется дополнительная работа над объяснимыми методами извлечения признаков, которые позволяют получить представление об изученных представлениях.

Стратегии оптимизации: Многие стратегии оптимизации не в полной мере используют знания предметной области, что приводит к неоптимальным решениям. Необходимы исследования по включению эвристики с учетом предметной области в фреймворки оптимизации для повышения производительности.

Проблемы в области дополнения данных: Увеличение объема данных может привести к получению избыточной или вводящей в заблуждение информации, что негативно скажется на производительности модели. Решение проблемы компромисса между расширением, разнообразием и реализмом данных остается открытой проблемой в приложениях глубокого обучения.

Критический анализ экспериментальной работы, выполненной в предлагаемом исследовании, выявляет заметные сильные и слабые стороны. С положительной стороны, модели трансферного обучения оказались очень эффективными при извлечении сложных признаков, что позволяет им преуспеть в таких задачах, как обнаружение опухолей головного мозга. Кроме того, передовые методы оптимизации, в том числе широко используемый оптимизатор Адама и более новые методы, продемонстрировали свою способность улучшать скорость сходимости и общую производительность модели.

Тем не менее, определенные ограничения сохраняются. Было проведено ограниченное исследование взаимодействия между оптимизаторами и моделями, которое могло бы дать более глубокое понимание достижения оптимальной производительности. Кроме того, недостатком было определено недостаточное внимание к настройке гиперпараметров, поскольку она играет решающую роль в обеспечении воспроизводимости и согласованности в различных приложениях.

Эта статья начинается с фундаментальной работы по извлечению признаков и передаче обучения, затем переходит к более продвинутым областям, таким как оптимизация и дополнение, и завершается выявлением ключевых пробелов в исследованиях. В существующей литературе выделено несколько ключевых пробелов. Одной из существенных проблем является несогласованный бенчмаркинг моделей трансферного обучения, когда они не оцениваются одинаково разными оптимизаторами, как отмечено в исследованиях ^6,36. Еще один пробел заключается в ограниченном исследовании настройки гиперпараметров и ее критической роли во влиянии на производительность модели, как было выявлено в исследованиях^14,37. Кроме того, отсутствует достаточное обоснование стратегий аугментации, используемых в различных исследованиях, особенно в отношении их влияния на надежность и обобщение модели, как это было отмечено в работах^15,23. Эти пробелы указывают на необходимость более стандартизированных и строгих подходов в будущих исследованиях.

Чтобы устранить эти пробелы, данное исследование выделяется тем, что в нем всесторонне оцениваются пять предварительно обученных моделей — VGG16, MobileNetV2, DenseNet121, InceptionV3 и ResNet50 — в паре с тремя оптимизаторами (Adam, SGD, Adamax). Устраняя пробелы в бенчмаркинге и исследуя взаимодействие оптимизатора и модели, он предлагает тщательный анализ динамики производительности. Тщательная настройка гиперпараметров с помощью поиска по сетке уточняет ключевые параметры, такие как скорость обучения, размеры пакетов и процент отсева, что приводит к повышению производительности модели.

В исследовании также представлены индивидуальные стратегии аугментации, включая регулировку яркости и контрастности, для улучшения обобщения модели. Стандартизированная система оценки с использованием ключевых показателей обеспечивает справедливое и последовательное сравнение моделей. В частности, MobileNetV2 становится самой эффективной моделью для обнаружения опухолей головного мозга, предоставляя практическую информацию и устанавливая новый стандарт воспроизводимости и эффективности в исследованиях медицинской визуализации.

В исследование были включены такие предварительно обученные модели, как VGG16, MobileNetV2, DenseNet121, InceptionV3 и ResNet50, поскольку они были тщательно протестированы и доказали свою эффективность в таких задачах, как классификация изображений, применяя при этом свои уникальные архитектурные преимущества для представления разнообразия. VGG16 предоставляет простую, но мощную среду для извлечения иерархических функций, в то время как мобильная NetV2 имеет легкую архитектуру и подходит для сред с ограниченными ресурсами. DenseNet121 работает над повышением эффективности за счет повторного использования функций с плотным соединением. В нем используются модули Inception, которые захватывают функции в различных масштабах с помощью InceptionV3. Resnet50, наряду с остаточными соединениями, идеально избегает исчезающих градиентов. Все три оптимизатора были выбраны SGD для сравнения с оптимизацией, Adam из-за его гибридизации импульса вместе с адаптивной скоростью обучения, что дает ему быструю сходимость, и Adamax, который оказался довольно надежным, особенно с разреженными градиентами.

Это исследование вносит уникальный вклад в эту область, объединяя оценку нескольких архитектур, анализ оптимизатора и настройку гиперпараметров в рамках единой всеобъемлющей структуры, значительно расширяя существующую базу знаний. Его систематическая методология и подробная отчетность обеспечивают воспроизводимость, позволяя другим исследователям воспроизводить результаты или использовать их в качестве основы для дальнейшего прогресса. Более того, практическая значимость этой работы очевидна, поскольку ее результаты могут напрямую направлять разработку будущих систем медицинской визуализации, способствуя повышению как точности, так и эффективности для клинических приложений.

Кроме того, представлен новый подход путем интеграции предварительно обученных базовых моделей, включая VGG16, MobileNetV2, DenseNet121, InceptionV3 и ResNet50, чтобы использовать их уникальные архитектуры для обнаружения опухолей головного мозга. В работе используются методы аугментации изображений, включая модификации яркости и контрастности, для увеличения разнообразия обучающего набора данных и улучшения обобщения модели. Целью данной работы является разработка и внедрение эффективного конвейера обучения, который использует генераторы данных для бесперебойной обработки больших наборов данных и эффективного обучения моделей при сохранении вычислительной мощности. Тщательный анализ предлагаемой работы выполнен с использованием трех различных оптимизаторов: Adam, Stochastic Gradient Descent (SGD) и Adamax, примененных к пяти различным предварительно обученным базовым моделям (VGG16, MobileNetV2, DenseNet121, InceptionV3 и ResNet50). Наконец, проводится углубленная оценка производительности модели путем изучения ключевых метрик, таких как полнота памяти, точность, прецизионность, оценка F1 и матрицы неточностей, чтобы получить полное представление о поведении модели.

Протокол

На рисунке 7 показана принципиальная блок-схема, представляющая общую методологию предлагаемого подхода. В предлагаемом методе снимки опухолей головного мозга с помощью МРТ предварительно обрабатываются с помощью двух популярных методик – нормализации и масштабирования. В этой работе используются некоторые популярные предварительно обученные модели обучения переноса, такие как VGG16, MobileNetV2, DenseNet121, ResNet50 и InceptionV3. После обучения модели тестируются на гипотетических случаях, и проводится обширный анализ для проверки производительности моделей на основе различных метрик производительности, таких как точность, полнота памяти, точность и оценка F1. Предлагаемая методика использует глубокое обучение для повышения эффективности классификации опухолей головного мозга и ее точности, что может улучшить процесс медицинской диагностики в будущем.

1. Получение набора данных

1. Получите набор данных: загрузите набор данных МРТ опухоли головного мозга от Kaggle, состоящий из 7023 изображений, разделенных на четыре класса: гипофиз, без опухоли, менингиома и глиома.
2. Разделите набор данных: разделите набор данных на обучающий набор (5 712 изображений) и тестовый набор (1 311 изображений).
   ПРИМЕЧАНИЕ: Убедитесь, что распределение классов сбалансировано между обучающими и тестовыми наборами для объективной оценки модели. На рисунке 8 показано визуальное распределение изображений по различным категориям в обучающем наборе данных. Некоторые примеры наборов данных МРТ-изображений из четырех различных классов можно увидеть на рисунке 9.

2. Предварительная обработка данных

1. Преобразование изображения:
   1. Преобразуйте каждое изображение МРТ в числовое представление с помощью библиотеки визуализации Python (PIL).
      1. Убедитесь, что установлены PIL (подушка) и numpy.
      2. Откройте МРТ-сканирование с помощью PIL.
      3. При необходимости преобразуйте изображение в оттенки серого, чтобы упростить обработку.
      4. Convert to NumPy Array - Преобразуйте изображение в числовой формат.
2. Расширение данных:
   1. Регулировка яркости: используйте функцию ImageEnhance.Brightness для случайного изменения яркости изображения в диапазоне от 0,8 до 1,2.
   2. Регулировка контрастности: Примените функцию ImageEnhance.Contrast для случайного изменения контрастности изображения в диапазоне от 0,8 до 1,2.
      ПРИМЕЧАНИЕ: Эти методы аугментации реализованы для моделирования изменений в реальных условиях визуализации, повышая надежность модели.
3. Нормализация: Преобразуйте дополненные изображения в массивы NumPy с помощью библиотеки PIL для загрузки изображения и применения дополнения (например, переворачивания, поворота). Далее преобразуем дополненное изображение в числовое представление (img_array = np.array(img_aug). В зависимости от модели машинного обучения измените форму или преобразуйте массив в плоскую форму (img_vector = img_array.flatten()). Наконец, нормализуйте их, разделив значения пикселей на 255,0, чтобы убедиться, что они находятся в диапазоне [0, 1].
   ПРИМЕЧАНИЕ: Этот шаг обеспечивает согласованный ввод данных для модели, способствуя стабильному обучению и производительности.

3. Трансферное обучение для классификации опухолей

1. Выбор модели: выберите предварительно обученные модели, включая VGG16, MobileNetV2, DenseNet121, InceptionV3 и ResNet50, для передачи обучения.
2. Извлечение признаков: Используйте предварительно обученные модели в качестве средств извлечения признаков, установив для большинства их слоев необучаемость. Обратитесь к приведенной ниже строке кода, чтобы установить уровни как необучаемые. Для слоя в base_model.layers[:15]:
   layer.trainable = Ложь
   ПРИМЕЧАНИЕ: На этом этапе используются иерархические представления, полученные из больших, разнообразных наборов данных, для лучшего обобщения по целевому медицинскому набору данных.
3. Тонкая настройка: Разморозьте последние три слоя каждой предварительно обученной модели, чтобы адаптироваться к конкретной задаче обнаружения опухолей головного мозга, используя приведенный ниже фрагмент кода: для слоя в base_model.layers[-3:]: layer.trainable = True
   Примечание: Тонкая настройка позволяет модели сосредоточиться на особенностях, имеющих отношение к обнаружению аномалий мозга.

4. Модели глубокого обучения для классификации опухолей

1. Структура стандартизированной модели:
   1. Добавьте слой Сведение в каждую модель, чтобы преобразовать иерархические объекты в одномерный массив После сглаживания добавьте Плотные слои для задач классификации или регрессии.
   2. Включите слои Dropout (с коэффициентами 0,3 и 0,2), чтобы уменьшить переобучение и улучшить генерализацию.
2. Плотные слои:
   1. Добавьте плотный слой со 128 нейронами с помощью активации выпрямленной линейной единицы (ReLU).
   2. Включите последний плотный слой с активацией softmax для многоклассовой классификации изображений опухолей головного мозга.
      ПРИМЕЧАНИЕ: Эта единая структура моделей обеспечивает согласованную оценку и сравнение.

5. Обучение и оптимизация

1. Входные характеристики: Стандартизируйте входные размеры изображений до (224, 224, 3) для всех моделей. Установите параметр include_top в значение False, исключив плотно связанные слои классификации и используя модели исключительно в качестве экстракторов признаков.
2. Инициализация весов: используйте веса imagenet для инициализации во всех моделях, чтобы обеспечить справедливое и содержательное сравнение.
3. Компиляция: Скомпилируйте все модели с использованием функции потерь sparse_categorical_crossentropy и метрики sparse_categorical_accuracy .
   ПРИМЕЧАНИЕ: Выбранная функция потерь подходит для многоклассовой классификации, когда метки являются целыми числами.
4. Стратегия оптимизации:
   1. Размеры партий: Проверьте размеры партий 16, 32 и 64, чтобы определить оптимальный размер для скорости и производительности обучения.
   2. Скорость обучения: Используйте скорость обучения 0,0001 для оптимизатора Adam и 0,001 для оптимизаторов SGD и Adamax.
   3. Коэффициенты отсева: Оцените коэффициенты отсева 0,2, 0,3 и 0,5, чтобы предотвратить переобучение.
      ПРИМЕЧАНИЕ: Эти параметры настраиваются для каждой модели для обеспечения оптимальной производительности.
5. Параметры обучения: установите единый размер пакета 20 и обучайте в течение 50 эпох для всех моделей.
   Реализуйте раннюю остановку на основе количества эпох, чтобы предотвратить переобучение и ненужную вычислительную нагрузку.
   ПРИМЕЧАНИЕ: Эта стандартизированная процедура позволяет объективно сравнивать характеристики модели.

6. Оценка модели

1. Метрики производительности: оценивайте каждую модель с помощью таких метрик, как точность, полнота и оценка F1.
2. Матрицы несоответствий: Построение матриц несоответствий для подробного анализа неправильных классификаций по классам.
   ПРИМЕЧАНИЕ: Эти оценки дают представление о сильных и слабых сторонах каждой модели, направляя дальнейшие улучшения.

Результаты

Оценка производительности каждой из пяти моделей — VGG16, MobileNetV2, DenseNet121, InceptionV3 и ResNet50 — включает в себя подробный анализ с кривыми точности, матрицами несоответствий и отчетами о классификации. Эти метрики и визуализации являются важными инструментами для оценки квалификации моделей в обнаружении опухолей головного мозга. Прогресс обучения моделей на протяжении эпох динамически представлен кривыми точности, которые также проливают свет на возможную переобучение и сход...

Обсуждение

Производительность модели

Эффективное использование моделей глубокого обучения (предварительно обученных) является основной причиной высоких результатов в идентификации опухолей головного мозга. Для оценки производительности используются следующие известные архитектуры : VGG16, MobileNetV2, DenseNet121, InceptionV3 и ResNet50. Эти модели обладают впечатляющими возможностями извлечения признаков, поскольку они ...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Инфраструктура графического процессора и Jupyter Notebook	Kaggle (поставщик онлайн-платформы)	Tesla-P100	от Kaggle' s Сервис Jupyter Notebook, использующий новейший графический процессор NVIDIA Tesla P100
Intel Core i5-8350U	Intel	i5-8350U	Intel Core i5-8350U CPU @ 1.70GHz (1.90 GHz max) для локальной обработки
Стандартная оперативная память		8GB_RAM	8 ГБ ОЗУ для обработки данных
Операционная система	Microsoft	Windows_64	64-разрядная ОС Windows для локальной обработки
Библиотеки	Python Сообщество Python	Н/Д	NumPy, scikit-learn, PIL, TensorFlow 2.12, Keras 2.12