Ранняя диагностика опухолей головного мозга имеет решающее значение для оптимизации прогноза и выбора лечения пациента. Точная сегментация и категоризация опухолей головного мозга имеют важное значение для создания специализированных методов лечения. По мере того, как использование МРТ для диагностики мозга растет, а технологии компьютерного зрения также совершенствуются, наличие хорошей и эффективной модели для выявления и категоризации опухолей на основе МРТ сканирования остается сложной задачей. Чтобы решить эту проблему, авторы предложили метод, основанный на глубоком обучении, для сегментации и классификации опухолей головного мозга из различных наборов данных. Для предварительной обработки изображений использовались девять методов аугментации для повышения производительности модели. Сегментация МРТ проводилась с помощью модели U-Net.
Разработанная классификационная модель на основе InceptionV3 и DenseNet201 предсказывает существование опухоли и классифицирует ее на глиому, менингиому и гипофиз. Обладая точностью 99,15%, InceptionV3 превосходит DenseNet201 (98,75%) в классификации опухолей. Дополнительная классификация опухолей была выполнена с помощью кластеризации как HGG и LGG на основе Inception-ResNet-v2. Степени опухоли (1-4) идентифицируются с точностью 96,64% с помощью Inception-ResNet-v2. Автономная система интегрирует гибридные модели с GPT-4.0 для формирования отчетов. Таким образом, эта новая структура вполне может быть пригодна для клиник при использовании для автоматической идентификации и разделения опухолей головного мозга с использованием входных изображений, полученных с помощью МРТ.