Summary
Введен протокол сегментации объектов для изображений орбитальной компьютерной томографии (КТ). Методы маркировки наземной истинности орбитальных структур с использованием сверхразрешения, извлечения интересующего объема из изображений КТ и моделирования сегментации с несколькими метками с использованием 2D последовательной U-Net для орбитальных изображений КТ объясняются для контролируемого обучения.
Abstract
В последнее время модели сегментации на основе глубокого обучения широко применяются в офтальмологической области. В данном исследовании представлен полный процесс построения модели сегментации орбитальной компьютерной томографии (КТ) на основе U-Net. Для контролируемого обучения требуется трудоемкий и трудоемкий процесс. Введен метод маркировки со сверхразрешением для эффективной маскировки наземной правды на орбитальных КТ-изображениях. Также объем интереса обрезается в рамках предварительной обработки набора данных. Затем, после извлечения объемов, представляющих интерес для орбитальных структур, модель сегментации ключевых структур орбитальной КТ строится с использованием U-Net, с последовательными 2D-срезами, которые используются в качестве входов, и двумя двунаправленными сверточными долговременными короткими воспоминаниями для сохранения межсрезовых корреляций. Это исследование в первую очередь фокусируется на сегментации глазного яблока, зрительного нерва и экстраокулярных мышц. Оценка сегментации выявляет потенциальное применение сегментации к орбитальным снимкам КТ с использованием методов глубокого обучения.
Introduction
Орбита представляет собой небольшое и сложное пространство размером около 30,1см3 , которое содержит важные структуры, такие как глазное яблоко, нервы, экстраокулярные мышцы, поддерживающие ткани и сосуды для зрения и движений глазного яблока1. Орбитальные опухоли представляют собой аномальные разрастания тканей на орбите, и некоторые из них угрожают зрению пациентов или движению глазного яблока, что может привести к фатальной дисфункции. Чтобы сохранить зрительную функцию пациентов, клиницисты должны принять решение о методах лечения на основе характеристик опухоли, и хирургическая биопсия, как правило, неизбежна. Эта компактная и переполненная область часто затрудняет для клиницистов выполнение биопсии, не повреждая нормальную структуру. Анализ изображений патологии на основе глубокого обучения для определения состояния орбиты может помочь избежать ненужного или предотвратимого повреждения орбитальных тканей во время биопсии2. Одним из методов анализа изображений орбитальных опухолей является обнаружение и сегментация опухолей. Однако сбор больших объемов данных для КТ-изображений, содержащих орбитальные опухоли, ограничен из-за их низкой заболеваемости3. Другой эффективный метод вычислительной диагностики опухоли4 включает сравнение опухоли с нормальными структурами орбиты. Количество орбитальных КТ-снимков в нормальных структурах относительно больше, чем в опухолях. Поэтому сегментация нормальных орбитальных структур является первым шагом к достижению этой цели.
В этом исследовании представлен весь процесс сегментации орбитальной структуры на основе глубокого обучения, включая сбор данных, предварительную обработку и последующее моделирование. Исследование предназначено для того, чтобы стать ресурсом для клиницистов, заинтересованных в использовании текущего метода для эффективного создания замаскированного набора данных, а также для офтальмологов, которым требуется информация о предварительной обработке и моделировании для орбитальных изображений КТ. В этой статье представлен новый метод сегментации орбитальной структуры и последовательный U-Net, последовательная модель 2D-сегментации, основанная на репрезентативном решении глубокого обучения в U-Net для сегментации медицинских изображений. Протокол описывает подробную процедуру сегментации орбиты, в том числе (1) как использовать инструмент маскировки для наземной истинности сегментации структуры орбиты, (2) шаги, необходимые для предварительной обработки орбитальных изображений, и (3) как обучить модель сегментации и оценить производительность сегментации.
Для контролируемого обучения четыре опытных офтальмолога, которые были сертифицированы более 5 лет, вручную аннотировали маски глазного яблока, зрительного нерва и экстраокулярных мышц. Все офтальмологи использовали программу маскировки (MediLabel, см. Таблицу материалов), которая использует сверхразрешение для эффективной маскировки на КТ. Программное обеспечение маскировки имеет следующие полуавтоматические функции: (1) SmartPencil, который генерирует кластеры суперпиксельных карт с аналогичными значениями интенсивности изображения5; (2) SmartFill, который генерирует маски сегментации путем вычисления энергетической функции текущего переднего и заднего плана 6,7; и (3) Автокоррекция, которая делает границы масок сегментации чистыми и согласованными с исходным изображением. Примеры изображений полуавтоматических функций показаны на рисунке 1. Подробные шаги ручной маскировки приведены в разделе протокола (шаг 1).
Следующим шагом является предварительная обработка орбитальной компьютерной томографии. Для получения орбитальных объемов, представляющих интерес (VOI), идентифицируются области орбиты, где в нормальных условиях расположены глазное яблоко, мышца и нерв, и эти области обрезаются. Набор данных имеет высокое разрешение, с разрешением <1 мм в плоскости вокселя и толщиной среза, поэтому процесс интерполяции пропускается. Вместо этого обрезка окон проводится на уровне обрезки 48 HU и окне 400 HU. После обрезки и обрезки окон генерируются три последовательных среза орбитальных VOI для входных данных модели сегментации8. В разделе протокола (шаг 2) приведены подробные сведения о шагах предварительной обработки.
U-Net9 является широко используемой моделью сегментации для медицинских изображений. Архитектура U-Net включает в себя кодировщик, который извлекает особенности медицинских изображений, и декодер, который представляет дискриминирующие признаки семантически. При использовании U-Net для компьютерной томографии сверточные слои состоят из 3D-фильтров10,11. Это сложная задача, потому что для вычисления 3D-фильтров требуется большой объем памяти. Для снижения требований к памяти для 3D U-Net был предложен SEQ-UNET8, в котором в U-Net используется набор последовательных 2D-срезов. Чтобы предотвратить потерю пространственно-временных корреляций между срезами 2D-изображения 3D-КТ, в базовой U-Net используются две двунаправленные сверточные долгосрочные короткие воспоминания (C-LSTM)12. Первый двунаправленный C-LSTM извлекает межсрезовые корреляции в конце энкодера. Второй двунаправленный C-LSTM после вывода декодера преобразует информацию семантической сегментации в размерах последовательности срезов в единую сегментацию изображения. Архитектура SEQ-UNET показана на диаграмме 2. Коды реализации доступны на github.com/SleepyChild1005/OrbitSeg, а использование кодов подробно описано в разделе протокола (шаг 3).
Protocol
Настоящая работа была выполнена с одобрения Институционального наблюдательного совета (IRB) Католического медицинского центра, и конфиденциальность, конфиденциальность и безопасность медицинской информации были защищены. Орбитальные данные КТ были собраны (от обезличенных людей) из больниц, связанных с Медицинским колледжем, Католическим университетом Кореи (CMC; Сеульская больница Святой Марии, Больница Святой Марии Йоуидо, Больница Святой Марии Тэджон и Больница Святого Винсента). Орбитальная компьютерная томография была получена с января 2016 года по декабрь 2020 года. Набор данных содержал 46 орбитальных компьютерных томографий корейских мужчин и женщин в возрасте от 20 до 60 лет. Сводная информация о среде выполнения (RTE) приведена в дополнительной таблице 1.
1. Маскировка глазного яблока, зрительного нерва и экстраокулярных мышц на орбитальной компьютерной томографии
- Запустите программу маскировки.
ПРИМЕЧАНИЕ: Программное обеспечение для маскировки (MediLabel, см. Таблицу материалов) - это программа для маркировки медицинских изображений для сегментации, которая требует нескольких кликов и имеет высокую скорость. - Загрузите орбитальный CT, щелкнув значок открытого файла и выбрав целевой файл CT. Затем компьютерная томография отображается на экране.
- Маскируйте глазное яблоко, зрительный нерв и экстраокулярные мышцы с помощью суперпикселей.
- Запустите SmartPencil, щелкнув мастер SmartPencil в MediLabel (видео 1).
- При необходимости управляйте разрешением суперпиксельной карты (например, 100, 500, 1000 и 2000 суперпикселей).
- Нажмите на скопление суперпикселей глазного яблока, зрительного нерва и экстраокулярных мышц на суперпиксельной карте, где сгруппированы пиксели с аналогичными значениями интенсивности изображения.
- Уточните маски с помощью функций автокоррекции в MediLabel.
- Нажмите на мастер SmartFill после маскировки некоторых суперпикселей на фрагментах (видео 2).
- Щелкните значок Автозамена и убедитесь, что вычислены исправленные метки масок (видео 3).
- Повторяйте шаги 1.3 и 1.4 до тех пор, пока не будет завершена доработка маскировки.
- Сохраните замаскированные изображения.
2. Предварительная обработка: обрезка окон и обрезка VOI
- Извлеките VOI с помощью preprocessing_multilabel.py (файл можно загрузить с GitHub).
- Запустите preprocessing_multilabel.py.
- Проверьте сканы и маски, которые обрезаны и сохранены в папке VOI.
- Преобразуйте VOI в набор из трех последовательных фрагментов CT для ввода в SEQ-UNET с builder_multilabel.py (файл можно загрузить с GitHub).
- Запустите sequence_builder_multilabel.py.
- Убедитесь, что во время преобразования размер фрагментов и масок изменяется до 64 на 64 пиксела.
- Во время преобразования выполните обрезку с уровнем обрезки 48 HU и окном 400 HU.
- Проверьте сохраненные преобразованные КТ-сканы (файл nii) и маски (файл nii) в папке сканирования и папке маски в предварительно обработанных папках соответственно.
3. Четыре перекрестные проверки модели орбитальной сегментации
- Постройте модель, выполнив следующие действия.
- Запустите main.py.
- При выполнении main.py задайте число сгибов четырех перекрестных проверок с помощью "-fold num x", где x равно 0, 1, 2 или 3.
- При запуске main.py используйте в качестве опции epoch, которая представляет собой количество обучающих итераций, например, «-epoch x», где x — число эпохи. Значение по умолчанию — 500.
- При выполнении main.py задайте размер пакета, который представляет собой количество обучающих образцов за один сеанс обучения. Значение по умолчанию — 32.
- В main.py загрузите компьютерную томографию и маски и инициализируйте SEQ-UNET с предварительно обученными параметрами с помощью набора данных LIDC-IDRI (можно загрузить из архива визуализации рака).
- В main.py, выполните тестирование модели после обучения. Рассчитайте метрики оценки, оценку кубиков и сходство томов и сохраните их в папке метрик.
- Проверьте результаты в сегментированной папке.
Representative Results
Для количественной оценки были приняты две оценочные метрики, которые использовались в задаче сегментации изображений КТ. Это были две метрики сходства, включая оценку костей (DICE) и сходство объема (VS)13:
DICE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
где TP, FP и FN обозначают истинно положительные, ложноположительные и ложноотрицательные значения соответственно, когда дается результат сегментации и маска сегментации.
Эффективность SEQ-UNET для сегментации орбитальной структуры оценивалась с помощью четырех перекрестных проверок. Результаты приведены в таблице 1. Сегментация глазного яблока с использованием SEQ-UNET достигла оценки костей 0,86 и VS 0,83. Сегментация экстраокулярных мышц и зрительного нерва достигла низких показателей костей (0,54 и 0,34 соответственно). Оценка сегментации глазного яблока составляла более 80%, потому что она имела большую часть VOI и небольшую неоднородность между КТ-сканированием. Показатели костей экстраокулярных мышц и зрительного нерва были относительно низкими, потому что они нечасто появлялись в объеме КТ и были обнаружены в относительно небольшом количестве срезов КТ. Тем не менее, показатели визуального сходства экстраокулярных мышц и зрительного нерва (0,65 и 0,80 соответственно) были выше, чем их показатели игральных костей. Этот результат свидетельствует о том, что специфика сегментации была низкой. В целом, оценка игральных костей и визуальное сходство SEQ-UNET для сегментации всех орбитальных подструктур составили соответственно 0,79 и 0,82. Примеры визуальных результатов сегментации орбитальной структуры показаны на рисунке 3. На рисунке 3A-C синий — это прогнозируемый результат сегментации, а красный — маска истинной истины. На рисунке 3D красный, зеленый и оранжевый — это глазное яблоко, зрительная мышца и сегментация нервов соответственно.
Рисунок 1: Полуавтоматические функции маскировки. Маскировка глазного яблока, экстраокулярных мышц и зрительного нерва на орбитальной компьютерной томографии с использованием (A) SmartPencil, (B) SmartFill и (C) AutoCorrection. Маска глазного яблока маркируется SmartPencil, который вычисляет суперпиксели срезов, а маска создается нажатием на суперпиксели. После нажатия на некоторые суперпиксели глазного яблока, вся маска глазного яблока может быть вычислена с помощью SmartFill. В случае маскировки зрительного нерва уточнение маскировки производится методом автокоррекции. Глазные яблоки синего цвета показаны в пунктах (A) и (B). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 2: Архитектура SEQ U-Net. Последовательные 2D-срезы в качестве входных и выходных; два двунаправленных C-LSTM применяются к концу блоков кодирования и декодирования на основе архитектуры U-Net. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 3: Результаты сегментации орбитальных структур. (A) Глазное яблоко (метка 1), (B) оптическая мышца (метка 2), (C) зрительный нерв (метка 3) и (D) мультиметка (метки 1, 2 и 3). Левое изображение — это VOI орбиты, центральное изображение — предсказанная сегментация, а правое изображение — это истина земли. В (A), (B) и (C) синий — это предсказанный результат сегментации, а красный — основная маска истины. В (D) красный, зеленый и оранжевый - это глазное яблоко, экстраокулярная мышца и сегментация зрительного нерва соответственно. Прогнозируемая сегментация показала высокую производительность (DICE: 0,86 против 0,82) в случае глазного яблока, но низкую производительность в случае экстраокулярной мышцы (DICE: 0,54 против 0,65) и зрительного нерва (DICE: 0,34 против 0,8). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
| Мульти-Этикетка | Этикетка 1 (Глазное яблоко) | Метка 2 (Экстраокулярная мышца) | Метка 3 (Зрительный нерв) | |||||
| Игра в кости | ВС | Игра в кости | ВС | Игра в кости | ВС | Игра в кости | ВС | |
| SEQ-UNET | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
Таблица 1: Результаты сегментации для оценки игральных костей и визуального сходства. Глазное яблоко, которое имеет относительно большое количество срезов, было хорошо сегментировано с DICE 0,8, но экстраокулярная мышца и зрительный нерв, которые имеют небольшое количество срезов и форму линии, были частично сегментированы со значениями DICE 0,54 и 0,34 соответственно .
Видео 1: Мастер SmartPencil в программе маскировки. Демонстрация аннотирования нескольких пикселей для маскировки глазного яблока. Задачи маскировки включаются одним щелчком мыши по кластеризованным суперпикселям. Пожалуйста, нажмите здесь, чтобы загрузить это видео.
Видео 2: Мастер SmartFill в программе маскировки. Демонстрация аннотирования нескольких пикселей для маскировки глазного яблока. После выделения некоторых пикселов в области аннотации эта функция создает маски полной сегментации с интенсивностью, аналогичной выделенным пикселям. Пожалуйста, нажмите здесь, чтобы загрузить это видео.
Видео 3: Автокоррекция в программе маскировки. Демонстрация автоматической коррекции замаскированного пикселя с помощью предварительно обученного алгоритма сверточной нейронной сети. Пожалуйста, нажмите здесь, чтобы загрузить это видео.
Дополнительная таблица 1: Среда выполнения (RTE) маскировки, предварительной обработки и сегментации моделирования. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.
Discussion
Анализ медицинских изображений на основе глубокого обучения широко используется для выявления заболеваний. В офтальмологической области модели обнаружения и сегментации используются при диабетической ретинопатии, глаукоме, возрастной макулярной дегенерации и ретинопатии недоношенных. Тем не менее, другие редкие заболевания, кроме тех, которые находятся в офтальмологии, не были изучены из-за ограниченного доступа к большим открытым публичным наборам данных для анализа глубокого обучения. При применении этого метода в ситуациях, когда общедоступный набор данных недоступен, этап маскировки, который является трудоемкой и трудоемкой задачей, неизбежен. Однако предлагаемый этап маскировки (раздел протокола, шаг 1) помогает генерировать маскировку с высокой точностью в течение короткого времени. Используя суперпиксели и заполнение на основе нейронных сетей, которые объединяют пиксели, похожие по низкоуровневым свойствам изображения, клиницисты могут пометить маски, щелкнув группы пикселей вместо указания конкретных пикселей. Кроме того, функции автоматической коррекции помогают уточнить процессы маски. Эффективность и результативность этого метода помогут генерировать больше замаскированных изображений в медицинских исследованиях.
Среди многих возможностей в предварительной обработке, извлечении VOI и обрезании окон являются эффективными методами. Здесь извлечение VOI и обрезка окон представлены на шаге 2 протокола. Когда клиницисты готовят набор данных, извлечение VOI из данного набора данных является наиболее важным шагом в процессе, поскольку большинство случаев сегментации сосредоточены на небольших и конкретных областях во всем медицинском изображении. Что касается VOI, области глазного яблока, зрительного нерва и экстраокулярных мышц обрезаются в зависимости от местоположения, но более эффективные методы извлечения VOI имеют потенциал для улучшения показателей сегментации14.
Для сегментации в исследовании используется SEQ-UNET. 3D-медицинские изображения имеют большие объемы, поэтому глубокие модели нейронных сетей требуют больших объемов памяти. В SEQ-UNET модель сегментации реализована с небольшим количеством срезов для уменьшения требуемого объема памяти без потери возможностей 3D-информации.
Модель была обучена с 46 VOI, что не является большим числом для обучения модели. Из-за небольшого количества тренировочных наборов данных производительность сегментации зрительного нерва и экстраокулярных мышц ограничена. Трансферное обучение15 и адаптация предметнойобласти 8 могут обеспечить решение для повышения производительности сегментации.
Весь процесс сегментации, введенный здесь, не ограничивается орбитальной сегментацией КТ. Эффективный метод маркировки помогает создать новый набор данных медицинских изображений, когда область применения уникальна для области исследования. Коды python GitHub, касающиеся предварительной обработки и моделирования сегментации, могут быть применены к другим доменам с модификацией области обрезки, уровня обрезки окон и гиперпараметров модели, таких как количество последовательных срезов, архитектуры U-Net и так далее.
Disclosures
Авторы заявляют об отсутствии конфликта интересов.
Acknowledgments
Эта работа была поддержана Национальным исследовательским фондом Кореи (NRF), грантом, финансируемым Министерством науки и ИКТ Кореи (MSIT) (номер: 2020R1C1C1010079). Для набора данных CMC-ORBIT центральный институциональный наблюдательный совет (IRB) Католического медицинского центра предоставил одобрение (XC19REGI0076). Эта работа была поддержана исследовательским фондом Университета Хонгик 2022 года.
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
