Подход к глубокому обучению на основе трансферного обучения для классификации остеоартрита коленного сустава с использованием модифицированной архитектуры XceptionNet

Summary

Для того, чтобы улучшить идентификацию остеоартрита коленного сустава по рентгеновским лучам, в этом исследовании предлагается OsteoXceptionNet, модель глубокого обучения, которая использует модифицированный XceptionNet с трансферным обучением. Эта модель улучшает извлечение признаков, снижает количество ошибок ручной интерпретации и обеспечивает более точную автоматическую классификацию.

Abstract

Остеоартрит коленного сустава (КОА) поражает миллионы людей во всем мире и не имеет известного лечения, что делает его серьезной проблемой глобального здравоохранения. Управление его развитием зависит от раннего обнаружения, и рентгеновская визуализация является фундаментальным методом диагностики. Однако из-за различий в уровне опыта радиологов ручная интерпретация рентгеновских снимков увеличивает вариабельность и возможные неточности. Последние достижения в области машинного обучения и методов глубокого обучения привели к созданию автоматизированных систем для радиологической идентификации остеоартрита коленного сустава. Тем не менее, для обнаружения на ранних стадиях получение большей точности прогнозирования по-прежнему имеет решающее значение. Используя аналитические сведения, собранные из большего набора данных, модели, обученные на меньших наборах данных, специфичных для предметной области, работают лучше за счет использования трансферного обучения. Благодаря своей глубине и эффективности, XceptionNet особенно хорошо подходит для задач, связанных с интерпретацией медицинских изображений. В отличие от предыдущих исследований, этот метод эффективно устраняет дисбаланс наборов данных за счет использования подходов к балансировке классов, интеграции настраиваемого конвейера предварительной обработки и добавления настраиваемых архитектурных улучшений в XceptionNet, что улучшает идентификацию KOA на ранних стадиях. С использованием этих современных методов предлагаемый подход демонстрирует потенциал в правильной идентификации остеоартрита по рентгенографическим изображениям коленного сустава, достигая 97% точности прогнозирования, 97,8% точности, 97,6% запоминания и 97,6% измерения F1. Кроме того, сгенерированная модель показала 95,94% каппа-значения Коэна, что указывает на хорошее согласие. Исследование поддерживает дальнейшие усилия по разработке надежной автоматизированной технологии выявления заболеваний, которая улучшает результаты лечения пациентов и способствует более эффективному оказанию медицинской помощи.

Introduction

Остеоартрит коленного сустава (КОА) является серьезной проблемой общественного здравоохранения во всем мире, которая затрагивает большое количество людей и ложится значительным бременем как на пациентов, так и на медицинские организации. При этом заболевании суставной хрящ коленного сустава постепенно разрушается. Он имеет сложную и многомерную этиологию, которая включает в себя сочетание возраста, ожирения, травмы суставов, биомеханических переменных и генетической предрасположенности^.

Потеря структурной целостности приводит к истончению хряща, трещинам и возможной эрозии, обнажая подлежащую кость. Симптомы КОА могут варьироваться в широких пределах и часто ухудшаться с течением времени, от небольшого дискомфорта до невыносимой боли и потери функции². Основной признак боли в колене обычно усиливается при упражнениях с весовой нагрузкой и длительной физической активности. Общие наблюдения включают скованность, особенно в периоды покоя, отеки, крепитацию и снижение диапазона движений³. Эти симптомы серьезно мешают повседневному функционированию, что приводит к функциональным ограничениям и снижению качества жизни тех, кто их испытывает.

Проверенная здесь гипотеза заключается в том, что автоматизированная модель, основанная на глубоком обучении, может выполнять диагностику наравне с профессиональными радиологами и правильно диагностировать уровень тяжести КОА по данным визуализации с использованием системы оценки Келлгрена-Лоуренса.

Цель данного исследования вытекает из ограничений, присущих традиционным методам диагностики и классификации остеоартрита коленного сустава. Традиционно рентгенографическая визуализация, особенно рентгенологический анализ коленного сустава, используется для оценки степени повреждения суставов. Тем не менее, физическое изучение этих изображений подвержено изменчивости и может занять много времени⁴. Достижения в области глубокого обучения и машинного обучения (ML) открывают многообещающий путь к автоматизации и повышению точности обнаружения и классификации KOA, предлагая более стандартизированный и эффективный подход. Это особенно важно на ранних стадиях заболевания, когда вмешательство может существенно повлиять на изменения в уровне жизни пациента по мере прогрессирования заболевания.

Подходы машинного обучения: Первые попытки автоматизировать идентификацию KOA были основаны на классических методах машинного обучения. Такие стратегии, как K-Nearest Neighbors, Support Vector Machine и Decision Tree, зависели от созданных вручную функций, которые были взяты из рентгеновских снимков колена. Несмотря на то, что они обеспечивали некоторую автоматизацию, качество и актуальность характеристик, полученных вручную, были основным фактором их эффективности. Это часто приводило к плохой обобщаемости и производительности⁵.

Подходы к глубокому обучению (DL): Появление сверточных нейронных сетей, или глубокого обучения, стало важной вехой в этой области. Благодаря своей репутации в области автоматизированного извлечения признаков, сверточные нейронные сети (СНС) становятся все более и более популярными при анализе изображений KOA. По сравнению с традиционными методами машинного обучения, эти алгоритмы продемонстрировали заметное улучшение с точки зрения точности, а также способности распознавать сложные шаблоны непосредственно по изображениям ^6,7.

Transfer Learning (TL): Это позволяет адаптировать модели к задачам, требующим медицинской визуализации, после их предварительного обучения на крупномасштабных общих наборах данных, приобрело популярность в недавних исследованиях⁸. Этот подход особенно хорошо работает в медицинской сфере, где распространены небольшие специализированные наборы данных.

Улучшенные результаты в классификации тяжести КОА выделены методом TL, который использует общие характеристики, полученные в ходе выполнения более крупных задач, и адаптирует их к конкретным тонкостям анализа медицинских изображений ^9,10.

Для идентификации и классификации KOA с использованием рентгенографических изображений в^{последние годы был} изучен ряд автоматизированных методов, в частности модели глубокого ^{обучения.} Тем не менее, многие современные модели либо не справляются должным образом с проблемами дисбаланса и интерпретируемости наборов данных, либо недостаточно точно обнаруживают проблемы на ранней стадии. Предложенный здесь метод расширяет эту структуру, добавляя три существенных усовершенствования: изменения в модели XceptionNet для улучшения извлечения признаков, методы балансировки классов для повышения надежности модели и настраиваемый конвейер предварительной обработки, предназначенный для улучшения характеристик коленного сустава. Вместе с поддержкой более точной и надежной категоризации KOA, эти улучшения обеспечивают существенное улучшение по сравнению с традиционными методами трансферного обучения.

Несмотря на то, что DL и ML продемонстрировали значительный прогресс в анализе KOA, все еще существуют проблемы, которые необходимо преодолеть, в основном с точки зрения достижения точной категоризации, улучшения интерпретируемости и управления дисбалансом данных. Предлагаемое исследование расширяет предыдущие исследования 13,14,15,16,17,18,19,20,21,22, предлагая более тщательную, прозрачную и справедливую оценку, тем самым расширяя границы того, что в настоящее время возможно в автоматизированной диагностике и классификации КОА. В таблице 1 представлен анализ современных исследований, проведенных в области выявления остеоартроза.

Изучать	Объективный		Сводка
Hu et al.13	Разработайте DeepKOA для прогнозирования прогрессирования остеоартрита коленного сустава с помощью МРТ-изображений.		DeepKOA демонстрирует многообещающие возможности прогнозирования остеоартрита коленного сустава, подчеркивая потенциал глубокого обучения в клинических условиях. Необходима дальнейшая проверка.
Guida et al.14	Улучшите классификацию степени тяжести ОА за счет интеграции рентгеновских, магнитно-резонансных и клинических данных.		Модель слияния значительно повышает точность классификации ОА, подчеркивая преимущества мультимодального подхода. Будущие исследования должны быть направлены на обобщаемость.
Bensalma et al.15	Выявление ассоциаций между различными факторами у пациентов с остеоартрозом коленного сустава с помощью мультимодального анализа.		Исследование выявляет взаимосвязь между множественными факторами при остеоартрите коленного сустава, предлагая возможности для целенаправленных вмешательств и дальнейших исследований.
Koppold et al.16	Изучите влияние длительного модифицированного голодания на симптомы остеоартроза.		Модифицированное голодание демонстрирует заметное улучшение симптомов у пациентов с остеоартритом, что указывает на его потенциал в качестве стратегии лечения. Необходимы дополнительные исследования, особенно рандомизированные контролируемые испытания.
Jain et al.17	Присутствует OsteoHRNet для оценки тяжести остеоартрита коленного сустава по рентгеновским снимкам.		OsteoHRNet обеспечивает повышенную точность классификации тяжести ОА коленного сустава по рентгеновским снимкам, что указывает на его потенциал для клинического применения. Рекомендуется дальнейшая проверка набора данных.
Afroze et al.18	Оценка методов выявления остеоартрита (ОА) на основе машинного обучения с помощью различных методов визуализации.		В обзоре выявлены критические пробелы в обнаружении открытого доступа на основе машинного обучения, подчеркнута необходимость стандартизированных подходов и эмпирических моделей.
Teoh et al.19	Разработка многозадачной модели для детальной диагностики остеоартрита по данным рентгенографии.		Многозадачная модель повышает точность диагностики ОА, прогнозируя индивидуальные особенности ОА и интенсивность боли, предполагая потенциал для точных вмешательств. Для расширения этих выводов рекомендуется провести дополнительные исследования.
Zhang et al.20	Создание модели для многоуровневой классификации повреждений хряща коленного сустава в МРТ.		Модель обеспечивает высокую точность классификации повреждений хряща коленного сустава с помощью МРТ, что является перспективным инструментом неинвазивной диагностики. Рекомендуется дальнейшая кросс-популяционная валидация.
Li et al.21	Изучить влияние многоракурсных изображений и априорной информации, а также способность модели глубокого обучения идентифицировать и классифицировать остеоартрит коленного сустава с помощью рентгеновских лучей.		Классификация KL KOA была правильно идентифицирована и категоризирована с использованием модели DL. Кроме того, предварительные знания и многоракурсные рентгеновские снимки повысили эффективность классификации.
Ratna et al.22	Узнайте, как машинное обучение используется в исследованиях остеоартрита коленного сустава, чтобы лучше понять прогрессирование заболевания и раннюю диагностику.		В исследовании подчеркивается, как машинное обучение повлияло на исследования ОА, особенно с точки зрения ранней диагностики и понимания развития, и рекомендуется проводить дополнительные исследования для улучшения его клинической интеграции.

Таблица 1: Обзор последних работ по выявлению остеоартроза коленного сустава.

Основной вклад работы включает в себя OsteoXceptionNet, модифицированную архитектуру XceptionNet, предназначенную для классификации остеоартрита коленного сустава, и использование специально созданного конвейера предварительной обработки для повышения точности диагностики. Для обучения используется набор данных Инициативы по остеоартриту (OAI), а для оценки используются многие базовые дизайны. Набор данных и методы подготовки описаны в последующих разделах исследования после обзора соответствующей литературы. После обзора экспериментальных результатов и обсуждения клинической важности в нем подробно рассматривается предложенная архитектура модели, прежде чем обобщить ключевые выводы и предложить будущие направления.

Набор данных и экспериментальная конфигурация
Набор данных OAI, который состоит из тысяч аннотированных рентгеновских изображений коленного сустава, собранных с течением времени из различных клинических мест, стал общедоступным для использования в этом исследовании. Пять классов остеоартрита коленного сустава Келлгрена-Лоуренса (KL) были представлены 9786 рентгеновскими изображениями коленного сустава, использованными для этого исследования: здоровый (3857 изображений), сомнительный (1770), минимальный (2578), умеренный (1286) и тяжелый (295). Во время предварительной обработки все изображения были равномерно масштабированы до 224 x 224 пикселей с помощью билинейной интерполяции. Предложенная структура OsteoXceptionNet была использована в экспериментальных условиях для автоматической сегментации структур коленного сустава с последующей их классификацией по классам тяжести КОА.

Чтобы обеспечить максимально возможный баланс классов, набор данных был разделен на подгруппы для обучения (80%), валидации (10%) и тестирования (10%). Несмотря на свою полезность, набор данных имеет несколько недостатков, таких как дисбаланс классов, при этом в группу Severe попадает меньше выборок, чем в другие. Кроме того, набор данных включает только рентгенографическую визуализацию; в нем отсутствуют мультимодальные входные данные, такие как магнитно-резонансная томография (МРТ) или клиническая информация, что может ограничить его обобщенность. Демографический перекос, который ограничивает актуальность данных для других этнических групп, поскольку они преимущественно представляют население Северной Америки, является еще одним заслуживающим внимания недостатком. Несмотря на то, что для смягчения этих ограничений, когда это возможно, использовались функции взвешенных по классам потерь и аугментация данных, они по-прежнему являются важными факторами при анализе производительности модели.

Основываясь на результатах рентгенографии, методы классификации, такие как система классификации Келлгрена-Лоуренса (KL), классифицируют тяжесть КОА на пять категорий: Степень 0 (здоровая), Степень 1 (сомнительная), Степень 2 (Минимальная), Степень 3 (Умеренная) и Степень 4 (Тяжелая)²³. Различные изображения марок KL показаны на рисунке 1.

Рисунок 1: Градация изображений коленного сустава по шкале KL. На основании результатов рентгенографии тяжесть КОА была классифицирована на пять категорий: степень 0 (здоровая), степень 1 (сомнительная), степень 2 (минимальная), степень 3 (умеренная) и степень 4 (тяжелая). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Protocol

В этом разделе представлен комплексный подход, разработанный для улучшения диагностики и классификации остеоартрита коленного сустава с использованием модифицированной модели XceptionNet. Представленная методология основана на тщательной предварительной обработке данных, тщательной настройке архитектуры модели и надежных методах оценки, которые предназначены для решения сложных проблем, связанных с визуализацией остеоартрита коленного сустава. На рисунке 2 проиллюстрирован ход модели.

Рисунок 2: Рабочий процесс модели. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Описание набора данных
Набор данных, использованный в этом исследовании, включает 9 786 рентгеновских изображений коленного сустава из набора данных OAI, которым была присвоена оценка OA на основе метода оценки KL. Этот набор данных, который предлагает широкий спектр примеров, охватывающих различные фазы KOA, имеет важное значение как для обучения, так и для оценки предлагаемой модели²⁴. Для масштабирования всех изображений использовалась билинейная интерполяция. Этот метод был выбран потому, что он обеспечивает компромисс между вычислительной эффективностью и поддержанием качества изображения, которые необходимы для поддержания анатомических особенностей, важных для категоризации остеоартрита коленного сустава. В наборе данных оценки расположены от 0 до 4, где степень 0 означает здоровое колено, а степень 4 обозначает тяжелый остеоартрит. Эта степень предлагает сложный диапазон эволюции заболевания, что важно для модели для понимания мельчайших вариаций на разных стадиях.

Кроме того, набор данных был организован в тестовые, проверочные и обучающие наборы. Для оценки производительности модели и обеспечения того, чтобы убедиться, что она учится эффективно обобщать без переобучения обучающей выборки, такое разделение было необходимо. Тестовый набор позволяет объективно оценить эффективность окончательно доработанной модели, так как он также был использован для модификации весов модели. Кроме того, валидационный набор помогает в тонкой настройке гиперпараметров и оценке моделей на протяжении всего этапа обучения. Краткая сводка распределения данных представлена в таблице 2, а на рисунке 3 представлено ее визуальное изображение.

Класс	Автотест	Тест	Поезд	Валь
0	604	639	2286	328
1	275	296	1046	153
2	403	447	1516	212
3	200	223	757	106
4	44	51	173	27

Таблица 2: Краткое описание набора данных.

Рисунок 3: Распределение набора данных. Набор данных был организован в тестовый, валидационный и обучающий наборы. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Предварительная обработка данных
Этот шаг имеет решающее значение и направлен на повышение производительности модели за счет повышения качества входных данных. Этапы предварительной обработки следующие.

Изменение размера изображения: К каждому рентгеновскому изображению применяется стандартный размер, чтобы обеспечить согласованность всего набора изображений. Этот этап необходим для того, чтобы модель могла последовательно и эффективно обрабатывать изображения. В этом процессе используется уравнение 1.

Новый размер изображения = Изменить размер (исходное изображение, стандартный размер) (1)

Нормализация: Значения пикселей на изображениях были стандартизированы таким образом, чтобы получить среднее значение, равное нулю, и стандартное отклонение, равное единице. Такой вид нормализации гарантирует, что входные значения попадают в один и тот же диапазон, что ускоряет сходимость модели во время обучения. Уравнение 2 используется для выполнения этого нормализующего шага.

(2)

Аугментация данных: Стратегии аугментации данных использовались для решения проблем, связанных с недостаточным объемом данных, и повышения способности модели к обобщению. Эти методы включают в себя перевороты, масштабирования, повороты и перемещения. Они вводят новые изображения, которые намеренно добавляются в обучающий набор данных. Уравнение 3 используется при реализации данной процедуры аугментации.

Дополненное изображение = Применить трансформацию (оригинальный iamge) (3)

Для обеспечения вариативности обучающей выборки с целью повышения надежности модели и минимизации переобучения были использованы различные методы аугментации. Диапазон сдвига 0,2, диапазон масштабирования от 0,8 до 1,2 (что соответствует коэффициенту масштабирования 0,2) и диапазон случайного вращения от -30° до +30° были включены в аугментацию обучающих данных. Для улучшения обобщения модели допускались как горизонтальные, так и вертикальные перевороты с вероятностью 0,5. Для вертикального и горизонтального сдвига также использовался коэффициент сдвига 0,1, или ± 10% искажения.

Балансировка классов: Алгоритмы взвешивания классов использовались из-за возможного дисбаланса классов в наборе данных (с большим количеством изображений одних классов открытого доступа, чем других). Чтобы модель не показывала смещение в пользу более распространенных классов, этот метод присваивает недопредставленным классам большие веса. В этом процессе используется уравнение 4. Для определения веса использовались следующие значения: Здоровый: 3857, Сомнительный: 1770, Минимальный: 2578, Умеренный: 1286 и Тяжелый: 295 - это распределения по классам 9786 всего выборок и 5 классов.

(4)

Разделение обучения и валидации: набор данных был организован в наборы для проверки и обучения с использованием традиционных соотношений 80:20. Разделение данных позволяет модели учиться на обучающих данных и регулярно оценивать ее производительность с помощью проверочного набора. Это позволяет выявить переобучение и оценить способность модели к обобщению.

Оптимизация конвейера данных: Был настроен улучшенный конвейер данных, гарантирующий эффективную обработку данных во время обучения модели. Чтобы уменьшить узкие места ввода-вывода и повысить производительность вычислений, в этом конвейере используются методы пакетной обработки, предварительной выборки и параллельного извлечения данных. Для повышения эффективности и производительности обучения был разработан конвейер входных данных. Чтобы гарантировать сбалансированное использование памяти и вычислительную нагрузку, был использован размер пакета 32. Для повышения эффективности ввода данных в функции map было использовано значение num_parallel_calls=4 для распараллеливания загрузки и предварительной обработки данных. Кроме того, чтобы свести к минимуму задержку ввода-вывода, используется prefetch(buffer_size=tf.data.AUTOTUNE) TensorFlow для автоматической регулировки размера буфера предварительной выборки. Это фактически перекрывало предварительную обработку данных и выполнение модели

На рисунке 4 показано несколько экземпляров различных классов изображений после базовой предварительной обработки.

Рисунок 4: Экземпляры из набора данных. На рисунке показано несколько экземпляров различных классов изображений после базовой предварительной обработки. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Благодаря этим тщательным шагам предварительной обработки набор данных превращается в надежную основу для обучения модифицированной модели XceptionNet, создавая основу для точного и надежного обнаружения и классификации KOA.

Архитектура модели
Базовая модель: Благодаря своей уникальной конструкции, в которой используются разделяемые по глубине свертки для достижения наилучшего возможного баланса между вычислительной эффективностью и сложностью модели, модель XceptionNet, созданная Франсуа Шолле, выделяется²⁵. Уравнение 5 было использовано для реализации сепарабельных сверток по глубине.

Глубинно разделимая свёртка(x) = Точечно (Глубина(x)) (5)

Это особенно актуально для данного исследования по нескольким причинам. Во-первых, его архитектура известна тем, что позволяет извлекать подробные и иерархические характеристики из изображений, что имеет решающее значение для анализа медицинских изображений, где тонкие особенности могут указывать на различные стадии состояния. Во-вторых, предложенная модель основана на архитектуре XceptionNet, которая продемонстрировала выдающуюся эффективность в нескольких задачах классификации изображений, направленных на обнаружение и классификацию остеоартроза коленного сустава²⁶.

Представленный OsteoXceptionNet является специализированной версией архитектуры XceptionNet, созданной специально для автоматической классификации остеоартрита коленного сустава по рентгеновским снимкам. Важные изменения включают в себя добавление еще трех сверточных блоков (фильтры: 512, 256 и 128) для улучшения извлечения признаков, специфичных для структур коленного сустава, а также сверточных слоев с размерами фильтров 3 x 3 и переменным количеством фильтров в диапазоне от 32 до 1024 для входного, среднего и выходного потоков. Пакетная нормализация и активация ReLU происходят после каждого сверточного слоя, а для минимизации переобучения добавляются слои дропаута. Для ввода модели используется стандарт 224 x 224 пикселя.

Тонкая настройка и модификации
Модификации: Модель XceptionNet была стратегически модифицирована в нескольких направлениях, чтобы сделать ее пригодной для классификации и обнаружения KOA.

Тонкая настройка: Верхние слои предварительно обученной модели XceptionNet были разморожены, что позволило модели изучить высокоуровневые характеристики, специфичные для рентгеновских изображений коленного сустава. Тонкая настройка модели проводилась по уравнению 6.

(6)

где θ_fine-tuned - параметры после тонкой настройки; θ_{предварительно обученные} параметры – это предварительно обученные параметры; λ – скорость обучения; ∇_{θпредварительно обученный}Loss — это градиент функции потерь, связанный с параметрами, которые были предварительно обучены.

Дополнительные сверточные слои: Дополнительные сверточные слои были введены на заключительном этапе модели. Эти слои имеют меньший размер ядра, чтобы сосредоточиться на извлечении более мелких деталей, относящихся к различным классам открытого доступа. Он был использован с использованием уравнения 7.

Сверточный выход = свертка (вход, ядро) (7)

Пакетная нормализация: После каждого добавленного сверточного слоя применяется пакетная нормализация для стабилизации обучения и увеличения скорости сходимости. Он используется с помощью уравнения 8.

(8)

где — нормализованный выход; x — вход слоя пакетной нормализации; μ — среднее значение для пакета входных данных; σ2 — дисперсия пакета входных данных; ε — минимальная константа для численной стабильности.

Функции активации: Функции активации ReLU используются в дополнительных слоях для введения нелинейности, тем самым позволяя модели приобретать более сложные структуры в данных. ReLU рассчитывается с помощью уравнения 9.

ReLU(x) = max(0,x) (9)

где, x — вход функции активации ReLU.

Dropout: Для предотвращения переобучения включаются слои dropout, особенно после вновь добавленных слоев, чтобы обеспечить генерализацию модели даже на невидимых данных. Это было сделано с помощью уравнения 10.

Выход = Вход × Маска (10)

Конфигурация выходного слоя
Выходной слой: Исходная модель XceptionNet структурирована для многоклассовой классификации с функцией активации Softmax в выходном слое. В этой адаптированной модели выходной слой настроен таким образом, чтобы представить пять степеней остеоартрита коленного сустава, начиная от 0 до 4 степени, т.е. от здорового до тяжелого уровня. В частности, этот слой состоит из пяти нейронов, каждый из которых соответствует одной из степеней ОА. Функция активации Softmax была использована в этом слое для получения распределения вероятностей по пяти классам, что позволило предложенной модели прогнозировать соответствующую степень ОА для данного рентгеновского снимка коленного сустава. Этот подход согласовывает выходные данные модели непосредственно со шкалой клинической оценки, облегчая интуитивную и практическую интерпретацию прогнозов модели для медицинских работников.

Архитектура XceptionNet специально адаптирована, которая была предварительно обучена на наборе данных ImageNet, для целей представленного исследования по классификации тяжести остеоартрита коленного сустава. Модель использовала изученные признаки из большого и разнообразного набора данных с использованием предварительно обученных весов от ImageNet, что дало ей прочную основу. Чтобы настроить фундаментальную модель XceptionNet для предполагаемых исследований, было добавлено множество новых слоев.

Во-первых, двухмерные сверточные слои были объединены с различным количеством фильтров и размеров ядер, каждый из которых был активирован ReLU и пакетной нормализацией для добавления нелинейности. Эти дополнительные слои были предназначены для захвата и усиления особенностей, связанных с тяжестью остеоартрита коленного сустава. Затем модель была готова к последнему этапу классификации путем добавления слоя Global Average Pooling 2D (GAP), который сжимает карту признаков, сохраняя при этом важные данные. В частности, операция GAP обеспечивает уменьшение размерности с минимальными потерями данных за счет уменьшения пространственных размерностей каждой карты признаков до одного значения при сохранении глубины, которая может варьироваться от 7 x 7 x 1024 до 1 x 1 x 1024. Выходные данные слоя GAP подавались в функцию активации Softmax, которая обеспечивала многоклассовую классификацию путем преобразования логитов в вероятности. Уравнения 11, 12, 13, 14, 15, 16 и 17 используются для GAP, активации Softmax, вычисления карты признаков, снижения скорости обучения, компиляции модели, корректировки веса классов и потери многоклассовой классификации соответственно.

(11)

где, x,_i,j – активация i-й строки карты признаков и j-го столбца; H — высота карты объектов; W – ширина карты объектов.

(12)

где, x_i — вход в функцию Softmax для класса i; n — количество классов.

Карта признаков = σ(Свертка(Ввод, Ядро) + Смещение) (13)

где, Свёртка — операция свёртки; i - функция активации; Input — входной тензор к слою; Ядро — это сверточное ядро; Предвзятость — это термин предвзятости.

Новый коэффициент обучения = коэффициент × коэффициент обучения (14)

Model = Compile(Архитектура,Потери,Оптимизатор,Метрики) (15)

(16)

где,_Класс веса — вес, присвоенный классу; Общее количество выборок — это total_number_of_samples набора данных; Number_of_Classes — количество отличительных классов в наборе данных; Выборка в классе — это количество выборок в определенном классе.

(17)

где, y,_i — фактическое распределение вероятностей для класса I; p_i — предсказание распределения вероятностей класса I ; N — количество классов.

Наконец, модель, теперь включающая модифицированную архитектуру XceptionNet с пользовательскими слоями, была скомпилирована для прогнозирования вероятностей для каждого класса. С помощью этих модификаций цель состояла в том, чтобы расширить возможности модели по выявлению нюансов, связанных с различными степенями тяжести остеоартрита коленного сустава, улучшив ее классификационные характеристики для конкретной задачи.

Для стабильной и эффективной сходимости оптимизатор Адама был использован для обучения модели с коэффициентом обучения 0,0001, при этом 0,5 использовался в качестве коэффициента отсева для минимизации переобучения. Для ограничения сложности модели и улучшения обобщения были использованы стратегии регуляризации L1 и L2. Для задач многоклассовой классификации с целочисленными метками подходящей функцией потерь была разреженная категориальная кроссэнтропия. Обучение проводилось на протяжении 50 эпох. Softmax, конечная функция активации, использовалась для генерации распределений вероятностей классов. Кроме того, для обучения использовался 64-ступенчатый размер.

Обучение: Процесс обучения был очень важным этапом. На этом этапе модифицированная модель XceptionNet обучается точному обнаружению и классификации KOA на рентгенографических изображениях. Для реализации модели XceptionNet были использованы Keras версии 2.6.0 и бэкенд TensorFlow версии 2.6.0. Ниже приведена подробная информация о ключевых компонентах этапа обучения, включая функцию потерь, оптимизатор, обратные вызовы, размер пакета и эпохи.

Loss_Function: Для задачи многоклассовой классификации использовалась категориальная cross_entropy. Эта функция потерь особенно подходит для задач, в которых ожидается, что каждому экземпляру будет присвоена одна и только одна метка из набора категорий²⁷. Он оценивает производительность модели, получая оценку вероятности в пределах от нуля до единицы. Эта потеря была использована в качестве индикатора для эффективного обучения этой модели для точного прогнозирования серьезности KOA, поскольку она увеличивается, когда прогнозируемая вероятность отличается от фактической метки.

Оптимизатор: Был использован оптимизатор Адама, который хорошо известен своей эффективностью и динамическими характеристиками скорости обучения. Адам объединяет преимущества алгоритмов AdaGrad и RMSProp, предлагая алгоритм оптимизации, способный управлять разреженными градиентами в условиях зашумленной задачи²⁸.

Основные параметры для оптимизатора Adam
Коэффициент обучения: Коэффициент обучения был использован в размере 0,0001, что позволило оптимизатору первоначально внести существенные корректировки в весовые коэффициенты, тем самым оптимизируя процесс обучения.

Beta1 и Beta2: Эти параметры регулируют скорость, с которой квадрат градиента и скользящие средние предыдущих градиентов уменьшаются соответственно. Используются значения по умолчанию 0,9 для beta1 и 0,999 для beta2.

Epsilon: Этот параметр предотвращает любое деление на ноль в реализации, установленное в маленькое число, близкое к нулю.

Обратные вызовы: Обратные вызовы используются во время обучения для контроля производительности модели и для корректировки. Были задействованы следующие обратные звонки:

Early_Stopping: Используется для мониторинга потери валидации модели, а также для остановки процесса обучения, если потери перестают уменьшаться в течение заданного количества эпох (это называется терпением). Когда данные валидации больше не показывают улучшения производительности модели, они останавливают процесс обучения, что помогает предотвратить переобучение.

Reduce LROn Plateau: Этот обратный вызов снижает скорость обучения, когда потери при проверке перестают улучшаться, что позволяет более тонко корректировать веса, что потенциально может привести к повышению общей производительности модели²⁹.

Контрольная точка модели: Этот обратный вызов сохраняет модель через определенный интервал, чтобы после завершения процесса обучения можно было получить наилучшую версию модели. Как правило, он отслеживает точность или потери проверки и сохраняет вес модели при обнаружении улучшения.

Размер партии и эпохи:
Размер партии: 32 — это типичный размер партии, который использовался для балансировки требований к стабильности сходимости модели и эффективности вычислений. Размер партии 32 обеспечивает баланс, будучи достаточно большим для использования вычислительной оптимизации и в то же время достаточно маленьким, чтобы обеспечить стабильную оценку градиента.

Эпохи: модель настроена на обучение в течение до 50 эпох, хотя обучение может быть остановлено досрочно, если активируется обратный вызов EarlyStoping. 50 эпох обеспечивают достаточное количество итераций для корректировки весов и сходимости модели, в то время как EarlyStopping гарантирует, что обучение не будет продолжаться без необходимости.

Благодаря тщательной настройке этих параметров и использованию обратных вызовов процесс обучения был оптимизирован, чтобы модель эффективно обучалась и хорошо обобщала невидимые данные. Чтобы гарантировать справедливое и точное представление всех классов в прогнозах моделей, был использован ряд подходов для решения проблемы дисбаланса данных. Во-первых, чтобы компенсировать недостаточную представленность некоторых классов, взвешивание классов использовалось на протяжении всего этапа обучения. Классам с меньшим количеством выборок придавался больший вес. Чтобы еще больше уменьшить влияние дисбаланса классов во время обучения, также использовался ImageDataGenerator от Keras, чтобы убедиться, что модель подвергается воздействию различных классов в каждой партии³⁰.

Метрики оценки
При оценке эффективности разработанной модели были использованы многочисленные параметры, которые описаны ниже.

Точность (ACC): Отношение точно предсказанных наблюдений ко всем наблюдениям количественно определяется этой статистикой. Когда целевые классы распределены поровну, это выгодно. Его расчет основан на уравнении 18.

(18)

Точность (PR): Точность модели измеряет, насколько хорошо она может различать все ожидаемые положительные и положительные случаи. В условиях, когда процент ложноположительных результатов существенен, это очень важно. Его расчет основан на уравнении 19.

 (19)

Отзыв (R): Отзыв, также известный как чувствительность, количественно определяет процент правильно обнаруженных истинных положительных результатов. Это особенно важно в ситуациях, когда игнорирование хорошего примера может иметь серьезные последствия. Его вычисление включает в себя уравнение 20.

 (20)

F1_Score: Это гармоническое среднее значение точности (PR) и полноты (R), оно обеспечивает справедливую оценку, особенно при наличии неравномерного распределения классов. Его расчет включает в себя уравнение 21.

(21)

ROC AUC: Area Under the Curve for Receiver Operating Characteristics (ROC AUC) количественно определяет способность модели различать классы. Повышенные значения AUC означают превосходную производительность модели. Его расчет основан на уравнении 22.

(22)

Каппа Коэна (CK): Эта метрика оценивает соответствие между двумя оценщиками, которые классифицируют N элементов по C взаимоисключающим классам. Он обеспечивает большую надежность по сравнению с точностью, особенно при работе с несбалансированными классами. Его расчет включает в себя уравнение 23.

(23)

Метрики Средняя абсолютная ошибка (MAE), Среднеквадратичная ошибка (RMSE) и Среднеквадратичная ошибка (MSE): Хотя эти параметры обычно используются для задач регрессии, они могут предоставить полезные сведения в сценариях классификации, особенно в порядковых классификациях. Они вычисляют разницу между реальным и прогнозируемым значениями. Эти метрики были рассчитаны с использованием уравнений 24, 25 и 26 соответственно.

(24)

(25)

(26)

Оценка F2: оценка F2 отдает приоритет запоминанию, а не точности, что ценно в сценариях, где упущение положительного прогноза влечет за собой большие затраты, чем создание ложного срабатывания. Его расчет включает в себя уравнение 27.

(27)

Кривая точности и полноты: Этот график показывает, как баланс полноты и точности на различных уровнях. Чем больше площадь под кривой, тем выше уровни как полноты, так и точности.

Вышеуказанные параметры были выбраны для того, чтобы обеспечить тщательную оценку производительности модели по всем параметрам, особенно в контексте дисбаланса набора данных и важности точного определения различных степеней остеоартрита коленного сустава.

Results

На этапе валидации модели был принят ряд важных мер, чтобы гарантировать ее обобщение на данные, которые еще не наблюдались. Изначально набор данных делится на обучающий и проверочный наборы. Это распространенная процедура, используемая для оценки производительности модели на наборе данных, который не использовался при обучении. Предлагая отдельные наборы данных для обучения и проверки, такое разделение позволило избежать переобучения и провести тщательную оценку эффективности модели.

Подходы ...

Discussion

В исследовании была представлена автоматизированная методика оценки KOA на основе глубокого обучения с использованием рентгеновских изображений. Модель, в которой использовалась архитектура XceptionNet, продемонстрировала заметную надежность и точность по целому ряду оценочных показателей, что позволяет предположить, что она может найти применение в клинических условиях.

В дополнение к текущей методологии, для дальнейшего подтверждения гипотезы и оценки обобща...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Jupyter Notebook/Colab	Проект Jupyter / Google	Н/Д	Для разработки и экспериментирования с моделями в интерактивном режиме.
Matplotlib (Версия: 3.4.3) & Seaborn (Версия: 0.11.2)	Сообщество	Н/Д	Для визуализации данных и построения графиков результатов.
Данные Mendeley/Kaggle	Elsevier; Сообщество	Н/Д	Источник набора данных: Набор данных для оценки тяжести остеоартрита коленного сустава
OpenCV (Версия: 4.5.5)	Информация	Н/Д	Для предварительной обработки рентгеновских изображений (изменение размера, CLAHE, фильтрация по Гауссу).
Python (Версия: 3.8)	Python Software Foundation	Н/Д	Язык программирования, используемый для разработки моделей.
scikit-learn (Версия: 1.0.2)	Сообщество	Н/Д	Используется для разделения данных, метрик производительности и основных утилит машинного обучения.
TensorFlow/Keras	Google/Сообщество	Н/Д	Используется для реализации и обучения модели глубокого обучения на основе XceptionNet. Версия Tensorflow: 2.6.0, RRID:SCR_018932. Версия Keras: 2.6.0, RRID:SCR_018961
ОС Ubuntu	Канонический	Н/Д	Используемая операционная система для совместимости со всеми программными средствами. Рекомендуется версия 20.04.