Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.

Методическая статья

FedMediFormer-XAI: Федеративные мультимодальные трансформеры с диффузионным усилением и графовой системой рекомендаций препаратов для лечения диабета

162 просмотров

⸱

DOI:

10.3791/73113

⸱

8 сентября 2026 г.

 ,  , 
1Department of Computer Engineering, Bharati Vidyapeeth (Deemed to be University) College of Engineering, 2School of Computer Science and Engineering, Vellore Institute of Technology, 3Department of Computer Science and Engineering, Kathmandu University

В этой статье

Краткое содержание

В данном протоколе предлагается FedMediFormer-XAI — мультимодальная система анализа данных при диабете, обеспечивающая конфиденциальность за счет федеративного обучения, мультимодальных трансформеров, аугментации на основе диффузионных моделей, графовых методов персонализированного подбора лекарственных средств и объяснимого искусственного интеллекта для точного прогнозирования, прозрачного принятия решений и персонализированного управления диабетом.

Аннотация

Управление диабетом сталкивается с рядом препятствий, таких как фрагментированность данных здравоохранения, вопросы конфиденциальности, недостаточная объяснимость и отсутствие персонализированных терапевтических рекомендаций. В данной исследовательской работе представлена FedMediFormer-XAI — унифицированная и комплексная платформа, объединяющая федеративное обучение, мультимодальные трансформеры, аугментацию данных на основе диффузионных моделей, графовые нейронные сети (GNN) для рекомендаций лекарственных средств и объяснимый искусственный интеллект (XAI) для анализа данных о диабете. Система использует различные типы данных здравоохранения, например, клинические записи, показатели здоровья населения, данные непрерывного мониторинга глюкозы, изображения глазного дна, измерения с носимых датчиков и фармакологическую информацию. Для генерации синтетических образцов и устранения дисбаланса классов используются диффузионные модели, а архитектуры мультимодальных трансформеров применяются для изучения взаимосвязей между крайне разнородными источниками данных. Федеративное обучение позволяет осуществлять совместное обучение моделей с соблюдением конфиденциальности без обмена исходными данными пациентов. Компонент GNN фиксирует взаимодействия «пациент-препарат» и «препарат-препарат» для персонализированного подбора лекарственных средств. Методы объяснимости, такие как аддитивные объяснения Шепли (SHAP), визуализация внимания, интегрированные градиенты и контрфактуальный анализ, обеспечивают прозрачную интерпретацию результатов прогнозирования и рекомендаций. В репрезентативной реализации предлагаемая платформа достигла точности (accuracy) 94.2%, прецизионности (precision) 93.1%, полноты (recall) 92.8%, F1-меры 92.9%, коэффициента корреляции Мэтьюза (MCC) 0.88 и площади под ROC-кривой (AUC-ROC) 0.96. Модуль рекомендаций на основе графов достиг значений precision = 0.89, recall = 0.84 и нормализованного дисконтированного кумулятивного усиления (NDCG) = 0.91. Данный протокол предлагает структурированный подход к интеграции гетерогенных данных здравоохранения с использованием мультимодальных трансформеров, федеративного обучения, диффузионной аугментации, графовых рекомендаций и объяснимого искусственного интеллекта. Представленные результаты вычислений демонстрируют потенциал платформы для прогнозирования диабета и персонализированного подбора медикаментов, в то время как федеративная архитектура обеспечивает децентрализованную обработку данных. Для подтверждения клинической полезности, обобщающей способности и применимости в реальных условиях требуется проведение проспективного многоцентрового клинического исследования.

Введение

Сахарный диабет входит в число основных хронических метаболических заболеваний, поражающих человечество, и представляет собой серьезную проблему общественного здравоохранения в связи с его постоянным распространением, долгосрочными последствиями и огромными затратами на лечение пациентов1,2. Согласно отчету, в настоящее время во всем мире более 537 миллионов взрослых людей живут с диабетом, и ожидается, что в ближайшие несколько десятилетий это число значительно возрастет3. При отсутствии контроля над высоким уровнем сахара в крови у человека могут развиться тяжелые осложнения, такие как ишемическая болезнь сердца4, поражение почек5, повреждение нервов6, потеря зрения7 и инсульт8. Таким образом, выявление заболевания на самом раннем этапе, регулярный мониторинг состояния пациента и его обучение с использованием передовых медицинских подходов являются необходимыми шагами, которые помогут пациентам вести более здоровую жизнь и, тем самым, снизят расходы государственной системы здравоохранения9,10.

В настоящее время стремительно распространяется использование электронных медицинских карт (ЭМК), носимых устройств, систем непрерывного мониторинга глюкозы (НМГ), технологий визуализации сетчатки и мобильных приложений для здравоохранения, что приводит к созданию больших объемов гетерогенных медицинских данных, доступных для анализа11. Эти разнообразные инструменты сбора данных позволяют получить обширную информацию о человеческом организме, его функциональных возможностях на разных стадиях заболевания, реакции пациента на различные виды лечения, а также об особенностях его поведения в реальной жизни12. Искусственный интеллект (ИИ) зарекомендовал себя как оптимальное решение для обработки высокосложных данных, прогнозирования диабета, мониторинга заболевания и оказания помощи врачам при принятии клинических решений13. Кроме того, алгоритмы машинного обучения, включая случайные леса, метод опорных векторов и методы градиентного бустинга, показали отличные результаты в оценке риска развития диабета14. В последнее время архитектуры глубокого обучения обеспечили автоматическое извлечение признаков и повысили прогностическую эффективность в различных областях здравоохранения15.

Благодаря методам мультимодального обучения возможности анализа данных о диабете были значительно расширены за счет объединения структурированных клинических записей, физиологических показателей, изображений сетчатки и поведенческих индикаторов в единую прогностическую систему16. Используя несколько источников информации, мультимодальные модели позволяют выявлять закономерности, которые не видны при раздельном изучении каждой модальности17. Модели на основе трансформеров в последнее время эффективно выявляют долгосрочные зависимости и контекстуальные связи в различных типах данных здравоохранения18. Однако такие проблемы, как несбалансированность классов, пропуски в данных, гетерогенность данных и ограниченная обобщающая способность, все еще препятствуют широкому внедрению мультимодальных систем ИИ в клиническую практику19.

Несмотря на эти достижения, многие существующие системы интеллектуального анализа диабета по-прежнему опираются на централизованные структуры обучения, которые по определению требуют консолидации данных пациентов из разных учреждений в едином репозитории20. Подобные методы уже приводят к спорам о конфиденциальности данных пациентов, праве владения данными, кибербезопасности и соблюдении нормативных требований21. Фактически, из-за правовых и этических соображений поставщики медицинских услуг часто ограничены в возможности обмена конфиденциальными данными пациентов22. В этом контексте федеративное обучение становится жизнеспособным решением, так как оно позволяет обучать совместную модель без передачи фактических данных пациентов23. Благодаря децентрализованной оптимизации и безопасному агрегированию параметров федеративное обучение обеспечивает анализ состояния здоровья с защитой конфиденциальности, используя знания из географически распределенных наборов данных24. Тем не менее, издержки связи, неоднородность клиентов и стабильность сходимости по-прежнему представляют собой серьезные проблемы в сценариях применения федеративного обучения в здравоохранении25.

Еще одним недостатком используемых в настоящее время интеллектуальных систем для диагностики и лечения диабета является отсутствие прозрачности и поддержки персонализированной терапии. Многие модели глубокого обучения работают по принципу «черного ящика», что представляет проблему для клиницистов, стремящихся понять логику, лежащую в основе прогнозов и рекомендаций26. Методы объяснимого искусственного интеллекта (XAI), такие как SHAP, Integrated Gradients, визуализация внимания (attention visualization) и контрфактуальные рассуждения, демонстрируют большой потенциал для повышения прозрачности моделей и доверия со стороны врачей27. Кроме того, графовые нейронные сети (GNNs) стали наиболее продвинутыми инструментами для анализа взаимодействий «пациент — препарат» и «препарат — препарат», что позволяет формировать персонализированные рекомендации по лекарственной терапии и оценивать безопасность медикаментов28. Новые диффузионные модели также предложили решения для генерации достоверных синтетических данных в сфере здравоохранения и устранения дисбаланса классов29.

Трансформеры, федеративное обучение, генерация синтетических данных на основе диффузионных моделей, графовые нейронные сети и объяснимый искусственный интеллект продемонстрировали многообещающие результаты в приложениях для здравоохранения; однако их интеграция в рамках единой воспроизводимой системы анализа данных при диабете остается ограниченной. Существующие подходы обычно рассматривают эти компоненты независимо, фокусируясь либо на обучении с сохранением конфиденциальности без персонализированных рекомендаций по лечению, либо на мультимодальном прогнозировании без децентрализованного обучения, либо на объяснимости без поддержки принятия клинических решений на основе графов. Хотя диффузионные модели могут способствовать балансировке классов, а архитектуры трансформеров — изучению взаимосвязей между гетерогенными модальностями данных здравоохранения, стандартизированные протоколы интеграции этих дополняющих друг друга технологий по-прежнему ограничены. Таким образом, в данной работе представлен унифицированный методологический протокол, который объединяет мультимодальное прогнозирование, аугментацию на основе диффузионных моделей, федеративную оптимизацию, персонализированный подбор лекарственных препаратов на основе графов и объяснимый искусственный интеллект в рамках воспроизводимого рабочего процесса, обеспечивая при этом основу для будущей клинической валидации и внедрения.

В отличие от исследований, в которых предполагается наличие мультимодальных наборов данных на уровне отдельных пациентов, данный протокол объединяет гетерогенные общедоступные наборы данных без проведения прямого сопоставления пациентов. Для каждого источника данных обучаются независимые модели, специфичные для конкретной модальности, а скрытые вложения признаков объединяются с помощью механизма кросс-модального внимания. Такая архитектура обеспечивает методологическую строгость, позволяя интегрировать мультимодальные знания из различных репозиториев данных здравоохранения.

Предлагаемый протокол предназначен прежде всего для методологической разработки и распределенных систем ИИ в здравоохранении, в которых гетерогенные источники данных доступны в разных репозиториях или учреждениях, а прямая централизация данных ограничена. В текущей реализации наборы данных для разных модальностей независимы и не сопоставлены по пациентам; следовательно, мультимодальная интеграция выполняется на уровне выученных представлений, а не посредством прямого соответствия на уровне пациентов. Практическое применение потребует наличия надлежащим образом связанных мультимодальных данных пациентов, согласованной предварительной обработки и определений результатов во всех участвующих центрах, подходящей вычислительной инфраструктуры, а также соблюдения применимых этических, нормативных требований и правил конфиденциальности.

В данной работе представлен FedMediFormer-XAI — федеративный мультимодальный трансформерный фреймворк, который обеспечивает конфиденциальный анализ данных при диабете за счет объединения функций прогнозирования, рекомендаций и интерпретируемости в рамках одной системы. Данный фреймворк интегрирует аугментацию данных на основе диффузионных моделей для решения проблемы дисбаланса классов, мультимодальное трансформерное обучение для прогнозирования диабета, федеративное обучение для совместной разработки моделей, персонализированный подбор лекарственных средств на основе графовых нейронных сетей, а также методы объяснимого искусственного интеллекта для обеспечения прозрачности поддержки принятия клинических решений. Общая архитектура и рабочий процесс предлагаемого фреймворка FedMediFormer-XAI проиллюстрированы на Рисунке 1.

Основные вклады предложенного фреймворка FedMediFormer-XAI резюмированы следующим образом: (1) Представлен унифицированный протокол, объединяющий федеративное обучение, мультимодальные трансформеры, аугментацию данных на основе диффузионных моделей, персонализированный подбор лекарственных средств на базе графовых нейронных сетей и объяснимый искусственный интеллект в рамках единого воспроизводимого рабочего процесса для интеллектуального анализа диабета. (2) Разработана стратегия федеративного обучения с сохранением конфиденциальности, позволяющая осуществлять совместное обучение моделей между симулированными распределенными медицинскими клиентами без обмена исходными данными пациентов. (3) Внедрена архитектура мультимодального трансформера для совместного извлечения взаимодополняющих представлений из структурированных клинических записей, данных непрерывного мониторинга глюкозы, изображений глазного дна и показателей здоровья населения. (4) Интегрирована генерация синтетических данных на основе диффузионных моделей для уменьшения дисбаланса классов и повышения устойчивости модели при сохранении статистических характеристик исходных обучающих данных. (5) Использован модуль обучения на гетерогенных графах на базе GraphSAGE для моделирования связей «пациент-препарат» и «препарат-препарат» с целью персонализированного подбора лекарств и ранжирования методов лечения с учетом лекарственных взаимодействий. (6) Интегрированы несколько методов объяснимого искусственного интеллекта, включая SHapley Additive exPlanations (SHAP), интегрированные градиенты (Integrated Gradients), визуализацию внимания и контрфактуальные объяснения, для повышения прозрачности модели и обеспечения интерпретируемости результатов прогнозирования и рекомендаций. (7) Представлен комплексный протокол валидации, включающий прогностическую оценку, анализ эффективности федеративного обучения, оценку качества рекомендаций, анализ объяснимости, оценку с участием клиницистов, внешнюю валидацию и анализ воспроизводимости.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

Все наборы данных, использованные в данном исследовании, были получены из общедоступных репозиториев и содержали обезличенную информацию о пациентах. К ним относились Pima Indians Diabetes Dataset, CDC Diabetes Health Indicators Dataset, OhioT1DM Dataset, APTOS 2019 Blindness Detection Dataset, Drug Review Dataset и Drug-Drug Interaction Dataset. Прямой набор пациентов, вмешательства, сбор образцов или доступ к идентифицируемой личной медицинской информации не осуществлялись. Исследование было ограничено вторичным анализом общедоступных анонимизированных наборов данных для разработки и валидации методологии и проводилось в соответствии с институциональными требованиями к использованию таких данных. Оценка с участием людей, описанная в данном протоколе, предназначена для последующей реализации и не проводилась в настоящем исследовании. Исследователям, проводящим такую оценку, следует получить соответствующее одобрение Институционального комитета по этике, получить письменное информированное согласие от всех участников и соблюдать применимые институциональные требования, соглашения об использовании данных и государственные нормы.

1. Настройка вычислительной среды

  1. Установите Python 3.11 в качестве основной среды программирования. Установите PyTorch 2.3 и TensorFlow 2.15 для разработки и обучения моделей глубокого обучения. Установите библиотеку Transformers (v4.45) для реализации архитектур на базе трансформеров.
  2. Установите PyTorch Geometric (v2.5) для построения и обучения графовых нейронных сетей. Установите SHAP (v0.47) и Captum (v0.8) для проведения анализа интерпретируемости и атрибуции признаков.
  3. Установите NumPy, Pandas и Scikit-learn для численных вычислений, предобработки данных и использования инструментов машинного обучения. Установите OpenCV и Matplotlib для обработки изображений и визуализации. Установите NetworkX для построения и анализа графов лекарственных взаимодействий.
  4. Установите CUDA Toolkit и совместимые драйверы NVIDIA GPU для обеспечения аппаратного ускорения вычислений. Настройте GPU NVIDIA RTX 4090 с объемом системной памяти не менее 32 GB. Установите случайный seed на значение 42 для этапов обучения, валидации и тестирования для обеспечения воспроизводимости результатов. Проверьте установку и совместимость используемых программных библиотек. Зафиксируйте версии программного обеспечения, технические характеристики оборудования и параметры конфигурации моделей, использованные при анализе.

2. Подготовка и предварительная обработка наборов данных

  1. Загрузите и распределите необходимые клинические, физиологические, визуализационные и фармакологические наборы данных по репозиториям соответствующих модальностей и проверьте их целостность. Подтвердите характеристики наборов данных, цели прогнозирования и уровни интеграции, как указано в Таблицах 1 и 2. Рабочий процесс проиллюстрирован на Рисунке 2.
  2. Удалите дубликаты, недостоверные или противоречивые записи, а также записи с отсутствующими важными переменными. Разделите каждый применимый набор данных на независимые по пациентам подмножества для обучения (70%), валидации (15%) и тестирования (15%). Выполните импутацию медианой, Min-Max масштабирование и категориальное кодирование, используя только обучающее подмножество, и примените полученные преобразования без изменений к подмножествам валидации и тестирования. Генерацию синтетических данных выполняйте только на обучающем подмножестве. Проверьте правильность разделения и отсутствие утечки данных в соответствии с Дополнительной таблицей 1.
  3. Импортируйте данные об уровне глюкозы, потреблении пищи, дозировке инсулина, физической активности и сне. Стандартизируйте временные метки, приведите события к регулярным интервалам, линейно интерполируйте незарегистрированные значения глюкозы, разделите непрерывные записи на окна фиксированной длины и примените z-score нормализацию для создания входных данных временного трансформера (Temporal Transformer).
  4. Загрузите изображения глазного дна и удалите поврежденные или нечитаемые файлы, дубликаты, изображения с отсутствующими метками, а также изображения с серьезными артефактами или недостаточной видимостью поля сетчатки.
  5. Измените размер сохраненных изображений до 224 × 224 пикселей, нормализуйте интенсивность пикселей до диапазона [0, 1] и примените адаптивную гистограммную эквализацию с ограничением контраста (CLAHE).
  6. Выполните аугментацию обучающих изображений с помощью случайного поворота в пределах ±15°, горизонтального отражения с вероятностью 0.5, случайного масштабирования в пределах 0.9–1.1× и регулировки яркости в пределах ±20%. Не применяйте стохастическую аугментацию к изображениям для валидации или тестирования. Сохраните обработанные изображения для обучения Vision Transformer.
  7. Интегрируйте представления конкретных модальностей в соответствии со стратегией интеграции наборов данных, обобщенной в Таблице 2. Не выполняйте прямое сопоставление на уровне пациентов между независимыми репозиториями при отсутствии общих идентификаторов пациентов.
  8. Сохраняйте каждый общедоступный набор данных как независимый набор данных конкретной модальности, так как идентификаторы пациентов не передаются между репозиториями.
  9. Обучайте экстракторы признаков для каждой модальности независимо, используя соответствующие наборы данных: (а) клинические записи → энкодер TabTransformer; (б) показатели здоровья населения → энкодер TabTransformer; (в) непрерывный мониторинг глюкозы → Temporal Transformer; (г) изображения глазного дна → Vision Transformer; (д) фармакологические данные → модуль GraphSAGE.
  10. Извлеките латентные эмбеддинги признаков независимо для каждой модальности. Объединяйте только полученные латентные эмбеддинги с помощью предложенного модуля кросс-модального внимания (cross-modal attention fusion module), а не путем слияния необработанных записей пациентов.
  11. Убедитесь, что между независимыми общедоступными наборами данных не проводится искусственное сопоставление пациентов. Сохраняйте независимые разделы для обучения, валидации и тестирования для каждого набора данных на протяжении всех этапов предобработки, аугментации и разработки модели.
  12. Сохраните объединенные мультимодальные представления признаков для последующего прогнозирования, федеративного обучения, обеспечения интерпретируемости и персонализированного подбора лекарственных препаратов (Рисунок 2).

3. Выполнение аугментации данных на основе диффузионных моделей

  1. Примените аугментацию на основе диффузионных моделей к структурированным табличным наборам данных клинического характера и данных о здоровье населения с помощью TabDDPM. Генерируйте синтетические образцы исключительно из предварительно обработанного обучающего раздела, чтобы предотвратить утечку данных. Настройте модель в соответствии с Дополнительная таблица 2.
  2. Обучайте TabDDPM в течение максимум 500 эпох, используя оптимизатор Adam (скорость обучения = 1 × 10⁻4; размер пакета = 256). Примените раннюю остановку, если функция потерь на валидационной выборке не улучшается как минимум на 0,001 в течение 20 последовательных эпох. Сгенерируйте синтетические образцы для малопредставленных классов.
  3. Оцените качество синтетических данных с помощью статистики Колмогорова–Смирнова (KS), расхождения Йенсена–Шеннона, расстояния Вассерштейна, попризнакового корреляционного анализа и эффективности последующей классификации. Сравните распределения признаков оригинальных и синтетических данных с помощью перекрытия гистограмм, ядерной оценки плотности и парных коэффициентов корреляции.
  4. Принимайте синтетические образцы только в том случае, если распределения признаков по классам остаются согласованными с исходными обучающими данными (критерий Колмогорова-Смирнова, p > 0,05; расхождение Йенсена — Шеннона < 0,10) и не содержат нереалистичных клинических значений. Объедините принятые образцы с исходным обучающим набором данных для создания сбалансированного по классам набора данных. Рабочий процесс аугментации показан на Рисунок 3.
  5. Проведите валидацию синтетических данных путем повторного обучения модели прогнозирования диабета с использованием исходного и дополненного обучающих наборов данных. Сравните показатели точности (Accuracy), F1-меры (F1-score), коэффициента корреляции Мэтьюза (MCC) и площади под ROC-кривой (AUC-ROC) для оценки изменений в обобщающей способности модели и систематической ошибке распределения.

4. Разработка мультимодальной модели трансформера

Настройте мультимодальный трансформер с использованием специфических для каждой модальности энкодеров для структурированных клинических данных, последовательностей CGM и изображений глазного дна сетчатки, как показано на рисунке 4. Интегрируйте полученные представления с помощью кросс-модального внимания для прогнозирования диабета и графового персонализированного подбора лекарственных препаратов.

  1. Разработка клинического энкодера
    1. Инициализируйте архитектуру энкодера TabTransformer. Подайте на вход нормализованные клинические переменные и показатели здоровья населения. Сгенерируйте контекстуальные представления признаков с помощью механизмов внимания трансформера.
    2. Настройте энкодер TabTransformer, используя 32 структурированные входные клинические переменные, размерность эмбеддинга 128, четыре слоя трансформера, восемь голов внимания, размерность полносвязного слоя (feed-forward) 512, коэффициент дропаута 0.20 и функцию активации GELU (Gaussian Error Linear Unit).
    3. Обучите латентные клинические эмбеддинги, которые отражают взаимосвязи между атрибутами пациентов. Сохраните полученные клинические эмбеддинги для мультимодальной интеграции.
  2. Разработка энкодера непрерывного мониторинга глюкозы
    1. Инициализируйте темпоральный трансформер-энкодер. Подайте в него последовательности данных непрерывного мониторинга глюкозы и физиологические измерения. Используйте механизмы самовнимания для кодирования временных зависимостей.
    2. Настройте темпоральный трансформер со следующими параметрами: длина последовательности 96 временных шагов, интервал дискретизации 15 min, размерность эмбеддинга 128, четыре слоя трансформера, восемь голов внимания, синусоидальное позиционное кодирование и коэффициент дропаута 0.20.
    3. Сформируйте последовательные эмбеддинги, отражающие динамику глюкозы у пациента. Подготовьте темпоральные эмбеддинги для последующего процесса слияния.
  3. Разработка энкодера Vision Transformer
    1. Инициализируйте архитектуру Vision Transformer. Подайте на вход предварительно обработанные изображения глазного дна. Разделите изображения на патчи фиксированного размера.
    2. Настройте Vision Transformer с разрешением входного изображения 224 × 224 pixels, размером патча 16 × 16 pixels, размерностью эмбеддинга 768, 12 блоками трансформера, 12 головами внимания и коэффициентом дропаута 0.10.
    3. Сгенерируйте представления признаков на уровне патчей. Получите визуальные признаки, указывающие на патологии сетчатки и биомаркеры заболевания. Сохраните эмбеддинги изображений для мультимодального слияния.
  4. Выполнение кросс-модального слияния
    1. Извлеките латентные представления из клинического энкодера, энкодера CGM и Vision Transformer и спроецируйте каждое из них в общее 256-мерное латентное пространство, используя независимые линейные проекции с последующей послойной нормализацией (Layer Normalization).
    2. Конкатенируйте спроецированные токены модальностей, добавьте обучаемые эмбеддинги типов модальностей и примените многоголовое кросс-модальное внимание для обеспечения обмена информацией между клиническими, CGM и ретинальными представлениями. Настройте блок внимания с восемью головами, 256-мерным пространством модели, 1024-мерным полносвязным слоем, активацией GELU, дропаутом 0.10, остаточными связями (residual connections) и послойной нормализацией.
    3. Выполните средний пулинг (mean-pooling) для каждой группы специфичных для модальности токенов и конкатенируйте полученные представления. Спроектируйте конкатенированный 768-мерный вектор в единое мультимодальное представление размерностью 512 и сохраните веса внимания и объединенные представления для последующего анализа интерпретируемости и абляционного анализа.
    4. Передайте единое представление в модули прогнозирования диабета и рекомендации лекарственных средств на основе GraphSAGE. Сохраняйте исходные разделения на обучающую, валидационную и тестовую выборки для каждой модальности на протяжении всего процесса слияния без искусственного сопоставления пациентов между независимыми наборами данных.
    5. Настройте мультимодальный трансформер в соответствии с параметрами модели, приведенными в Дополнительной таблице 3.

5. Настройка федеративного обучения

  1. Настройте среду федеративного обучения для обеспечения совместного обучения моделей в географически распределенных медицинских учреждениях без обмена данными на уровне пациентов. Выполните локальную оптимизацию модели в каждом участвующем учреждении, используя доступные локально данные. Передавайте на центральный сервер агрегации только защищенные параметры модели. Обеспечьте конфиденциальность данных пациентов, создав условия для совместной разработки мультимодальных моделей.
  2. Разделите мультимодальные наборы данных и распределите их между несколькими федеративными клиентами, чтобы имитировать сценарий сотрудничества различных медицинских учреждений без обмена данными.
  3. Настройте сеть федеративного обучения, включив 10 участвующих клиентов (больниц), один центральный сервер агрегации, установив пять локальных эпох на раунд связи, 100 раундов связи, долю участия клиентов 80%, случайный выбор клиентов в каждом раунде связи и минимум восемь участвующих клиентов за раунд.
  4. Предоставьте каждому клиенту набор данных, относящийся к конкретному учреждению, чтобы данные оставались локальными и конфиденциальными. Распределите мультимодальные обучающие данные между 10 симулируемыми клиентами-больницами, используя стратегию распределения на основе распределения Дирихле (non-IID), чтобы создать гетерогенные распределения классов, демографический состав и различные размеры наборов данных клиентов.
  5. Используйте фиксированный seed генератора случайных чисел для обеспечения воспроизводимости. Проверьте полученные распределения на уровне клиентов и сохраните эти разделы на протяжении всего процесса федеративного обучения. Оставьте валидационные и тестовые наборы данных независимыми от разделов клиентов.
  6. Инициализируйте каждого локального клиента параметрами глобальной модели, полученными от центрального сервера агрегации. Обучайте локальный мультимодальный трансформер в течение пяти эпох, используя локальные обучающие данные клиента. Оптимизируйте локальную модель с помощью оптимизатора AdamW с коэффициентом скорости обучения 1 × 10⁻4.
  7. Вычислите обновления параметров локальной модели после завершения локального обучения. Защитите параметры локальной модели перед передачей на центральный сервер агрегации. Передайте защищенные локальные параметры модели на центральный сервер агрегации для глобальной агрегации.
  8. Примите защищенные параметры модели от всех участвующих клиентов-больниц. Перед агрегацией проверьте целостность полученных обновлений модели. Агрегируйте веса локальных моделей с помощью алгоритма федеративного усреднения (FedAvg). Обновите глобальный мультимодальный трансформер, используя агрегированные параметры модели.
  9. Перераспределите обновленные параметры глобальной модели между участвующими клиентами-больницами. Повторяйте процедуры локального обучения и глобальной агрегации до завершения 100 раундов связи или до выполнения заданного критерия сходимости.
  10. Защитите передаваемые параметры модели с помощью указанного механизма безопасной агрегации и шифрования AES-256. Выполните аутентификацию участвующих клиентов с помощью цифровых сертификатов.
  11. Установите зашифрованные каналы связи с использованием протокола Transport Layer Security (TLS) 1.3. После завершения каждого раунда связи сохраняйте только агрегированные параметры глобальной модели.
  12. Оцените конфиденциальность и безопасность с помощью анализа раскрытия исходных данных, несанкционированной передачи, вывода о принадлежности к выборке (membership inference) и инверсии модели. Для вывода о принадлежности сравните AUC-ROC атаки с базовым случайным показателем (0,50); оцените инверсию с помощью индекса структурного сходства (SSIM) и пикового отношения сигнал/шум (PSNR) для изображений сетчатки, а также нормированной ошибки реконструкции для числовых признаков.
  13. Подтвердите безопасную агрегацию, убедившись, что сервер не имеет доступа к индивидуальным неагрегированным обновлениям клиентов. Проверьте защиту AES-256/TLS 1.3 и подтвердите отсутствие передач обновлений модели в незашифрованном виде.
  14. При необходимости сравните показатели конфиденциальности для федеративной и централизованной конфигураций и представьте метрики, указанные в Дополнительной таблице 4.
  15. Оцените вычислительную сложность локального обучения трансформера как O(N × L × d2), где N — количество образцов, L — количество слоев трансформера, а d — размерность эмбеддинга.
  16. Оцените вычислительную сложность федеративной агрегации как O(K × P) за раунд связи, где K — количество участвующих клиентов, а P — количество обучаемых параметров модели.
  17. В течение каждого раунда связи обменивайтесь между участвующими клиентами и центральным сервером агрегации только защищенными параметрами модели. Рассчитайте коммуникационные затраты на основе размера модели, количества участвующих клиентов и количества раундов связи.
  18. Сравните затраты на обмен параметрами с оценочной стоимостью передачи соответствующих мультимодальных медицинских наборов данных. Настройте среду федеративного обучения в соответствии с параметрами, приведенными в Дополнительной таблице 4. Рабочий процесс федеративного обучения и процесс агрегации параметров проиллюстрированы на Рисунке 5.

6. Создание модуля персонализированных рекомендаций по лекарственным препаратам

  1. Импортируйте фармакологические данные, сведения о лекарственных препаратах, лечении пациентов и лекарственных взаимодействиях в вычислительную среду. Постройте гетерогенный граф здравоохранения, содержащий узлы пациентов, лекарств, заболеваний, лабораторных тестов и клинических факторов риска.
  2. Определите связи «пациент-заболевание», «пациент-лекарство», «заболевание-лекарство», лекарственные взаимодействия и связи «пациент-лаборатория» в качестве ребер графа. Проверьте структуру графа и удалите дубликаты, недостоверные или разорванные связи перед обучением модели.
  3. Представьте узлы пациентов с помощью таких параметров, как возраст, пол, индекс массы тела (BMI), HbA1c, глюкоза в крови, артериальное давление и длительность диабета. Представьте узлы лекарств с помощью класса препарата, механизма действия, дозировки, частоты применения и известных побочных эффектов.
  4. Представьте узлы заболеваний с помощью степени тяжести заболевания, стадии заболевания и сопутствующих осложнений. Закодируйте категориальные атрибуты и нормализуйте непрерывные признаки узлов перед обучением GraphSAGE.
  5. Инициализируйте эмбеддинги узлов с использованием предварительно обработанных признаков узлов. Выберите до 25 соседних узлов для каждого целевого узла в процессе агрегации окрестности. Агрегируйте представления соседних узлов с помощью усреднения (mean aggregation). Обновите эмбеддинги целевых узлов, используя агрегированные представления окрестности.
  6. Применяйте функцию активации Rectified Linear Unit (ReLU) после каждого слоя GraphSAGE. Нормализуйте полученные эмбеддинги узлов. Повторите процедуру агрегации окрестности в трех слоях GraphSAGE.
  7. Настройте модель GraphSAGE со скрытой размерностью 256, размерностью эмбеддинга 128, тремя слоями GraphSAGE, размером выборки соседей 25, коэффициентом dropout 0.30, скоростью обучения 1 × 10⁻4, размером батча 512 и максимальным количеством эпох обучения 100. Оптимизируйте модель с помощью оптимизатора Adam.
  8. Вычислите специфичный для пациента эмбеддинг с помощью обученной модели GraphSAGE. Вычислите эмбеддинги для потенциальных лекарственных препаратов. Рассчитайте показатели пригодности между представлением пациента и представлениями потенциальных препаратов. Ранжируйте потенциальные лекарства в соответствии с их прогнозируемыми показателями пригодности.
  9. Выявите и исключите противопоказанные или потенциально небезопасные препараты, используя имеющуюся информацию о лекарственных взаимодействиях. Верните пять наиболее подходящих допустимых препаратов в качестве персонализированных рекомендаций Top-5.
  10. Обучите рекомендательную модель, используя функцию потерь Bayesian Personalized Ranking (BPR). Оптимизируйте задачу ранжирования, чтобы присваивать более высокие баллы клинически подходящим препаратам по сравнению с менее подходящими вариантами.
  11. Определите влиятельные соседние узлы и клинически значимые связи в графе, которые способствуют каждой рекомендации лекарства. Рассчитайте показатели значимости признаков для характеристик пациента, заболевания, лабораторных показателей и свойств лекарств, повлиявших на рекомендацию.
  12. Сгенерируйте визуальные объяснения на основе графа, демонстрирующие связи, которые привели к каждой персонализированной рекомендации лекарства. Настройте рекомендательную модель GraphSAGE в соответствии с параметрами, приведенными в Дополнительной таблице 5. Рабочий процесс персонализированного подбора лекарств на основе графа проиллюстрирован на Рисунке 6.

7. Проведение оценки интерпретируемости

  1. Проведение анализа SHAP
    1. Загрузите обученный мультимодальный трансформер и отдельный тестовый набор данных в вычислительную среду.
    2. Инициализируйте эксплейнер SHAP, используя обученную модель прогнозирования и фоновую выборку из 100 обучающих образцов, отобранных исключительно из обучающего набора данных с помощью стратифицированного случайного отбора в соответствии с классом исхода диабета. Сохраните в фоновой выборке примерное распределение классов, характерное для всего обучающего раздела, и используйте фиксированный случайный seed 42 для обеспечения воспроизводимости отбора образцов. Вычислите значения SHAP для выбранных тестовых образцов.
    3. Рассчитайте глобальную важность признаков на основе абсолютных значений SHAP, создайте глобальные и локальные визуализации SHAP и сохраните вычисленные значения для последующего количественного и статистического анализа.
  2. Проведение анализа интегрированных градиентов (Integrated Gradients)
    1. Выберите репрезентативные образцы с правильной и неправильной классификацией из отдельного тестового набора данных. Определите базовые входные данные (baseline), специфичные для каждой модальности, перед расчетом интегрированных градиентов. Используйте нулевой baseline для нормализованных числовых признаков клинических данных и CGM, что соответствует нулевому вкладу нормализованного признака, и используйте изображение с нулевыми значениями в качестве baseline для нормализованного входного изображения сетчатки.
    2. Вычислите показатели атрибуции интегрированных градиентов, используя 100 шагов интерполяции между baseline и исходным входом. Нормализуйте полученные показатели атрибуции для возможности сравнения между признаками и модальностями. Создайте визуализации атрибуции для выявления значимых клинических, временных и имиджинговых признаков, влияющих на индивидуальные прогнозы модели.
  3. Визуализация внимания (attention visualization)
    1. Извлеките матрицы внимания из обученных слоев трансформера для репрезентативных тестовых образцов. Рассчитайте средние веса внимания по соответствующим головкам внимания. Постройте тепловые карты внимания для визуализации кросс-модальных взаимодействий между клиническими, временными представлениями и изображениями сетчатки. Определите доминирующие клинические, временные и ретинальные признаки, получившие высокие веса внимания при прогнозировании.
    2. Извлеките веса внимания из обученного мультимодального трансформера для случайно выбранного отдельного тестового образца и визуализируйте соответствующие распределения внимания для клинических признаков, временных данных CGM, пространственных данных сетчатки и кросс-модального внимания.
  4. Генерация контрфактуальных объяснений
    1. Выберите репрезентативные записи пациентов из отдельного тестового набора данных. Определите клинически допустимые диапазоны и ограничения для модифицируемых признаков пациентов перед генерацией контрфактуальных образцов. Ограничьте непрерывные признаки диапазоном значений, наблюдаемым в обучающих данных, а категориальные признаки — допустимыми категориями из обучающих данных. Не изменяйте неизменные демографические характеристики, включая возраст и пол.
    2. Сгенерируйте контрфактуальные образцы путем минимального изменения только разрешенных модифицируемых признаков при соблюдении предопределенных клинических ограничений и ограничений предметной области признаков. Отклоняйте контрфактуальные варианты, содержащие значения вне диапазона наблюдаемых обучающих данных, недопустимые категориальные состояния или изменения неизменных признаков. Определите минимальные клинически правдоподобные изменения признаков, необходимые для изменения прогнозируемого исхода.
    3. Укажите измененные признаки, исходные значения, контрфактуальные значения и соответствующие изменения в прогнозах модели. Рабочий процесс оценки объяснимости проиллюстрирован на Рисунке 7, а репрезентативные результаты визуализации внимания и контрфактуальных объяснений представлены на Дополнительном рисунке 1.
  5. Оценка качества объяснений
    1. Рассчитайте точность (fidelity) для количественной оценки степени соответствия между сгенерированными объяснениями и поведением модели прогнозирования. Рассчитайте стабильность (stability), многократно генерируя объяснения при небольших возмущениях входных данных и сравнивая полученные паттерны атрибуции. Оцените согласованность (consistency), сравнивая объяснения, сгенерированные для клинически схожих тестовых образцов.
    2. Рассчитайте разреженность (sparsity), определив количество или долю признаков, вносящих существенный вклад в каждое объяснение. Оцените полноту (completeness), чтобы определить, достаточно ли атрибутированные признаки объясняют соответствующий выход модели. Оцените чувствительность (sensitivity), измеряя изменения в показателях атрибуции после контролируемых возмущений входных признаков.
    3. Рассчитайте неточность (infidelity) для количественной оценки расхождения между атрибуциями признаков и наблюдаемыми изменениями в прогнозах модели. Зафиксируйте все количественные метрики объяснимости для последующего статистического анализа.
  6. Проспективная валидация клиницистами
    1. Для будущей проспективной клинической валидации получите одобрение соответствующего Институционального комитета по этике перед привлечением клинических экспертов. После получения этического одобрения привлеките 12 клиницистов, включая шесть эндокринологов, трех специалистов по диабету и трех клинических фармакологов, и получите информированное согласие от всех участников перед началом оценки.
    2. Случайным образом выберите репрезентативные прогнозы модели и соответствующие им объяснения для оценки клиницистами. Представьте выбранные объяснения каждому участвующему клиницисту независимо, используя стандартизированный формат оценки.
    3. Попросите каждого клинициста оценить полезность, клиническую значимость, интерпретируемость и достоверность объяснения по пятибалльной шкале Лайкерта. Зафиксируйте анонимизированные оценки клиницистов, рассчитайте межэкспертное согласие и соответствующие статистические показатели, как указано в шаге 7.7.
  7. Статистический анализ
    1. Оцените распределение количественных показателей оценки перед выбором статистического критерия сравнения. Примените парный t-критерий для нормально распределенных парных измерений или критерий знаковых рангов Уилкоксона для ненормально распределенных парных измерений, в зависимости от ситуации.
    2. Рассчитайте каппу Фляйса для количественной оценки межэкспертного согласия между участвующими клиницистами. Рассчитайте 95% доверительные интервалы для основных метрик объяснимости и оценки клиницистов. Установите порог статистической значимости на уровне p < 0.05.
  8. Представьте рассчитанные тестовые статистики, доверительные интервалы и p-значения вместе с соответствующими результатами оценки. Оцените и опишите метрики объяснимости в соответствии с критериями, обобщенными в Дополнительной таблице 6.

8. Оценка эффективности модели

  1. Сравните FedMediFormer-XAI с логистической регрессией, случайным лесом (Random Forest), XGBoost, TabTransformer, Vision Transformer, Temporal Transformer и централизованным мультимодальным трансформером, используя показатели точности (accuracy), прецизионности (precision), полноты (recall), F1-меры (F1-score), коэффициента корреляции Мэтьюса (MCC) и AUC-ROC.
  2. Выполните оценку каждой базовой модели с использованием одной и той же предопределенной стратегии обучения, валидации и тестирования для обеспечения сопоставимости с предлагаемой структурой.
  3. Повторите оценку модели в нескольких независимых экспериментальных прогонах и зафиксируйте метрики эффективности, полученные в каждом прогоне. Рассчитайте среднее значение, стандартное отклонение (SD) и 95% доверительный интервал (CI) для Accuracy, Precision, Recall, F1-score, MCC и AUC-ROC. Представьте результаты эффективности в виде среднего значения ± SD вместе с соответствующим 95% CI.
  4. Оцените нормальность распределения парных разностей показателей эффективности между FedMediFormer-XAI и каждой базовой моделью. Примените парный t-критерий для нормально распределенных парных измерений и критерий знаковых рангов Уилкоксона для ненормально распределенных парных измерений. Установите порог статистической значимости на уровне p < 0.05.
  5. Приведите соответствующие значения статистик теста, p-значения и 95% доверительные интервалы для количественной оценки статистической значимости и неопределенности наблюдаемых различий в эффективности.
  6. Подсчитайте общее количество раундов связи до окончательной сходимости моделей. Отслеживайте эффективность глобальной модели в процессе федеративного обучения. Изучите, как сходимость изменяется с течением времени в раундах связи.
  7. Проверьте эффективность агрегации параметров. Исследуйте, как децентрализованное обучение влияет на прогностическую способность. Проведите сравнение результатов федеративного и централизованного обучения.
  8. Оцените федеративную сходимость по раундам связи и сравните прогностическую эффективность федеративного и централизованного подходов. Оцените рекомендации по лекарственным препаратам с помощью метрик Precision@5, Recall@5 и NDCG@5.
  9. Сгенерируйте отрицательные образцы (образцы лекарств) из пула подходящих лекарств-кандидатов, выбирая препараты, которые не зафиксированы как положительные взаимодействия «пациент-лекарство» для соответствующего пациента. Исключите из пула отрицательного семплирования все известные положительные взаимодействия и все противопоказанные препараты. Поддерживайте фиксированное соотношение отрицательных и положительных образцов 1:1 для обучения рекомендательной системы и используйте фиксированное случайное число (seed) 42 для воспроизводимого выбора отрицательных образцов.
  10. Сформируйте соответствующий набор элементов для каждого пациента исключительно на основе отложенных данных для оценки. Определите набор релевантных элементов Ru​ для пациента u как множество лекарственных препаратов, которые удовлетворяют критериям положительного взаимодействия «пациент-лекарство» в отложенных эталонных записях. Не используйте прогнозы модели для построения Ru. Удалите противопоказанные препараты из набора кандидатов для рекомендации перед ранжированием.
  11. Сгенерируйте пять наиболее высокоранжированных подходящих препаратов для каждого пациента из группы оценки. Рассчитайте Precision@5 как долю из пяти рекомендованных препаратов, которые входят в набор релевантных элементов Ru данного пациента. Рассчитайте Recall@5 как долю релевантных препаратов пациента, отобранных среди пяти рекомендаций. Рассчитайте NDCG@5, используя градуированную релевантность рекомендованных препаратов, присваивая более высокую релевантность клинически подходящим препаратам и нулевую релевантность нерелевантным препаратам. Агрегируйте метрики по всем пациентам группы оценки и представьте средние значения Precision@5, Recall@5 и NDCG@5.
  12. Сформируйте эталонную истину для рекомендаций до оценки модели и держите отложенные взаимодействия «пациент-лекарство» отдельно от данных для обучения рекомендательной системы. Не используйте взаимодействия с лекарствами из тестового набора, метки тестового набора или информацию о будущем лечении во время обучения GraphSAGE, отрицательного семплирования или ранжирования кандидатов.
  13. Измерьте достоверность (Fidelity), чтобы проверить, насколько объяснения соответствуют поведению модели. Оцените стабильность объяснений с помощью многократных проверок. Оцените понятность (Comprehensibility) на основе критериев, ориентированных на врачей.
  14. Исследуйте согласованность объяснений для различных типов данных. Подтвердите клиническую ценность полученных объяснений. Метрики оценки, использованные в исследовании, обобщены в Дополнительной таблице 7.

9. Проведение проспективной валидации с участием клиницистов

  1. Проведите проспективную валидацию с участием клиницистов после получения соответствующего одобрения комитета по этике и информированного согласия, следуя процедурам набора участников, оценки, сбора данных и статистического анализа, описанным в шагах 7.6–7.8. Дизайн проспективной валидации клиницистами, включая состав участников, критерии оценки, условия сравнения и планируемый статистический анализ, обобщен в Дополнительной таблице 8.

10. Проведение валидации и оценки воспроизводимости

  1. Проведите абляционные исследования, систематически удаляя отдельные компоненты из полной структуры FedMediFormer-XAI при сохранении тех же разделений набора данных, процедур предобработки, настроек обучения и критериев оценки. Оцените полную модель и конфигурации без диффузионного дополнения, федеративного обучения, рекомендаций по лекарственным препаратам на основе GraphSAGE и мультимодального объединения.
  2. Сравните абляционные конфигурации с полной структурой FedMediFormer-XAI, используя Accuracy, Precision, Recall, F1-score, MCC и AUC-ROC. Количественно определите изменение каждого показателя эффективности, чтобы установить вклад каждого компонента структуры. Сравните результаты валидации с результатами внутреннего тестирования для оценки обобщающей способности. Проведите проверку статистической значимости, чтобы определить достоверность наблюдаемых различий в эффективности.
  3. Оцените обобщающую способность структуры, используя независимый внешний набор данных, если такой набор с совместимыми входными переменными и определениями результатов доступен. Примените те же процедуры предобработки и оценки, что и для внутреннего тестового набора данных, и сравните полученные показатели эффективности с результатами внутреннего тестирования.
  4. Проведите анализ статистической значимости по результатам повторных экспериментальных запусков. Оцените нормальность распределения парных разностей показателей эффективности перед проведением статистического тестирования. Примените парный t-критерий для нормально распределенных парных измерений и критерий знаковых рангов Вилкоксона для парных измерений с ненормальным распределением. Установите порог статистической значимости p < 0.05.
  5. Рассчитайте среднее значение и 95% доверительный интервал для Accuracy, Precision, Recall, F1-score, MCC и AUC-ROC. Приведите соответствующие тестовые статистики, p-значения и доверительные интервалы для основных сравнений моделей. Документируйте все параметры моделей, процедуры предобработки, конфигурации обучения и протоколы оценки, необходимые для воспроизведения описанных экспериментов.
  6. Сохраните исходный код, конфигурационные файлы, скрипты оценки и спецификации обученных моделей, использованные в описанных экспериментах. Ведите подробные записи об обучении моделей, экспериментальных настройках, случайных числах (random seeds) и результатах оценки.
  7. Проверьте полноту и согласованность доступных материалов для воспроизведения. Убедитесь, что документированные методы и материалы содержат достаточную информацию для независимого воспроизведения экспериментального рабочего процесса.
  8. Обобщите ресурсы для воспроизведения и процедуры валидации, использованные в исследовании, в Дополнительной таблице 9. Документируйте процедуру абляционного исследования и критерии оценки для анализа вклада основных компонентов структуры.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

Анализ прогностической эффективности
FedMediFormer-XAI продемонстрировал более высокую прогностическую эффективность по сравнению с оцениваемыми унимодальными и традиционными базовыми моделями. Аугментация на основе диффузионных моделей улучшила репрезентативность миноритарного класса; результаты прогностической эффективности приведены в Таблице 3. Оценка при повторных запусках показала стабильную прогностическую эффективность всех исследованных моделей. FedMediFormer-XAI достиг наил...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

Интерпретация основных результатов
Представленные результаты показывают, что мультимодальное обучение на базе трансформеров, федеративное обучение, аугментация на основе диффузионных моделей, рекомендация лекарственных средств с помощью графовых нейронных сетей и объяснимый искусственный интеллект могут быть объединены в единую систему интеллектуального анализа диабета. Благодаря интеграции клинических записей, показателей здоровья населения, данных непрерывного мониторинга глюкозы, изображений гла...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

Авторы заявляют об отсутствии конкурирующих финансовых интересов, конфликтов интересов или личных отношений, которые могли бы повлиять на работу, представленную в данном исследовании. Инструменты искусственного интеллекта использовались исключительно для помощи в улучшении языка, организации рукописи, форматировании и редактировании в процессе подготовки данной статьи. Всё научное содержание, дизайн исследования, методология, анализ данных, интерпретация результатов и выводы были разработаны, проверены и утверждены авторами. Авторы несут полную ответственность за точность, целостность и оригинальность работы, представленной в данной рукописи.

Благодарности

Авторы выражают благодарность разработчикам и администраторам общедоступных наборов данных и ресурсов программного обеспечения с открытым исходным кодом, использованных в данном исследовании.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Шифрование AESNISTAES-256Шифрование хранимых данных / защищенных параметров модели в федеративном обучении
APTOS 2019 Blindness Detection DatasetKaggle/APTOSВыпуск 2019Набор данных изображений глазного дна; общедоступный и деидентифицированный; https://www.kaggle.com/competitions/aptos2019-blindness-detection/data
CaptumMeta AIВерсия 0.8Интерпретируемость моделей и анализ атрибуции
CUDA ToolkitNVIDIAВерсия 12.2Вычисления с ускорением GPU
Diabetes Health Indicators Dataset (CDC BRFSS 2015)CDC/BRFSS; KaggleВыпуск 2015Показатели здоровья населения; общедоступный и деидентифицированный; https://www.kaggle.com/datasets/alexteboul/diabetes-health-indicators-dataset
Diabetic Retinopathy Detection DatasetKaggleПубличный выпускНабор изображений сетчатки; общедоступный и деидентифицированный; https://www.kaggle.com/c/diabetic-retinopathy-detection/data
Цифровые сертификаты——Аутентификация клиентов в федеративном обучении
Drug Interaction DatasetKaggleПубличный выпускГрафовые данные о лекарственных взаимодействиях; общедоступный и деидентифицированный; https://www.kaggle.com/datasets/rohanharode07/drug-drug-interaction
Drug Review DatasetUCI Machine Learning RepositoryНабор данных 462Набор данных об эффективности и отзывах о лекарствах; общедоступный и деидентифицированный; https://archive.ics.uci.edu/dataset/462/drug+review+dataset+drugs+com
MatplotlibMatplotlib DevelopersВерсия 3.9Визуализация
MTS Diabetes DatasetKaggleПубличный выпускНабор данных носимых датчиков / прогнозирования диабета; общедоступный и деидентифицированный; https://www.kaggle.com/datasets/marshalpatel3558/diabetespredictiondataset
NetworkXNetworkX DevelopersВерсия 3.3Построение и анализ графов лекарственных взаимодействий
NumPyNumPy DevelopersВерсия 1.26Численные вычисления
NVIDIA RTX 4090 GPUNVIDIARTX 4090Обучение и инференс моделей; минимум 32 GB системной памяти
OhioT1DM DatasetOhio UniversityПубличный выпускНабор данных непрерывного мониторинга глюкозы; общедоступный и деидентифицированный; https://webpages.charlotte.edu/rbunescu/data/ohiot1dm/OhioT1DM-dataset.html
OpenCVOpenCV FoundationВерсия 4.10Обработка изображений
PandasPyDataВерсия 2.2Обработка и предобработка данных
Pima Indians Diabetes DatasetUCI Machine Learning RepositoryНабор данных 34Клинический набор данных для прогнозирования диабета; общедоступный и деидентифицированный; https://archive.ics.uci.edu/dataset/34/diabetes
PythonPython Software FoundationВерсия 3.11Основная среда программирования
PyTorchMeta AIВерсия 2.3Разработка и обучение моделей глубокого обучения
PyTorch GeometricPyG TeamВерсия 2.5Построение и обучение графовых нейронных сетей
Scikit-learnScikit-learn DevelopersВерсия 1.5Инструменты машинного обучения и оценки
Механизм безопасного агрегирования——Защищенное агрегирование локальных параметров модели в федеративном обучении
SHAPSHAP DevelopersВерсия 0.47Объяснимый ИИ и анализ атрибуции признаков
TensorFlowGoogleВерсия 2.15Разработка и обучение моделей глубокого обучения
TransformersHugging FaceВерсия 4.45Реализация архитектуры на основе трансформеров
Transport Layer SecurityIETFTLS 1.3Зашифрованный канал связи для обмена федеративными параметрами
Рабочая станцияОбщая—Вычислительная среда; минимум 32 GB системной памяти

Ссылки

  1. Al-Hejri AM, et al. A hybrid explainable federated-based vision transformer framework for breast cancer prediction via risk factors. Sci Rep. 2025;15:18453.
  2. Dosovitskiy A, et al. An image is worth 16×16 words: transformers for image recognition at scale [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); 2021. [https://arxiv.org/abs/2010.11929]
  3. Touvron H, et al. Training data-efficient image transformers & distillation through attention [conference presentation]. Presented at: 38th International Conference on Machine Learning; 2021. [https://arxiv.org/abs/2012.12877]
  4. Kotelnikov A, Baranchuk D, Rubachev I, Babenko A. TabDDPM: modelling tabular data with diffusion models [conference presentation]. Presented at: 40th International Conference on Machine Learning (ICML); 2023. [https://arxiv.org/abs/2209.15421]
  5. Pinaya WHL, et al. Brain imaging generation with latent diffusion models [conference presentation]. Presented at: International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI); 2022. [https://arxiv.org/abs/2209.07162]
  6. Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. [https://arxiv.org/abs/2006.11239]
  7. Song Y, et al. Score-based generative modeling through stochastic differential equations [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); 2021. [https://arxiv.org/abs/2011.13456]
  8. Li T, Sahu AK, Talwalkar A, Smith V. Federated learning: challenges, methods, and future directions. IEEE Signal Process Mag. 2020;37(3):50-60.
  9. Kairouz P, et al. Advances and open problems in federated learning. Found Trends Mach Learn. 2021;14(1-2):1-210.
  10. Rieke N, et al. The future of digital health with federated learning. NPJ Digit Med. 2020;3:119.
  11. Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-11.
  12. Sheller MJ, et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. Sci Rep. 2020;10:12598.
  13. McMahan HB, et al. Communication-efficient learning of deep networks from decentralized data [conference presentation]. Presented at: International Conference on Artificial Intelligence and Statistics (AISTATS); 2017. [https://arxiv.org/abs/1602.05629]
  14. Lundberg SM, et al. From local explanations to global understanding with explainable AI for trees. Nat Mach Intell. 2020;2(1):56-67.
  15. Ribeiro MT, Singh S, Guestrin C. Why should I trust you? Explaining the predictions of any classifier [conference presentation]. Presented at: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD); 2016. [https://arxiv.org/abs/1602.04938]
  16. Wachter S, Mittelstadt B, Russell C. Counterfactual explanations and algorithmic recourse in healthcare AI. AI Ethics. 2021;1(2):123-37.
  17. Chen J, Liao W, Yu W. Explainable AI for precision medicine: a systematic review. Brief Bioinform. 2024;25(2):bbae045.
  18. Zitnik M, Agrawal M, Leskovec J. Modeling polypharmacy side effects with graph neural networks. Bioinformatics. 2020;36(2):i457-i466.
  19. Wu Z, et al. A comprehensive survey on graph neural networks. IEEE Trans Neural Netw Learn Syst. 2021;32(1):4-24.
  20. Hamilton WL. Graph representation learning. Morgan & Claypool Publishers; San Rafael (CA); 2020.
  21. Shang J, Ma T, Xiao C, Sun J. Pre-training of graph augmented transformers for medication recommendation [conference presentation]. Presented at: International Joint Conference on Artificial Intelligence (IJCAI); 2021. [https://arxiv.org/abs/1906.00346]
  22. Wang X, et al. Neural graph collaborative filtering. IEEE Trans Knowl Data Eng. 2021;33(5):2136-49.
  23. Yu KH, Beam AL, Kohane IS. Artificial intelligence in healthcare. Nat Biomed Eng. 2021;5(8):719-31.
  24. Muhammad G, Hossain MS, Kumar N. EEG-based pathology detection for home health monitoring. IEEE J Sel Areas Commun. 2021;39(2):603-10.
  25. Alshehri F, Muhammad G. Internet of Things and edge computing in healthcare: a survey. IEEE Access. 2021;9:3660-78.
  26. Vaid A, et al. Federated learning of electronic health records to improve mortality prediction. JMIR Med Inform. 2021;9(1):e24207.
  27. Lim WYB, et al. Dynamic contract design for federated learning in smart healthcare applications. IEEE Internet Things J. 2021;8(23):16853-62.
  28. Chikumo OT, et al. Transformer-based models for disease prediction using electronic health records: a systematic review. J Appl Artif Intell Comput. 2026;10(1):1-18.
  29. Lai T. Interpretable medical imagery diagnosis with self-attentive transformers: a review of explainable AI for healthcare. Diagnostics (Basel). 2023;13(18):3021.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Больше статей

федеративное обучениеграфовые нейронные сетипрогнозирование диабетаобъяснимый ИИгенерация синтетических данныхконфиденциальность пациентовперсонализированная медицина
Связаться с нами
Порекомендовать библиотеке

Конфиденциальность

Условия использования

Политики

© 2026 MyJoVE Corporation. Все права защищены.