Интеллектуальная федеративная структура обучения для не-колокационных и гетерогенных наборов данных

Краткое содержание

Этот протокол описывает реализацию Intelligent Federated Learning Framework для обучения распределённых моделей машинного обучения на гетерогенных, неколокационных наборах данных, при сохранении конфиденциальности данных и обеспечении интерпретации моделей.

Аннотация

Федеративное обучение обладает значительным потенциалом для обучения распределённых моделей при сохранении конфиденциальности, но сталкивается с трудностями, связанными с конвергенцией, справедливостью и интерпретируемостью из-за гетерогенности не-колокационных наборов данных. В данном исследовании предлагается Интеллектуальная федеративная структура обучения (IFLF) для решения этих задач с помощью адаптивного подхода с использованием многоуровневой архитектуры, включающей слои данных, клиента, агрегации, адаптации, оптимизации и интерпретируемости.

Фреймворк демонстрирует стабильную сходимость при не-IID распределениях данных, при этом стратегии агрегирования поддерживают сбалансированную оптимизацию. Подход модуляции со скоростью обучения способствует стабильному обучению путём интеграции гетерогенных обновлений клиентов и снижения расхождений при оптимизации. Для повышения прозрачности как на клиентском, так и на глобальном уровне внедрены объяснимые методы ИИ, включая SHAP и LIME.

IFLF оценивается на основе четырёх эталонных наборов данных (FEMNIST (зрение), FLamby (медицинская визуализация), FedGraphNN (обучение графам) и CICIDS2017 (кибербезопасность)). Фреймворк достиг средней точности 92,8%, с более быстрой сходимостью и снижением вариативности производительности между клиентами.

Введение

Быстрый рост распределённых данных, поступающих с мобильных устройств, систем здравоохранения, промышленных сенсоров и киберфизических инфраструктур, увеличил потребность в совместных методах машинного обучения, которые также сохраняют конфиденциальность данных. Традиционные методы машинного обучения основаны на централизованной консолидации данных, при которой наборы данных из разных источников собираются и хранятся в одном репозитории. Хотя такой подход способствует обучению моделей, он вызывает вопросы, связанные с конфиденциальностью данных, соблюдением нормативных требований и накладными расходами на коммуникацию. Федеративное обучение (FL) признано перспективным подходом, позволяющим нескольким клиентам совместно обучать глобальную модель без раскрытия локальных^{данных1}. В этой децентрализованной схеме обучения клиенты обучают локальные модели, и только обновления модели передаются центральному серверу. Этот подход снижает риски конфиденциальности, одновременно позволяя совместно разрабатывать модели в распределённых^{средах 2,3}.

Тем не менее, федеративное обучение сталкивается с ограничениями на практике. Одной из главных проблем является статистическая гетерогенность, когда клиентские наборы данных следуют разным распределениям. Распределения данных без IID существенно влияют на устойчивость сходимости и обобщение модели в федеративной^{оптимизации 4}. Для решения этой проблемы было предложено несколько методов. FedProx вводит проксимальный регуляризационный термин для стабилизации обучения у гетерогенных^{клиентов 5}. FedNova корректирует объективные несоответствия, возникающие из-за несбалансированного участия клиентов⁶. Кроме того, были предложены стратегии адаптивной оптимизации на стороне сервера для улучшения^{сходимости 7}, в то время как SCAFFOLD использует методы снижения дисперсии для снижения дрейфа клиента во время распределённой^{оптимизации 8}.

Недавние исследования изучали методы кластеризации и персонализации для решения гетерогенности в федеративных средах. Кластерные федеративные фреймворки обучения группируют клиентов с аналогичными распределениями данных для повышения согласованности обучения и производительности^{моделей 9,10}. Персонализированные методы федеративного обучения, такие как Ditto и FedAMP, направлены на балансирование глобальной производительности модели с адаптацией, специфичной для^{клиента 11,12}. Аналогично, такие методы, как pFedMe и Per-FedAvg, используют тонкую настройку на основе регуляризации для адаптации на уровне^{клиента 13,14}. Другие подходы, включая FedRep и FedRoD, разделяют глобальные и специфичные для клиентов представительства для независимого федеративного^{обучения 15,16}.

Ещё одной проблемой в федеративном обучении является гетерогенность ресурсов и масштабируемость системы. В крупномасштабных распределённых системах клиенты часто обладают разными вычислительными возможностями и пропускной способностью связи. FedBN решает гетерогенность распределения признаков посредством локальной пакетной^{нормализации 17}. Уровневые федеративные обучающие фреймворки организуют клиентов в иерархические уровни обучения для управления различиями в^{ресурсах 18}. Стратегии отбора клиентов, такие как HACCS и Oort, повышают эффективность системы, отдавая приоритет надёжным участникам во время^{обучения 19,20}. Платформы для бенчмаркинга, такие как FedScale, поддерживают масштабную оценку алгоритмов федеративного^{обучения 21}.

Эффективность коммуникации — ещё одна ключевая задача в федеративном обучении, учитывая частый обмен обновлениями моделей между распределёнными клиентами. Существующие подходы включают эффективные для коммуникации стратегии обучения, такие как периодическое усреднение и квантование^{моделей 22}, а также методы сжатия моделей. Дистилляция знаний снижает затраты на коммуникацию за счёт передачи компактных представлений при сохранении^{производительности 23}. Дополнительные подходы включают снижение участия клиентов и применение техник сжатия в рамках распределённого^{обучения 24}. Методы оптимизации, такие как Quped и FetchSGD, дополнительно решают проблемы коммуникации и эффективности памяти ^25,26.

Помимо оптимизации и коммуникации, интерпретируемость стала важным аспектом федеративных систем обучения. Методы объяснимого искусственного интеллекта (XAI), такие как SHAP и LIME, предоставляют объяснения на уровне признаков для прогнозирования моделей. Эти методы помогают понять поведение моделей в критически важных областях, таких как здравоохранение и кибербезопасность^{2 7,2 8}. Недавние исследования показывают, что интеграция объяснимости в федеративные системы обучения повышает прозрачность и надёжность^{2 9,30}.

В данном исследовании предлагается Интеллектуальная федеративная образовательная рамка (IFLF) для повышения стабильности сходимости, справедливости, эффективности коммуникации и интерпретируемости в гетерогенных федеративных средах. Фреймворк интегрирует агрегирование на основе надёжности, механизмы адаптивной оптимизации и объяснимые техники ИИ в единую архитектуру.

Фреймворк структурирован как многоуровневая система, состоящая из уровней данных, клиента, агрегации, адаптации, оптимизации и интерпретируемости. Интеллектуальная агрегация включает метрики надёжности и сходства клиента для определения адаптивного взвешивания. Адаптивный механизм модуляции скорости обучения поддерживает стабильную оптимизацию между гетерогенными клиентскими распределениями. Компоненты интерпретируемости предоставляют объяснения прогнозов моделей в распределённых средах.

В данном исследовании изучается влияние интеллектуальной агрегации, адаптивной модуляции скорости обучения и механизмов интерпретируемости в гетерогенных федеративных учебных средах. Оценивается, как стратегии агрегации влияют на стабильность сходимости и производительность модели, как адаптивная модуляция скорости обучения поддерживает обучение при гетерогенности данных, а также как методы интерпретируемости повышают прозрачность модели. Предлагаемый Интеллектуальный Федеративный Фреймворк Обучения структурирован в пять уровней — уровень данных, клиентский уровень, уровень агрегации, слой адаптации и оптимизации, а также уровень интерпретации — что обеспечивает эффективное и стабильное федеративное обучение в распределённых средах. Оценка учитывает ключевые аспекты производительности, включая сходимость, справедливость, эффективность коммуникации и интерпретируемость, используя несколько наборов бенчмарков.

Распределённые клиенты выполняют локальное обучение на частных наборах данных и передают зашифрованные обновления модели на центральный сервер. Сервер оценивает надёжность и сходство клиента, вычисляет веса агрегирования и обновляет глобальную модель. Адаптивная корректировка скорости обучения поддерживает стабильную сходимость, а объяснимые методы ИИ предоставляют интерпретируемые результаты. Остальная часть этой статьи организована следующим образом. Раздел «Связанные работы» рассматривает последние достижения в области гетерогенного федеративного обучения. Раздел «Протокол» описывает реализацию предлагаемой структуры. В разделе «Результаты» представлены экспериментальные результаты, а в обсуждении изложены их последствия и дальнейшие направления.

СВЯЗАННЫЕ РАБОТЫ
Недавние исследования охватывают гетерогенное федеративное обучение в различных модальностях данных и областях применения. Методы федеративного обучения, управляемые прототипами, обеспечивают сотрудничество между распределёнными институтами, используя представительные прототипы вместо необработанных^{данных 31}. FedGraphNN предоставляет платформу для бенчмаркинга для оценки алгоритмов федеративного обучения в настройках нейронных сетей^{графов 32}. OpenFGL поддерживает крупномасштабный бенчмаркинг по сценариям федеративного^{обучения 33}. FLamby предлагает меж-силосные наборы данных для федеративного обучения при строгих ограничениях^{конфиденциальности 34}.

Также были разработаны системные фреймворки для поддержки масштабируемых федеративных развертываний обучения. Флауэр предоставляет гибкую инфраструктуру для реализации и оценки алгоритмов федеративного обучения в распределённых^{средах 35}. Были предложены методы динамической дистилляции для улучшения производительности модели при гетерогенных распределениях^{данных 36}. Кроме того, опросы выявляют ключевые проблемы, связанные с гетерогенностью, масштабируемостью и интерпретируемостью в федеративных системах^{обучения 37}. Эти работы в совокупности подчеркивают необходимость единых фреймворков, интегрирующих адаптивную агрегацию, стратегии оптимизации и механизмы интерпретируемости для надежного федеративного обучения в реальных приложениях.

Протокол

Обзор
Интеллектуальная федеративная структура обучения (IFLF) была разработана для эффективного управления данными и гетерогенностью систем в не-колокационных средах. Архитектура системы состояла из пяти уровней: слой данных, клиентский уровень, уровень агрегации, слой адаптации и оптимизации, а также уровень интерпретируемости. Модули развернулись на распределённой вычислительной системе с центральным сервером агрегации и несколькими клиентскими узлами. Для связи между узлами использовались защищённые сокетные соединения (SSL/TLS) с целью обеспечения конфиденциальности и целостности данных. Следующая процедура использовалась для подготовки наборов данных, настройки архитектуры, проведения федеративного обучения и оценки интерпретируемости.

Конфигурация вычислительной среды
Вычислительная среда была настроена путём установки необходимых программных фреймворков для реализации федеративного фреймворка обучения. Python использовался как основной язык программирования для разработки моделей и экспериментов. Были установлены библиотеки машинного обучения, включая TensorFlow или PyTorch, для обучения нейронным сетям, а также дополнительные библиотеки, такие как NumPy, Scikit-learn и Pandas для предварительной обработки и анализа данных. Были установлены федеративные учебные библиотеки, такие как Flower или PySyft, для имитации распределённых клиентских сред. Вычислительная среда была настроена на рабочей станции с GPU-ускорением, где это было возможно. Все клиенты и агрегаторный сервер были настроены на связь через защищённые сокетные соединения (SSL/TLS). Все необходимые наборы данных были проверены на доступность в локальном хранилище каждого клиентского узла перед началом федеративного обучения. Программные рамки, наборы данных и вычислительная среда, необходимые для воспроизведения протокола, обобщены в Таблице материалов.

Инициализация федеративных узлов
Центральный сервер агрегации был настроен с использованием федеративного фреймворка обучения Flower. Сервер агрегации запускался с помощью следующей команды:

python server.py --раунды 100 --клиенты 10 --secure_connection Верно

Отдельные клиентские узлы запускались на отдельных терминалах или вычислительных средах с помощью следующей команды:
Python client.py --client_id 01

Защищённая связь сокетов настраивалась с помощью генерации SSL/TLS-сертификатов с помощью инструмента OpenSSL.
openSSL RQ -x509 -newkey RSA:4096 -keyout key.pem -выход cert.pem -дней 365

Безопасная связь между сервером и клиентами обеспечивалась указанием путей к сертификатам в конфигурационном файле. Связность проверялась путём тестового раунда коммуникации перед началом федеративного обучения.

Подготовка и описание наборов данных
Были выбраны представительные публичные наборы данных для оценки эффективности в различных областях и модальностях данных. FEMNIST — это продвинутая база данных MNIST для распознавания рукописных символов, содержащая 62 класса (A–Z, a–z, цифры 0–9), где каждый клиент представляет данные одного автора, вызывая естественные не-IID распределения. FLamby — это медицинский ориентир визуализации, состоящий из различных межсилосных медицинских наборов данных (например, МРТ сердца, гистопатологические изображения), где каждая больница или учреждение выступает в роли федеративного клиента. FedGraphNN — это эталон для нейронных сетей графов, охватывающий такие задачи, как сети цитирования, классификация молекул и социальные графы, где клиенты содержат различные подграфы или признаки узлов. CICIDS2017 — это набор данных по кибербезопасности для обнаружения вторжений, включающий более 80 функций потоков сетевого трафика по типам атак, таким как DDoS, PortScan и ботнет, где каждый клиент представляет собой отдельный сетевой домен или сенсор.

Статистика наборов данных
Ключевые характеристики наборов данных, использованных в экспериментах, были обобщены для обеспечения воспроизводимости системы федеративного обучения. FEMNIST содержит примерно 805 263 рукописных образца символов, распределенных между 3 550 авторами, при этом 62 класса представляют заглавные, строчные буквы и цифры, и каждый клиент соответствует одному автору с примерно 200–300 образцами. FLamby предоставляет межсилосные наборы данных по медицинской помощи, и в данном исследовании набор медицинских визуализации содержит примерно 20 000 образцов, собранных из нескольких больниц, где каждая больница выступает как независимый федеративный клиент. FedGraphNN включает несколько наборов данных для обучения графов, таких как сети цитирования и молекулярные графы, обычно содержащие тысячи узлов и рёбер с векторами признаков узлов в диапазоне от 50 до 500 измерений в зависимости от задачи. CICIDS2017 содержит примерно 2,8 миллиона потоков сетевого трафика с 80 статистическими признаками, извлечёнными из сетевых пакетов, и включает несколько категорий атак, таких как DDoS, порт-скан и ботнет-трафик, где каждый федеративный клиент представляет собой разную сетевую среду или датчик мониторинга. Наборы данных, использованные в этом исследовании, были опубликованы в период с 2017 по 2023 год и доступны для исследований федеративного обучения. Статистические характеристики наборов данных, использованных в экспериментах, обобщены в Таблице 1.

Набор данных	Домен	Сэмплы	Особенности	Классы	Клиенты	Год выпуска
ФЕМНИСТ	Вижн (рукописные символы)	8,05,263	Пиксели изображения (28×28)	62	3,550	2017
Флэмби	Медицинская визуализация	~20 000	Особенности изображения	Бинарный / мультиклассовый	5	2023
FedGraphNN	Обучение графам	~10k–100k узлов	50–500 признаков узлов	Зависимость от задачи	7	2021
CICIDS2017	Кибербезопасность	~2,8 миллиона потоков	80	Несколько классов атак	10	2017

Таблица 1: Сводка наборов данных, используемых в экспериментах с Intelligent Federated Learning Framework. Таблица суммирует характеристики используемых в этом исследовании наборов данных, включая область применения, общее количество выборок, количество признаков, количество классов, количество федеративных клиентов и год выпуска наборов данных. Эти статистические данные дают обзор разнородных модальностей данных, используемых для оценки фреймворка.

Гетерогенность на уровне клиента
Гетерогенность на уровне клиента была введена через разбиение наборов данных. Хотя для оценки использовались четыре набора данных из разных областей, гетерогенность была введена внутри каждого федеративного набора данных посредством разбиения на уровне клиента. Каждый набор данных был разделен между несколькими клиентами, что приводило к неидентичным локальным распределениям данных (non-IID). Различные подмножества выборок или классов были назначены отдельным клиентам для моделирования реалистичных федеративных условий обучения, отражающих статистическую гетерогенность внутри каждого набора данных. Примерно 5–10% общего набора данных было назначено каждому клиенту при сохранении дисбаланса классов для имитации реальных федеративных сред без IID. Термин «гетерогенные наборы данных» в данном исследовании относится к статистической гетерогенности на уровне клиента, а не к различиям между независимыми экспериментальными наборами данных. Эталонные наборы данных демонстрировали различные формы статистической гетерогенности, включая различия в индивидуальных стилях письма в FEMNIST, различия в протоколах визуализации и демографии пациентов в наборах данных FLamby, структурные различия в наборах данных FedGraphNN и разнообразные паттерны сетевого трафика в CICIDS2017, в совокупности создавая реалистичные не-IID распределения данных, которые бросают вызов федеративным алгоритмам оптимизации.

Специфическая для набора данных предобработка
Перед федеративным обучением проводились операции предварительной обработки, специфичные для набора данных, для стандартизации входных форматов. Для FEMNIST рукописные изображения символов преобразовывались в оттенки серого, изменялись до 28×28 пикселей и нормализовывались на интервал [0, 1], с удалением повреждённых или неполных образцов, кодированием меток классов с one-hot кодированием, а выборки организованы по идентификаторам записи так, чтобы каждый автор соответствовал федеративному клиенту. Для FLamby медицинские изображения были изменены до 224×224 пикселей, нормализованы с использованием специфического для набора данных среднего значения и стандартного отклонения, дополнены с помощью таких методов, как горизонтальное переворачивание, вращение и регулировка контраста, а также разбивались в зависимости от идентификаторов больницы. Для FedGraphNN структуры графов строились путём определения признаков узлов, матриц смежности и реберных отношений, векторы признаков узлов нормализовались, данные графов преобразовывались в разреженные представления смежности, а графы разбивались между клиентами как подграфы. Для CICIDS2017 дублирующиеся записи удалялись, отсутствующие значения вводились в среднее значение, кодировались категориальные признаки, применялась нормализация признаков, а безобидный и атакующий трафик сбалансировался с помощью стратифицированной дискретизации. Каждый клиентский набор данных делился на 80% обучающих, 10% валидационных и 10% тестовых, что обеспечивало сохранение распределений классов. Клиентские наборы данных хранились в отдельных папках (Client_01, Client_02, ...), а доступ к локальным узлам был ограничен для соображений конфиденциальности.

Архитектура Интеллектуальной Федеративной Системы Обучения (IFLF)
Интеллектуальная федеративная образовательная структура была организована в пятиуровневую архитектуру, включающую слой данных, клиентский слой, слой агрегации, слой адаптации и оптимизации, слой интерпретируемости, как показано на рисунке 1. Архитектурные слои были спроектированы так, чтобы передавать информацию последовательно. После подготовки и разделения гетерогенных наборов данных в зависимости от владения клиентом уровень данных передавал информацию на клиентский уровень, где обучались локальные модели и генерировались обновления моделей. Эти обновления отправлялись на уровень агрегации, где метрики надёжности и сходства направляли агрегацию взвешенных вкладов клиентов. Уровень адаптации и оптимизации обеспечивал плавный глобальный процесс обучения, изменяя параметры скорости обучения в соответствии с градиентной дисперсией. Наконец, слой интерпретируемости использовал объяснимые методы искусственного интеллекта, такие как SHAP и LIME, для интерпретации глобальной модели и создания объяснений предсказаний.

Рисунок 1. Архитектура Интеллектуальной Федеративной Системы Обучения. Фреймворк разделён на пять уровней: Данные, Клиент, Агрегация, Адаптация и Оптимизация, а также Интерпретируемость. Данные от неколокационных, гетерогенных клиентов обрабатываются локально, агрегируются на основе надёжности и сходства, адаптивно оптимизируются и интерпретируются с помощью SHAP или LIME. Стрелки указывают итеративную коммуникацию между клиентами и центральным сервером, формирующим федеративный цикл обучения. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Слой данных
Наборы данных были разделены по требованиям к собственности клиента и конфиденциальности, при этом для каждого клиента сохранялись выделенные места хранения. Применялись различные конвейеры предварительной обработки, а функции нормализовались для обеспечения стандартизированных входных форматов между доменами.

Клиентский уровень
Были созданы распределённые клиенты, представляющие устройства, организации или учреждения, каждый из которых получал идентичную копию глобальной модели, инициализированную с теми же параметрами. Локальное обучение проводилось с использованием специфических для клиента наборов данных с методами оптимизации, такими как стохастический градиентный спуск или Адам, при этом передавались только параметры модели или градиенты для сохранения конфиденциальности данных.

Слой агрегации
Центральный агрегатор получал зашифрованные обновления модели от всех клиентов и оценивал их надёжность и сходство перед агрегацией. Для определения важности обновлений клиентов использовались оценки надёжности, основанные на результатах валидации, а сходство между обновлениями оценивалось с помощью методов, таких как кластеризация или косинусное сходство. Была проведена взвешенная агрегация, и обновлённая глобальная модель была перераспределена между клиентами.

Слой адаптации и оптимизации
Параметры оптимизации динамически корректировались на основе прогресса обучения между клиентами. Были запланированы скорости обучения для снижения дисперсии обновлений, а также были применены дополнительные методы, такие как проксимальная регуляризация и адаптивное взвешивание, для снижения дрейфа клиента и повышения стабильности сходимости.

Слой интерпретируемости
Для генерации оценок атрибуции признаков и объяснения моделей использовались объяснимые методы искусственного интеллекта, такие как SHAP и LIME. Результаты включали рейтинги важности признаков, карты атрибуции и визуальные объяснения, которые интерпретировались в контексте знаний по конкретной области для обеспечения прозрачности.

Федеративная подготовка
Интеллектуальная федеративная структура обучения была реализована через инициализацию глобальной модели на центральном агрегатном сервере, за которой последовало определение обучающих гиперпараметров, включая скорость обучения, коммуникационные раунды и локальные эпохи. Глобальные параметры модели были распределены между всеми клиентами, которые затем выполняли локальное обучение с использованием своих частных наборов данных. Локальные потери обучения и точность валидации вычислялись, а обновления модели генерировались и шифровались перед передачей на агрегаторный сервер. Надёжность клиентских обновлений оценивалась на основе эффективности валидации с использованием уравнения 1.

(1)

Где Acc_i представляет точность валидации клиента i.

Сходство между клиентскими обновлениями вычислялось с помощью косинусного сходства градиентных векторов, как определено в уравнении 2.

(2)

Где g_i и _{g j} представляют градиентные векторы разных клиентов.

Веса адаптивной агрегации вычислялись путём объединения оценок надёжности и сходства, как определено в уравнении 3.

(3)

Вес адаптивной агрегации для каждого клиента определялся путём объединения показателей надёжности и сходства. Метрика надёжности отражала точность валидации локальной клиентской модели, а метрика сходства измеряла сходство косинуса между обновлениями градиента клиента.

Вес агрегации w таким образом отдавал приоритет клиентам, которые одновременно демонстрировали надёжную работу валидации и демонстрировали последовательные направления обновления с глобальной целью оптимизации.

Нормализованные веса обеспечивали суммирование общего вклада всех участвующих клиентов в единицу, что сохраняло стабильность глобального обновления модели.

Веса были нормированы так, что .

Глобальное обновление модели
Клиентские модели были агрегированы с использованием взвешенного среднего, как показано в уравнении 4.

(4)

Где M_i представляет локальные параметры клиента i.

Обновленные глобальные параметры модели транслировали всем клиентам.

Адаптивная модуляция скорости обучения
Дисперсия градиентов клиента между раундами связи отслеживалась. Скорость обучения динамически корректировалась согласно Уравнению 5.

(5)

Где Var(g) представляет градиентную дисперсию между клиентами.

Обновлённый темп обучения применялся во время следующего локального учебного цикла. Скорость адаптивного обучения контролировалась центральным агрегационным сервером и применялась глобально для всех клиентов в последующих раундах обучения. Эта глобальная корректировка обеспечила стабильное поведение оптимизации с учётом вариаций в обновлениях клиентов. Поскольку модуляция скорости обучения выполнялась на уровне сервера, все участвующие клиенты получали обновлённую скорость обучения вместе с параметрами глобальной модели вещания.

Федеративная оценка эффективности обучения
Точность глобальной модели оценивалась с помощью агрегированного тестового набора данных, как показано в уравнении 6.

(6)

Где TP представляет количество истинно положительных предсказаний, TN — истинно отрицательные прогнозы, FP — ложноположительные прогнозы, а FN — ложноотрицательные прогнозы

Справедливость между клиентами измерялась путём вычисления дисперсии точности клиента.

Стоимость связи рассчитывалась как общее количество параметров модели, передаваемых между клиентами и сервером агрегации во всех раундах коммуникации. Общие накладные расходы на связь были оценены, как показано в уравнении 7.

(7)

Где R — количество раундов связи, C — количество клиентов, а S — размер модели.

Анализ интерпретируемости моделей проводился с использованием SHAP для вычисления глобальных оценок важности признаков и LIME для генерации локальных объяснений отдельных прогнозов. Результаты атрибуции признаков визуализировались для интерпретации поведения модели.

Устранение неполадок
Нестабильная сходимость возникала, когда клиентские наборы данных были очень гетерогенными или содержали крайне несбалансированные распределения классов. В таких случаях периоды локального обучения сокращались или начальная скорость обучения снижалась для стабилизации обновлений градиента. Сильно искаженные распределения клиентов приводили к доминированию небольшого числа клиентов при агрегировании, что было смягчено за счёт корректировки порога взвешивания надежности или увеличения разнообразия участия клиентов. Ненадёжное участие клиентов, вызванное перебоями в сети, нарушало круги связи; Поэтому было включено частичное участие, что позволило серверу агрегации продолжать доступные клиентские обновления. Сбой с интерпретируемостью или непоследовательная атрибуция признаков возникал, когда модели чрезмерно регуляризировались или обучались на недостатке данных, а также проверялись этапы предварительной обработки данных, обеспечивая генерацию объяснений SHAP или LIME после сходимости модели.

Итеративная последовательность инициализации модели, локального обучения, интеллектуальной агрегации, адаптивной оптимизации и анализа интерпретируемости показана на рисунке 2, который представляет общий рабочий процесс Интеллектуальной федеративной структуры обучения (IFLF).

Рисунок 2. Рабочий процесс Интеллектуальной Федеративной Системы Обучения. На рисунке изображен итеративный цикл фаз, включая инициализацию, локальное обучение, агрегирование, адаптивную оптимизацию и интерпретируемость, иллюстрируя сквозную работу фреймворка. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Оценка эффективности
Были рассчитаны глобальные и локальные метрики, включая точность, точность, отзывы и результат F1. Справедливость измерялась по вариации точности локального клиента. Эффективность связи оценивалась как размер данных, передаваемых за раунд. Производительность модели оценивалась по типичным федеративным базовым стандартам, таким как FedAvg, FedProx и FedOpt. Результаты были представлены с использованием кривых сходимости, матриц путаницы и графиков интерпретируемости. Все экспериментальные настройки, логи и контрольные точки сохранялись для обеспечения воспроизводимости.

Краткое описание рабочего процесса
Цикл IFLF проводился с помощью непрерывного повторения локального обучения, умной агрегации, адаптивной оптимизации и анализа интерпретируемости. Конфиденциальность данных поддерживалась за счёт хранения данных в локальных узлах и одновременно способствуя совместному совершенствованию моделей. Эти шаги включали механизмы, направленные на обеспечение справедливости, прозрачности и эффективности среди клиентов, не находящихся в колокации.

Результаты

Обзор
Все экспериментальные результаты, представленные в этом исследовании, были усреднены за пять независимых прохождений с разными случайными инициализациями и конфигурациями выборки по клиенту для обеспечения надёжности. Метрики производительности, включая точность, точность, отзыв и результат F1, представлены как среднее ± стандартное отклонение. Наблюдаемое стандартное отклонение между маршрутами оставалось в небольшом диапазоне (обычно ±0,5% до ±1,2%), что свидетельствует о стабильной и стабильн...

Обсуждение

Предлагаемая Концепция интеллектуального федеративного обучения (IFLF) решает проблемы федеративного обучения, возникающие в гетерогенных и распределённых средах. Систематическая оценка по четырём наборам данных показывает, что сочетание агрегации и адаптивной оптимизации улучшает устойчивость сходимости и глобальную производительность модели. Интегрируя надёжность и сходство клиента в процесс агрегации, фреймворк снижает влияние непоследовательных обновлений, одновременно придавая больш...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
CICIDS2017 Набор данных	Канадский институт кибербезопасности	Публичный набор данных	Обнаружение вторжений
Набор данных FedGraphNN	FedGraphNN	Публичный набор данных	Обучение графам
Набор данных FEMNIST	Бенчмарк LEAF	Публичный набор данных	Набор данных зрения
Набор данных FLamby	Проект FLamby	Публичный набор данных	Набор данных в области здравоохранения
Цветок	Фреймворк Flower	1.6	Симуляция федеративного обучения
Рабочая станция GPU	NVIDIA	RTX GPU	Обучение моделям
NumPy	Разработчики NumPy	1.26	Численные вычисления
Python	Фонд программного обеспечения Python	3.1	Язык программирования
Scikit-learn	Scikit-learn	1.3	Утилиты машинного обучения
TensorFlow / PyTorch	Google / Meta	Последние новости	Фреймворк глубокого обучения