Диффузионно-ориентированная стратегия прокси-обучения с безопасным взаимодействием со сверстниками для генеративного интеллекта в киберфизических системах

Summary

Здесь мы представляем платформу генеративного прокси-обучения (GPLF), которая обеспечивает федеративное обучение на основе прокси (ProxyFL) для улучшения решений генеративного искусственного интеллекта в киберфизических системах (CPS). Интегрируя функции дифференциальной конфиденциальности и методы шифрования, GPLF усиливает защиту конфиденциальности, что снижает утечку конфиденциальности, тем самым делая операции киберфизических систем более интеллектуальными и безопасными.

Abstract

Cyber-Physical System (CPS) сочетает в себе вычислительный интеллект с физическими процессами, что обеспечивает мгновенный мониторинг, возможность принятия решений и услуги автоматизации в различных жизненно важных областях. Кроме того, генеративный искусственный интеллект (ИИ) сталкивается со значительными препятствиями для развертывания в рамках CPS, поскольку распределенные среды с конфиденциальными данными создают серьезные проблемы для обеспечения конфиденциальности и безопасности. Современные методы, такие как федеративное обучение (FL), сталкиваются с трудностями как в плане разнообразия моделей, так и в плане риска нарушения конфиденциальности. Платформа Generative Proxy Learning Framework (GPLF) является нашим инновационным решением, использующим федеративное обучение на основе прокси (ProxyFL), специально адаптированное для приложений генеративного ИИ в киберфизических системах (CPS). В GPLF каждый участник поддерживает две модели: участники оперируют частной моделью, предназначенной для локального анализа данных, вместе с общей моделью прокси, которая обеспечивает совместную работу защищенных узлов. Являясь важной основой механизмов генеративного искусственного интеллекта, усовершенствованные диффузионные модели обеспечивают высокую точность синтетических данных вместе с сохранением ключевых характеристик данных. Модели генерируют синтетические данные датчиков, что позволяет улучшить обнаружение аномалий и поддерживает прогнозное моделирование с помощью подлинных представлений поведения CPS в различных сценариях. Система обеспечивает расширенную защиту конфиденциальности с помощью дифференциальных механизмов конфиденциальности при обновлении данных прокси-сервера, в то время как прямая одноранговая связь в сети получает преимущества от расширенной защиты шифрования. GPLF обслуживает платформы CPS, подключаясь к датчикам реального времени и устройствам IoT, которые поддерживают безопасные генеративные процессы, включая обнаружение аномалий, создание синтетических данных и прогнозное моделирование. Результаты тестов эталонных наборов данных CPS показывают значительное повышение производительности с уменьшением на 25% утечки конфиденциальности и улучшением возможностей обмена данными на 25%, а также повышением точности генеративных задач на 18%, что поддерживает его трансформационный потенциал для безопасных и интеллектуальных операций CPS.

Introduction

В исследовании исследуются киберфизические системы (CPS) путем объединения вычислительного интеллекта с реальными процессами для обеспечения наблюдения в режиме реального времени наряду с возможностями быстрого принятия решений и автоматизации систем¹. Новые технологии Интернета вещей (IoT) и искусственного интеллекта (ИИ) значительно расширяют спектр приложений, в которых системы CPS выполняют основные функции в процессах разработки интеллектуальных сетей и промышленной автоматизации, а также в сфере услуг здравоохранения^. Организации, внедряющие CPS, все чаще используют модели генеративного ИИ, которые обеспечивают возможность имитации поведения системы, а также позволяют прогнозировать моделирование наряду с улучшенным обнаружением аномалий. Распределенный формат данных CPS в сочетании с его конфиденциальными атрибутами приводит к серьезным уязвимостям конфиденциальности, а также к проблемам безопасности и масштабируемости в реализациях генеративного ИИ.

Существующие методы, такие как Federated Learning (FL), нацелены на защиту конфиденциальности данных, но сталкиваются с ограничениями, которые включают угрозу утечки конфиденциальности при обновлении модели, а также снижение поддержки генеративного ИИ и неадекватную обработку различных условий CPS³. В современных подходах отсутствует существенная интеграция передовых механизмов, предназначенных как для генерации данных, так и для защиты при работе в распределенных CPS в режиме реального времени. Поскольку существующие структуры не справляются во многих областях, существующие исследования демонстрируют значительные потребности, которые могут быть удовлетворены только путем создания нового решения, обеспечивающего безопасные, масштабируемые, генеративные модели наряду с четкой^{защитой} конфиденциальности.

В новом исследовании Generative Proxy Learning Framework (GPLF) описывается специально разработанный метод для облегчения развертывания функций генеративного ИИ в CPS. GPLF реализует схему FL на основе прокси⁵, поэтому пользователи могут работать с частными моделями для изучения индивидуальных данных и прокси-моделями для поддержания защищенной совместной учебной деятельности. Это исследование направлено на повышение конфиденциальности данных за счет применения дифференциальных подходов к конфиденциальности в сочетании с безопасным гомоморфным шифрованием и использует передовые модели диффузии для производства высококачественных синтетических данных. Система поддерживает безопасное обнаружение аномалий, а также функции предиктивного моделирования, обеспечивая эффективную передачу информации между распределенными операциями CPS.

GPLF решает существующие проблемы FL с помощью своей двухмодельной структуры, которая обеспечивает защиту данных и гибкость системы⁶. Каждый участник CPS использует как частную, так и прокси-модель, которые создают две отдельные системы для обеспечения защиты конфиденциальности на местном уровне и обеспечения возможностей командного обучения. Частная модель использует локализованные операции для обучения на конфиденциальных данных участника и обеспечивает полную конфиденциальность данных, сохраняя конфиденциальную информацию в параметрах каждого участника. Система достигает максимальной производительности при обнаружении аномалий и распознавании закономерностей на локальном уровне⁷. Прокси-модель служит совместным механизмом коллективного обучения, доступным для всех участников для безопасного обмена знаниями. Прокси-модель обучается с соблюдением конфиденциальности с помощью очищенной синтетической обработки данных из диффузионных моделей и передачи обновлений как через дифференциальную конфиденциальность, так и через гомоморфное шифрование, поскольку это обеспечивает частную, но функциональную FL.

Стратегия диффузии позволяет создавать превосходные синтетические наборы данных, которые сохраняют важные характеристики, скрывая при этом личные данные. Это исследование выявило существенные достижения, которые проявились в значительном снижении утечки конфиденциальности за счет усовершенствованных функций обмена данными и повышения производительности генеративных задач, что позволило повысить устойчивость операций киберфизических систем. GPLF создает новую методологию интеллектуального CPS, объединяя обучение, сохраняющее конфиденциальность, с возможностями генеративного ИИ⁸.

GPLF предоставляет новые возможности благодаря своей двойной модели, специально предназначенной для решения проблем конфиденциальности при развертывании генеративного ИИ в CPS. В то время как обычное федеративное обучение использует одну модель для всех участников, GPLF развертывает как частные модели для изучения локальных данных, так и прокси-модели для выполнения задач группового обучения. Благодаря строгому разделению данных пациенты хранят конфиденциальную информацию локально, но используют очищенные синтетические данные прокси-модели в сочетании с дифференциальной конфиденциальностью для достижения безопасного сотрудничества. Прокси-модель обеспечивает надежное обнаружение аномалий и прогнозное моделирование, сохраняя при этом адаптивность системы за счет высококачественных синтетических данных, генерируемых диффузионными моделями, обеспечивая защиту конфиденциальности пользователей. GPLF выделяется как инновационная платформа для безопасных систем CPS, поскольку ее подход к двойной модели обеспечивает усиленную защиту конфиденциальности вместе с безопасностью данных при сохранении масштабируемости и операционной эффективности.

Целью исследования является разработка федеративного обучения на основе прокси (ProxyFL), которое требует архитектуры двойной модели для обеспечения безопасной адаптации в рамках CPS. Кроме того, усовершенствованные модели диффузии необходимы для того, чтобы служить точкой интеграции для производства синтетических данных для поддержания основных характеристик данных во время гарантий конфиденциальности. Наконец, необходимо реализовать методы дифференциальной конфиденциальности наряду с гомоморфными протоколами шифрования для обеспечения безопасности данных и защиты конфиденциальности при градиентной агрегации.

Таблица 1 9,10,11,12,13,14,15,16,17,18,19 освещает основные процессы существующих методов и их достижения с некоторыми критическими ограничениями.

Таблица 1: Обзор основных направлений исследований, основных компонентов, достижений и ограничений. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Существующие подходы к слиянию генеративного ИИ с системами CPS демонстрируют критические проблемы с расширением до крупных развертываний при сохранении правил конфиденциальности и достижении гибкости системы²⁰. Существующие методы FL демонстрируют ограничения из-за недостаточного разнообразия моделей, а также демонстрируют слабую производительность в рассредоточенных и изменяющихся системах и раскрывают пользовательские данные из-за уязвимых практик передачи данных. Высокоточные представления данных, необходимые для обнаружения аномалий, генерации синтетических данных и прогнозного моделирования в CPS, часто ускользают от многих решений генеративного моделирования, которые могут поставить под угрозу конфиденциальность и эффективность вычислений при попытках достичь этих стандартов. Текущие недостатки системы подтверждают требование фреймворка для поддержки масштабируемых, безопасных и эффективных процессов генеративного ИИ.

Protocol

Generative Proxy Learning Framework (GPLF) представляет собой новую технологию, которая интегрирует генеративный ИИ с CPS и решает важные вопросы конфиденциальности данных, а также показателей безопасности и производительности в распределенных сетевых системах. Функциональность платформ CPS зависит от актуального мониторинга наряду с автоматизированными операциями, которые извлекают конфиденциальные входные данные от растущего числа устройств и датчиков IoT. Было обнаружено, что внедрение технологий генеративного ИИ в системы CPS создает особые опасности, такие как уязвимости конфиденциальности в сочетании с проблемами безопасности в распределенных сетевых конфигурациях. GPLF развертывает инновационную среду федеративного обучения на основе прокси (ProxyFL), которая поддерживает безопасное совместное обучение, специально предназначенное для генеративных задач, чтобы смягчить существующие проблемы. Тщательная оценка структуры GPLF проводилась на платформе CPS, испытательный стенд которой сочетал в себе различные технологии сенсорных сетей с устройствами IoT и потоковой передачей данных в реальном времени.

Участники GPLF во время своего участия запускают две отдельные модели.
Эксклюзивная частная модель функционирует для локального анализа данных, сохраняя при этом защиту данных от внешнего доступа.
Модель 5 Shared Proxy^{системы обеспечивает} безопасное взаимодействие участников с помощью технологии шифрования в сочетании с методами дифференциальной конфиденциальности.

Фреймворк использует диффузионные модели для создания сложных синтетических наборов данных, которые расширяют возможности обнаружения аномалий, демонстрируя при этом прогнозное моделирование и отслеживание поведения системы во время моделирования различных сценариев. Синтезированные наборы данных сохраняют важные характеристики характеристик благодаря эффективным методам сохранения конфиденциальности. Платформа обеспечивает безопасный одноранговый обмен данными с помощью надежных методов шифрования, которые защищают каналы связи от вредоносных атак. Оценки, проведенные с помощью GPLF на реальных платформах CPS, показали, как она может значительно улучшить безопасные и интеллектуальные операционные возможности в условиях ограничений масштабируемости. Значительные усовершенствования мер по устранению утечек конфиденциальности наряду с дополнительными улучшениями в возможностях обмена данными и точности генеративных задач доказали его функциональную ценность и конкретные результаты работы. Основными этапами GPLF являются инициализация федеративного обучения на основе прокси, а также локальное обучение на основе частных данных, которое составляет основу GPLF и интегрирует обновления прокси-модели, защищенные дифференциальной конфиденциальностью. Также включены методы генерации синтетических данных с использованием диффузионных моделей с безопасными одноранговыми методами обмена данными, а также модули для обнаружения аномалий и прогнозного моделирования. Организованная структура на рисунке 1 показывает основные элементы GPLF, которые обладают потенциалом для оптимизации основных операций CPS.

Рисунок 1: Архитектурная структура GPLF для безопасных и интеллектуальных операций CPS. Разработано для обеспечения безопасных и интеллектуальных операций в киберфизических системах. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

В следующих разделах подробно рассматриваются шесть этапов структуры для безопасной связи между гетерогенными устройствами на платформе CPS.

1. Инициализация федеративного обучения на основе прокси

Этап-1 — это федеративная инициализация обучения на основе прокси, в которой GPLF использует процесс инициализации FL на основе прокси для настройки системы (N) каждого участника CPS с двумя моделями, которые обеспечивают конфиденциальность и в то же время позволяют участникам безопасно сотрудничать с помощью функций обучения. Отдельные участники CPS (i) получают частную модель для работы со своими локальными данными (d_i) для защиты конфиденциальности наряду с общей моделью прокси для обеспечения безопасного совместного поведения между участниками. Модели начинают свое обучение с весов, созданных из рандомизированных записей гауссова распределения²¹ для нормализованных начальных условий, которое выражается как в уравнении (1),
(1)
Участники автономно обрабатывают свои данные, обмениваясь аналитическими сведениями с помощью общих моделей, которые поддерживают распределенное генеративное обучение с сохранением конфиденциальности в системах CPS.

2. Локальное обучение по конфиденциальным данным

Этап-2 – Локальный тренинг по приватным данным; Здесь проводится обучение работе с данными, в ходе которого участники CPS разрабатывают частные модели на основе хранящихся локальных данных, чтобы обеспечить полную защиту данных на месте за счет их изоляции от внешнего воздействия. Участники проходят обучение по оптимизации моделей на основе данных с использованием стохастического градиентного спуска (SGD)²² , который происходит через локализованную функцию потерь (l_local) и поддерживает как извлечение значимой информации, так и локализованные адаптации при сохранении конфиденциальности данных.
(2)
(3)
В пунктах (2) и (3) I и O обозначают вход выборки и соответствующее целевое значение. L обозначает потери с коэффициентом обучения (Ɽ). На этом этапе разрабатываются системы индивидуального интеллекта участников, которые служат основой для будущих безопасных совместных образовательных процессов.
Независимая рекуррентная нейронная сеть (IndRNN) функционирует как модель машинного обучения этапа 2, поскольку ее архитектура обеспечивает независимость нейронов на каждом временном шаге для выполнения конкретных задач CPS, смягчая при этом традиционные проблемы градиента RNN. Каждый нейрон в системе IndRNN имеет индивидуальный рекуррентный вес, что позволяет лучше улавливать долгосрочные зависимости. Модель отдельной операции улучшает градиентную передачу, которая эффективно масштабирует глубокие сетевые структуры, сохраняя при этом эффективность вычислительных процессов. Последовательная обработка данных на платформах CPS лучше всего работает с IndRNN из-за его способности обрабатывать длинные последовательности с использованием надежных шаблонов обучения, сохраняя при этом низкую сложность сети.
Расчет в уравнении (4) показывает, что решение проблемы исчезающего и взрывающегося градиента в IndRNN вытекает из его особого подхода к проектированию рекуррентных соединений.
(4)
Из (4) ω и H_t указывают на вес и скрытое состояние при t соответственно. представляют вектор независимой рекуррентной значимости (веса), по одному для каждой точки данных, что обеспечивает независимость на различных временных шагах. ʘ обозначает конструктивные особенности поддержки поэлементного умножения, которая поддерживает полную независимость между рекуррентными связями каждого нейрона, а ä обозначает функцию активации. Архитектура нейронной архитектуры позволяет избежать расширения или сжатия градиента на протяжении всей последовательности вычислений, что способствует стабильному обучению модели обучения и успешному обучению расширенных шаблонов.
IndRNN становится предпочтительным подходом для обнаружения аномалий CPS, поскольку он успешно предотвращает традиционные градиентные взрывы и исчезновения RNN. Долгосрочные зависимости легко отслеживаются с помощью архитектуры IndRNN, поскольку она работает с меньшими сложностями, чем модели Transformer, и обеспечивает как быструю сходимость, так и работу в режиме реального времени. Эффективная природа IndRNN делает его исключительно подходящим для представления ограниченных ресурсов эксплуатационных характеристик CPS, обеспечивая при этом точное распознавание аномалий без чрезмерного вычислительного напряжения.

3. Диффузионная модель для генерации синтетических данных

Stage-3 — это диффузионная модель для генерации синтетических данных. На этом этапе используются передовые модели диффузии для получения синтетических данных, которые повторяют основные характеристики полученных конфиденциальных данных. Модели изучают распределение исходных данных, чувствительных к конфиденциальности, путем добавления контролируемого шума для сбора характеристик, что помогает создавать синтетические данные с высокой точностью, сохраняющие важные функции, защищая при этом гарантии конфиденциальности. Процедура итерационного шумоподавления генерирует синтетические данные, сохраняя основные статистические свойства и структурные элементы фактических данных.
Первоначально процесс обучения модели генеративной диффузии (Υ) фокусируется на создании синтетических данных с высокой точностью при сохранении важнейших характеристик из частных данных (d_i), а основные вычисления такой генерации включают в себя:
(5)
В пункте (5) укажите включение гауссова шума в выборки данных. Вновь сгенерированные синтетические данные выражаются следующим образом:
(6)

4. Обновление модели прокси с дифференциальной конфиденциальностью

Stage-4 — это обновление прокси-модели с дифференциальной конфиденциальностью. На этом этапе каждый коммуникативный участник использует синтетические данные, созданные диффузионной моделью на этом этапе, для обучения своей прокси-модели на этом этапе.
(7)
Градиенты обновлений прокси-модели остаются частными из-за механизмов дифференциальной конфиденциальности, добавляющих шум к их значениям.
(8)
Чтобы защитить конфиденциальность данных, передовые методы шифрования (гомоморфное шифрование) преобразуют (ξ) очищенные обновления (U) в защищенные данные, которые распространяются либо через центральный сервер, либо через несколько одноранговых узлов.
(9)
Из (9) ҟ обозначает ключ шифрования. Благодаря совместной агрегации зашифрованных обновлений системы обеспечивают безопасность конфиденциальной локальной информации при безопасном выполнении распределенных операций обучения.
Гомоморфное шифрование²³создает безопасные платформы для выполнения вычислений на зашифрованных данных без расшифровки, прежде чем позволят получить окончательные результаты из зашифрованных входных данных, таких как агрегированные градиенты. Данные остаются зашифрованными в течение всего срока их работы (end-to-end), что, следовательно, предотвращает внешние нарушения во время вычислительных процессов. Платформа позволяет участникам CPS, находящимся в разных местах, обмениваться зашифрованными обновлениями данных для совместных учебных операций без разглашения личной информации. В соответствии с целями исследования, этот метод обеспечивает полную защиту конфиденциальности по мере необходимости и демонстрирует превосходную производительность по сравнению с другими методами шифрования, которые требуют расшифровки данных для вычислений, тем самым подвергая их потенциальным угрозам. Гомоморфное шифрование является наиболее подходящим методом защиты для систем proxyFL, поскольку оно поддерживает как безопасные вычисления над данными, так и автономные операции шифрования.

5. Безопасное одноранговое взаимодействие

1. Этап-5 — это безопасные одноранговые взаимодействия. На этом этапе участники безопасно передают свои зашифрованные очищенные обновления модели прокси, которые они создали на этапе 4. Участники (i) сохраняют конфиденциальность при передаче обновлений благодаря гомоморфному шифрованию, которое облегчает такие вычисления, как градиентная агрегация зашифрованных данных напрямую, без необходимости расшифровки. Участники выражают одноранговую коммуникацию с помощью вычислительных методов, таких как:
   (10)
   Из пункта (10) очевидно, что безопасное одноранговое взаимодействие/коммуникация в рамках платформ CPS обеспечивается с помощью гомоморфного шифрования (ξ(·)).
   С помощью градиентной агрегации (Ψ) зашифрованные вклады градиента от нескольких пользователей позволяют совместно обновлять общую прокси-модель. Это исследование показывает безопасное накопление зашифрованных градиентов каждого участника с помощью гомоморфного шифрования.
   (11)
   Из (11) N представляет количество участников. Метод также позволяет выполнять прямые вычисления на зашифрованных градиентах и защищает конфиденциальные данные во время агрегации. Участники обновляют прокси-модель путем расшифровки агрегированных градиентов, что позволяет проводить совместное обучение с учетом конфиденциальности во всей сети CPS. Безопасные методы расшифровки сохраняют конфиденциальный доступ к индивидуальным градиентам для всех пользователей на протяжении всего процесса.
   (12)
   Таким образом, ограничения безопасной авторизации не позволяют отдельным участникам получить доступ к обновлениям данных, которые принадлежат внешним факторам. Сеть использует агрегированные обновления для совместного улучшения моделей общих прокси-серверов для достижения безопасного распределенного обучения с надежной защитой конфиденциальности в системах CPS.

6. Обнаружение аномалий и предиктивное моделирование

1. Наконец, этап 6 — это обнаружение аномалий и предиктивное моделирование. На этом этапе создаются обновленные прокси-модели для анализа фактических данных CPS в настроенной тестовой среде. Прокси-модели выявляют аномалии (Ф) путем сравнения новых данных (I) с шаблонами, полученными из синтеза и исторических входных данных, для создания оценки аномалии (Å), которая помечает элементы, превышающие заранее определенный предел/порог (τ), который вычислительно выражается как,
   (13)
   (14)
   Оба варианта (13) и (14) гарантируют, что они предоставляют метод распознавания аномального поведения системы и неисправностей на ранних стадиях.
   Предиктивное моделирование с помощью прокси-моделей включает в себя обучение представлений, которые создают прогнозы о поведении или состояниях системы на основе динамических/будущих последовательностей входных данных (I_F), что выражается как:
   (15)
   Рабочий процесс GPLF, продемонстрированный в Рисунок 2 Интегрирует адаптивные контуры обратной связи, которые поддерживают как надежность системы CPS, так и постоянную актуальность. Обнаружение аномалий или дрейфа системы на этапе 6 приводит к тому, что процедура возвращается к этапу 3, где новые синтетические данные создаются с использованием обновленных частных записей, чтобы помочь моделям адаптироваться к изменяющимся шаблонам. Значительное расхождение с ожидаемыми результатами или прогнозами, а также низкая точность, выявленная на этапе 6, вынуждают вернуться к этапу 2, где участникам необходимо переобучать свои модели с использованием наиболее точных и актуальных доступных данных. Во время оценки системы на этапе 5, если сходимость моделей оказывается недостаточной или становятся очевидными несоответствия, система возвращается к этапу 4 для применения уточнений за счет улучшенных синтетических данных и оптимизированных методов обеспечения конфиденциальности. Механизмы циклов обеспечивают адаптивную готовность к обучению, что обеспечивает высокую производительность и безопасность системы управления и технологических процессов.
   Мощное сочетание аппаратных и программных компонентов подтвердило валидацию функций GPLF для развертывания CPS с помощью масштабируемых и безопасных операций. Специфические требования к платформе для GPLF включали в себя Ubuntu 20.04 LTS с реализацией Python v3.9, а также платформы глубокого обучения PyTorch v1.12 и TensorFlow v2.9 для проведения обучения по частным, прокси и диффузионным моделям. Оценка производительности системы объединила программное обеспечение для визуализации Matplotlib v3.5 со статистической визуализацией Seaborn v0.11 и бенчмаркингом Scikit-learn v1.1 с мерами конфиденциальности от PySyft v0.6.0 для дифференциальной конфиденциальности и TenSEAL v0.3 для гомоморфного шифрования. Требования к аппаратному обеспечению включали процессор AMD EPYC-7502P вместе с графическим процессором A100 под управлением CUDA v11.6 для эффективности вычислений и требований к памяти 256 ГБ ОЗУ для поддержки обширных наборов данных CPS, а также твердотельный накопитель емкостью 1 ТБ с последующей сетью Gigabit Ethernet, предназначенной для безопасного обмена информацией, для проведения эффективных исследовательских экспериментов. Алгоритмы GPLF прошли валидацию через эту конфигурацию системы, которая защитила данные и доказала принципы масштабируемости для реальных реализаций CPS. Выбор версии обеспечивает совместимость с расширенным шифрованием, а также методами федеративного обучения и генеративного моделирования, обеспечивая надежную масштабируемость проверки в нескольких приложениях CPS.
   В ходе исследования было выбрано несколько жизненно важных гиперпараметров, которые уравновешивали максимизацию производительности с защитой конфиденциальности и масштабируемостью на всех этапах GPLF. Чтобы сбалансировать локальное обучение с совместным, исследователи установили уникальные коэффициенты обучения на уровне 0,001 и 0,01 для частных и прокси-моделей, но сохранили весовые коэффициенты, инициализированные по Гауссу, чтобы обеспечить стабильную сходимость. Чтобы избежать переобучения при обработке данных CPS, в процессе локального обучения использовались пакеты из 32 экземпляров, каждая из которых была разделена на десять эпох. Для создания синтетических данных в модели диффузии должен был быть использован процесс из 1000 шагов при стандартном отклонении шума 0,05 для поддержания критической точности характеристик. Анонимизация данных за счет дифференциальной конфиденциальности была достигнута за счет реализации градиентного отсечения на уровне 1,0 со шкалой шума, скорректированной до 0,1, при сохранении полезности набора данных. Для гомоморфного шифрования используется криптосистема Paillier²⁴ используется для обработки градиентов с помощью чисто аддитивных операций в рамках федеративного обучения. Криптосистема Paillier позволяет напрямую работать с зашифрованной информацией, что устраняет обширные требования к связи в многопользовательских защищенных вычислительных системах. Этот метод обеспечивает более быструю агрегацию в сочетании с меньшими требованиями к связи, что приводит к масштабируемому и эффективному решению для безопасных вычислений в системах CPS с ограниченными ресурсами. Обнаружение аномалий, заданный предел/порог и горизонт прогнозирования в десять шагов, обеспечивали точный мониторинг и проактивное принятие решений в CPS. Благодаря тонкой настройке гиперпараметров достигается идеальный баланс между показателями производительности и адаптируемостью системы с защитой конфиденциальности в практических приложениях CPS.
   Таблица 2 документирует необходимые гиперпараметры для каждого этапа исследования GPLF и оптимальные значения для достижения наилучшей производительности по всей методологии.
   Для обучения и оценки предлагаемого подхода в различных аспектах рассматриваются два основных набора данных. Они TON_IoT^{25,26,27,28,29,30,31} и UNSW-NB15^{32,33,34,35,36} из Университета Нового Южного Уэльса (UNSW) в Канберре. Были выбраны как наборы данных TON_IoT, так и наборы данных UNSW-NB15, поскольку они содержат полный спектр условий CPS. Эти наборы данных служат разным целям, поскольку TON_IoT представляет различные показания датчиков IoT в сочетании с моделями промышленных ситуаций, а UNSW-NB15 предлагает обширное тестирование данных сетевого вторжения для систем безопасности. Комбинация наборов данных TON_IoT и UNSW-NB15 позволяет провести полную оценку эффективности GPLF в различных операционных условиях. Включение новых наборов данных повысит операционную надежность фреймворка, поскольку мы определили этот недостаток в качестве будущей цели разработки.
   Наборы данных TON_IoT представляют собой обширный репозиторий данных, разработанный для тестирования производительности приложений кибербезопасности с использованием систем на основе алгоритмов искусственного интеллекта и машинного обучения. В Австралийской военной академии при Университете Нового Южного Уэльса, где исследователи создали эти наборы данных из разнородных источников, которые используют телеметрическую информацию от более чем 10 датчиков IoT коренных народов и промышленных IoT, включая считыватели погоды и датчики Modbus, а также журналы операционной системы и сетевые пакеты, захваченные с помощью ZEEK (Bro) в формате pcap в сочетании с файлами журналов и файлами значений, разделенных запятыми (CSV). Этот набор данных поступает из реальной сети, которая сочетает в себе компоненты IoT с облачными функциями и возможностями периферийных/туманных вычислений, которые управлялись на нескольких хостах, на которых работают виртуальные машины и различные операционные системы. Созданная система позволила исследователям проводить тесты кибератак, которые включают в себя распределенные атаки типа «отказ в обслуживании» (DDoS) и DoS-атаки, а также атаки программ-вымогателей на приложения и компьютерные сети IoT в рамках комбинированной структуры Интернета вещей и промышленного IoT. TON_IoT наборы данных включают компоненты необработанных данных, а также обработанные данные со стандартными признаками и метками, обучающие и тестовые выборки, описания функций, статистические сводки и события безопасности, а также метки наземных данных. Решения кибербезопасности на основе искусственного интеллекта для механизмов обнаружения вредоносного ПО, IDS, методов обнаружения мошенничества и платформ анализа угроз, а также процессы сохранения конфиденциальности и цифровая криминалистика выигрывают от TON_IoT наборов данных благодаря своей структурированной организационной структуре, которая также помогает использовать состязательные модели машинного обучения и методы поиска угроз.
   Лаборатория Cyber Range Lab Университета Нового Южного Уэльса в Канберре разработала набор данных UNSW-NB15 в качестве комплексного стандарта для оценки системы обнаружения сетевых вторжений. С помощью инструмента IXIA PerfectStorm набор данных UNSW-NB15 объединяет как реальные обычные современные действия, так и демонстрации синтетических атак, в результате чего создается около 100 ГБ сетевого трафика, захваченного в формате pcap. Набор данных включает в себя девять уникальных вариантов атак: анализ, DoS, фаззеры, бэкдоры, шеллкод, эксплойты, черви, общие и разведывательные. Используя инструменты Argus и Bro-IDS вместе с двенадцатью разработанными алгоритмами, исследователи извлекли и пометили 49 признаков, что позволило провести исчерпывающий анализ. Более 2,5 миллионов записей заполняют набор данных, который охватывает четыре рабочие станции CSV и разбит на 175 341 запись для целей обучения и 82 332 записи для тестирования функциональности. Систематическое расположение данных в рамках этой структуры стимулирует процессы разработки и тестирования моделей обнаружения вторжений.

Рисунок 2: Рабочий процесс GPLF. Последовательный рабочий процесс GPLF с выделением каждого ключевого шага процесса. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Таблица 2: Спецификации параметров GPLF. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Results

Метрика Privacy Leakage Reduction Index (PLRI) измеряет снижение утечки конфиденциальности по сравнению со стандартными базовыми моделями. Оценка сосредоточена на том, как дифференциальная конфиденциальность и гомоморфное шифрование работают в качестве подходов к сохранению конфиденциальности.

Оценка утечки конфиденциальности оценивает количество открытых точек данных по отношению к общему количеству обновлений в моделях, а также действия по распространению синтетических данных. В нем оценивае...

Discussion

Элементы дизайна GPLF не только поддерживают функции конфиденциальности, но и обеспечивают дополнительные преимущества, повышающие ее возможности по развертыванию. Используя диффузионные модели для получения высокоточных синтетических данных, фреймворк обеспечивает необходимые уровни защиты конфиденциальности для таких важных областей, как здравоохранение, наряду с мониторингом критически важной инфраструктуры, сохраняя при этом точные возможности генеративного моделирования. GPLF обеспе...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Графический процессор A100 (CUDA)	Ускорение графического	процессора NVIDIA CUDA версии 11.6	для обучения и оценки моделей.
AMD EPYC-7502P CPU	AMD	N/A	Процессор, используемый для высокопроизводительных вычислений.
Gigabit Ethernet	Intel	N/A	Networking для одноранговой безопасной связи в CPS.
Matplotlib	Python Software Foundation	версии 3.5	Библиотека визуализации для построения графиков результатов.
Paillier Cryptosystem	Open Source (реализована через TenSEAL)	N/A	Обеспечивает аддитивное гомоморфное шифрование на градиентах.
PySyft	OpenMined	Version 0.6.0	Дифференциальная конфиденциальность и библиотека федеративного обучения.
Python (дистрибутив Anaconda)	Anaconda Inc	версии 3.9	Включает предустановленные пакеты и инструменты управления средой, используемые для написания скриптов и разработки фреймворков.
PyTorch	Meta AI	версии 1.12	— платформа глубокого обучения для обучения моделей.
Оперативная память	Corsair	256 Гигабайт (ГБ)	Высокая поддержка памяти для интенсивных тренировок.
Scikit-learn	Python Software Foundation	версии 1.1	Инструменты машинного обучения для оценки производительности.
Seaborn	Python Software Foundation	версии 0.11	Библиотека визуализации статистических данных.
Твердотельный накопитель	Seagate	1 терабайт (ТБ)	Для быстрого хранения и извлечения данных.
TenSEAL	OpenMined	Version 0.3	Библиотека гомоморфного шифрования для безопасной агрегации.
TensorFlow	Google	Version 2.9	Фреймворк глубокого обучения для диффузионных моделей.
всех экспериментов использовалась операционная система	Ubuntu OS	Canonical	Version 20.04 LTS