Strategia uczenia się proxy sterowana dyfuzją z bezpiecznymi interakcjami rówieśniczymi dla inteligencji generatywnej w systemie cyberfizycznym

Summary

Tutaj prezentujemy Generative Proxy Learning Framework (GPLF), który wprowadza Proxy-based Federated Learning (ProxyFL) w celu ulepszenia rozwiązań Generative AI w systemach cyber-fizycznych (CPS). Integrując funkcje prywatności różnicowej i metody szyfrowania, GPLF zwiększa ochronę prywatności, co zmniejsza wyciek prywatności, dzięki czemu operacje systemu cyberfizycznego są inteligentniejsze i bezpieczniejsze.

Abstract

System Cyber-Fizyczny (CPS) łączy inteligencję obliczeniową z procesami fizycznymi, co umożliwia natychmiastowe monitorowanie, podejmowanie decyzji i usługi automatyzacji w różnych kluczowych dziedzinach. Co więcej, generatywna sztuczna inteligencja (AI) napotyka znaczne bariery we wdrażaniu w CPS, ponieważ rozproszone środowiska z wrażliwymi danymi stanowią poważne wyzwanie dla utrzymania prywatności i bezpieczeństwa. Obecne techniki, takie jak Federated Learning (FL), napotykają trudności zarówno pod względem różnorodności modeli, jak i ryzyka naruszenia prywatności. Generative Proxy Learning Framework (GPLF) służy jako nasze innowacyjne rozwiązanie, które wykorzystuje ProxyFL oparte na Proxy-based Federated Learning (ProxyFL) specjalnie dostosowane do zastosowań generatywnej sztucznej inteligencji w systemach cyberfizycznych (CPS). W GPLF każdy uczestnik utrzymuje dwa modele: Uczestnicy korzystają z prywatnego modelu dedykowanego do lokalnej analizy danych wraz z modelem współdzielonego proxy, który umożliwia współpracę między chronionymi węzłami. Zaawansowane modele dyfuzyjne, będące podstawową podstawą mechanizmów generatywnej sztucznej inteligencji, dostarczają dane syntetyczne o wysokiej wierności wraz z zachowaniem kluczowych cech danych. Modele generują syntetyczne dane z czujników, co umożliwia lepsze wykrywanie anomalii i obsługuje modelowanie predykcyjne dzięki autentycznym reprezentacjom zachowania CPS w różnych scenariuszach. System osiąga zaawansowaną ochronę prywatności dzięki różnicowym mechanizmom prywatności w aktualizacjach danych proxy, podczas gdy bezpośrednia komunikacja równorzędna w sieci korzysta z zaawansowanych zabezpieczeń szyfrowania. GPLF obsługuje platformy CPS, łącząc się z czujnikami czasu rzeczywistego i urządzeniami IoT, które obsługują bezpieczne procesy generatywne, w tym wykrywanie anomalii, tworzenie danych syntetycznych i modelowanie predykcyjne. Wyniki testów porównawczych zestawów danych CPS wskazują na znaczną poprawę wydajności dzięki 25% mniejszemu wyciekowi prywatności i 25% lepszym możliwościom wymiany danych, a także 18% poprawie dokładności zadań generatywnych, co potwierdza jego potencjał transformacyjny w zakresie bezpiecznych, inteligentnych operacji CPS.

Introduction

Badania badają systemy cyber-fizyczne (CPS), łącząc inteligencję obliczeniową z rzeczywistymi procesami, aby umożliwić nadzór w czasie rzeczywistym wraz z możliwościami szybkiego podejmowania decyzji i automatyzacji systemu¹. Pojawiające się technologie Internetu Rzeczy (IoT) i sztucznej inteligencji (AI) znacznie rozszerzają zakres zastosowań, w których systemy CPS obsługują podstawowe funkcje w zakresie rozwoju inteligentnych sieci i procesów automatyzacji przemysłowej, a także usług świadczenia opieki zdrowotnej². Organizacje wdrażające CPS coraz częściej wykorzystują generatywne modele sztucznej inteligencji, które zapewniają możliwość naśladowania zachowania systemu, a także umożliwiają modelowanie predykcyjne wraz z ulepszonym wykrywaniem anomalii. Rozproszony format danych CPS w połączeniu z ich wrażliwymi atrybutami prowadzi do poważnych luk w zabezpieczeniach prywatności, a także problemów z bezpieczeństwem i skalowalnością we wdrożeniach generatywnej sztucznej inteligencji.

Istniejące techniki, takie jak Federated Learning (FL), koncentrują się na ochronie prywatności danych, ale napotykają ograniczenia, które obejmują groźbę wycieku prywatności aktualizacji modelu, wraz z ograniczonym wsparciem dla Generative AI i nieodpowiednią obsługą różnych warunków CPS³. Obecne podejścia nie mają niezbędnej integracji zaawansowanych mechanizmów zaprojektowanych zarówno do generowania danych, jak i środków ochrony podczas pracy w rozproszonym CPS podczas pracy w czasie rzeczywistym. Ponieważ obecne ramy są niewystarczające w wielu obszarach, istniejące badania wskazują na znaczne potrzeby, które można zaspokoić tylko poprzez stworzenie nowego rozwiązania, które zapewnia bezpieczne, skalowalne, generatywne modele wraz z wyraźną ochroną prywatności⁴.

Nowe badanie Generative Proxy Learning Framework (GPLF) przedstawia specjalnie opracowaną metodę ułatwiającą wdrażanie funkcji generatywnej sztucznej inteligencji w CPS. GPLF implementuje oparty na proxy schemat FL ⁵, dzięki czemu użytkownicy mogą korzystać z prywatnych modeli do indywidualnego badania danych i modeli proxy w celu podtrzymania chronionych działań opartych na wspólnym uczeniu się. Badania te mają na celu poprawę prywatności danych poprzez zastosowanie różnicowych podejść do prywatności w połączeniu z bezpiecznym szyfrowaniem homomorficznym i wykorzystują zaawansowane modele dyfuzji do produkcji wysokiej jakości danych syntetycznych. System obsługuje bezpieczne wykrywanie anomalii, a także funkcje modelowania predykcyjnego, umożliwiając jednocześnie wydajny transfer informacji między rozproszonymi operacjami CPS.

GPLF rozwiązuje istniejące problemy FL dzięki dwumodelowemu projektowi ramowemu, który oferuje ochronę danych i elastyczność systemu⁶. Każdy uczestnik CPS korzysta zarówno z modelu prywatnego, jak i proxy, które ustanawiają dwa oddzielne systemy w celu zapewnienia lokalnej ochrony prywatności i umożliwienia uczenia się zespołowego. Model prywatny wykorzystuje zlokalizowane operacje do uczenia się na podstawie poufnych danych uczestnika i zachowuje pełną prywatność danych, przechowując poufne informacje w parametrach każdego uczestnika. System osiąga maksymalną wydajność podczas wykrywania anomalii i rozpoznawania wzorców na poziomie lokalnym⁷. Model proxy służy jako wspólny mechanizm zbiorowego uczenia się dostępny dla wszystkich uczestników w celu bezpiecznego udostępniania wiedzy. Model proxy trenuje z zachowaniem poufności poprzez oczyszczone przetwarzanie danych syntetycznych z modeli dyfuzyjnych i przekazywanie aktualizacji zarówno za pośrednictwem prywatności różnicowej, jak i szyfrowania homomorficznego, ponieważ umożliwia to prywatny, ale funkcjonalny FL.

Strategia dyfuzji umożliwia tworzenie doskonałych syntetycznych zestawów danych, które zachowują podstawowe cechy, jednocześnie ukrywając dane osobowe. Badania te ujawniły znaczne postępy, które przejawiły się w znacznym spadku wycieku prywatności dzięki ulepszonym funkcjom wymiany danych i lepszej wydajności zadań generatywnych, umożliwiając bardziej odporne operacje systemów cyberfizycznych. GPLF tworzy nową metodologię dla inteligentnego CPS, łącząc naukę chroniącą prywatność z możliwościami generatywnej sztucznej inteligencji⁸.

GPLF prezentuje nowatorskie możliwości dzięki projektowi bliźniaczego modelu, specjalnie ukierunkowanemu na rozwiązywanie problemów związanych z prywatnością we wdrażaniu generatywnej sztucznej inteligencji w CPS. Podczas gdy konwencjonalne uczenie federacyjne używa jednego modelu dla wszystkich uczestników, GPLF wdraża zarówno modele prywatne do lokalnego badania danych, jak i modele proxy do wykonywania zadań uczenia się grupowego. Dzięki ścisłej separacji danych pacjenci utrzymują poufne informacje lokalnie, ale używają oczyszczonych danych syntetycznych modelu proxy w połączeniu z prywatnością różnicową w celu osiągnięcia bezpiecznej współpracy. Model proxy zapewnia niezawodne wykrywanie anomalii i modelowanie predykcyjne przy jednoczesnym zachowaniu zdolności adaptacyjnych systemu dzięki wysokiej jakości danym syntetycznym generowanym przez modele dyfuzyjne, zapewniając ochronę prywatności użytkownika. GPLF wyróżnia się jako innowacyjna platforma dla bezpiecznych systemów CPS, ponieważ jej dwumodelowe podejście zapewnia wzmocnioną ochronę prywatności wraz z bezpiecznymi danymi przy zachowaniu skalowalności i wydajności operacyjnej.

Celem badania jest opracowanie Proxy-Based Federated Learning (ProxyFL), które wymaga architektury dwumodelowej, aby umożliwić bezpieczną adaptację w CPS. Co więcej, zaawansowane modele dyfuzji są niezbędne, aby służyć jako punkt integracji do tworzenia danych syntetycznych w celu zachowania podstawowych cech danych podczas ochrony prywatności. Wreszcie, konieczne jest wdrożenie metod prywatności różnicowej wraz z homomorficznymi protokołami szyfrowania, aby zapewnić bezpieczeństwo danych i chronić prywatność podczas agregacji gradientów.

Tabela 1^{9,10,11,12,13,14,15,16,17,18,19} Podkreśla podstawowe procesy istniejących metod i ich osiągnięcia z kilkoma krytycznymi ograniczeniami.

Tabela 1: Przegląd istniejących kluczowych kierunków badań, głównych komponentów, osiągnięć i ograniczeń. Kliknij tutaj, aby pobrać tę tabelę.

Istniejące podejścia do łączenia generatywnej sztucznej inteligencji z systemami CPS wykazują krytyczne problemy z rozszerzeniem do dużych wdrożeń przy jednoczesnym zachowaniu przepisów dotyczących prywatności i osiągnięciu elastyczności systemu²⁰. Obecne metody FL wykazują ograniczenia wynikające z niewystarczającej różnorodności modeli, a jednocześnie wykazują słabą wydajność w systemach rozproszonych i zmiennych oraz ujawniają dane użytkowników z powodu podatnych na ataki praktyk transmisji danych. Reprezentacje danych o wysokiej wierności niezbędne do wykrywania anomalii, generowania danych syntetycznych i modelowania predykcyjnego w CPS często umykają wielu rozwiązaniom modelowania generatywnego, co może zagrozić prywatności i wydajności obliczeniowej w próbach osiągnięcia tych standardów. Obecne braki systemowe potwierdzają wymóg ramowy dotyczący obsługi skalowalnych, bezpiecznych i wydajnych procesów generatywnej sztucznej inteligencji.

Protocol

Generative Proxy Learning Framework (GPLF) reprezentuje nowatorską technologię, która integruje generatywną sztuczną inteligencję z CPS i rozwiązuje ważne problemy związane z prywatnością danych wraz z wskaźnikami bezpieczeństwa i wydajności w rozproszonych systemach sieciowych. Funkcjonalność platform CPS zależy od aktualnego monitorowania oraz zautomatyzowanych operacji, które wyodrębniają wrażliwe dane wejściowe z rosnącej liczby urządzeń i czujników IoT. Stwierdzono, że zastosowanie technologii generatywnej sztucznej inteligencji w systemach CPS wprowadza specjalne zagrożenia, takie jak luki w zabezpieczeniach w połączeniu z wyzwaniami związanymi z bezpieczeństwem w rozproszonych konfiguracjach sieciowych. GPLF wprowadza innowacyjną strukturę Proxy-Based Federated Learning (ProxyFL), która wspiera bezpieczne uczenie się oparte na współpracy, przeznaczone specjalnie do zadań generatywnych w celu złagodzenia istniejących problemów. Dokładna ocena ram GPLF została przeprowadzona na platformie CPS, której stanowisko testowe łączyło różne technologie sieci czujników z urządzeniami IoT i strumieniowaniem danych na żywo.

Uczestnicy GPLF korzystają z dwóch oddzielnych modeli podczas swojego uczestnictwa.
Ekskluzywne funkcje modelu prywatnego do lokalnego badania danych przy jednoczesnej ochronie danych przed dostępem z zewnątrz.
System Shared Proxy Model⁵ umożliwia bezpieczną współpracę uczestników dzięki technologii szyfrowania w połączeniu z różnicowymi metodami prywatności.

Framework wykorzystuje modele dyfuzji do tworzenia skomplikowanych syntetycznych zestawów danych, które napędzają możliwości wykrywania anomalii, jednocześnie pokazując modelowanie predykcyjne i śledzenie zachowania systemu podczas różnych symulacji scenariuszy. Zsyntetyzowane zestawy danych zachowują ważne cechy funkcji dzięki skutecznym metodom ochrony prywatności. Platforma obsługuje bezpieczną wymianę peer-to-peer za pomocą silnych technik szyfrowania, które chronią kanały komunikacyjne przed złośliwymi atakami. Oceny przeprowadzone za pomocą GPLF na rzeczywistych platformach CPS pokazały, w jaki sposób może ona przynieść znaczący postęp w zakresie bezpiecznych i inteligentnych zdolności operacyjnych przy ograniczeniach skalowalności. Znaczące ulepszenia w zakresie środków ochrony przed wyciekiem prywatności wraz z uzupełniającymi ulepszeniami w zakresie możliwości wymiany danych i precyzji zadań generatywnych dowiodły jego wartości funkcjonalnej i konkretnych wyników w zakresie wydajności. Podstawowe etapy GPLF obejmują inicjalizację uczenia federacyjnego opartą na proxy wraz z lokalnym trenowaniem danych prywatnych, które stanowi szkielet GPLF i integruje aktualizacje modelu proxy chronione prywatnością różnicową. Uwzględniono również metody generowania danych syntetycznych modelu rozproszonego z bezpiecznymi technikami wymiany danych peer-to-peer oraz modułami do wykrywania anomalii i modelowania predykcyjnego. Zorganizowana struktura w Rysunek 1 pokazuje podstawowe elementy GPLF, które mają potencjał do optymalizacji podstawowych operacji CPS.

Rysunek 1: Struktura architektoniczna GPLF dla bezpiecznych i inteligentnych operacji CPS. Zaprojektowany, aby umożliwić bezpieczne i inteligentne operacje w systemach cyberfizycznych. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Poniższe sekcje omawiają sześć etapów struktury bezpiecznej komunikacji między heterogenicznymi urządzeniami na platformie CPS.

1. Inicjalizacja federacyjnego uczenia opartego na proxy

Etap-1 to inicjalizacja federacyjnego uczenia opartego na proxy, gdzie GPLF wykorzystuje proces inicjalizacji FL oparty na proxy do skonfigurowania systemu (N) każdego uczestnika CPS z dwoma modelami, które zapewniają prywatność, a jednocześnie pozwalają uczestnikom na bezpieczną współpracę dzięki funkcjom uczenia się. Indywidualni uczestnicy CPS (i) otrzymują model prywatny do pracy z ich danymi lokalnymi (d_i) w celu ochrony prywatności wraz ze współdzielonym modelem proxy , aby umożliwić bezpieczne zachowanie współpracy między uczestnikami. Modele rozpoczynają trening od wag utworzonych z losowych wpisów rozkładu Gaussa²¹ dla znormalizowanych warunków początkowych, które są wyrażone jak w równaniu (1),
(1)
Uczestnicy autonomicznie przetwarzają swoje dane, wymieniając się spostrzeżeniami za pośrednictwem współdzielonych modeli, które wspierają rozproszone uczenie generatywne w systemach CPS z zachowaniem prywatności.

2. Lokalne szkolenie na prywatnych danych

Etap-2 to Lokalne Szkolenie na Danych Prywatnych; tutaj odbywa się szkolenie danych, gdzie uczestnicy CPS opracowują prywatne modele z przechowywanych przez siebie danych lokalnych, aby utrzymać pełną ochronę danych na miejscu poprzez uszczelnienie ich przed zewnętrznym eksponowaniem. Uczestnicy przechodzą szkolenie w zakresie optymalizacji modelu opartego na danych przy użyciu stochastycznego spadku gradientu (SGD)²², który odbywa się za pomocą zlokalizowanej funkcji straty (l_lokalnej) i obsługuje zarówno ekstrakcję istotnych informacji, jak i zlokalizowane adaptacje przy zachowaniu prywatności danych.
(2)
(3)
Od (2) i (3) I i (3) oznaczają wejście próbki i odpowiadającą jej wartość docelową. L oznacza stratę ze współczynnikiem uczenia się (Ɽ). Na tym etapie rozwijane są indywidualne systemy wywiadowcze uczestników, które służą jako podstawa dla przyszłych bezpiecznych procesów edukacyjnych opartych na współpracy.
Niezależna rekurencyjna sieć neuronowa (IndRNN) funkcjonuje jako model uczenia maszynowego etapu 2, ponieważ jej architektura pozwala na niezależność neuronów na każdym kroku czasowym w celu obsługi określonych zadań CPS, jednocześnie łagodząc tradycyjne problemy z gradientem RNN. Każdy neuron w układzie IndRNN ma indywidualną powtarzającą się wagę, co pozwala na lepsze uchwycenie długoterminowych zależności. Oddzielny model operacyjny usprawnia transmisję gradientową, która skutecznie skaluje głębokie struktury sieciowe, jednocześnie utrzymując wydajność procesów obliczeniowych. Sekwencyjne przetwarzanie danych na platformach CPS działa najlepiej z IndRNN ze względu na jego zdolność do przetwarzania długich sekwencji przy użyciu silnych wzorców uczenia się przy jednoczesnym utrzymaniu niskiej złożoności sieci.
Obliczenia w równaniu (4) pokazują rozwiązanie problemu znikającego i eksplodującego gradientu w IndRNN wynika z jego charakterystycznego podejścia do projektowania połączeń rekurencyjnych.
(4)
Od (4), ω i H_t wskazują odpowiednio wagę i stan ukryty w t. reprezentują wektor o niezależnej powtarzalnej istotności (wagi), po jednej dla każdego punktu danych, umożliwiając niezależność w różnych krokach czasowych. ʘ oznacza projekt cechujący się obsługą mnożenia pod względem elementów, która utrzymuje całkowitą niezależność między powtarzającymi się połączeniami każdego neuronu, a ä oznacza funkcję aktywacji. Projekt architektury neuronowej pozwala uniknąć rozszerzania lub kurczenia się gradientu w całej sekwencji obliczeń, co wspiera stabilne trenowanie modelu uczenia się i sukces w uczeniu się rozszerzonych wzorców.
IndRNN staje się preferowanym podejściem do wykrywania anomalii CPS, ponieważ skutecznie zapobiega tradycyjnym eksplozjom i zniknięciom gradientu RNN. Długoterminowe zależności stają się łatwe do śledzenia dzięki architekturze IndRNN, ponieważ działa ona z mniejszą złożonością niż modele transformerów i osiąga zarówno szybką konwergencję, jak i działanie w czasie rzeczywistym. Efektywny charakter IndRNN sprawia, że doskonale nadaje się on do reprezentowania charakterystyki operacyjnej CPS o ograniczonych zasobach, zapewniając jednocześnie dokładne rozpoznawanie anomalii bez nadmiernego obciążenia obliczeniowego.

3. Model dyfuzji do generowania danych syntetycznych

Etap-3 to Model Dyfuzji do Generowania Danych Syntetycznych. Na tym etapie wykorzystuje się zaawansowane modele dyfuzji do tworzenia danych syntetycznych, które replikują główne cechy pozyskanych danych prywatnych. Modele uczą się dystrybucji oryginalnych danych wrażliwych na prywatność poprzez dodanie kontrolowanego szumu w celu zebrania cech, co pomaga tworzyć dane syntetyczne o wysokiej wierności, które zachowują ważne funkcje, jednocześnie chroniąc zabezpieczenia prywatności. Iteracyjna procedura odszumiania generuje dane syntetyczne, zachowując podstawowe właściwości statystyczne i elementy strukturalne rzeczywistych danych.
Początkowo proces trenowania modelu dyfuzji generatywnej (Υ) koncentruje się na tworzeniu danych syntetycznych o wysokiej wierności przy jednoczesnym zachowaniu kluczowych cech danych prywatnych (d_i), a podstawowe obliczenia takiej generacji obejmują,
(5)
From (5), wskazują na włączenie szumu Gaussa do próbek danych. Nowo wygenerowane dane syntetyczne są wyrażone jako,
(6)

4. Aktualizacje modelu proxy z prywatnością różnicową

Etap-4 to aktualizacje modelu proxy z prywatnością różnicową. Na tym etapie każdy komunikujący się uczestnik wykorzystuje dane syntetyczne utworzone przez model dyfuzji na tym etapie, aby wytrenować swój model proxy na tym etapie.
(7)
Gradienty aktualizacji modelu proxy pozostają prywatne ze względu na mechanizmy prywatności różnicowej dodające szum do ich wartości.
(8)
Aby chronić prywatność danych, zaawansowane metody szyfrowania (szyfrowanie homomorficzne) przekształcają (ξ) oczyszczone aktualizacje (U) w bezpieczne dane, które są dystrybuowane za pośrednictwem serwera centralnego lub wielu węzłów równorzędnych.
(9)
Od (9), ҟ oznacza klucz szyfrowania. Dzięki wspólnej agregacji zaszyfrowanych aktualizacji systemy utrzymują bezpieczeństwo poufnych informacji lokalnych podczas bezpiecznego wykonywania operacji uczenia rozproszonego.
Szyfrowanie homomorficzne²³tworzy bezpieczne platformy do wykonywania obliczeń na zaszyfrowanych danych bez deszyfrowania, zanim pozwoli na uzyskanie ostatecznych wyników z zaszyfrowanych danych wejściowych, takich jak zagregowane gradienty. Dane pozostają zaszyfrowane przez cały okres ich eksploatacji (end-to-end), co w konsekwencji zapobiega naruszeniom z zewnątrz podczas procesów obliczeniowych. Platforma umożliwia uczestnikom CPS w różnych lokalizacjach wymianę zaszyfrowanych aktualizacji danych w celu wspólnego uczenia się bez ujawniania prywatnych informacji. Zgodnie z celami badania, technika ta utrzymuje pełną ochronę prywatności zgodnie z wymaganiami i wykazuje lepszą wydajność w porównaniu z innymi metodami szyfrowania, które wymagają odszyfrowania danych do obliczeń, narażając je w ten sposób na potencjalne zagrożenia. Szyfrowanie homomorficzne okazuje się być najbardziej odpowiednią metodą bezpieczeństwa dla systemów proxyFL, ponieważ obsługuje zarówno bezpieczne obliczenia danych, jak i samodzielne operacje szyfrowania.

5. Bezpieczne interakcje peer-to-peer

1. Etap-5 to bezpieczne interakcje peer-to-peer. Na tym etapie uczestnicy bezpiecznie przesyłają zaszyfrowane, oczyszczone aktualizacje modelu serwera proxy, które utworzyli w etapie 4. Uczestnicy (i) zachowują poufność podczas przesyłania aktualizacji dzięki szyfrowaniu homomorficznemu, które ułatwia obliczenia, takie jak agregacja gradientów na zaszyfrowanych danych, bezpośrednio bez konieczności odszyfrowywania. Uczestnicy wyrażają komunikację peer-to-peer za pomocą metod obliczeniowych jako,
   (10)
   Z punktu (10) jasno wynika, że bezpieczna interakcja/komunikacja peer-to-peer w ramach platform CPS jest zapewniona przez szyfrowanie homomorficzne, (ξ(·)).
   Dzięki agregacji gradientu (Ψ) szyfrowane składki gradientu od wielu użytkowników umożliwiają wspólną aktualizację wspólnego modelu proxy. To badanie pokazuje bezpieczną akumulację zaszyfrowanych gradientów każdego uczestnika za pomocą szyfrowania homomorficznego.
   (11)
   Od (11), N oznacza liczbę uczestników. Metoda umożliwia również bezpośrednie obliczenia na zaszyfrowanych gradientach i chroni wrażliwe dane podczas agregacji. Uczestnicy aktualizują model proxy poprzez odszyfrowywanie zagregowanych gradientów, co umożliwia wspólne uczenie się z uwzględnieniem prywatności w całej sieci CPS. Bezpieczne metody deszyfrowania zachowują prywatny dostęp do poszczególnych gradientów dla wszystkich użytkowników podczas całego procesu.
   (12)
   W związku z tym bezpieczne ograniczenia autoryzacji uniemożliwiają poszczególnym uczestnikom dostęp do aktualizacji danych, które są własnością czynników zewnętrznych. Sieć wykorzystuje zagregowane aktualizacje do wspólnego ulepszania współdzielonych modeli proxy w celu osiągnięcia bezpiecznego rozproszonego uczenia z silną ochroną prywatności w systemach CPS.

6. Wykrywanie anomalii i modelowanie predykcyjne

1. Wreszcie etap 6 to wykrywanie anomalii i modelowanie predykcyjne. Na tym etapie ustanawiane są zaktualizowane modele proxy, które służą do analizowania rzeczywistych danych CPS w skonfigurowanym środowisku testowym. Modele proxy identyfikują anomalie (Ф), porównując nowe dane (I) z wzorcami pochodzącymi z syntezy i danych wejściowych historycznych w celu wygenerowania wyniku anomalii (A), który oznacza elementy przekraczające z góry określony limit/próg (τ), który jest wyrażony obliczeniowo jako,
   (13)
   (14)
   Zarówno (13), jak i (14) zapewniają, że zapewnia metodę rozpoznawania nieprawidłowych zachowań i usterek systemu na wczesnym etapie.
   Modelowanie predykcyjne za pomocą modeli proxy polega na uczeniu się reprezentacji, które generują prognozy dotyczące zachowań lub stanów systemu na podstawie dynamicznych/przyszłych sekwencji danych wejściowych (I_F), co jest wyrażone jako,
   (15)
   Operacyjny przepływ pracy GPLF zademonstrowany na Rysunek 2 integruje adaptacyjne pętle sprzężenia zwrotnego, które utrzymują zarówno niezawodność systemu CPS, jak i ciągłą przydatność. Wykrycie anomalii lub dryfu systemu na etapie 6 prowadzi procedurę do cofnięcia się do etapu 3, w którym nowe dane syntetyczne są tworzone przy użyciu zaktualizowanych wpisów prywatnych, aby pomóc modelom dostosować się do zmieniających się wzorców. Znaczne rozbieżności w stosunku do oczekiwanych wyników lub przewidywań oraz słaba dokładność stwierdzona podczas etapu 6 wymuszają powrót do etapu 2, w którym uczestnicy muszą ponownie wytrenować swoje modele przy użyciu najdokładniejszych i najbardziej aktualnych dostępnych danych. Podczas etapu 5 oceny systemu, jeśli konwergencja modelu okaże się niewystarczająca lub niespójności staną się widoczne, system wraca do etapu 4, aby zastosować udoskonalenia poprzez ulepszone dane syntetyczne i zoptymalizowane techniki ochrony prywatności. Mechanizmy pętli ustanawiają adaptacyjną gotowość do uczenia się, która utrzymuje wysoką wydajność i bezpieczeństwo systemu we wszystkich operacjach systemu sterowania i procesu.
   Silna mieszanka komponentów sprzętowych i programowych pozwoliła zweryfikować funkcje GPLF pod kątem wdrożenia CPS poprzez skalowalne, bezpieczne operacje. Specyficzne wymagania platformy dla GPLF obejmowały Ubuntu 20.04 LTS z implementacją Pythona v3.9 oraz frameworkami głębokiego uczenia PyTorch v1.12 i TensorFlow v2.9 do prowadzenia szkoleń dla modeli prywatnych, proxy i dyfuzyjnych. Ocena wydajności systemu połączona z oprogramowaniem do wizualizacji Matplotlib v3.5 z wizualizacją statystyczną Seaborn v0.11 i testami porównawczymi Scikit-learn v1.1 wraz ze środkami ochrony prywatności z PySyft v0.6.0 dla prywatności różnicowej i TenSEAL v0.3 dla szyfrowania homomorficznego. Wymagania sprzętowe obejmowały procesor AMD EPYC-7502P wraz z procesorem graficznym A100 z CUDA v11.6 w celu zwiększenia wydajności obliczeniowej i zapotrzebowania na pamięć 256 GB RAM do obsługi obszernych zestawów danych CPS, a także dysk SSD o pojemności 1 TB, a następnie sieć Gigabit Ethernet przeznaczoną do bezpiecznej wymiany informacji w celu przeprowadzenia wydajnych eksperymentów badawczych. Algorytmy GPLF zostały zweryfikowane przez tę konfigurację systemu, która chroniła dane, jednocześnie udowadniając zasady skalowalności dla rzeczywistych implementacji CPS. Wybór wersji zapewnia kompatybilność z zaawansowanym szyfrowaniem, a także technikami uczenia federacyjnego i modeli generatywnych, umożliwiając niezawodną skalowalność walidacji w wielu aplikacjach CPS.
   Podczas badań zdecydowano się na kilka istotnych hiperparametrów, które równoważyły maksymalizację wydajności z ochroną prywatności i skalowalnością na wszystkich etapach GPLF. Aby zrównoważyć uczenie lokalne i zespołowe, badacze ustalili unikalne współczynniki uczenia się na poziomie 0,001 i 0,01 dla modeli prywatnych i proxy, ale utrzymali wagi inicjowane przez Gaussa, aby zapewnić stabilną konwergencję. Aby uniknąć nadmiernego dopasowania podczas przetwarzania danych CPS, lokalny proces trenowania używał partii 32 instancji, z których każda obejmowała dziesięć epok. Generowanie danych syntetycznych wymagało, aby model dyfuzji wykorzystywał proces składający się z 1000 kroków przy odchyleniu standardowym szumu 0,05 w celu utrzymania krytycznej dokładności funkcji. Anonimizacja danych dzięki prywatności różnicowej została osiągnięta poprzez implementację przycinania gradientowego na poziomie 1,0 ze skalą szumów dostosowaną do 0,1 przy zachowaniu użyteczności zestawu danych. Do szyfrowania homomorficznego wykorzystuje się klasę Paillier Cryptosystem²⁴ do przetwarzania gradientów za pomocą czysto addytywnych operacji w ramach uczenia federacyjnego. Kryptosystem Paillier umożliwia bezpośrednie operacje na zaszyfrowanych informacjach, co eliminuje rozległe wymagania komunikacyjne w wielostronnych bezpiecznych systemach obliczeniowych. Technika ta umożliwia szybszą agregację przy zmniejszonych wymaganiach komunikacyjnych, co prowadzi do skalowalnego i wydajnego rozwiązania do bezpiecznych obliczeń w systemach CPS o ograniczonych zasobach. Wykrywanie anomalii, z góry określony limit/próg i horyzont predykcji wynoszący dziesięć kroków zapewniły dokładne monitorowanie i proaktywne podejmowanie decyzji w CPS. Dzięki precyzyjnemu dostrajaniu hiperparametrów uzyskuje się idealną równowagę między wskaźnikami wydajności a zdolnością adaptacji systemu z ochroną prywatności w praktycznych aplikacjach CPS.
   Tabela 2 dokumentuje niezbędne hiperparametry dla każdego etapu badań GPLF oraz optymalne wartości dla osiągnięcia najlepszych wyników w całej metodologii.
   Dwa znaczące zestawy danych są brane pod uwagę do celów szkolenia i oceny proponowanego podejścia w różnych aspektach. Są to TON_IoT^{25,26,27,28,29,30,31} oraz UNSW-NB15^{32,33,34,35,36} z Uniwersytetu Nowej Południowej Walii (UNSW) w Canberze. Zarówno zestawy danych TON_IoT, jak i UNSW-NB15 zostały wybrane, ponieważ zawierają szeroki zakres warunków CPS. Te zestawy danych służą różnym celom, ponieważ TON_IoT prezentują różnorodne odczyty czujników IoT w połączeniu z modelami sytuacji przemysłowej, a UNSW-NB15 oferuje obszerne testowanie danych o włamaniach do sieci dla systemów bezpieczeństwa. Połączenie TON_IoT i zestawów danych UNSW-NB15 umożliwia pełną ocenę wydajności GPLF w różnych warunkach operacyjnych. Włączenie nowych zbiorów danych zwiększy niezawodność operacyjną ramy, ponieważ zidentyfikowaliśmy to niedociągnięcie jako przyszły cel rozwoju.
   Zestawy danych TON_IoT stanowią obszerne repozytorium danych opracowane w celu testowania wydajności aplikacji cyberbezpieczeństwa przy użyciu systemów opartych na algorytmach sztucznej inteligencji i uczenia maszynowego. W australijskiej akademii wojskowej w ramach UNSW, gdzie naukowcy wygenerowali te zestawy danych z heterogenicznych źródeł, które wykorzystują informacje telemetryczne z ponad 10 rodzimych i przemysłowych czujników IoT, w tym czytników pogody i czujników Modbus, a także dzienników systemu operacyjnego i pakietów sieciowych przechwyconych za pomocą ZEEK (Bro) w formacie pcap w połączeniu z plikami dziennika i plikami wartości oddzielonych przecinkami (CSV). Ten zestaw danych pochodzi z rzeczywistej sieci, która łączy komponenty IoT zarówno z funkcjami chmury, jak i możliwościami przetwarzania brzegowego/mgły, które były zarządzane na wielu hostach z maszynami wirtualnymi i różnymi systemami operacyjnymi. Zbudowany system umożliwił naukowcom przeprowadzenie testów cyberataków, które obejmują ataki DDoS (Distributed Denial of Service) i DoS, a także ataki ransomware na aplikacje IoT i sieci komputerowe w ramach połączonego Internetu Rzeczy i Przemysłowego Internetu Rzeczy. TON_IoT zestawy danych obejmują składniki danych pierwotnych, a także przetworzone dane ze standardowymi funkcjami i etykietami, próbki treningowe i testowe, opisy funkcji, podsumowania statystyczne i zdarzenia zabezpieczeń, a także etykiety prawdy podstawowej. Oparte na sztucznej inteligencji rozwiązania w zakresie cyberbezpieczeństwa dla mechanizmów wykrywania złośliwego oprogramowania, IDS, metod wykrywania oszustw i platform analizy zagrożeń, wraz z procesami ochrony prywatności i kryminalistyką cyfrową, korzystają z TON_IoT zestawów danych ze względu na ich ustrukturyzowany projekt organizacyjny, który pomaga również w tworzeniu wrogich modeli uczenia maszynowego i metod wyszukiwania zagrożeń.
   Laboratorium Cyber Range Lab z UNSW Canberra opracowało zestaw danych UNSW-NB15 jako kompleksowy standard oceny systemu wykrywania włamań do sieci. Dzięki narzędziu IXIA PerfectStorm utworzenie zestawu danych UNSW-NB15 łączy zarówno rzeczywiste, normalne, nowoczesne działania, jak i demonstracje ataków syntetycznych, co generuje około 100 GB ruchu sieciowego przechwyconego w formacie PCAP. Zestaw danych składa się z dziewięciu unikalnych wariantów ataku: Analysis, DoS, Fuzzers, Backdoor, Shellcode, Exploits, Worms, General i Reconnaissance. Wykorzystując narzędzia Argus i Bro-IDS wraz z dwunastoma zaprojektowanymi algorytmami, naukowcy wyodrębnili i oznaczyli 49 funkcji, umożliwiając wyczerpującą analizę. Zestaw danych, który obejmuje cztery stacje robocze CSV, zawiera ponad 2,5 miliona rekordów, które są podzielone na 175 341 rekordów do celów szkoleniowych i 82 332 rekordów do testowania funkcji. Systematyczne porządkowanie danych w tej strukturze napędza zarówno procesy opracowywania, jak i testowania modeli wykrywania włamań.

Rysunek 2: Przebieg pracy GPLF. Sekwencyjny przepływ pracy operacji GPLF podkreślający każdy kluczowy krok procesu. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Tabela 2: Specyfikacja parametrów GPLF. Kliknij tutaj, aby pobrać tę tabelę.

Results

Wskaźnik Redukcji Wycieku Prywatności (PLRI) mierzy redukcję wycieku prywatności w porównaniu ze standardowymi modelami bazowymi. Ocena koncentruje się na tym, jak prywatność różnicowa i szyfrowanie homomorficzne działają w miarę zbliżania się do ochrony prywatności.

Wynik wycieku prywatności ocenia liczbę odsłoniętych punktów danych w stosunku do całkowitej liczby aktualizacji w modelach, wraz z działaniami związanymi z dystrybucją danych syntetycznych. Ocenia skuteczność strategii ochrony pr...

Discussion

Elementy konstrukcyjne GPLF nie tylko wspierają jej funkcje prywatności, ale także zapewniają dodatkowe korzyści, zwiększając możliwości jej wdrażania. Wykorzystując modele dyfuzyjne do tworzenia danych syntetycznych o wysokiej wierności, ramy zapewniają niezbędne warstwy ochrony prywatności w kluczowych dziedzinach, takich jak opieka zdrowotna, wraz z monitorowaniem infrastruktury krytycznej, przy jednoczesnym zachowaniu precyzyjnych możliwości modelowania generatywnego. GPLF osiąga zarówno zwiększoną ochronę prywatnośc...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Procesor graficzny A100 (CUDA)	graficznego NVIDIA	CUDA w wersji 11.6	do trenowania i oceny modelu.
Procesor AMD EPYC-7502P	AMD	N/A	używany do obliczeń o wysokiej wydajności.
Gigabit Ethernet	Intel	N/A	Networking do bezpiecznej komunikacji peer-to-peer w CPS.
Matplotlib	Python Software Foundation	Version 3.5	Biblioteka wizualizacji do wykreślania wyników.
Paillier Cryptosystem	Open Source (zaimplementowany przez TenSEAL)	N/A	Umożliwia addytywne szyfrowanie homomorficzne na gradientach.
PySyft	OpenMined	w wersji 0.6.0	Prywatność różnicowa i federacyjna biblioteka edukacyjna.
Python (dystrybucja Anaconda)	Anaconda Inc	w wersji 3.9	Zawiera preinstalowane pakiety i narzędzia do zarządzania środowiskiem, używane do tworzenia skryptów i tworzenia frameworków.
PyTorch	Meta AI	w wersji 1.12	Platforma uczenia głębokiego do trenowania modeli.
Pamięć RAM	Corsair	256 GigaByte (GB)	Wysokie wsparcie pamięci przy intensywnym treningu.
Scikit-learn	Python Software Foundation	Version 1.1	Narzędzia uczenia maszynowego do oceny wydajności.
Seaborn	Python Software Foundation	Version 0.11	Biblioteka wizualizacji danych statystycznych.
Pamięć masowa SSD	Seagate	1 TeraByte (TB)	Do szybkiego przechowywania i pobierania danych.
TenSEAL	OpenMined	Version 0.3	Homomorficzna biblioteka szyfrowania do bezpiecznej agregacji.
TensorFlow		Google w wersji 2.9	Framework głębokiego uczenia się dla modeli dyfuzyjnych.
System operacyjny Ubuntu w	kanonicznej	20.04 LTS	System operacyjny używany do wszystkich eksperymentów.