Diffusie-gedreven proxy-leerstrategie met veilige peer-interacties voor generatieve intelligentie in cyber-fysiek systeem

Summary

Hier presenteren we het Generative Proxy Learning Framework (GPLF) dat Proxy-based Federated Learning (ProxyFL) brengt om generatieve AI-oplossingen in cyberfysieke systemen (CPS) te verbeteren. Door differentiële privacyfuncties en coderingsmethoden te integreren, verbetert GPLF de privacybescherming, waardoor privacylekken worden verminderd, waardoor cyberfysieke systeembewerkingen slimmer en veiliger worden.

Abstract

Cyber-Physical System (CPS) combineert computationele intelligentie met fysieke processen, waardoor onmiddellijke monitoring, besluitvormingscapaciteit en automatiseringsdiensten in verschillende vitale domeinen mogelijk zijn. Bovendien wordt generatieve kunstmatige intelligentie (AI) geconfronteerd met aanzienlijke barrières voor implementatie binnen CPS, omdat gedistribueerde omgevingen met gevoelige gegevens ernstige uitdagingen op het gebied van privacy en beveiligingsonderhoud met zich meebrengen. De huidige technieken, zoals Federated Learning (FL), ondervinden problemen in zowel hun modeldiversiteit als het risico dat de privacy in het gedrang komt. Het Generative Proxy Learning Framework (GPLF) dient als onze innovatieve oplossing die gebruikmaakt van Proxy-based Federated Learning (ProxyFL) dat specifiek is aangepast voor generatieve AI-toepassingen binnen Cyber-Physical Systems (CPS). In GPLF onderhoudt elke deelnemer twee modellen: Deelnemers gebruiken een privémodel dat is bedoeld voor lokale gegevensanalyse, samen met een gedeeld proxymodel dat beveiligde samenwerking tussen knooppunten mogelijk maakt. Als de essentiële basis van generatieve AI-mechanismen leveren geavanceerde diffusiemodellen high-fidelity synthetische gegevens in combinatie met behoud van belangrijke gegevensfuncties. De modellen genereren synthetische sensorgegevens, die een verbeterde anomaliedetectie mogelijk maken en voorspellende modellering ondersteunen door middel van authentieke CPS-gedragsrepresentaties in verschillende scenario's. Het systeem bereikt geavanceerde privacybescherming met differentiële privacymechanismen in proxy-gegevensupdates, terwijl directe peer-communicatie in het netwerk profiteert van geavanceerde versleutelingsbeveiligingen. GPLF bedient CPS-platforms door verbinding te maken met realtime sensoren en IoT-apparaten die veilige generatieve processen ondersteunen, waaronder anomaliedetectie, het creëren van synthetische gegevens en voorspellende modellering. Testresultaten van benchmark CPS-datasets laten aanzienlijke prestatieverbeteringen zien met 25% minder privacylekken en 25% betere mogelijkheden voor gegevensuitwisseling, samen met een verbetering van 18% in de nauwkeurigheid van generatieve taken ter ondersteuning van het transformatieve potentieel voor veilige, intelligente CPS-operaties.

Introduction

Het onderzoek onderzoekt cyberfysieke systemen (CPS) door computationele intelligentie te combineren met real-world processen om real-time surveillance mogelijk te maken, naast snelle besluitvormingsmogelijkheden en systeemautomatisering¹. Opkomende Internet-of-Things (IoT) en kunstmatige intelligentie (AI)-technologieën breiden het scala aan toepassingen aanzienlijk uit waarbij CPS-systemen essentiële functies vervullen in de ontwikkeling van slimme netwerken en industriële automatiseringsprocessen, evenals in de levering van gezondheidszorg². Organisaties die CPS inzetten, maken steeds vaker gebruik van generatieve AI-modellen, die de mogelijkheid bieden om systeemgedrag te imiteren en voorspellende modellering mogelijk te maken naast verbeterde anomaliedetectie. Het gedistribueerde formaat van CPS-gegevens, in combinatie met de gevoelige kenmerken ervan, leidt tot grote privacykwetsbaarheden naast beveiligingsproblemen en schaalbaarheidsproblemen in generatieve AI-implementaties.

Bestaande technieken, zoals Federated Learning (FL), zijn gericht op de bescherming van gegevensprivacy, maar hebben te maken met beperkingen, waaronder de dreiging van privacylekken bij modelupdates, samen met verminderde ondersteuning voor generatieve AI en ontoereikende afhandeling van diverse CPS-voorwaarden³. De huidige benaderingen missen de essentiële integratie van geavanceerde mechanismen die zijn ontworpen voor zowel het genereren van gegevens als beschermingsmaatregelen bij het werken in gedistribueerde CPS tijdens real-time werking. Aangezien de huidige kaders op meerdere gebieden tekortschieten, toont bestaand onderzoek aan dat er aanzienlijke behoeften zijn die alleen kunnen worden vervuld door een nieuwe oplossing te creëren die veilige, schaalbare, generatieve modellen levert naast duidelijke privacybescherming⁴.

De nieuwe Generative Proxy Learning Framework (GPLF)-studie schetst een speciaal vervaardigde methode om de inzet van generatieve AI-functies binnen CPS te vergemakkelijken. GPLF implementeert een proxy-gebaseerd FL-schema⁵, zodat gebruikers kunnen functioneren met privémodellen voor individueel gegevensonderzoek en proxymodellen om beschermde coöperatieve leeractiviteiten te ondersteunen. Dit onderzoek richt zich op het verbeteren van de privacy van gegevens door de toepassing van differentiële privacybenaderingen in combinatie met veilige homomorfe encryptie en maakt gebruik van geavanceerde diffusiemodellen voor de productie van synthetische gegevens van hoge kwaliteit. Het systeem ondersteunt veilige anomaliedetectie en voorspellende modelleringsfuncties, terwijl het een efficiënte informatieoverdracht tussen gedistribueerde CPS-bewerkingen mogelijk maakt.

GPLF lost bestaande FL-uitdagingen op door middel van het dual-model framework-ontwerp, dat gegevensbescherming en systeemflexibiliteit biedt⁶. Elke CPS-deelnemer gebruikt zowel privé- als proxymodellen, die twee afzonderlijke systemen opzetten om lokale privacybescherming te bereiken en teamleermogelijkheden mogelijk te maken. Het privémodel maakt gebruik van gelokaliseerde bewerkingen om te leren van de vertrouwelijke gegevens van een deelnemer en handhaaft volledige gegevensprivacy door gevoelige informatie op te slaan binnen de parameters van elke deelnemer. Het systeem behaalt maximale prestaties bij het detecteren van afwijkingen en het herkennen van patronen op lokaal niveau⁷. Het proxymodel dient als een gezamenlijk collectief leermechanisme dat beschikbaar is voor alle deelnemers voor veilige kennisdeling. Het proxymodel traint met vertrouwelijkheid via opgeschoonde synthetische gegevensverwerking van diffusiemodellen en het communiceren van updates via zowel differentiële privacy als homomorfe codering, omdat dit privé maar functionele FL mogelijk maakt.

De diffusiestrategie maakt het mogelijk om superieure synthetische datasets te creëren die essentiële kenmerken behouden terwijl persoonlijke details worden verborgen. Dit onderzoek bracht substantiële vooruitgang aan het licht, die zich manifesteerde als een grote daling van het lekken van privacy met verbeterde gegevensuitwisselingsfuncties en betere prestaties van generatieve taken, waardoor veerkrachtigere cyber-fysieke systeemoperaties mogelijk werden. GPLF creëert een nieuwe methodologie voor intelligente CPS door privacybeschermend leren te combineren met generatieve AI-mogelijkheden⁸.

De GPLF biedt nieuwe mogelijkheden door middel van zijn ontwerp met twee modellen dat specifiek is gericht op het omgaan met privacyproblemen bij de implementatie van generatieve AI in CPS. Terwijl conventioneel federated learning één model gebruikt voor alle deelnemers, implementeert GPLF zowel privémodellen voor lokaal gegevensonderzoek als proxymodellen om groepsleertaken uit te voeren. Door strikte gegevensscheiding bewaren patiënten gevoelige informatie lokaal, maar gebruiken ze de opgeschoonde synthetische gegevens van het proxymodel in combinatie met differentiële privacy om veilige samenwerking te bereiken. Het proxymodel zorgt voor robuuste anomaliedetectie en voorspellende modellering, terwijl het aanpassingsvermogen van het systeem behouden blijft door middel van hoogwaardige synthetische gegevens die worden gegenereerd door diffusiemodellen, waardoor de privacy van de gebruiker wordt beschermd. GPLF onderscheidt zich als een innovatief raamwerk voor veilige CPS-systemen omdat de dual-model aanpak een versterkte privacybescherming biedt in combinatie met veilige gegevens, terwijl de schaalbaarheid en operationele efficiëntie behouden blijven.

Het doel van de studie is het ontwikkelen van een Proxy-Based Federated Learning (ProxyFL), die een dual-model architectuur vereist om veilige aanpassing binnen CPS mogelijk te maken. Bovendien zijn geavanceerde diffusiemodellen essentieel om te dienen als integratiepunt voor de productie van synthetische gegevens om essentiële gegevenskenmerken te behouden tijdens privacywaarborgen. Ten slotte is het noodzakelijk om differentiële privacymethoden te implementeren naast homomorfe coderingsprotocollen om de gegevensbeveiliging te waarborgen en de privacy te beschermen tijdens gradiëntaggregatie.

Tabel 1 9,10,11,12,13,14,15,16,17,18,19 belicht de kernprocessen van bestaande methoden en hun verworvenheden, met enkele kritische beperkingen.

Tabel 1: Overzicht van de belangrijkste aandachtspunten, kerncomponenten, prestaties en beperkingen van bestaand onderzoek. Klik hier om deze tabel te downloaden.

De bestaande benaderingen voor het samenvoegen van generatieve AI in CPS-systemen vertonen kritieke problemen bij het uitbreiden naar grote implementaties met behoud van privacyregelgeving en het bereiken van systeemflexibiliteit²⁰. De huidige methoden van FL vertonen beperkingen door onvoldoende modelvariatie, terwijl ze ook zwakke prestaties vertonen in verspreide en verschuivende systemen en gebruikersgegevens blootstellen vanwege kwetsbare gegevensoverdrachtspraktijken. High-fidelity gegevensrepresentaties die nodig zijn voor het detecteren van anomalieën, het genereren van synthetische gegevens en voorspellende modellering in CPS ontsnappen vaak aan veel generatieve modelleringsoplossingen, die de privacy en rekenefficiëntie in gevaar kunnen brengen bij hun pogingen om deze normen te bereiken. De huidige tekortkomingen in het systeem bevestigen de frameworkvereiste om schaalbare, veilige en efficiënte generatieve AI-processen te ondersteunen.

Protocol

Het Generative Proxy Learning Framework (GPLF) vertegenwoordigt een nieuwe technologie die generatieve AI integreert met CPS en belangrijke problemen op het gebied van gegevensprivacy oplost, naast beveiligings- en prestatiestatistieken binnen gedistribueerde netwerksystemen. De functionaliteit van CPS-platforms is afhankelijk van up-to-date monitoring naast geautomatiseerde bewerkingen die gevoelige gegevensinvoer extraheren uit een groeiend aantal IoT-apparaten en sensoren. Het is gebleken dat de toepassing van generatieve AI-technologieën in CPS-systemen speciale gevaren met zich meebrengt, zoals privacykwetsbaarheden in combinatie met beveiligingsuitdagingen in gedistribueerde netwerkopstellingen. GPLF rolt een innovatief Proxy-Based Federated Learning (ProxyFL)-framework uit dat veilig samenwerkend leren ondersteunt, specifiek bedoeld voor generatieve taken om bestaande problemen te verminderen. Een grondige beoordeling van het GPLF-framework vond plaats op een CPS-platform waarvan het testbed verschillende sensornetwerktechnologieën combineerde met IoT-apparaten en live datastreaming.

Deelnemers aan GPLF draaien tijdens hun deelname twee aparte modellen.
Een exclusief privémodel functioneert voor lokaal gegevensonderzoek, terwijl de gegevens worden beschermd tegen toegang van buitenaf.
Het Shared Proxy Model⁵ van het systeem maakt veilige samenwerking tussen deelnemers mogelijk door middel van coderingstechnologie in combinatie met differentiële privacymethoden.

Het framework maakt gebruik van diffusiemodellen om uitgebreide synthetische datasets te creëren die anomaliedetectiemogelijkheden stimuleren, terwijl voorspellende modellering en het volgen van systeemgedrag worden getoond tijdens diverse scenariosimulaties. Gesynthetiseerde datasets behouden belangrijke functiekenmerken door middel van effectieve methoden voor privacybehoud. Het framework werkt met veilige peer-to-peer-uitwisselingen via sterke versleutelingstechnieken die communicatiekanalen beschermen tegen kwaadaardige aanvallen. De beoordelingen die met GPLF op real-world CPS-platforms zijn uitgevoerd, toonden aan hoe het substantiële verbeteringen kon brengen in veilige en intelligente operationele capaciteiten over de schaalbaarheidslimieten heen. Aanzienlijke verbeteringen in de maatregelen voor privacylekken, naast aanvullende verbeteringen in de mogelijkheden voor gegevensuitwisseling en generatieve taakprecisie hebben de functionele waarde en concrete prestatieresultaten bewezen. De kernfasen van GPLF omvatten proxy-gebaseerde initialisatie van federated learning, samen met lokale training voor privégegevens, die de ruggengraat vormt van GPLF en proxymodelupdates integreert die worden beschermd met differentiële privacy. Diffuse modelmethoden voor het genereren van synthetische gegevens met veilige peer-to-peer gegevensuitwisselingstechnieken en modules voor anomaliedetectie en voorspellende modellering zijn ook inbegrepen. De georganiseerde structuur in Figuur 1 toont de essentiële elementen van GPLF, die het potentieel hebben om de basisbewerkingen van CPS te optimaliseren.

Figuur 1: Architectonisch raamwerk van GPLF voor veilige en slimme CPS-operaties. Ontworpen om veilige en slimme operaties in cyber-fysieke systemen mogelijk te maken. Klik hier om een grotere versie van deze figuur te bekijken.

In de volgende paragrafen wordt dieper ingegaan op de zes fasen van het raamwerk voor veilige communicatie tussen heterogene apparaten in een CPS-platform.

1. Proxy-gebaseerde federated learning-initialisatie

Fase-1 is Proxy-Based Federated Learning Initialization, waarbij GPLF het proxy-gebaseerde FL-initialisatieproces gebruikt om het systeem van elke CPS-deelnemer (N) in te stellen met twee modellen die privacy garanderen en deelnemers toch in staat stellen veilig samen te werken via leerfunctionaliteit. Individuele CPS-deelnemers (i) ontvangen een privémodel om te functioneren met hun lokale gegevens (d_i) voor privacybescherming, naast een gedeeld proxymodel om veilig coöperatief gedrag tussen deelnemers mogelijk te maken. De modellen beginnen hun training met gewichten die zijn gemaakt op basis van gerandomiseerde invoer van een Gauss-verdeling²¹ voor genormaliseerde begincondities, die wordt uitgedrukt als in vergelijking (1),
(1)
Deelnemers verwerken autonoom hun gegevens terwijl ze inzichten uitwisselen via gedeelde modellen die privacybeschermend gedistribueerd generatief leren in CPS-systemen ondersteunen.

2. Lokale training over privégegevens

Fase-2 is Lokale training over privégegevens; hier vindt datatraining plaats, waarbij CPS-deelnemers privémodellen ontwikkelen op basis van hun opgeslagen lokale gegevens om volledige gegevensbescherming ter plaatse te behouden door deze af te schermen van externe blootstelling. Deelnemers krijgen training in op gegevens gebaseerde modeloptimalisatie met behulp van stochastische gradiëntafdaling (SGD)²² die optreedt via een gelokaliseerde verliesfunctie (l_lokaal) en zowel zinvolle inzichtextractie als gelokaliseerde aanpassingen ondersteunt met behoud van gegevensprivacy.
(2)
(3)
Vanaf (2) en (3) geven I en O de steekproefinvoer en de bijbehorende doelwaarde aan. L geeft het verlies aan met een leersnelheid (Ɽ). Deze stap ontwikkelt intelligentiesystemen voor individuele deelnemers, die als basis dienen voor toekomstige veilige collaboratieve onderwijsprocessen.
Het Independent Recurrent Neural Network (IndRNN) functioneert als het ML-model van fase 2 omdat de architectuur neuronenonafhankelijkheid tijdens elke tijdstap mogelijk maakt om specifieke CPS-taken uit te voeren en tegelijkertijd traditionele RNN-gradiëntproblemen te verminderen. Elk neuron in de IndRNN-opstelling wordt geleverd met een individueel terugkerend gewicht, waardoor langdurige afhankelijkheden beter kunnen worden vastgelegd. Het afzonderlijke bedieningsmodel verbetert de gradiënttransmissie, waardoor diepe netwerkstructuren effectief worden geschaald terwijl de rekenprocessen efficiënt blijven. Sequentiële gegevensverwerking op CPS-platforms presteert het beste met IndRNN vanwege het vermogen om lange sequenties te verwerken met behulp van sterke leerpatronen, terwijl de netwerkcomplexiteit laag blijft.
Berekening in vergelijking (4) toont aan dat de oplossing voor het verdwijnende en exploderende gradiëntprobleem binnen IndRNN voortkomt uit de kenmerkende benadering van het ontwerp van terugkerende verbindingen.
(4)
Vanaf (4) geven ω en H_t respectievelijk het gewicht en de verborgen toestand bij t aan. Vertegenwoordig de vector van onafhankelijke terugkerende significantie (gewichten), één voor elk gegevenspunt, waardoor onafhankelijkheid in verschillende tijdstappen mogelijk is. ʘ geeft aan dat het ontwerp is voorzien van elementgewijze vermenigvuldigingsondersteuning, die volledige onafhankelijkheid behoudt tussen de terugkerende verbindingen van elk neuron, en ä staat voor de activeringsfunctie. Het ontwerp van de neurale architectuur vermijdt gradiëntuitbreiding of -inkrimping tijdens de reeks berekeningen, wat stabiele training van het leermodel en succes bij het leren van uitgebreide patronen ondersteunt.
De IndRNN wordt de voorkeursbenadering voor CPS-anomaliedetectie omdat het met succes traditionele RNN-gradiëntexplosies en verdwijningen voorkomt. Langetermijnafhankelijkheden worden gemakkelijk te volgen via de IndRNN-architectuur, omdat deze met minder complexiteit werkt dan Transformer-modellen en zowel snelle convergentie als realtime werking bereikt. De effectieve aard van IndRNN maakt het uitzonderlijk geschikt om de beperkte operationele kenmerken van CPS weer te geven en tegelijkertijd exacte anomalieherkenning te bieden zonder overmatige rekenkracht.

3. Diffusiemodel voor het genereren van synthetische data

Fase-3 is het diffusiemodel voor het genereren van synthetische gegevens. In deze fase worden geavanceerde diffusiemodellen gebruikt om synthetische gegevens te produceren, die de belangrijkste kenmerken van de verkregen privégegevens repliceren. De modellen leren de distributie van de oorspronkelijke privacygevoelige gegevens door de toevoeging van gecontroleerde ruis om kenmerken te verzamelen, wat helpt bij het creëren van synthetische gegevens met hoge getrouwheid die belangrijke functies behouden terwijl de privacywaarborgen worden beschermd. De iteratieve denoisingprocedure genereert synthetische gegevens, waarbij essentiële statistische eigenschappen en structurele elementen van de werkelijke gegevens behouden blijven.
In eerste instantie richt het trainingsproces van het generatieve diffusiemodel (Υ) zich op het creëren van synthetische gegevens met een hoge getrouwheid met behoud van cruciale kenmerken van privégegevens (d_i), en de kernberekening van een dergelijke generatie omvat:
(5)
Geef vanaf (5) de opname van Gaussiaanse ruis in de gegevensmonsters aan. De nieuw gegenereerde synthetische gegevens worden uitgedrukt als:
(6)

4. Proxymodelupdates met differentiële privacy

Fase-4 is proxymodelupdates met differentiële privacy. In deze fase gebruikt elke communicatieve deelnemer synthetische gegevens die in deze fase door het diffusiemodel zijn gemaakt om hun proxymodel in deze fase te trainen.
(7)
Gradiënten van proxy-modelupdates blijven privé vanwege differentiële privacymechanismen die ruis toevoegen aan hun waarden.
(8)
Om de privacy van gegevens te beschermen, transformeren geavanceerde versleutelingsmethoden (homomorfe versleuteling) (ξ) opgeschoonde updates (U) in veilige gegevens, die worden gedistribueerd via een centrale server of meerdere peer-knooppunten.
(9)
Vanaf (9) betekent ҟ de coderingssleutel. Door gezamenlijke aggregatie van versleutelde updates handhaven systemen de beveiliging van gevoelige lokale informatie bij het veilig uitvoeren van gedistribueerde leerbewerkingen.
Homomorfe versleuteling²³creëert veilige platforms om berekeningen uit te voeren op versleutelde gegevens zonder decodering voordat definitieve resultaten kunnen worden verkregen uit versleutelde invoer zoals geaggregeerde gradiënten. Gegevens blijven versleuteld voor de gehele operationele duur (end-to-end), wat zo inbreuken van buitenaf tijdens rekenprocessen voorkomt. Het platform stelt CPS-deelnemers op verschillende locaties in staat om versleutelde gegevensupdates uit te wisselen voor samenwerkende leeractiviteiten zonder privé-informatie vrij te geven. Volgens de onderzoeksdoelen handhaaft deze techniek volledige privacybescherming zoals vereist en vertoont het superieure prestaties in vergelijking met andere coderingsmethoden, die gegevensdecodering vereisen voor berekening, waardoor deze worden blootgesteld aan potentiële bedreigingen. Homomorfe versleuteling blijkt de meest geschikte beveiligingsmethode te zijn voor proxyFL-systemen, omdat het zowel veilige berekeningen van gegevens als standalone versleutelingsbewerkingen ondersteunt.

5. Veilige peer-to-peer interacties

1. Fase-5 is veilige peer-to-peer-interacties. Tijdens deze fase verzenden deelnemers veilig hun versleutelde, opgeschoonde proxymodelupdates, die ze in fase 4 hebben gemaakt. Deelnemers (i) behouden de vertrouwelijkheid tijdens het verzenden van updates dankzij homomorfe codering, die berekeningen zoals gradiëntaggregatie op versleutelde gegevens rechtstreeks mogelijk maakt zonder dat ze hoeven te worden ontcijferd. Deelnemers drukken peer-to-peer communicatie uit door middel van computationele methoden als,
   (10)
   Uit (10) blijkt duidelijk dat de veilige peer-to-peer interactie/communicatie binnen CPS-platforms wordt gewaarborgd via homomorfe encryptie, (ξ(·)).
   Door middel van gradiëntaggregatie (Ψ) maken versleutelde gradiëntbijdragen van meerdere gebruikers het mogelijk om het gemeenschappelijke proxymodel gezamenlijk bij te werken. Deze studie toont de veilige accumulatie van de gecodeerde gradiënten van elke deelnemer door middel van homomorfe codering.
   (11)
   Van (11) staat N voor de telling van de deelnemer. De methode maakt ook directe berekeningen op versleutelde gradiënten mogelijk en beschermt gevoelige gegevens tijdens het aggregeren. Deelnemers werken het proxymodel bij door middel van decodering van geaggregeerde gradiënten, waardoor privacybewust samenwerkend leren in het hele CPS-netwerk mogelijk wordt. Veilige decoderingsmethoden behouden privétoegang tot individuele gradiënten voor alle gebruikers tijdens het volledige proces.
   (12)
   Veilige autorisatiebeperkingen zorgen er dus voor dat individuele deelnemers geen toegang hebben tot gegevensupdates die eigendom zijn van externe factoren. Het netwerk maakt gebruik van geaggregeerde updates voor gezamenlijke verbetering van gedeelde proxymodellen om veilig gedistribueerd leren te bereiken met sterke privacybescherming in CPS-systemen.

6. Detectie van afwijkingen en voorspellende modellering

1. Ten slotte is fase 6 Anomaly Detection and Predictive Modeling. In deze fase worden de bijgewerkte proxymodellen opgesteld om te dienen voor het analyseren van werkelijke CPS-gegevens binnen een geconfigureerde testbedomgeving. De proxymodellen identificeren afwijkingen (Ф) door nieuwe gegevens te vergelijken (I) met patronen die afkomstig zijn van synthese en historische input om een anomaliescore (Å) te genereren die elementen markeert die een vooraf bepaalde limiet/drempel overschrijden (τ), die computationeel wordt uitgedrukt als,
   (13)
   (14)
   Zowel (13) als (14) zorgen ervoor dat het een methode biedt om abnormaal systeemgedrag en fouten in een vroeg stadium te herkennen.
   Voorspellende modellering met proxymodellen omvat het leren van representaties die voorspellingen produceren over systeemgedrag of -toestanden op basis van dynamische/toekomstige invoergegevensreeksen (I_F), die wordt uitgedrukt als:
   (15)
   De operationele workflow van de GPLF gedemonstreerd in Figuur 2 integreert adaptieve feedbackloops, die zowel de betrouwbaarheid van het CPS-systeem als de continue relevantie ondersteunen. Fase 6-detecties van anomalieën of systeemdrift leiden de procedure om terug te keren naar fase 3, waar nieuwe synthetische gegevens worden gecreëerd met behulp van bijgewerkte privé-invoer om modellen te helpen zich aan te passen aan veranderende patronen. Aanzienlijke afwijking van verwachte output of voorspellingen en slechte nauwkeurigheid die tijdens fase 6 zijn vastgesteld, dwingen een terugkeer naar fase 2, waar deelnemers hun modellen opnieuw moeten trainen met behulp van de meest nauwkeurige, up-to-date gegevens die beschikbaar zijn. Als tijdens fase 5-systeembeoordelingen de modelconvergentie ontoereikend blijkt te zijn of er inconsistenties aan het licht komen, gaat het systeem terug naar fase 4 om verfijningen toe te passen door middel van verbeterde synthetische gegevens en geoptimaliseerde privacytechnieken. De looping-mechanismen zorgen voor adaptieve leergereedheid, waardoor sterke systeemprestaties en beveiliging in alle besturings- en processysteembewerkingen behouden blijven.
   Een sterke mix van hardware- en softwarecomponenten valideerde de GPLF-functies voor CPS-implementatie door middel van schaalbare, veilige operaties. De specifieke platformvereisten voor GPLF omvatten Ubuntu 20.04 LTS met Python v3.9-implementatie plus deep learning-frameworks PyTorch v1.12 en TensorFlow v2.9 om training te geven voor privé-, proxy- en diffusiemodellen. Evaluatie van de systeemprestaties combineerde Matplotlib v3.5 visualisatiesoftware met Seaborn v0.11 statistische visualisatie en Scikit-learn v1.1 benchmarking naast privacymaatregelen van PySyft v0.6.0 voor differentiële privacy en TenSEAL v0.3 voor homomorfe encryptie. Hardwarevereisten omvatten een AMD EPYC-7502P-processor samen met een A100 GPU met CUDA v11.6 voor rekenefficiëntie en geheugenvereisten van 256 GB RAM ter ondersteuning van uitgebreide CPS-datasets, evenals een SSD van 1 TB gevolgd door een Gigabit Ethernet-netwerk dat is ontworpen voor veilige informatie-uitwisseling, zijn inbegrepen om de efficiënte onderzoeksexperimenten uit te voeren. GPLF-algoritmen werden gevalideerd via deze systeemconfiguratie, die gegevens beschermde en tegelijkertijd schaalbaarheidsprincipes bewees voor real-world CPS-implementaties. Versieselectie zorgt voor compatibiliteit met geavanceerde versleuteling, gefedereerd leren en generatieve modeltechnieken, waardoor betrouwbare validatieschaalbaarheid in meerdere CPS-toepassingen mogelijk is.
   Tijdens het onderzoek koos de studie voor een paar essentiële hyperparameters die een evenwicht vonden tussen prestatiemaximalisatie en privacybescherming en schaalbaarheid in alle GPLF-fasen. Om lokaal en samenwerkend leren in evenwicht te brengen, stelden onderzoekers unieke leersnelheden in op 0,001 en 0,01 voor privé- en proxymodellen, maar handhaafden ze Gaussiaans geïnitialiseerde gewichten om stabiele convergentie te garanderen. Om overfitting te voorkomen tijdens het verwerken van CPS-gegevens, gebruikte het lokale trainingsproces batches van 32 instanties, elk meer dan tien tijdperken. Voor het genereren van synthetische gegevens moest het diffusiemodel een proces van 1000 stappen bij een standaarddeviatie van 0,05 ruis toepassen om de nauwkeurigheid van kritieke kenmerken te behouden. Anonimisering van gegevens door middel van differentiële privacy werd bereikt door gradiëntclipping te implementeren op 1,0 met een ruisschaal die is aangepast aan 0,1 met behoud van het nut van de dataset. Voor homomorfe versleuteling is het Paillier Cryptosystem²⁴ wordt gebruikt om gradiënten te verwerken door middel van puur additieve bewerkingen binnen federated learning. Het Paillier-cryptosysteem maakt directe bewerkingen op versleutelde informatie mogelijk, waardoor uitgebreide communicatievereisten in veilige computersystemen met meerdere partijen worden geëlimineerd. Deze techniek maakt snellere aggregatie mogelijk in combinatie met verminderde communicatievereisten, wat leidt tot een schaalbare en efficiënte oplossing voor veilige berekeningen in CPS-systemen met beperkte middelen. De anomaliedetectie, een vooraf bepaalde limiet/drempel en een voorspellingshorizon van tien stappen zorgden voor nauwkeurige monitoring en proactieve besluitvorming in CPS. Door middel van hyperparameter-finetuning wordt een perfecte balans bereikt tussen prestatiestatistieken en aanpasbaarheid van het systeem met privacybescherming in praktische CPS-toepassingen.
   Tabel 2 documenteert de noodzakelijke hyperparameters voor elke fase van GPLF-onderzoek en optimale waarden om de beste prestaties te bereiken over de gehele methodologie.
   Twee prominente datasets worden overwogen voor de training en evaluatie van de voorgestelde aanpak op verschillende aspecten. Ze zijn TON_IoT^{25,26,27,28,29,30,31} en UNSW-NB15^{32,33,34,35,36} van de Universiteit van New South Wales (UNSW) Canberra. Zowel TON_IoT als UNSW-NB15-datasets zijn geselecteerd omdat ze een uitgebreide reeks CPS-aandoeningen bevatten. Deze datasets dienen verschillende doelen, omdat TON_IoT diverse IoT-sensormetingen presenteert in combinatie met modellen voor industriële situaties, en UNSW-NB15 uitgebreide gegevenstests voor netwerkinbraakgegevens voor beveiligingssystemen biedt. De combinatie van TON_IoT- en UNSW-NB15-datasets maakt een volledige prestatiebeoordeling van GPLF in verschillende operationele omgevingen mogelijk. De opname van nieuwe datasets zal de operationele betrouwbaarheid van het raamwerk vergroten, aangezien we deze tekortkoming als een toekomstige ontwikkelingsdoelstelling hebben geïdentificeerd.
   De TON_IoT datasets vertegenwoordigen een uitgebreide gegevensopslagplaats die is ontwikkeld om de prestaties van cyberbeveiligingstoepassingen te testen met behulp van op AI en ML-algoritmen gebaseerde systemen. Op de Australische militaire academie onder de UNSW, waar onderzoekers deze datasets genereerden uit heterogene bronnen die telemetrie-informatie gebruiken van meer dan 10 inheemse en industriële IoT-sensoren, waaronder weerlezers en Modbus-sensoren, samen met logboeken van het besturingssysteem en netwerkpakketten die zijn vastgelegd met ZEEK (Bro) in pcap-formaat in combinatie met logbestanden en Comma-Separated Values (CSV) -bestanden. Deze dataset is afkomstig van een real-world netwerk dat IoT-componenten combineert met zowel cloudfuncties als edge/fog computing-mogelijkheden, die werden beheerd op meerdere hosts met virtuele machines en verschillende besturingssystemen. Het geconstrueerde systeem stelde onderzoekers in staat om tests uit te voeren van cyberaanvallen, waaronder Distributed Denial of Service (DDoS) en DoS-aanvallen, evenals ransomware-aanvallen op IoT-applicaties en computernetwerken binnen het gecombineerde Internet of Things/Industrial IoT-framework. TON_IoT datasets bevatten onbewerkte gegevenscomponenten en verwerkte gegevens met standaardfuncties en labels, trainings- en testmonsters, functiebeschrijvingen, statistische samenvattingen en beveiligingsgebeurtenissen, samen met grondwaarheidslabels. AI-gestuurde cyberbeveiligingsoplossingen voor malwaredetectiemechanismen, IDS, fraudedetectiemethoden en bedreigingsinformatieplatforms, samen met processen voor privacybehoud en digitaal forensisch onderzoek, profiteren van TON_IoT datasets vanwege hun gestructureerde organisatieontwerp, dat ook helpt bij vijandige ML-modellen en methoden voor het opsporen van bedreigingen.
   Het Cyber Range Lab van UNSW Canberra heeft de UNSW-NB15-dataset ontwikkeld als een uitgebreide standaard voor de evaluatie van het detectiesysteem voor indringers op het netwerk. Via de IXIA PerfectStorm-tool combineert de creatie van de UNSW-NB15-dataset zowel echte normale moderne activiteiten als demonstraties van synthetische aanvallen, wat naar schatting 100 GB aan netwerkverkeer produceert dat is vastgelegd in pcap-formaat. De dataset bestaat uit negen unieke aanvalsvarianten: Analysis, DoS, Fuzzers, Backdoors, Shellcode, Exploits, Worms, Generic en Reconnaissance. Door gebruik te maken van Argus- en Bro-IDS-tools in combinatie met twaalf ontworpen algoritmen, hebben onderzoekers 49 functies geëxtraheerd en getagd, waardoor een uitgebreide analyse mogelijk is. Meer dan 2,5 miljoen records vullen de dataset, die zich uitstrekt over vier CSV-werkstations en is onderverdeeld in 175.341 records voor trainingsdoeleinden en 82.332 records voor testfunctionaliteit. De systematische rangschikking van gegevens binnen dit raamwerk stimuleert zowel ontwikkelings- als testprocessen voor inbraakdetectiemodellen.

Figuur 2: Operationele workflow van GPLF. De sequentiële bedieningsworkflow van GPLF markeert elke belangrijke processtap. Klik hier om een grotere versie van deze figuur te bekijken.

Tabel 2: Parameterspecificaties van GPLF. Klik hier om deze tabel te downloaden.

Results

De Privacy Leakage Reduction Index (PLRI) meet de vermindering van privacylekken in vergelijking met standaard basismodellen. De evaluatie richt zich op hoe differentiële privacy en homomorfe encryptie presteren naarmate privacybehoud nadert.

De privacylekscore beoordeelt het aantal blootgestelde datapunten ten opzichte van het totale aantal updates in modellen, samen met activiteiten voor de distributie van synthetische gegevens. Het evalueert de effectivitei...

Discussion

De ontwerpelementen van GPLF ondersteunen niet alleen de privacyfuncties, maar bieden ook aanvullende voordelen die de implementatiecapaciteit vergroten. Door diffusiemodellen te gebruiken om high-fidelity synthetische gegevens te produceren, biedt het raamwerk essentiële privacybeschermingslagen voor essentiële gebieden zoals de gezondheidszorg, naast monitoring van kritieke infrastructuur, met behoud van nauwkeurige generatieve modelleringsmogelijkheden. GPLF bereikt zowel verbeterde p...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
A100 GPU (CUDA)	NVIDIA	CUDA Version 11.6	GPU-versnelling voor modeltraining en evaluatie.
AMD EPYC-7502P CPU	AMD	N/A	Processor gebruikt voor high-performance computing.
Gigabit Ethernet	Intel	N/A	Netwerkvoorzieningen voor beveiligde peer-to-peer communicatie in CPS.
Matplotlib	Python Software Foundation	Versie 3.5	Visualisatiebibliotheek voor het plotten van resultaten.
Paillier Cryptosystem	Open Source (geïmplementeerd via TenSEAL)	N/A	Maakt additieve homomorfe encryptie op gradiënten mogelijk.
PySyft	OpenMined	Versie 0.6.0	Bibliotheek voor differentiële privacy en gefedereerd leren.
Python (Anaconda Distribution)	Anaconda Inc	Versie 3.9	Bevat vooraf geïnstalleerde pakketten en omgevingsbeheertools, gebruikt voor scripting en frameworkontwikkeling.
PyTorch	Meta AI	Versie 1.12	Deep learning framework voor het trainen van modellen.
RAM	Corsair	256 GigaByte (GB)	Hoge geheugenondersteuning voor intensieve training.
Scikit-learn	Python Software Foundation	Versie 1.1	Machine learning tools voor prestatie-evaluatie.
Seaborn	Python Software Foundation	Versie 0.11	Statistische datavisualisatiebibliotheek.
SSD-opslag	Seagate	1 TeraByte (TB)	Voor snelle gegevensopslag en -opvragen.
TenSEAL	OpenMined	Versie 0.3	Homomorfe encryptiebibliotheek voor veilige aggregatie.
TensorFlow	Google	Versie 2.9	Deep learning framework voor diffusiemodellen.
Ubuntu OS	Canonical	Versie 20.04 LTS	Besturingssysteem gebruikt voor alle experimenten.