Estrategia de Aprendizaje por Proxy Impulsada por la Difusión con Interacciones Seguras entre Pares para la Inteligencia Generativa en un Sistema Ciberfísico

Summary

Aquí presentamos el Generative Proxy Learning Framework (GPLF) que aporta el Aprendizaje Federado basado en Proxy (ProxyFL) para mejorar las soluciones de IA Generativa en Sistemas Ciberfísicos (CPS). Al integrar características de privacidad diferenciales y métodos de cifrado, GPLF mejora la protección de la privacidad, lo que reduce la fuga de privacidad, lo que hace que las operaciones del sistema ciberfísico sean más inteligentes y seguras.

Abstract

El sistema ciberfísico (CPS) combina la inteligencia computacional con los procesos físicos, lo que permite el monitoreo instantáneo, la capacidad de toma de decisiones y los servicios de automatización en varios dominios vitales. Además, la Inteligencia Artificial Generativa (IA) se enfrenta a barreras considerables para su implementación dentro de CPS porque los entornos distribuidos con datos confidenciales presentan serios desafíos de mantenimiento de la privacidad y la seguridad. Las técnicas actuales, como el Aprendizaje Federado (FL), encuentran dificultades tanto en la diversidad de sus modelos como en el riesgo de que la privacidad se vea comprometida. El Generative Proxy Learning Framework (GPLF) sirve como nuestra solución innovadora que utiliza el Aprendizaje Federado basado en Proxy (ProxyFL) específicamente adaptado para aplicaciones de IA Generativa dentro de Sistemas Ciberfísicos (CPS). En GPLF, cada participante mantiene dos modelos: los participantes operan un modelo privado dedicado al análisis de datos locales junto con un modelo de proxy compartido que permite la colaboración de nodos protegidos. Como base esencial de los mecanismos de IA generativa, los modelos de difusión avanzados proporcionan datos sintéticos de alta fidelidad junto con la preservación de características de datos clave. Los modelos generan datos de sensores sintéticos, lo que permite una mejor detección de anomalías y admite el modelado predictivo a través de representaciones auténticas del comportamiento de CPS en varios escenarios. El sistema logra una protección de privacidad avanzada con mecanismos de privacidad diferenciales en las actualizaciones de datos de proxy, mientras que la comunicación directa entre pares en la red se beneficia de protecciones de cifrado avanzadas. GPLF sirve a las plataformas CPS conectándose a sensores en tiempo real y dispositivos IoT que admiten procesos generativos seguros, incluida la detección de anomalías, la creación de datos sintéticos y el modelado predictivo. Los resultados de las pruebas de los conjuntos de datos de CPS de referencia muestran mejoras considerables en el rendimiento, con un 25 % menos de fuga de privacidad y un 25 % más de capacidades de intercambio de datos, junto con una mejora del 18 % en la precisión de las tareas generativas para respaldar su potencial transformador para operaciones de CPS seguras e inteligentes.

Introduction

La investigación investiga los sistemas ciberfísicos (CPS) mediante la combinación de inteligencia computacional con procesos del mundo real para permitir la vigilancia en tiempo real junto con capacidades de toma de decisiones rápidas^{y automatización de} sistemas. Las tecnologías emergentes de Internet de las cosas (IoT) e inteligencia artificial (IA) están ampliando significativamente la gama de aplicaciones en las que los sistemas CPS operan funciones esenciales en el desarrollo de redes inteligentes y los procesos de automatización industrial, así como en los servicios de prestación de asistencia sanitaria². Las organizaciones que implementan CPS utilizan cada vez más modelos de IA generativa, que brindan la capacidad de imitar el comportamiento del sistema, así como permitir el modelado predictivo junto con la detección mejorada de anomalías. El formato distribuido de los datos de CPS, combinado con sus atributos confidenciales, conduce a importantes vulnerabilidades de privacidad junto con problemas de seguridad y problemas de escalabilidad en las implementaciones de IA generativa.

Las técnicas existentes, como el Aprendizaje Federado (FL), se centran en la protección de la privacidad de los datos, pero se enfrentan a limitaciones, que incluyen la amenaza de fuga de la privacidad de la actualización del modelo, junto con un menor soporte para la IA generativa y un manejo inadecuado de diversas condiciones de CPS³. Los enfoques actuales carecen de la integración esencial de mecanismos avanzados diseñados tanto para la generación de datos como para las medidas de protección cuando se trabaja en CPS distribuido durante la operación en tiempo real. Dado que los marcos actuales se quedan cortos en múltiples áreas, la investigación existente demuestra necesidades significativas que solo pueden satisfacerse mediante la creación de una nueva solución que ofrezca modelos seguros, escalables y generativos junto con una protección clara de la privacidad⁴.

El nuevo estudio del Marco de Aprendizaje de Proxy Generativo (GPLF) describe un método especialmente diseñado para facilitar el despliegue de funciones de IA generativa dentro de CPS. GPLF implementa un esquema FL basado en proxy⁵, por lo que los usuarios pueden funcionar con modelos privados para el examen de datos individuales y modelos proxy para mantener actividades de aprendizaje cooperativo protegidas. Esta investigación se centra en la mejora de la privacidad de los datos mediante la aplicación de enfoques de privacidad diferenciales combinados con el cifrado homomórfico seguro y emplea modelos de difusión avanzados para la producción de datos sintéticos de alta calidad. El sistema admite la detección segura de anomalías, así como las funciones de modelado predictivo, al tiempo que permite una transferencia eficiente de información entre operaciones CPS distribuidas.

GPLF resuelve los desafíos existentes de FL a través de su diseño de marco de modelo dual, que ofrece protección de datos y flexibilidad del sistema⁶. Cada participante de CPS utiliza modelos privados y de proxy, que establecen dos sistemas separados para lograr la protección de la privacidad local y permitir las capacidades de aprendizaje en equipo. El modelo privado utiliza operaciones localizadas para aprender de los datos confidenciales de un participante y mantiene la privacidad total de los datos al almacenar información confidencial dentro de los parámetros de cada participante. El sistema alcanza el máximo rendimiento al detectar anomalías y reconocer patrones a nivel local⁷. El modelo de representación actúa como un mecanismo de aprendizaje colectivo conjunto disponible para todos los participantes para el intercambio seguro de conocimientos. El modelo proxy se entrena con confidencialidad a través del procesamiento de datos sintéticos desinfectados de los modelos de difusión y la comunicación de actualizaciones a través de la privacidad diferencial y el cifrado homomórfico, ya que esto permite una FL privada pero funcional.

La estrategia de difusión permite la creación de conjuntos de datos sintéticos superiores que mantienen las características esenciales y ocultan los datos personales. Esta investigación reveló avances sustanciales, que se manifestaron como una caída importante en la fuga de privacidad con funciones de intercambio de datos mejoradas y un mejor rendimiento de las tareas generativas, lo que permite operaciones de sistemas ciberfísicos más resistentes. GPLF crea una nueva metodología para CPS inteligente al unir el aprendizaje que preserva la privacidad con las capacidades de IA generativa⁸.

La GPLF presenta capacidades novedosas a través de su diseño de modelo gemelo dirigido específicamente a manejar los problemas de privacidad en la implementación de IA generativa en CPS. Mientras que el aprendizaje federado convencional utiliza un modelo para todos los participantes, GPLF despliega modelos privados para el examen de datos locales y modelos proxy para realizar tareas de aprendizaje en grupo. A través de una estricta separación de datos, los pacientes mantienen la información confidencial localmente, pero utilizan los datos sintéticos desinfectados del modelo proxy combinados con la privacidad diferencial para lograr una colaboración segura. El modelo proxy garantiza una sólida detección de anomalías y un modelado predictivo, al tiempo que mantiene la adaptabilidad del sistema a través de datos sintéticos de alta calidad generados por modelos de difusión, lo que garantiza la protección de la privacidad del usuario. GPLF se destaca como un marco innovador para sistemas CPS seguros porque su enfoque de modelo dual proporciona una protección de privacidad reforzada junto con datos seguros, al tiempo que mantiene la escalabilidad y la eficiencia operativa.

El objetivo del estudio es desarrollar un Aprendizaje Federado Basado en Proxy (ProxyFL), que exige una arquitectura de modelo dual para permitir una adaptación segura dentro de CPS. Además, los modelos de difusión avanzados son esenciales para servir como punto de integración para la producción de datos sintéticos con el fin de mantener las características esenciales de los datos durante las salvaguardas de la privacidad. Por último, es necesario implementar métodos de privacidad diferenciales junto con protocolos de cifrado homomórficos para garantizar la seguridad de los datos y proteger la privacidad durante la agregación de gradientes.

La Tabla 1 9,10,11,12,13,14,15,16,17,18,19 destaca los procesos centrales de los métodos existentes y sus logros, con algunas limitaciones críticas.

Tabla 1: Visión general del enfoque clave de la investigación existente, los componentes principales, los logros y las limitaciones. Haga clic aquí para descargar esta tabla.

Los enfoques existentes para fusionar la IA generativa en los sistemas CPS muestran problemas críticos con la expansión a grandes implementaciones, manteniendo al mismo tiempo las regulaciones de privacidad y logrando la flexibilidad del sistema²⁰. Los métodos actuales de FL muestran limitaciones debido a una variedad insuficiente de modelos, al tiempo que demuestran un rendimiento débil en sistemas dispersos y cambiantes y exponen los datos de los usuarios debido a prácticas de transmisión de datos vulnerables. Las representaciones de datos de alta fidelidad necesarias para la detección de anomalías, la generación de datos sintéticos y el modelado predictivo en CPS a menudo escapan a muchas soluciones de modelado generativo, lo que puede comprometer la privacidad y la eficiencia computacional en sus intentos de lograr estos estándares. Las deficiencias actuales del sistema confirman el requisito del marco para respaldar procesos de IA generativa escalables, seguros y eficientes.

Protocol

El Generative Proxy Learning Framework (GPLF) representa una tecnología novedosa que integra la IA generativa con CPS y resuelve importantes problemas de privacidad de datos junto con métricas de seguridad y rendimiento dentro de los sistemas de redes distribuidas. La funcionalidad de las plataformas CPS depende de una supervisión actualizada junto con operaciones automatizadas que extraigan entradas de datos confidenciales de un número cada vez mayor de dispositivos y sensores de IoT. Se ha descubierto que la adopción de tecnologías de IA generativa en los sistemas CPS introduce peligros especiales como vulnerabilidades de privacidad combinadas con desafíos de seguridad en todas las configuraciones de redes distribuidas. GPLF despliega un innovador marco de aprendizaje federado basado en proxy (ProxyFL) que admite el aprendizaje colaborativo seguro diseñado específicamente para tareas generativas con el fin de mitigar los problemas existentes. Se llevó a cabo una evaluación exhaustiva del marco GPLF en una plataforma CPS cuyo banco de pruebas combinó diferentes tecnologías de redes de sensores con dispositivos IoT y transmisión de datos en vivo.

Los participantes de GPLF utilizan dos modelos separados durante su participación.
Un modelo privado exclusivo funciona para el examen de datos local mientras mantiene los datos protegidos del acceso externo.
El modelo de proxy compartido⁵ del sistema permite la cooperación segura de los participantes a través de la tecnología de cifrado combinada con métodos de privacidad diferenciales.

El marco utiliza modelos de difusión para crear conjuntos de datos sintéticos elaborados que impulsan las capacidades de detección de anomalías, al tiempo que muestran el modelado predictivo y el seguimiento del comportamiento del sistema durante diversas simulaciones de escenarios. Los conjuntos de datos sintetizados mantienen características de características importantes a través de métodos eficaces de preservación de la privacidad. El marco opera intercambios seguros entre pares a través de técnicas de cifrado sólidas que protegen los canales de comunicación de ataques maliciosos. Las evaluaciones llevadas a cabo con GPLF en plataformas CPS del mundo real mostraron cómo podría aportar avances sustanciales a las capacidades operativas seguras e inteligentes a través de los límites de escalabilidad. Las mejoras significativas en las medidas de fuga de privacidad, junto con las mejoras complementarias en las capacidades de intercambio de datos y la precisión de las tareas generativas, demostraron su valor funcional y resultados de rendimiento concretos. Las etapas principales de la GPLF incluyen la inicialización basada en proxy del aprendizaje federado junto con la capacitación local de datos privados, que forma la columna vertebral de la GPLF e integra actualizaciones de modelos de proxy protegidas con privacidad diferencial. También se incluyen métodos de generación de datos sintéticos de modelos difusos con técnicas seguras de intercambio de datos entre pares y módulos para la detección de anomalías y el modelado predictivo. La estructura organizada de la Figura 1 muestra los elementos esenciales de GPLF, que tienen el potencial de optimizar las operaciones básicas de CPS.

Figura 1: Marco arquitectónico de GPLF para operaciones CPS seguras e inteligentes. Diseñado para permitir operaciones seguras e inteligentes en sistemas ciberfísicos. Haga clic aquí para ver una versión más grande de esta figura.

En las siguientes secciones se detallan las seis etapas del marco para la comunicación segura entre dispositivos heterogéneos en una plataforma CPS.

1. Inicialización de aprendizaje federado basada en proxy

La etapa 1 es la inicialización de aprendizaje federado basada en proxy, donde GPLF utiliza el proceso de inicialización de FL basado en proxy para configurar el sistema (N) de cada participante de CPS con dos modelos que garantizan la privacidad y permiten a los participantes colaborar de forma segura a través de la funcionalidad de aprendizaje. Los participantes individuales de CPS (i) reciben un modelo privado para funcionar con sus datos locales (d_i) para la protección de la privacidad junto con un modelo de proxy compartido para permitir un comportamiento cooperativo seguro entre los participantes. Los modelos comienzan su entrenamiento con pesos creados a partir de entradas aleatorias de una distribución gaussiana²¹ para condiciones iniciales normalizadas, que se expresa como en la ecuación (1),
(1)
Los participantes procesan sus datos de forma autónoma mientras intercambian información a través de modelos compartidos que respaldan el aprendizaje generativo distribuido que preserva la privacidad en los sistemas CPS.

2. Formación local sobre datos privados

La etapa 2 es la capacitación local sobre datos privados; aquí, se lleva a cabo la capacitación de datos, donde los participantes de CPS desarrollan modelos privados a partir de sus datos locales almacenados para mantener una protección completa de los datos en el sitio al sellarlos lejos de la exposición externa. Los participantes reciben formación en la optimización de modelos basados en datos mediante el descenso de gradiente estocástico (SGD)²² , que se produce a través de una función de pérdida localizada (l_local) y admite tanto la extracción de información significativa como las adaptaciones localizadas, al tiempo que mantiene la privacidad de los datos.
(2)
(3)
De (2) y (3), I y O denotan la entrada de muestra y el valor objetivo correspondiente. L indica la pérdida con una tasa de aprendizaje (Ɽ). En este paso se desarrollan sistemas individuales de inteligencia de los participantes, que sirven de base para futuros procesos educativos colaborativos seguros.
La Red Neuronal Recurrente Independiente (IndRNN) funciona como el modelo de ML de la etapa 2 porque su arquitectura permite la independencia de las neuronas durante cada paso de tiempo para manejar tareas CPS específicas mientras mitiga los problemas tradicionales de gradiente de RNN. Cada neurona dentro de la configuración de IndRNN viene con un peso recurrente individual, lo que permite una mejor captura de las dependencias a largo plazo. El modelo de operación separado mejora la transmisión de gradiente, lo que escala estructuras de red profundas de manera efectiva mientras mantiene la eficiencia de los procesos computacionales. El procesamiento secuencial de datos en plataformas CPS funciona mejor con IndRNN debido a su capacidad para procesar secuencias largas utilizando patrones de aprendizaje sólidos mientras mantiene baja la complejidad de la red.
El cálculo en la ecuación (4) muestra que la solución al problema del gradiente que se desvanece y explota dentro de IndRNN se deriva de su enfoque distintivo para el diseño de conexiones recurrentes.
(4)
A partir de (4), ω y H_t indica el peso y el estado oculto en t, respectivamente. representan el vector de significación recurrente independiente (ponderaciones), uno para cada punto de datos, lo que permite la independencia en diferentes periodos de tiempo. ʘ denota que el diseño presenta soporte de multiplicación por elementos, que mantiene total independencia entre las conexiones recurrentes de cada neurona, y ä significa la función de activación. El diseño de la arquitectura neuronal evita la expansión o contracción del gradiente a lo largo de la secuencia de cálculos, lo que respalda el entrenamiento estable del modelo de aprendizaje y el éxito en el aprendizaje de patrones extendidos.
La IndRNN se convierte en el enfoque preferido para la detección de anomalías CPS porque evita con éxito las explosiones y desapariciones de gradiente RNN tradicionales. Las dependencias a largo plazo se vuelven fáciles de rastrear a través de la arquitectura IndRNN, ya que opera con menos complejidades que los modelos Transformer y logra una convergencia rápida y un funcionamiento en tiempo real. La naturaleza efectiva de IndRNN lo hace excepcionalmente adecuado para representar las características operativas de recursos limitados de CPS y, al mismo tiempo, ofrecer un reconocimiento exacto de anomalías sin una tensión computacional excesiva.

3. Modelo de difusión para la generación de datos sintéticos

La Etapa 3 es el Modelo de Difusión para la Generación de Datos Sintéticos. En esta etapa se utilizan modelos avanzados de difusión para producir datos sintéticos, que replican las principales características de los datos privados adquiridos. Los modelos aprenden la distribución de los datos confidenciales de privacidad originales mediante la adición de ruido controlado para recopilar características, lo que ayuda a crear datos sintéticos con alta fidelidad que conservan características importantes al tiempo que protegen las salvaguardas de privacidad. El procedimiento iterativo de eliminación de ruido genera datos sintéticos, manteniendo las propiedades estadísticas esenciales y los elementos estructurales de los datos reales.
Inicialmente, el proceso de entrenamiento del modelo de difusión generativa (Υ) se centra en la creación de datos sintéticos con alta fidelidad mientras se mantienen las características cruciales de los datos privados (d_i), y el cálculo central de dicha generación implica,
(5)
A partir de (5), indica la incorporación de ruido gaussiano en las muestras de datos. Los datos sintéticos recién generados se expresan como,
(6)

4. Actualizaciones del modelo de proxy con privacidad diferencial

La etapa 4 es Actualizaciones del modelo de proxy con privacidad diferencial. En esta etapa, cada participante comunicativo utiliza datos sintéticos creados por el modelo de difusión durante esta etapa para entrenar su modelo proxy en esta etapa.
(7)
Los gradientes de actualizaciones del modelo proxy permanecen privados debido a mecanismos de privacidad diferenciales que agregan ruido a sus valores.
(8)
Para proteger la privacidad de los datos, los métodos de cifrado avanzados (cifrado homomórfico) transforman (ξ) las actualizaciones desinfectadas (U) en datos seguros, que se distribuyen a través de un servidor central o varios nodos del mismo nivel.
(9)
A partir de (9), ҟ significa la clave de cifrado. A través de la agregación colaborativa de actualizaciones cifradas, los sistemas mantienen la seguridad de la información local confidencial al realizar operaciones de aprendizaje distribuidas de forma segura.
El cifrado homomórfico²³crea plataformas seguras para ejecutar cálculos en datos cifrados sin descifrar antes de permitir que los resultados finales se obtengan de entradas cifradas como gradientes agregados. Los datos permanecen encriptados durante toda su duración operativa (extremo a extremo), lo que en consecuencia evita violaciones externas durante los procesos computacionales. La plataforma permite a los participantes de CPS en diferentes ubicaciones intercambiar actualizaciones de datos cifrados para operaciones de aprendizaje colaborativo sin revelar información privada. Según los objetivos del estudio, esta técnica mantiene una protección completa de la privacidad según sea necesario y muestra un rendimiento superior en comparación con otros métodos de cifrado, que requieren el descifrado de datos para el cálculo, exponiéndolos así a posibles amenazas. El cifrado homomórfico demuestra ser el método de seguridad más adecuado para los sistemas proxyFL porque admite tanto cálculos seguros de datos como operaciones de cifrado independientes.

5. Interacciones seguras entre pares

1. Stage-5 es Interacciones seguras entre pares. Durante esta etapa, los participantes transmiten de forma segura sus actualizaciones del modelo de proxy desinfectado cifrado, que crearon en la Etapa 4. Los participantes (i) mantienen la confidencialidad mientras transmiten actualizaciones gracias al cifrado homomórfico, que facilita cálculos como la agregación de gradientes en datos cifrados directamente sin necesidad de descifrarlos. Los participantes expresan la comunicación entre pares a través de métodos computacionales como,
   (10)
   A partir de (10), es evidente que la interacción/comunicación segura entre pares dentro de las plataformas CPS está garantizada mediante cifrado homomórfico, (ξ(·)).
   A través de la agregación de gradiente (Ψ), las contribuciones de gradiente cifradas de múltiples usuarios permiten la actualización colaborativa del modelo de proxy común. Este estudio muestra la acumulación segura de los gradientes cifrados de cada participante a través del cifrado homomórfico.
   (11)
   A partir de (11), N representa el recuento del participante. El método también permite cálculos directos en gradientes cifrados y protege los datos confidenciales durante la agregación. Los participantes actualizan el modelo de proxy a través del descifrado de gradientes agregados, lo que permite un aprendizaje colaborativo consciente de la privacidad en toda la red CPS. Los métodos de descifrado seguros preservan el acceso privado a los gradientes individuales para todos los usuarios durante todo el proceso.
   (12)
   Por lo tanto, las restricciones de autorización segura evitan que los participantes individuales accedan a las actualizaciones de datos que son propiedad de factores externos. La red utiliza actualizaciones agregadas para la mejora colaborativa de modelos de proxy compartidos para lograr un aprendizaje distribuido seguro con sólidas protecciones de privacidad en todos los sistemas CPS.

6. Detección de anomalías y modelado predictivo

1. Por último, la etapa 6 es la detección de anomalías y el modelado predictivo. En esta etapa, se establecen los modelos de proxy actualizados para servir para analizar los datos reales de CPS dentro de un entorno de banco de pruebas configurado. Los modelos proxy identifican anomalías (Ф) mediante la comparación de nuevos datos (I) con patrones procedentes de la síntesis y entradas históricas para generar una puntuación de anomalías (Å) que marca los elementos que superan un límite/umbral predeterminado (τ), que se expresa computacionalmente como,
   (13)
   (14)
   Tanto (13) como (14) garantizan que proporciona un método para reconocer comportamientos anormales y fallos del sistema en etapas tempranas.
   El modelado predictivo con modelos proxy implica el aprendizaje de representaciones que producen pronósticos sobre los comportamientos o estados del sistema a partir de secuencias de datos de entrada dinámicas/futuras (I_F), que se expresa como,
   (15)
   El flujo de trabajo operativo de la GPLF demostrado en Figura 2 integra bucles de retroalimentación adaptativos, que mantienen tanto la confiabilidad del sistema CPS como la relevancia continua. Las detecciones de anomalías o desviaciones del sistema en la etapa 6 hacen que el procedimiento vuelva sobre sus pasos a la etapa 3, donde se crean nuevos datos sintéticos utilizando entradas privadas actualizadas para ayudar a los modelos a adaptarse a los patrones cambiantes. La divergencia significativa de los resultados o predicciones esperados y la poca precisión identificada durante la Etapa 6 obligan a regresar a la Etapa 2, donde los participantes deben volver a entrenar sus modelos utilizando los datos más precisos y actualizados disponibles. Durante las evaluaciones del sistema de la Etapa 5, si la convergencia del modelo resulta inadecuada o las inconsistencias se hacen evidentes, el sistema regresa a la Etapa 4 para aplicar refinamientos a través de datos sintéticos mejorados y técnicas de privacidad optimizadas. Los mecanismos de bucle establecen la preparación para el aprendizaje adaptativo, que mantiene un sólido rendimiento y seguridad del sistema en todas las operaciones del sistema de control y proceso.
   Una sólida combinación de componentes de hardware y software validó las funciones de GPLF para la implementación de CPS a través de operaciones escalables y seguras. Los requisitos específicos de la plataforma para GPLF implicaban Ubuntu 20.04 LTS con la implementación de Python v3.9 más los marcos de aprendizaje profundo PyTorch v1.12 y TensorFlow v2.9 para llevar a cabo el entrenamiento para modelos privados, proxy y de difusión. La evaluación del rendimiento del sistema combinó el software de visualización Matplotlib v3.5 con la visualización estadística Seaborn v0.11 y la evaluación comparativa Scikit-learn v1.1 junto con las medidas de privacidad de PySyft v0.6.0 para la privacidad diferencial y TenSEAL v0.3 para el cifrado homomórfico. Los requisitos de hardware incluyen un procesador AMD EPYC-7502P junto con una GPU A100 con CUDA v11.6 para la eficiencia de cálculo y las demandas de memoria de 256 GB de RAM para admitir amplios conjuntos de datos de CPS, así como un SSD de 1 TB seguido de una red Gigabit Ethernet diseñada para el intercambio seguro de información para llevar a cabo los experimentos de investigación eficientes. Los algoritmos GPLF recibieron validación a través de esta configuración del sistema, que protegió los datos al tiempo que demostró los principios de escalabilidad para las implementaciones de CPS en el mundo real. La selección de versiones logra la compatibilidad con el cifrado avanzado, así como con el aprendizaje federado y las técnicas de modelos generativos, lo que permite una escalabilidad de validación confiable en múltiples aplicaciones CPS.
   Durante la investigación, el estudio optó por unos pocos hiperparámetros vitales que equilibraban la maximización del rendimiento con la protección de la privacidad y la escalabilidad en todas las etapas de la GPLF. Para equilibrar el aprendizaje local con el colaborativo, los investigadores establecieron tasas de aprendizaje únicas en 0,001 y 0,01 para los modelos privados y proxy, pero mantuvieron los pesos inicializados por Gaussian para garantizar una convergencia estable. Para evitar el sobreajuste durante el procesamiento de datos CPS, el proceso de entrenamiento local utilizó lotes de 32 instancias, cada una de diez épocas. La generación de datos sintéticos requirió que el modelo de difusión empleara un proceso de 1000 pasos con una desviación estándar de ruido de 0,05 para mantener la precisión de las características críticas. La anonimización de los datos a través de la privacidad diferencial se logró mediante la implementación de un recorte de gradiente a 1.0 con una escala de ruido ajustada a 0.1, al tiempo que se preservaba la utilidad del conjunto de datos. Para el cifrado homomórfico, el Criptosistema Paillier²⁴ se emplea para procesar gradientes a través de operaciones puramente aditivas dentro del aprendizaje federado. El sistema criptográfico Paillier permite operaciones directas con información cifrada, lo que elimina los extensos requisitos de comunicación en los sistemas de computación seguros de múltiples partes. Esta técnica permite una agregación más rápida junto con requisitos de comunicación reducidos que conducen a una solución escalable y eficiente para cálculos seguros en sistemas CPS de recursos limitados. El límite/umbral predeterminado de detección de anomalías y un horizonte de predicción de diez pasos garantizaron un seguimiento preciso y una toma de decisiones proactiva en CPS. A través del ajuste fino de hiperparámetros, se logra un equilibrio perfecto entre las métricas de rendimiento y la adaptabilidad del sistema con la protección de la privacidad en aplicaciones prácticas de CPS.
   Tabla 2 documenta los hiperparámetros necesarios para cada etapa de la investigación GPLF y los valores óptimos para lograr el mejor rendimiento en toda la metodología.
   Se consideran dos conjuntos de datos destacados para el entrenamiento y la evaluación del enfoque propuesto en varios aspectos. Son TON_IoT^{25,26,27,28,29,30,31} y UNSW-NB15^{32,33,34,35,36} de la Universidad de Nueva Gales del Sur (UNSW), Canberra. Se han seleccionado los conjuntos de datos TON_IoT y UNSW-NB15 porque contienen una amplia gama de condiciones CPS. Estos conjuntos de datos sirven TON_IoT para diferentes propósitos porque presenta diversas lecturas de sensores de IoT combinadas con modelos de situación industrial, y UNSW-NB15 ofrece amplias pruebas de datos de intrusión en redes para sistemas de seguridad. La combinación de los conjuntos de datos de TON_IoT y UNSW-NB15 permite una evaluación completa del rendimiento de GPLF en diferentes entornos operativos. La inclusión de nuevos conjuntos de datos aumentará la fiabilidad operativa del marco, ya que hemos identificado esta deficiencia como un objetivo de desarrollo futuro.
   Los conjuntos de datos TON_IoT representan un extenso repositorio de datos desarrollado para probar el rendimiento de las aplicaciones de ciberseguridad utilizando sistemas basados en algoritmos de IA y ML. En la academia militar australiana de la UNSW, donde los investigadores generaron estos conjuntos de datos a partir de fuentes heterogéneas que utilizan información de telemetría de más de 10 sensores de IoT indígenas e industriales, incluidos lectores meteorológicos y sensores Modbus, junto con registros del sistema operativo y paquetes de red capturados con ZEEK (Bro) en formato pcap junto con archivos de registro y archivos de valores separados por comas (CSV). Este conjunto de datos se origina en una red del mundo real que combina componentes de IoT con funciones en la nube y capacidades de computación periférica/en la niebla, que se administraron en múltiples hosts que ejecutan máquinas virtuales y varios sistemas operativos. El sistema construido permitió a los investigadores realizar pruebas de ciberataques, que incluyen ataques de denegación de servicio distribuido (DDoS) y DoS, así como ataques de ransomware contra aplicaciones de IoT y redes informáticas dentro del marco combinado de Internet de las cosas / IoT industrial. TON_IoT conjuntos de datos incluyen componentes de datos sin procesar, así como datos procesados con características y etiquetas estándar, muestras de entrenamiento y pruebas, descripciones de características, resúmenes estadísticos y eventos de seguridad, junto con etiquetas de realidad fundamental. Las soluciones de ciberseguridad impulsadas por IA para mecanismos de detección de malware, IDS, métodos de detección de fraudes y plataformas de inteligencia de amenazas, junto con procesos de preservación de la privacidad y análisis forense digital, se benefician de TON_IoT conjuntos de datos debido a su diseño organizativo estructurado, que también ayuda a los modelos de ML adversarios y a los métodos de búsqueda de amenazas.
   El Cyber Range Lab de UNSW Canberra desarrolló el conjunto de datos UNSW-NB15 como un estándar integral para la evaluación de sistemas de detección de intrusos en la red. A través de la herramienta IXIA PerfectStorm, la creación del conjunto de datos UNSW-NB15 combina actividades modernas normales reales con demostraciones de ataques sintéticos, lo que produce un estimado de 100 GB de tráfico de red capturado en formato pcap. El conjunto de datos consta de nueve variantes de ataque únicas: Análisis, DoS, Fuzzers, Puertas traseras, Shellcode, Exploits, Gusanos, Genérico y Reconocimiento. Aprovechando las herramientas de Argus y Bro-IDS junto con doce algoritmos diseñados, los investigadores extrajeron y etiquetaron 49 características, lo que permitió un análisis exhaustivo. Más de 2,5 millones de registros pueblan el conjunto de datos, que abarca cuatro estaciones de trabajo CSV y se desglosa en 175.341 registros con fines de entrenamiento y 82.332 registros para la funcionalidad de prueba. La disposición sistemática de los datos dentro de este marco impulsa los procesos de desarrollo y prueba de los modelos de detección de intrusos.

Figura 2: Flujo de trabajo de operación de GPLF. El flujo de trabajo de operaciones secuenciales de GPLF que destaca cada paso clave del proceso. Haga clic aquí para ver una versión más grande de esta figura.

Tabla 2: Especificaciones de parámetros de GPLF. Haga clic aquí para descargar esta tabla.

Results

La métrica del Índice de Reducción de Fugas de Privacidad (PLRI) mide la reducción de las fugas de privacidad en comparación con los modelos de referencia estándar. La evaluación se centra en el rendimiento de la privacidad diferencial y el cifrado homomórfico a medida que se aproxima la preservación de la privacidad.

La puntuación de fuga de privacidad evalúa el número de puntos de datos expuestos en relación con el total de actualizaciones en los modelos, junto con las actividades de distrib...

Discussion

Los elementos de diseño de la GPLF no solo respaldan sus funciones de privacidad, sino que también ofrecen beneficios complementarios que mejoran su capacidad de implementación. Al emplear modelos de difusión para producir datos sintéticos de alta fidelidad, el marco proporciona capas esenciales de protección de la privacidad para campos esenciales como la atención médica junto con el monitoreo de infraestructura crítica, al tiempo que mantiene capacidades de modelado generativo precisas...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
GPU A100 (CUDA)	Aceleración	CUDA versión 11.6	para el entrenamiento y la evaluación de modelos.
CPU AMD EPYC-7502P	AMD	n/A	utilizado para informática de alto rendimiento.
Gigabit Ethernet	Intel	N/A	Networking para la comunicación segura peer-to-peer en CPS.
Matplotlib	Python Software Foundation	Versión 3.5	Biblioteca de visualización para trazar resultados.
Paillier Cryptosystem	Open Source (implementado a través de TenSEAL)	N/A	Permite el cifrado homomórfico aditivo en gradientes.
PySyft	OpenMined	Versión 0.6.0	Privacidad diferencial y biblioteca de aprendizaje federado.
Python (Anaconda Distribution)	Anaconda Inc	Versión 3.9	Incluye paquetes preinstalados y herramientas de gestión del entorno, utilizados para el desarrollo de scripts y marcos.
PyTorch	Meta AI	versión 1.12	Marco de aprendizaje profundo para modelos de entrenamiento.
RAM	Corsair	256 GigaByte (GB)	Alto soporte de memoria para entrenamientos intensivos.
Scikit-learn	Python Software Foundation	Versión 1.1	Herramientas de aprendizaje automático para la evaluación del rendimiento.
Seaborn	Python Software Foundation	Versión 0.11	Biblioteca de visualización de datos estadísticos.
Almacenamiento SSD	Seagate	1 TeraByte (TB)	Para un almacenamiento y recuperación de datos rápidos.
TenSEAL	OpenMined	versión 0.3	Biblioteca de cifrado homomórfico para una agregación segura.
TensorFlow	, Google	, versión 2.9	marco de aprendizaje profundo para modelos de difusión.
Ubuntu OS		Canonical Versión 20.04 LTS	Sistema operativo utilizado para todos los experimentos.