Marco basado en blockchain para generar y gestionar ejemplos imposibles de aprender para mejorar la privacidad de los datos y el control de acceso

Summary

Este artículo propone un marco basado en blockchain para generar ejemplos imposibles de aprender, integrando la perturbación dinámica con el control de acceso. Mejora la protección de la privacidad al garantizar que los usuarios no autorizados reciban datos perturbados, salvaguardando la información confidencial y permitiendo una gestión eficiente de los datos y el acceso a través de contratos inteligentes.

Abstract

En el contexto del rápido desarrollo de grandes modelos de lenguaje (LLM), el aprendizaje contrastivo se ha adoptado ampliamente debido a su capacidad para eludir la costosa anotación de datos al aprovechar grandes cantidades de datos de red para el entrenamiento de modelos. Sin embargo, este uso generalizado plantea importantes preocupaciones con respecto a la protección de la privacidad de los datos. Los ejemplos no aprendibles (UE), una técnica que interrumpe el aprendizaje de modelos al perturbar los datos, evita eficazmente que los modelos no autorizados hagan un mal uso de los datos confidenciales. Sin embargo, los métodos existentes para generar UE enfrentan dos desafíos principales: primero, las perturbaciones se pueden revertir utilizando técnicas como la purificación inversa o la eliminación de ruido, incluidos los modelos de difusión que eliminan las perturbaciones protectoras en los UE de imagen; En segundo lugar, una vez que se publican los datos, garantizar la trazabilidad de los datos y administrar el control de acceso se vuelve difícil. Para abordar estos problemas, este documento propone un marco de gestión y generación de ejemplos no aprendibles integrado en blockchain (B-UEGMF) para generar y administrar UE. Al aprovechar las propiedades descentralizadas e inmutables de blockchain, almacenamos valores hash de ejemplo en blockchain y administramos dinámicamente los derechos de acceso a los datos a través de contratos inteligentes. Además, los UE se generan utilizando una técnica de perturbación multiobjetivo, Dynamic Error-Minimizing Noise (DEM), que mejora la robustez frente a los métodos de inversión. También proporcionamos una evaluación cuantitativa de las capacidades de protección de la privacidad de los ejemplos generados. Los resultados experimentales demuestran que el marco propuesto mejoró significativamente la defensa de los UE contra ataques inversos al tiempo que garantizaba una gestión eficiente de la privacidad de los datos.

Introduction

En los últimos años, con el rápido avance del aprendizaje profundo y los grandes modelos de lenguaje, el aprendizaje contrastivo ha surgido como un enfoque eficiente de aprendizaje no supervisado debido a su independencia de las costosas anotaciones manuales ^1,2. Sin embargo, el uso extensivo de conjuntos de datos públicos ha planteado preocupaciones significativas sobre violaciones de privacidad y uso indebido de datos. Los casos de utilización no autorizada de datos disponibles públicamente para el entrenamiento de modelos se han vuelto cada vez más comunes³. Por ejemplo, en 2017, se emplearon fotografías públicas no autorizadas para entrenar modelos de reconocimiento facial⁴. Del mismo modo, Amazon utilizó datos de revisión pública de consumidores para entrenar sus sistemas de recomendación sin obtener el consentimiento explícito de todos los usuarios, exponiendo vulnerabilidades en los mecanismos de protección de la privacidad⁵.

Para abordar estos problemas, los ejemplos que no se pueden aprender (UE) han surgido como una novedosa técnica de protección de la privacidad de datos. Los UE agregan perturbaciones imperceptibles a las muestras de datos, introduciendo un atajo que evita que los modelos aprendan información confidencial mientras preservan la percepción humana de los datos ^6,7,8. Los métodos existentes para generar UE incluyen principalmente perturbaciones de ruido de minimización de errores (EM)⁹, generación de perturbaciones por redes generativas adversarias (GAN)¹⁰, ruido robusto de minimización de errores (REM) y ruido estable de minimización de errores (SEM) optimizado a través del entrenamiento adversario^11,12. Además, recientemente se han aplicado modelos de difusión para generar ruido de etiqueta incorrecto, mejorando aún más la protección de la privacidad¹³.

A pesar de los avances significativos en la generación de UE, aún quedan varios desafíos, particularmente en aplicaciones del mundo real donde los efectos de protección de la privacidad de estos métodos no se han validado por completo. Específicamente, los desafíos clave incluyen:
Problemas de restauración: Los modelos de difusión pueden recuperar parcialmente ejemplos que no se pueden aprender al predecir y eliminar las perturbaciones incrustadas en los datos, restaurando así la capacidad de aprendizaje y comprometiendo la protección de la privacidad^14,15. Incluso cuando los datos se perturban durante el entrenamiento, es posible que se revele información confidencial después de la restauración.
Trazabilidad de datos y control de acceso: Una vez que se publican los ejemplos que no se pueden aprender, los mecanismos efectivos para rastrear su origen y hacer cumplir las restricciones de acceso siguen siendo técnicamente desafiantes¹⁶.
Equilibrio entre la protección de la privacidad y el rendimiento del modelo: Si bien los métodos existentes se centran en generar ejemplos imposibles de aprender para salvaguardar la privacidad, mantener un equilibrio entre la protección de la privacidad y el rendimiento del entrenamiento del modelo sigue sin resolverse 17,18,19. La mayoría de las investigaciones actuales priorizan la protección de la privacidad, pero prestan poca atención a la mitigación de la degradación del rendimiento durante el entrenamiento del modelo^20,21. En consecuencia, el acceso y la utilización de los datos se han convertido en preocupaciones críticas en la protección de la privacidad²².

Si bien las soluciones centralizadas y los entornos de ejecución confiables (TEE) ofrecen enfoques alternativos para el control de acceso a los datos, enfrentan limitaciones inherentes en escenarios médicos / legales: (1) Los sistemas centralizados introducen puntos únicos de falla y dependencia de auditoría²³; (2) Los TEE requieren hardware especializado y carecen de consenso descentralizado²⁴. Blockchain surge como la solución óptima porque sus propiedades de libro mayor inmutables abordan directamente tres requisitos críticos para la gestión de UE: cumplimiento demostrable de las regulaciones de gobernanza de datos (por ejemplo, registros de auditoría de HIPAA), control de acceso resistente a la censura en entornos de múltiples instituciones y seguimiento granular de procedencia a través de transacciones con marca de tiempo 25,26,27.

Nuestro marco demostró un rendimiento óptimo para conjuntos de datos de mediana escala con aceleración de GPU, logrando la generación de perturbaciones en tiempo real. Si bien las operaciones de blockchain introducen una sobrecarga medible, esta compensación se justifica en escenarios que requieren registros de acceso inmutables, como la investigación médica multiinstitucional o los mercados de datos regulados. El sistema se escala linealmente con el tamaño del conjunto de datos, pero requiere ≥16 GB de RAM y CPU de 4 núcleos para un funcionamiento estable, lo que lo hace menos adecuado para dispositivos perimetrales con recursos limitados.

Para abordar estos desafíos, este documento propone un marco de gestión y generación de ejemplos no aprendibles integrado en blockchain (B-UEGMF). Blockchain, como tecnología de contabilidad distribuida descentralizada e inmutable, registra de manera efectiva los hashes de acceso a los datos y administra dinámicamente los permisos de acceso mediante contratos inteligentes, mejorando así las capacidades de protección de la privacidad de Unlearnable Examples^28,29. Bajo este marco, los usuarios autorizados pueden acceder a datos limpios, mientras que los usuarios no autorizados solo pueden acceder a ejemplos no aprendibles generados dinámicamente. Para abordar los problemas existentes, este documento presenta un novedoso método de generación de ruido dinámico que minimiza errores (DEM). Al incorporar información específica del cliente y parámetros temporales, DEM incrusta dinámicamente perturbaciones en los datos, generando perturbaciones únicas para cada solicitud de datos y asegurando tanto la privacidad de los datos como la capacidad de desaprendizaje. El proceso de generación de DEM se ilustra en la Figura 1. Las principales contribuciones de este documento son las siguientes:
Trazabilidad dinámica y gestión de acceso: Este documento aborda los problemas de trazabilidad y control de acceso asociados con el lanzamiento de Ejemplos desaprendibles al proponer el marco B-UEGMF. La naturaleza descentralizada de blockchain resuelve el problema de terceros confiables en los sistemas tradicionales, mientras que su transparencia permite registros de acceso verificables sin exponer datos sin procesar. Al aprovechar la transparencia y la inmutabilidad de blockchain, combinadas con el control de acceso dinámico habilitado por los contratos inteligentes, el marco garantiza que los usuarios no autorizados no puedan recuperar o difundir datos limpios, mejorando así significativamente la seguridad de los datos.

Mecanismo de generación de perturbaciones dinámicas: se introduce un esquema dinámico de generación de ejemplos que no se pueden aprender, donde los contratos inteligentes gestionan las solicitudes de diferentes clientes. Las perturbaciones DEM se generan dinámicamente para solicitudes de clientes no autorizadas basadas en información específica del cliente y parámetros temporales. Esto garantiza que los efectos de perturbación varíen según las solicitudes, lo que fortalece la resistencia a los métodos de eliminación de ruido basados en difusión y limita el acceso de usuarios no autorizados a conjuntos de datos a gran escala a la vez.

Los experimentos realizados en conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet demuestran que DEM supera a los métodos existentes (por ejemplo, EM, TAP y SEM) en términos de protección de la privacidad y resistencia a los ataques de ingeniería inversa, como se demuestra en la Figura 2, al tiempo que mejora la resistencia a los ataques de eliminación de ruido en un 57% en comparación con EM y en un 25% en comparación con SEM, como se demuestra en la Figura 3, destacando su posible aplicabilidad en escenarios del mundo real.

Protocol

Arreglo
Consideramos una tarea de clasificación supervisada con un conjunto de datos , donde representa las características de entrada y denota las etiquetas de clase correspondientes para un problema de clase K. El conjunto de datos D se divide en un conjunto de datos de entrenamiento limpio y un conjunto de datos de prueba.

El objetivo es modificar el conjunto de datos de entrenamiento limpio introduciendo pequeñas perturbaciones imperceptibles δ crear un conjunto de datos que no se pueda aprender, donde + δ. La perturbación δ está limitada por , lo que garantiza que no altere significativamente la utilidad normal de los datos. El objetivo clave es interrumpir el aprendizaje forzando al modelo f_θ, entrenado en D_u, a centrarse en patrones irrelevantes inducidos por el ruido en lugar de las características significativas, lo que resulta en una generalización deficiente en un conjunto de datos de prueba limpio:

Simulación de un entorno blockchain
Para instalar herramientas de blockchain, el marco Hardhat se utiliza para simular una red Ethereum en un entorno local para implementar contratos inteligentes y probar la generación de ejemplos inaprendibles. Para lanzar una red local, se inicializa una red de cadena de bloques simulada con múltiples nodos y cuentas. A cada nodo se le asignan recursos como Ether para facilitar las simulaciones de transacciones. Para desarrollar contratos inteligentes, se implementan para administrar dinámicamente los permisos de los usuarios. Los usuarios autorizados pueden acceder a datos limpios, mientras que los usuarios no autorizados están restringidos a acceder a ejemplos que no se pueden aprender. Primero, configure un entorno de desarrollo basado en Node.js v16.x y Hardhat 2.8.4, y use el compilador Solidity 0.8.17 para completar la compilación y optimización del contrato inteligente. El proceso de compilación se ejecuta mediante la línea de comandos mediante npx hardhat compile para generar artefactos de compilación que contienen la ABI y el código de bytes. Posteriormente, implemente el contrato en la red de prueba de Sepolia ejecutando el script de implementación npx hardhat run scripts/deploy.js --network sepolia y registre la dirección del contrato de salida y el hash de la transacción de implementación. Durante la fase de prueba de rendimiento, se ejecutan secuencialmente tres pruebas básicas: la prueba de costos de transacción registra el consumo de gas invocando cíclicamente el método grantAccess del contrato; la prueba de rendimiento utiliza la herramienta Artillery para simular las solicitudes de los usuarios con una carga que aumenta gradualmente; Las transacciones de prueba y validación, incluido el almacenamiento y la recuperación de datos, se llevan a cabo para validar la funcionalidad del contrato inteligente.

Construcción de usuarios en cadena y mecanismos de permisos
Las cuentas de usuario únicas se generan utilizando billeteras blockchain (por ejemplo, MetaMask), cada una de las cuales comprende una clave privada y una clave pública. La implementación del prototipo emplea un entorno de cadena de bloques simulado donde las entidades de usuario sintéticas cargan conjuntos de datos disponibles públicamente en el sistema descentralizado, almacenando solo valores hash criptográficos en el libro mayor distribuido. Esto garantiza la integridad de los datos sin almacenar los datos reales en la cadena, lo que sería ineficiente y costoso. Los datos reales se almacenan fuera de la cadena, generalmente utilizando sistemas de almacenamiento descentralizados como IPFS, lo que garantiza una gestión eficiente de los datos mientras se mantiene la seguridad y la privacidad. Para tokens no fungibles (NFT) y control de acceso, este estudio implementa un mecanismo de control de acceso detallado utilizando NFT que cumplen con el estándar ERC-721. Cada conjunto de datos de ejemplos que no se pueden aprender está asociado a un tokenId único, que actúa como clave para acceder a los datos. Los usuarios solicitan acceso enviando pruebas de Merkle. Estas pruebas verifican la identidad del usuario de forma segura y descentralizada. Tras la validación exitosa de la prueba, el contrato acuña un NFT único y lo transfiere a la billetera del usuario. Este NFT representa el derecho del usuario a acceder a los datos asociados con ese ejemplo específico que no se puede aprender. El uso de NFT garantiza que solo los usuarios autorizados puedan acceder a los datos, basándose en un registro descentralizado e inmutable. Esto contrasta con el control de acceso basado en roles (RBAC) tradicional, que normalmente opera a nivel de grupo y puede no proporcionar la granularidad necesaria para aplicaciones de alta seguridad³⁰.

El contrato inteligente verifica continuamente los permisos de acceso a través de la función ownerOf, verificando la propiedad del NFT para garantizar que solo los usuarios autorizados puedan acceder a los datos limpios. Los administradores pueden revocar el acceso destruyendo el NFT a través de la función revokeAccess, lo que garantiza la flexibilidad en la gestión del acceso de los usuarios a lo largo del tiempo. El flujo de trabajo operativo consta de cuatro pasos críticos: (1) los usuarios envían solicitudes de acceso que contienen pruebas de Merkle; (2) el contrato verifica la validez de estas pruebas; (3) tras la validación exitosa, el contrato acuña el NFT correspondiente; (4) los usuarios recuperan datos cifrados utilizando el identificador de contenido (CID) de IPFS incrustado en los metadatos del NFT. Al aprovechar los NFT, logramos varios beneficios sobre los mecanismos tradicionales de control de acceso, como el control de permisos detallado (a nivel de datos frente a nivel de grupo), una mejor capacidad de auditoría (registros inmutables en cadena) y la transferibilidad de permisos (transacciones de mercado NFT).

Se implementan contratos de firma múltiple para actualizar el hash raíz de Merkle, evitando la manipulación no autorizada de datos. El sistema incorpora mecanismos anti-Sybil al vincular cada conjunto de datos a un tokenId único, lo que garantiza que los actores maliciosos no puedan generar tokens fraudulentos para acceder a datos no autorizados. Los UE se cifran mediante AES-256 antes de cargarse en la red InterPlanetary File System (IPFS). Los hashes de datos cifrados se almacenan en la cadena, mientras que los conjuntos de datos completos permanecen en IPFS, lo que reduce la sobrecarga de almacenamiento de blockchain. El enfoque híbrido de combinar el almacenamiento dentro y fuera de la cadena logra un equilibrio entre garantizar la disponibilidad de datos y reducir los costos de almacenamiento, una preocupación común en las aplicaciones basadas en blockchain.

Los contratos inteligentes se emplean para administrar dinámicamente los permisos de los usuarios. A cada usuario se le otorga acceso a datos limpios solo si posee el NFT apropiado, que sirve como su token de autorización. Los contratos inteligentes registran todos los datos de acceso en registros de eventos, lo que proporciona una trazabilidad completa. Estos registros son inmutables y pueden ser auditados, ofreciendo transparencia y responsabilidad. El contrato inteligente emplea la función grantAccess para validar las solicitudes de acceso. El contrato comprueba si el usuario posee el NFT adecuado y, si es válido, concede acceso a los datos solicitados. Cada evento de acceso se registra en la cadena de bloques, lo que garantiza que todas las actividades de recuperación de datos sean verificables. Cada evento de acceso a datos es registrado en tiempo real por el contrato inteligente, que desencadena un evento AccessGranted. Este evento contiene información importante como la dirección de la billetera del usuario, la marca de tiempo del acceso y el tokenId de NFT correspondiente. La naturaleza dinámica de los contratos inteligentes permite la gestión en tiempo real de los permisos. Esto es particularmente útil en aplicaciones descentralizadas, donde el control de acceso debe ser altamente flexible y adaptable a las condiciones cambiantes.

Para abordar las preocupaciones de privacidad en entornos públicos de blockchain, el sistema almacena miniaturas de baja resolución (por ejemplo, 64 x 64 píxeles) en la cadena de bloques, mientras que las imágenes originales de alta resolución se cifran y almacenan fuera de la cadena en IPFS. Solo los usuarios autorizados que poseen el NFT correspondiente pueden recuperar las claves de descifrado para acceder a los datos de alta resolución. Los usuarios no autorizados reciben versiones de los datos con perturbaciones DEM en tiempo real, lo que garantiza que no puedan acceder a los datos originales.

Generar perturbación de imagen
Cargue conjuntos de datos CIFAR10, CIFAR100 e ImageNet. Las imágenes de los conjuntos de datos se redimensionan uniformemente y se convierten en tensor de PyTorch, y el tensor de imagen se normaliza utilizando la media y la desviación estándar. Inicialice un ruido aleatorio δ¹, utilizando una distribución gaussiana para generar la perturbación inicial. Se aplica ruido aleatorio a cada imagen x, y la pérdida entre la etiqueta de destino y la predicción del modelo se calcula en función de la pérdida de entropía cruzada. En un conjunto de datos de clase C, para una muestra i, y_i es el valor de la etiqueta objetivo, p_i es la probabilidad de predicción del modelo, que cuantifica la diferencia entre la distribución de probabilidad predicha por el modelo y la etiqueta real, maximizando la pérdida para que el modelo produzca predicciones falsas. La pérdida de entropía cruzada es:

La influencia de la perturbación de la imagen en la predicción calculada de acuerdo con la función de pérdida, la propagación inversa actualiza la perturbación, y el rango de perturbación y el valor de perturbación se actualizan constantemente a través de múltiples iteraciones. Para la tasa de aprendizaje η, la fórmula de actualización para la perturbación es:

Generar perturbaciones de texto
Cargue modelos BERT previamente entrenados para generar incrustaciones de texto. Se utiliza una red TextFeatureExtractor personalizada que consta de dos bloques Transformer y una capa totalmente conectada para extraer entidades de incrustaciones de texto generadas por modelos BERT. Ingrese la información del usuario y la marca de tiempo del usuario de acceso en el modelo BERT previamente entrenado y genere dinámicamente ruido de texto a través de la red TextFeatureExtractor personalizada.

La imagen de entrada I se introduce en el modelo multimodal Qwen2.5-VL-7B-Instruct. Guiado por un mensaje estructurado, el modelo genera una descripción textual concisa T_q. Este texto generado T_q se ingresa en el modelo de lenguaje sin mayúsculas y minúsculas base BERT previamente entrenado. A través de indicaciones de reescritura específicas de la tarea, el sistema genera texto perturbado que conserva la semántica mientras altera la expresión. Una red TextFeatureExtractor asigna el texto perturbado a un vector de incrustación semántica de alta dimensión E_g.

Generar perturbaciones multiobjetivo
Para garantizar la compatibilidad entre las incrustaciones de texto y las perturbaciones de la imagen, ajustamos la forma de la incrustación de texto para que coincida con las dimensiones de la perturbación de la imagen. Sea _{E T} y E_q representan las incrustaciones de texto, y P_L la perturbación de la imagen. El proceso de remodelación asegura que E_T y E_q se transformen a la misma dimensionalidad que P_L: , donde C, H, W son las dimensiones de P_L. Defina un módulo de fusión de mecanismo de atención que fusione las perturbaciones de incrustación de texto y las perturbaciones de imagen, ajustando dinámicamente las perturbaciones de acuerdo con los pesos de atención del texto. La fusión es:

donde α es el ajuste dinámico de los parámetros del mecanismo de atención. δ^T es la perturbación del texto generada por E_q y E_T. Agregue un término de regularización al proceso de capacitación para evitar el sobreajuste. El término de regularización es la norma L2 de la incrustación de texto, que penaliza las perturbaciones. La función de pérdida multiobjetivo combina la pérdida de entropía cruzada y la perturbación de fusión, y la función de pérdida multiobjetivo es la siguiente:

Los objetivos de la función de pérdida son:

donde λ es un coeficiente de regularización utilizado para controlar la fuerza de penalización de la perturbación, con el propósito de inhibir la perturbación excesiva o el sobreajuste. En el estudio de los ataques adversarios, se ha encontrado que es el límite de perturbación perceptible para el ojo humano. Se define el proceso de entrenamiento y evaluación, incluida la generación de perturbaciones, el cálculo de pérdidas, el entrenamiento del modelo, etc.

Experimentos comparativos
Realizamos una evaluación exhaustiva del ruido dinámico de minimización de errores (DEM) propuesto frente a tres métodos existentes: ruido de minimización de errores (EM), perturbaciones adversarias transferibles (TAP) y ruido estable de minimización de errores (SEM). Estos métodos se probaron en tres conjuntos de datos de referencia: CIFAR-10, CIFAR-100 y un subconjunto de ImageNet, utilizando cuatro arquitecturas de redes neuronales ampliamente adoptadas: VGG-16, ResNet-18, ResNet-50 y DenseNet-121, para garantizar diversas condiciones experimentales.

Además, examinamos la solidez de estos métodos mediante la aplicación de modelos de eliminación de ruido basados en difusión para eliminar el ruido defensivo y medir la precisión de los ejemplos sin ruido en los conjuntos de datos de prueba. Este paso tuvo como objetivo evaluar la capacidad de cada método para resistir los ataques de recuperación y mantener la integridad de la privacidad de los datos en condiciones adversas. Los resultados indican que nuestro DEM supera a otros métodos tanto en robustez como en precisión en todos los conjuntos de datos y arquitecturas, lo que demuestra su eficacia como marco de preservación de la privacidad.

Results

Marco de blockchain y contratos inteligentes
Los resultados experimentales demostraron que el marco de gestión y generación de ejemplos no aprendibles integrado en blockchain (B-UEGMF) propuesto, combinado con contratos inteligentes, permitió una gestión dinámica efectiva del acceso específico del cliente a los datos. Para los usuarios autorizados, los datos limpios recuperados lograron una precisión de prueba del 90,2% en un modelo sustituto de ResNet-18 evaluado en el conjunto de datos CIFAR-10. Por...

Discussion

La integración de blockchain y UE ha avanzado en el campo de la protección de la privacidad de datos al proporcionar una solución transparente y descentralizada para administrar el acceso a los datos. A diferencia de los métodos convencionales de preservación de la privacidad, que a menudo se basan únicamente en técnicas de perturbación³¹, este estudio cierra la brecha entre la protección de datos y el rastreo de responsabilidades. En escenarios de aprendizaje fed...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 12.1	NVIDIA		Se utiliza para mejorar el rendimiento de las aplicaciones de aprendizaje profundo
NVIDIA A800 80GB PCIe A800 80GB PCIe	NVIDIA		Se utiliza para el entrenamiento de modelos de aprendizaje profundo
Python 3.10	Fundación de software Python		Se utiliza para el preprocesamiento y análisis de datos
PyTorch 2.5.1	Facebook		Marco de aprendizaje profundo utilizado para el entrenamiento de modelos
Ubuntu 22.04	Canónico		Sistema operativo utilizado para configurar el entorno