Estrutura baseada em blockchain para gerar e gerenciar exemplos não aprendizes para melhorar a privacidade de dados e o controle de acesso

Summary

Este artigo propõe uma estrutura baseada em blockchain para gerar exemplos não aprendidos, integrando perturbação dinâmica com controle de acesso. Ele aprimora a proteção da privacidade, garantindo que usuários não autorizados recebam dados perturbados, protegendo informações confidenciais e permitindo o gerenciamento e o acesso eficientes aos dados por meio de contratos inteligentes.

Abstract

No contexto do rápido desenvolvimento de grandes modelos de linguagem (LLMs), o aprendizado contrastivo tornou-se amplamente adotado devido à sua capacidade de contornar anotações de dados dispendiosas, aproveitando grandes quantidades de dados de rede para treinamento de modelos. No entanto, esse uso generalizado levanta preocupações significativas em relação à proteção da privacidade de dados. Exemplos não aprendidos (UEs), uma técnica que interrompe o aprendizado de modelos ao perturbar os dados, impede efetivamente que modelos não autorizados façam uso indevido de dados confidenciais. No entanto, os métodos existentes para gerar UEs enfrentam dois desafios principais: primeiro, as perturbações podem ser revertidas usando técnicas como purificação reversa ou redução de ruído, incluindo modelos de difusão que removem perturbações protetoras em UEs de imagem; Em segundo lugar, uma vez que os dados são publicados, torna-se difícil garantir a rastreabilidade dos dados e gerenciar o controle de acesso. Para resolver esses problemas, este artigo propõe uma Estrutura de Geração e Gerenciamento de Exemplos Não Aprendidos Integrados a Blockchain (B-UEGMF) para gerar e gerenciar UEs. Ao alavancar as propriedades descentralizadas e imutáveis do blockchain, armazenamos exemplos de valores de hash no blockchain e gerenciamos dinamicamente os direitos de acesso a dados por meio de contratos inteligentes. Além disso, os UEs são gerados usando uma técnica de perturbação multiobjetivo, Dynamic Error-Minimizing Noise (DEM), que aumenta a robustez contra métodos de reversão. Também fornecemos uma avaliação quantitativa dos recursos de proteção de privacidade dos exemplos gerados. Os resultados experimentais demonstram que a estrutura proposta melhorou significativamente a defesa dos UEs contra ataques reversos, garantindo um gerenciamento eficiente da privacidade dos dados.

Introduction

Nos últimos anos, com o rápido avanço do aprendizado profundo e dos grandes modelos de linguagem, o aprendizado contrastivo emergiu como uma abordagem eficiente de aprendizado não supervisionado devido à sua independência de anotações manuais caras ^1,2. No entanto, o uso extensivo de conjuntos de dados públicos levantou preocupações significativas sobre violações de privacidade e uso indevido de dados. Casos de utilização não autorizada de dados disponíveis publicamente para treinamento de modelos tornaram-se cada vez mais comuns³. Por exemplo, em 2017, fotografias públicas não autorizadas foram empregadas para treinar modelos de reconhecimento facial⁴. Da mesma forma, a Amazon utilizou dados de revisão pública do consumidor para treinar seus sistemas de recomendação sem garantir o consentimento explícito de todos os usuários, expondo vulnerabilidades nos mecanismos de proteção de privacidade⁵.

Para resolver esses problemas, os Exemplos Não Aprendidos (UEs) surgiram como uma nova técnica de proteção de privacidade de dados. Os UEs adicionam perturbações imperceptíveis às amostras de dados, introduzindo um atalho que impede que os modelos aprendam informações confidenciais, preservando a percepção humana dos dados ^6,7,8. Os métodos existentes para gerar UEs incluem principalmente perturbações de ruído de minimização de erros (EM)⁹, geração de perturbações por redes adversárias generativas (GANs)¹⁰, ruído robusto de minimização de erros (REM) e ruído de minimização de erros estável (SEM) otimizado por meio de treinamento contraditório^11,12. Além disso, modelos de difusão foram recentemente aplicados para gerar ruídos incorretos de rótulos, aumentando ainda mais a proteção da privacidade¹³.

Apesar do progresso significativo na geração de UEs, vários desafios permanecem, particularmente em aplicativos do mundo real em que os efeitos de proteção de privacidade desses métodos não foram totalmente validados. Especificamente, os principais desafios incluem:
Problemas de restauração: Os modelos de difusão podem recuperar parcialmente exemplos não aprendidos prevendo e removendo as perturbações incorporadas nos dados, restaurando assim a capacidade de aprendizado e comprometendo a proteção da privacidade^14,15. Mesmo quando os dados são perturbados durante o treinamento, informações confidenciais ainda podem ser divulgadas após a restauração.
Rastreabilidade de dados e controle de acesso: uma vez que os exemplos não aprendidos são lançados, mecanismos eficazes para rastrear sua origem e impor restrições de acesso permanecem tecnicamente desafiadores¹⁶.
Equilibrando a proteção de privacidade e o desempenho do modelo: Embora os métodos existentes se concentrem na geração de exemplos não aprendidos para proteger a privacidade, manter um equilíbrio entre a proteção da privacidade e o desempenho do treinamento do modelo permanece sem solução 17,18,19. A maioria das pesquisas atuais prioriza a proteção da privacidade, mas presta atenção limitada à mitigação da degradação do desempenho durante o treinamento do modelo^20,21. Consequentemente, o acesso e a utilização de dados tornaram-se preocupações críticas na proteção da privacidade²².

Embora as soluções centralizadas e os ambientes de execução confiáveis (TEEs) ofereçam abordagens alternativas para o controle de acesso a dados, eles enfrentam limitações inerentes em cenários médicos/legais: (1) Os sistemas centralizados introduzem pontos únicos de falha e dependência de auditoria²³; (2) Os TEEs requerem hardware especializado e carecem de consenso descentralizado²⁴. O Blockchain surge como a solução ideal porque suas propriedades imutáveis do livro-razão abordam diretamente três requisitos críticos para o gerenciamento da UE: conformidade comprovável com os regulamentos de governança de dados (por exemplo, trilhas de auditoria HIPAA), controle de acesso resistente à censura em ambientes multi-instituições e rastreamento granular de proveniência por meio de transações com carimbo de data/hora 25,26,27.

Nossa estrutura demonstrou desempenho ideal para conjuntos de dados de média escala com aceleração de GPU, alcançando a geração de perturbações em tempo real. Embora as operações de blockchain introduzam sobrecarga mensurável, essa compensação é justificada em cenários que exigem registros de acesso imutáveis, como pesquisa médica multi-institucional ou mercados de dados regulamentados. O sistema é dimensionado linearmente com o tamanho do conjunto de dados, mas requer ≥16 GB de RAM e CPUs de 4 núcleos para uma operação estável, tornando-o menos adequado para dispositivos de borda com recursos limitados.

Para enfrentar esses desafios, este artigo propõe uma Estrutura de Gerenciamento e Geração de Exemplos Não Aprendidos Integrada a Blockchain (B-UEGMF). Blockchain, como uma tecnologia de contabilidade distribuída descentralizada e imutável, registra efetivamente hashes de acesso a dados e gerencia dinamicamente as permissões de acesso por contratos inteligentes, aprimorando assim os recursos de proteção de privacidade de Exemplos não aprendidos^28,29. Sob essa estrutura, os usuários autorizados podem acessar dados limpos, enquanto os usuários não autorizados só podem acessar Exemplos Não Aprendidos gerados dinamicamente. Para resolver os problemas existentes, este artigo apresenta um novo método de geração de Ruído Dinâmico de Minimização de Erros (DEM). Ao incorporar informações específicas do cliente e parâmetros temporais, o DEM incorpora dinamicamente perturbações nos dados, gerando perturbações exclusivas para cada solicitação de dados e garantindo a privacidade e a capacidade de aprendizado dos dados. O processo de geração do DEM é ilustrado na Figura 1. As principais contribuições deste artigo são as seguintes:
Rastreabilidade Dinâmica e Gerenciamento de Acesso: Este artigo aborda as questões de rastreabilidade e controle de acesso associadas ao lançamento de Exemplos Não Aprendidos, propondo a estrutura B-UEGMF. A natureza descentralizada do blockchain resolve o problema de terceiros confiáveis em sistemas tradicionais, enquanto sua transparência permite logs de acesso verificáveis sem expor dados brutos. Ao alavancar a transparência e a imutabilidade do blockchain, combinadas com o controle de acesso dinâmico habilitado por contratos inteligentes, a estrutura garante que usuários não autorizados não possam recuperar ou disseminar dados limpos, aumentando significativamente a segurança dos dados.

Mecanismo de Geração de Perturbação Dinâmica: Um esquema dinâmico de geração de Exemplos Não Aprendidos é introduzido, onde os contratos inteligentes gerenciam solicitações de diferentes clientes. As perturbações do DEM são geradas dinamicamente para solicitações de clientes não autorizadas com base em informações específicas do cliente e parâmetros temporais. Isso garante que os efeitos de perturbação variem entre as solicitações, fortalecendo assim a resistência aos métodos de remoção de ruído baseados em difusão e limitando o acesso de usuários não autorizados a conjuntos de dados em grande escala de uma só vez.

Experimentos conduzidos nos conjuntos de dados CIFAR-10, CIFAR-100 e ImageNet demonstram que o DEM supera os métodos existentes (por exemplo, EM, TAP e SEM) em termos de proteção de privacidade e resistência a ataques de engenharia reversa, conforme demonstrado na Figura 2, enquanto melhora a resistência a ataques de remoção de ruído em 57% em comparação com EM e 25% em comparação com SEM, conforme demonstrado na Figura 3, destacando sua potencial aplicabilidade em cenários do mundo real.

Protocol

Configuração
Consideramos uma tarefa de classificação supervisionada com um conjunto de dados , onde representa os recursos de entrada e denota os rótulos de classe correspondentes para um problema de classe K. O conjunto de dados D é dividido em um conjunto de dados de treinamento limpo e um conjunto de dados de teste.

O objetivo é modificar o conjunto de dados de treinamento limpo introduzindo pequenas perturbações imperceptíveis δ criar um conjunto de dados não aprendido , onde + δ. A perturbação δ é limitada por , garantindo que não altere significativamente a utilidade normal dos dados. O objetivo principal é interromper o aprendizado, forçando o modelo f_θ, treinado em D_u, a se concentrar em padrões irrelevantes induzidos pelo ruído em vez dos recursos significativos, resultando em uma generalização ruim em um conjunto de dados de teste limpo:

Simulando um ambiente blockchain
Para instalar ferramentas de blockchain, a estrutura Hardhat é usada para simular uma rede Ethereum em um ambiente local para implantar contratos inteligentes e testar a geração de exemplos não aprendidos. Para iniciar uma rede local, uma rede blockchain simulada com vários nós e contas é inicializada. Cada nó recebe recursos como Ether para facilitar as simulações de transações. Para desenvolver contratos inteligentes, eles são implementados para gerenciar dinamicamente as permissões do usuário. Os usuários autorizados podem acessar dados limpos, enquanto os usuários não autorizados estão restritos a acessar exemplos não aprendidos. Primeiro, configure um ambiente de desenvolvimento baseado no Node.js v16.x e no Hardhat 2.8.4 e use o compilador Solidity 0.8.17 para concluir a compilação e a otimização do contrato inteligente. O processo de compilação é executado pela linha de comando usando npx hardhat compile para gerar artefatos de compilação contendo a ABI e o bytecode. Em seguida, implante o contrato na rede de teste Sepolia executando o script de implantação npx hardhat run scripts/deploy.js --network sepolia e registre o endereço do contrato de saída e o hash da transação de implantação. Durante a fase de teste de desempenho, três testes principais são executados sequencialmente: o teste de custo de transação registra o consumo de gás invocando ciclicamente o método grantAccess do contrato; o teste de taxa de transferência usa a ferramenta Artillery para simular solicitações de usuários com carga crescente de forma incremental; As transações de teste e validação, incluindo armazenamento e recuperação de dados, são realizadas para validar a funcionalidade do contrato inteligente.

Construindo usuários on-chain e mecanismos de permissão
Contas de usuário exclusivas são geradas usando carteiras blockchain (por exemplo, MetaMask), cada uma composta por uma chave privada e uma chave pública. A implementação do protótipo emprega um ambiente de blockchain simulado em que entidades de usuários sintéticos carregam conjuntos de dados disponíveis publicamente para o sistema descentralizado, armazenando apenas valores de hash criptográficos no livro-razão distribuído. Isso garante a integridade dos dados sem armazenar os dados reais na cadeia, o que seria ineficiente e caro. Os dados reais são armazenados off-chain, normalmente usando sistemas de armazenamento descentralizados como IPFS, garantindo um gerenciamento eficiente de dados, mantendo a segurança e a privacidade. Para tokens não fungíveis (NFTs) e controle de acesso, este estudo implementa um mecanismo de controle de acesso refinado usando NFTs compatíveis com o padrão ERC-721. Cada conjunto de dados de exemplos não aprendidos está associado a um tokenId exclusivo, que atua como uma chave para acessar os dados. Os usuários solicitam acesso enviando provas Merkle. Essas provas verificam a identidade do usuário de maneira segura e descentralizada. Após a validação bem-sucedida da prova, o contrato cunha um NFT exclusivo e o transfere para a carteira do usuário. Este NFT representa o direito do usuário de acessar os dados associados a esse exemplo específico que não pode ser aprendido. O uso de NFTs garante que apenas usuários autorizados possam acessar os dados, com base em um registro descentralizado e imutável. Isso contrasta com o controle de acesso baseado em função (RBAC) tradicional, que normalmente opera no nível do grupo e pode não fornecer a granularidade necessária para aplicativos de alta segurança³⁰.

O contrato inteligente verifica continuamente as permissões de acesso por meio da função ownerOf, verificando a propriedade do NFT para garantir que apenas usuários autorizados possam acessar os dados limpos. Os administradores podem revogar o acesso destruindo o NFT por meio da função revokeAccess, garantindo flexibilidade no gerenciamento do acesso do usuário ao longo do tempo. O fluxo de trabalho operacional consiste em quatro etapas críticas: (1) os usuários enviam solicitações de acesso contendo provas Merkle; (2) o contrato verifica a validade dessas provas; (3) após a validação bem-sucedida, o contrato cunha o NFT correspondente; (4) os usuários recuperam dados criptografados usando o Identificador de Conteúdo (CID) IPFS incorporado nos metadados do NFT. Ao alavancar os NFTs, obtemos vários benefícios em relação aos mecanismos tradicionais de controle de acesso, como controle de permissão refinado (nível de dados vs. nível de grupo), melhor capacidade de auditoria (registros imutáveis na cadeia) e transferibilidade de permissão (transações de mercado NFT).

Contratos de assinatura múltipla são implementados para atualizar o hash raiz Merkle, evitando a adulteração não autorizada de dados. O sistema incorpora mecanismos anti-Sybil vinculando cada conjunto de dados a um tokenId exclusivo, garantindo que agentes mal-intencionados não possam gerar tokens fraudulentos para acessar dados não autorizados. Os UEs são criptografados usando AES-256 antes de serem carregados na rede InterPlanetary File System (IPFS). Os hashes de dados criptografados são armazenados na cadeia, enquanto os conjuntos de dados completos permanecem no IPFS, reduzindo a sobrecarga de armazenamento da blockchain. A abordagem híbrida de combinar armazenamento on-chain e off-chain atinge um equilíbrio entre garantir a disponibilidade dos dados e reduzir os custos de armazenamento, uma preocupação comum em aplicativos baseados em blockchain.

Os contratos inteligentes são empregados para gerenciar dinamicamente as permissões do usuário. Cada usuário tem acesso a dados limpos somente se possuir o NFT apropriado, que serve como token de autorização. Os contratos inteligentes registram todo o acesso aos dados em logs de eventos, fornecendo rastreabilidade total. Esses logs são imutáveis e podem ser auditados, oferecendo transparência e responsabilidade. O contrato inteligente emprega a função grantAccess para validar solicitações de acesso. O contrato verifica se o usuário possui o NFT apropriado e, se válido, concede acesso aos dados solicitados. Cada evento de acesso é registrado no blockchain, garantindo que todas as atividades de recuperação de dados sejam verificáveis. Cada evento de acesso a dados é registrado em tempo real pelo contrato inteligente, que aciona um evento AccessGranteded. Este evento contém informações importantes, como o endereço da carteira do usuário, o carimbo de data/hora do acesso e o tokenId NFT correspondente. A natureza dinâmica dos contratos inteligentes permite o gerenciamento em tempo real das permissões. Isso é particularmente útil em aplicativos descentralizados, onde o controle de acesso precisa ser altamente flexível e adaptável às mudanças nas condições.

Para resolver questões de privacidade em ambientes públicos de blockchain, o sistema armazena miniaturas de baixa resolução (por exemplo, 64 x 64 pixels) no blockchain, enquanto as imagens originais de alta resolução são criptografadas e armazenadas off-chain no IPFS. Somente usuários autorizados que possuem o NFT correspondente podem recuperar as chaves de descriptografia para acessar os dados de alta resolução. Usuários não autorizados recebem versões dos dados com perturbações DEM em tempo real, garantindo que eles não possam acessar os dados originais.

Gerar perturbação de imagem
Carregue conjuntos de dados CIFAR10, CIFAR100 e ImageNet. As imagens nos conjuntos de dados são redimensionadas uniformemente e convertidas em tensor PyTorch, e o tensor de imagem é normalizado usando a média e o desvio padrão. Inicialize um ruído aleatório δ¹, usando uma distribuição gaussiana para gerar a perturbação inicial. O ruído aleatório é aplicado a cada imagem x e a perda entre o rótulo de destino e a previsão do modelo é calculada com base na perda de entropia cruzada. Em um conjunto de dados de classe C, para uma amostra i, y_i é o valor do rótulo alvo, p_i é a probabilidade de previsão do modelo, que quantifica a diferença entre a distribuição de probabilidade prevista pelo modelo e o rótulo real, maximizando a perda para que o modelo produza previsões falsas. A perda de entropia cruzada é:

A influência da perturbação da imagem na previsão é calculada de acordo com a função de perda, a propagação reversa atualiza a perturbação e a faixa de perturbação e o valor da perturbação são constantemente atualizados por meio de várias iterações. Para a taxa de aprendizado η, a fórmula de atualização para a perturbação é:

Gerar perturbações de texto
Carregue modelos BERT pré-treinados para gerar incorporações de texto. Uma rede TextFeatureExtractor personalizada que consiste em dois blocos Transformer e uma camada totalmente conectada é usada para extrair recursos de incorporações de texto geradas por modelos BERT. Insira as informações do usuário e o carimbo de data/hora do usuário de acesso no modelo BERT pré-treinado e gere dinamicamente o ruído de texto por meio da rede TextFeatureExtractor personalizada.

A imagem de entrada I é alimentada no modelo multimodal Qwen2.5-VL-7B-Instruct. Guiado por um prompt estruturado, o modelo gera uma descrição textual concisa T_q. Esse texto gerado T_q é inserido no modelo de linguagem pré-treinado BERT-base-uncased. Por meio de prompts de reescrita específicos da tarefa, o sistema gera texto perturbado que preserva a semântica enquanto altera a expressão. Uma rede TextFeatureExtractor mapeia o texto perturbado em um vetor de incorporação semântica de alta dimensão E_{por exemplo}.

Gerar perturbações de vários alvos
Para garantir a compatibilidade entre incorporações de texto e perturbações de imagem, ajustamos a forma da incorporação de texto para corresponder às dimensões da perturbação da imagem. Seja E_T e E_q representem as incorporações de texto e P_L a perturbação da imagem. O processo de remodelação garante que E_T e E_q sejam transformados para a mesma dimensionalidade que P_L: , onde C, H, W são as dimensões de P_L. Defina um módulo de fusão de mecanismo de atenção que funde perturbações de incorporação de texto e perturbações de imagem, ajustando dinamicamente as perturbações de acordo com os pesos de atenção do texto. A fusão é:

onde α é o ajuste dinâmico dos parâmetros do mecanismo de atenção. δ^T é a perturbação do texto gerada pelo E_q e E_T. Adicione um termo de regularização ao processo de treinamento para evitar o sobreajuste. O termo de regularização é a norma L2 da incorporação do texto, que penaliza as perturbações. A função de perda multiobjetivo combina perda de entropia cruzada e perturbação de fusão, e a função de perda multiobjetivo é a seguinte:

Os objetivos da função de perda são:

onde λ é um coeficiente de regularização usado para controlar a força de penalidade da perturbação, com o objetivo de inibir a perturbação excessiva ou o sobreajuste. No estudo de ataques adversários, verificou-se que é o limite de perturbação perceptível ao olho humano. O processo de treinamento e avaliação é definido, incluindo geração de perturbações, cálculo de perdas, treinamento de modelos, etc.

Experimentos comparativos
Realizamos uma avaliação abrangente do Ruído Dinâmico de Minimização de Erros (DEM) proposto em relação a três métodos existentes: Ruído de Minimização de Erros (EM), Perturbações Adversárias Transferíveis (TAP) e Ruído de Minimização de Erros Estáveis (SEM). Esses métodos foram testados em três conjuntos de dados de referência: CIFAR-10, CIFAR-100 e um subconjunto do ImageNet, usando quatro arquiteturas de rede neural amplamente adotadas: VGG-16, ResNet-18, ResNet-50 e DenseNet-121, para garantir diversas condições experimentais.

Além disso, examinamos a robustez desses métodos aplicando modelos de redução de ruído baseados em difusão para remover ruídos defensivos e medindo a precisão dos exemplos com redução de ruído nos conjuntos de dados de teste. Esta etapa teve como objetivo avaliar a capacidade de cada método de resistir a ataques de recuperação e manter a integridade da privacidade dos dados sob condições adversas. Os resultados indicam que nosso DEM supera outros métodos em robustez e precisão em todos os conjuntos de dados e arquiteturas, demonstrando sua eficácia como uma estrutura de preservação da privacidade.

Results

Blockchain e estrutura de contrato inteligente
Os resultados experimentais demonstraram que a Estrutura de Gerenciamento e Geração de Exemplos Não Aprendidos Integrada ao Blockchain (B-UEGMF), combinada com contratos inteligentes, permitiu o gerenciamento dinâmico eficaz do acesso específico do cliente aos dados. Para usuários autorizados, os dados limpos recuperados alcançaram uma precisão de teste de 90,2% em um modelo substituto ResNet-18 avaliado no conjunto de dados CIFAR-10. Em contraste, usuári...

Discussion

A integração de blockchain e UEs avançou no campo da proteção da privacidade de dados, fornecendo uma solução transparente e descentralizada para gerenciar o acesso aos dados. Ao contrário dos métodos convencionais de preservação da privacidade, que muitas vezes dependem apenas de técnicas de perturbação³¹, este estudo preenche a lacuna entre a proteção de dados e o rastreamento de responsabilidade. Em cenários de aprendizado federado, a estrutura proposta garante...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 12.1	NVIDIA		Usado para melhorar o desempenho de aplicativos de aprendizado profundo
NVIDIA A800 80GB PCIe A800 80GB PCIe	NVIDIA		Usado para treinamento de modelo de aprendizado profundo
Python 3.10	Fundação de Software Python		Usado para pré-processamento e análise de dados
PyTorch 2.5.1	Linkedin		Estrutura de aprendizado profundo usada para treinamento de modelo
Ubuntu 22.04	Canônico		Sistema operacional usado para configurar o ambiente