$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Setup
We hebben een gesuperviseerde classificatietaak overwogen met een dataset
, waarbij
de invoerfuncties worden weergegeven en
de bijbehorende klasselabels voor een K-klasse-probleem worden aangeduid. De gegevensset D is opgesplitst in een schone trainingsgegevensset en een testgegevensset.
Het doel is om de schone trainingsdataset aan te passen door kleine, onmerkbare verstoringen te introduceren δ om een niet-leerbare dataset
te creëren, waarbij
+ δ. De verstoring δ wordt begrensd door
, wat ervoor zorgt dat het normale nut van de gegevens niet significant wordt gewijzigd. Het belangrijkste doel is om het leren te verstoren door het model fθ, getraind op Du, te dwingen zich te concentreren op irrelevante patronen die door de ruis worden veroorzaakt in plaats van op de betekenisvolle kenmerken, wat resulteert in een slechte generalisatie op een schone testdataset:

Een blockchain-omgeving simuleren
Om blockchain-tools te installeren, wordt het Hardhat-framework gebruikt om een Ethereum-netwerk te simuleren in een lokale omgeving voor het implementeren van slimme contracten en het testen van het genereren van niet-leerbare voorbeelden. Om een lokaal netwerk te starten, wordt een gesimuleerd blockchain-netwerk met meerdere knooppunten en accounts geïnitialiseerd. Elk knooppunt krijgt bronnen zoals Ether toegewezen om transactiesimulaties mogelijk te maken. Om slimme contracten te ontwikkelen, worden ze geïmplementeerd om gebruikersrechten dynamisch te beheren. Geautoriseerde gebruikers hebben toegang tot schone gegevens, terwijl onbevoegde gebruikers beperkt zijn tot toegang tot niet-leerbare voorbeelden. Configureer eerst een ontwikkelomgeving op basis van Node.js v16.x en Hardhat 2.8.4 en gebruik de Solidity 0.8.17-compiler om de compilatie en optimalisatie van het slimme contract te voltooien. Het compilatieproces wordt uitgevoerd door de opdrachtregel met behulp van npx hardhat compile om build-artefacten te genereren die de ABI en bytecode bevatten. Implementeer vervolgens het contract in het Sepolia-testnetwerk door het implementatiescript npx hardhat uit te voeren, scripts/deploy.js --network sepolia uit te voeren en het uitvoercontractadres en de hash van de implementatietransactie vast te leggen. Tijdens de fase van de prestatietests worden achtereenvolgens drie kerntests uitgevoerd: de transactiekostentest registreert het gasverbruik door cyclisch een beroep te doen op de grantAccess-methode van het contract; throughput test maakt gebruik van de Artillerie-tool om gebruikersverzoeken te simuleren met een stapsgewijs toenemende belasting; Test- en validatietransacties, waaronder het opslaan en ophalen van gegevens, worden uitgevoerd om de functionaliteit van het slimme contract te valideren.
Bouwen van on-chain gebruikers en machtigingsmechanismen
Unieke gebruikersaccounts worden gegenereerd met behulp van blockchain-portefeuilles (bijv. MetaMask), elk bestaande uit een privésleutel en een openbare sleutel. De prototype-implementatie maakt gebruik van een gesimuleerde blockchain-omgeving waar synthetische gebruikersentiteiten openbaar beschikbare datasets uploaden naar het gedecentraliseerde systeem, waarbij alleen cryptografische hash-waarden worden opgeslagen in het gedistribueerde grootboek. Dit zorgt voor de integriteit van de gegevens zonder de daadwerkelijke gegevens in de keten op te slaan, wat inefficiënt en kostbaar zou zijn. De feitelijke gegevens worden off-chain opgeslagen, meestal met behulp van gedecentraliseerde opslagsystemen zoals IPFS, waardoor een efficiënt gegevensbeheer wordt gegarandeerd met behoud van veiligheid en privacy. Voor non-fungible tokens (NFT's) en toegangscontrole implementeert deze studie een fijnmazig toegangscontrolemechanisme met behulp van NFT's die voldoen aan de ERC-721-standaard. Elke gegevensset met niet-leerbare voorbeelden is gekoppeld aan een unieke tokenId, die fungeert als een sleutel voor toegang tot de gegevens. Gebruikers vragen toegang door Merkle-proeven in te dienen. Deze bewijzen verifiëren de identiteit van de gebruiker op een veilige, gedecentraliseerde manier. Na succesvolle validatie van het bewijs slaat het contract een unieke NFT en brengt deze over naar de portemonnee van de gebruiker. Deze NFT vertegenwoordigt het recht van de gebruiker op toegang tot de gegevens die verband houden met dat specifieke niet-leerbare voorbeeld. Het gebruik van NFT's zorgt ervoor dat alleen geautoriseerde gebruikers toegang hebben tot de gegevens, op basis van een gedecentraliseerd, onveranderlijk record. Dit in tegenstelling tot traditionele Role-Based Access Control (RBAC), die doorgaans op groepsniveau werkt en mogelijk niet de granulariteit biedt die nodig is voor hoogbeveiligde toepassingen30.
Het slimme contract verifieert continu toegangsrechten via de ownerOf-functie en controleert het eigendom van de NFT om ervoor te zorgen dat alleen geautoriseerde gebruikers toegang hebben tot de schone gegevens. Beheerders kunnen de toegang intrekken door de NFT te vernietigen via de revokeAccess-functie, waardoor flexibiliteit wordt gegarandeerd bij het beheren van gebruikerstoegang in de loop van de tijd. De operationele workflow bestaat uit vier kritieke stappen: (1) gebruikers dienen toegangsverzoeken in met Merkle-proeven; (2) het contract de geldigheid van deze bewijzen verifieert; (3) na succesvolle validatie slaat het contract de bijbehorende NFT; (4) gebruikers halen versleutelde gegevens op met behulp van de IPFS Content Identifier (CID) die is ingebed in de metadata van de NFT. Door gebruik te maken van NFT's behalen we verschillende voordelen ten opzichte van traditionele toegangscontrolemechanismen, zoals fijnmazig toestemmingsbeheer (gegevensniveau versus groepsniveau), betere auditcapaciteit (onveranderlijke on-chain records) en overdraagbaarheid van machtigingen (NFT-marktplaatstransacties).
Er worden contracten met meerdere handtekeningen geïmplementeerd voor het bijwerken van de root-hash van Merkle, waardoor ongeoorloofd knoeien met gegevens wordt voorkomen. Het systeem bevat anti-Sybil-mechanismen door elke dataset te binden aan een unieke tokenId, zodat kwaadwillenden geen frauduleuze tokens kunnen genereren om toegang te krijgen tot ongeautoriseerde gegevens. De UE's worden versleuteld met AES-256 voordat ze worden geüpload naar het InterPlanetary File System (IPFS)-netwerk. De versleutelde datahashes worden on-chain opgeslagen, terwijl de volledige datasets op IPFS blijven, waardoor de overhead van blockchain-opslag wordt verminderd. De hybride aanpak van het combineren van on-chain en off-chain opslag zorgt voor een evenwicht tussen het waarborgen van de beschikbaarheid van gegevens en het verlagen van de opslagkosten, een veelvoorkomend probleem in op blockchain gebaseerde toepassingen.
Slimme contracten worden gebruikt om gebruikersrechten dynamisch te beheren. Elke gebruiker krijgt alleen toegang tot schone gegevens als hij in het bezit is van de juiste NFT, die dient als zijn autorisatietoken. Slimme contracten registreren alle gegevenstoegang in gebeurtenislogboeken, waardoor volledige traceerbaarheid wordt geboden. Deze logboeken zijn onveranderlijk en kunnen worden gecontroleerd, wat transparantie en verantwoording biedt. Het slimme contract maakt gebruik van de grantAccess-functie om toegangsverzoeken te valideren. Het contract controleert of de gebruiker in het bezit is van de juiste NFT en, indien geldig, verleent toegang tot de gevraagde gegevens. Elke toegangsgebeurtenis wordt geregistreerd op de blockchain, zodat alle activiteiten voor het ophalen van gegevens verifieerbaar zijn. Elke gebeurtenis voor gegevenstoegang wordt in realtime geregistreerd door het slimme contract, waardoor een AccessGranted-gebeurtenis wordt geactiveerd. Dit evenement bevat belangrijke informatie, zoals het wallet-adres van de gebruiker, het tijdstempel van de toegang en de bijbehorende NFT tokenId. Het dynamische karakter van slimme contracten maakt real-time beheer van machtigingen mogelijk. Dit is met name handig in gedecentraliseerde toepassingen, waar toegangscontrole zeer flexibel moet zijn en moet kunnen worden aangepast aan veranderende omstandigheden.
Om privacyproblemen in openbare blockchain-omgevingen aan te pakken, slaat het systeem miniaturen met een lage resolutie (bijv. 64 x 64 pixels) op de blockchain op, terwijl de originele afbeeldingen met hoge resolutie worden versleuteld en off-chain op IPFS worden opgeslagen. Alleen geautoriseerde gebruikers die over de bijbehorende NFT beschikken, kunnen de decoderingssleutels ophalen voor toegang tot de gegevens met hoge resolutie. Onbevoegde gebruikers ontvangen versies van de gegevens met realtime DEM-verstoringen, zodat ze geen toegang hebben tot de originele gegevens.
Beeldverstoring genereren
Laad CIFAR10-, CIFAR100- en ImageNet-gegevenssets. Afbeeldingen in de datasets worden uniform verkleind en geconverteerd naar PyTorch-tensor, en de afbeeldingstensor wordt genormaliseerd met behulp van het gemiddelde en de standaarddeviatie. Initialiseer een willekeurige ruis δ1, met behulp van een Gauss-verdeling om de initiële verstoring te genereren. Willekeurige ruis wordt toegepast op elke afbeelding x en het verlies tussen het doellabel en de modelvoorspelling wordt berekend op basis van het verlies van kruisentropie. In een dataset van klasse C is voor een steekproef i y i de doellabelwaarde, pi is de modelvoorspellingskans, die het verschil kwantificeert tussen de kansverdeling die door het model wordt voorspeld en het werkelijke label, waarbij het verlies wordt gemaximaliseerd zodat het model valse voorspellingen produceert. Het verlies van cross-entropie is:

De invloed van beeldverstoring op de voorspelling wordt berekend op basis van de verliesfunctie, de omgekeerde voortplanting werkt de verstoring bij en het verstoringsbereik en de verstoringswaarde worden voortdurend bijgewerkt via meerdere iteraties. Voor de η leersnelheid is de updateformule voor de verstoring:

Tekstverstoringen genereren
Laad vooraf getrainde BERT-modellen voor het genereren van tekstinsluitingen. Een aangepast TextFeatureExtractor-netwerk dat bestaat uit twee transformatorblokken en een volledig verbonden laag wordt gebruikt om functies te extraheren uit tekstinbeddingen die door BERT-modellen zijn gegenereerd. Voer de gebruikersinformatie en het tijdstempel van de toegangsgebruiker in het vooraf getrainde BERT-model in en genereer dynamisch tekstruis via het aangepaste TextFeatureExtractor-netwerk.
Het invoerbeeld I wordt ingevoerd in het multimodale model Qwen2.5-VL-7B-Instruct. Geleid door een gestructureerde prompt, genereert het model een beknopte tekstuele beschrijving Tq. Deze gegenereerde tekst Tq wordt ingevoerd in het vooraf getrainde BERT-base-uncased taalmodel. Door middel van taakspecifieke herschrijfprompts genereert het systeem verstoorde tekst
die de semantiek behoudt en tegelijkertijd de expressie verandert. Een TextFeatureExtractor-netwerk brengt de verstoorde tekst
in kaart in een hoogdimensionale semantische inbeddingsvector Eg.
Genereer verstoringen met meerdere doelen
Om compatibiliteit tussen tekstinsluitingen en afbeeldingsverstoringen te garanderen, passen we de vorm van de tekstinbedding aan de afmetingen van de afbeeldingsverstoring aan. Laat ET en Eq de tekstinbeddingen vertegenwoordigen, en PL de verstoring van de afbeelding. Het hervormingsproces zorgt ervoor dat ET en Eq worden getransformeerd naar dezelfde dimensionaliteit als PL:
, waarbij C, H, W de dimensies van PL zijn. Definieer een fusiemodule voor het aandachtsmechanisme die tekstinbeddingsverstoringen en afbeeldingsverstoringen samenvoegt, waarbij de verstoringen dynamisch worden aangepast aan de aandachtsgewichten van de tekst. De fusie is:

waarbij α de dynamische aanpassing van de parameters van het aandachtsmechanisme is. δT is de tekstverstoring die wordt veroorzaakt door de Eq en ET. Voeg een regularisatietermijn toe aan het trainingsproces om overfitting te voorkomen. De regularisatieterm is de L2-norm van de tekstinbedding, die verstoringen bestraft. De verliesfunctie met meerdere objectieven combineert kruisentropieverlies en fusieverstoring, en de verliesfunctie met meerdere objectieven is als volgt:

De doelen van de verliesfunctie zijn:

waarbij λ een regularisatiecoëfficiënt is die wordt gebruikt om de strafkracht van de verstoring te beheersen, met als doel overmatige verstoring of overfitting te voorkomen. Bij de studie van vijandige aanvallen is gebleken dat
is de verstoringslimiet die waarneembaar is voor het menselijk oog. Het trainings- en evaluatieproces wordt gedefinieerd, inclusief het genereren van verstoringen, verliesberekening, modeltraining, enz.
Vergelijkende experimenten
We hebben een uitgebreide evaluatie uitgevoerd van de voorgestelde Dynamic Error-Minimizing Noise (DEM) aan de hand van drie bestaande methoden: Error-Minimizing Noise (EM), Transferable Adversarial Perturbaations (TAP) en Stable Error-Minimizing Noise (SEM). Deze methoden werden getest op drie benchmarkdatasets: CIFAR-10, CIFAR-100 en een subset van ImageNet, met behulp van vier algemeen aanvaarde neurale netwerkarchitecturen: VGG-16, ResNet-18, ResNet-50 en DenseNet-121, om diverse experimentele omstandigheden te garanderen.
Daarnaast hebben we de robuustheid van deze methoden onderzocht door op diffusie gebaseerde ruisonderdrukkingsmodellen toe te passen om defensieve ruis te verwijderen en de nauwkeurigheid van de voorbeelden zonder ruis op de testdatasets te meten. Deze stap was bedoeld om het vermogen van elke methode te evalueren om herstelaanvallen te weerstaan en de integriteit van de privacy van gegevens te behouden onder vijandige omstandigheden. De resultaten geven aan dat onze DEM beter presteert dan andere methoden in zowel robuustheid als nauwkeurigheid in alle datasets en architecturen, wat de doeltreffendheid ervan aantoont als een privacybeschermend kader.