$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Instalacji
Rozważyliśmy nadzorowane zadanie klasyfikacyjne z zestawem danych
, gdzie
reprezentuje cechy wejściowe i
oznacza odpowiednie etykiety klas dla problemu klasy K. Zestaw danych D jest podzielony na czysty zestaw danych treningowych i zestaw danych testowych.
Celem jest zmodyfikowanie czystego zbioru danych treningowych poprzez wprowadzenie małych, niezauważalnych perturbacji δ utworzenie nieuczącego się zbioru danych
, gdzie
+ δ. δ perturbacji jest ograniczony przez
, zapewniając, że nie zmienia znacząco normalnej użyteczności danych. Kluczowym celem jest zakłócenie uczenia się poprzez zmuszenie modelu fθ, wytrenowanego na Du, do skupienia się na nieistotnych wzorcach wywołanych przez szum, a nie na znaczących cechach, co skutkuje słabym uogólnieniem na czystym zestawie danych testowych:

Symulowanie środowiska łańcucha bloków
Aby zainstalować narzędzia blockchain, framework Hardhat służy do symulacji sieci Ethereum w środowisku lokalnym w celu wdrażania inteligentnych kontraktów i testowania generowania nieuczących się przykładów. Aby uruchomić sieć lokalną, inicjowana jest symulowana sieć blockchain z wieloma węzłami i kontami. Każdemu węzłowi przydzielane są zasoby, takie jak Ether, aby ułatwić symulacje transakcji. Aby opracować inteligentne kontrakty, są one wdrażane w celu dynamicznego zarządzania uprawnieniami użytkowników. Autoryzowani użytkownicy mogą uzyskać dostęp do czystych danych, podczas gdy nieautoryzowani użytkownicy mają ograniczony dostęp do niemożliwych do nauczenia się przykładów. Najpierw skonfiguruj środowisko programistyczne oparte na Node.js v16.x i Hardhat 2.8.4, a następnie użyj kompilatora Solidity 0.8.17, aby zakończyć kompilację i optymalizację inteligentnego kontraktu. Proces kompilacji jest wykonywany przez wiersz poleceń przy użyciu kompilacji npx hardhat w celu wygenerowania artefaktów kompilacji zawierających ABI i kod bajtowy. Następnie wdróż kontrakt w sieci testowej Sepolia, uruchamiając skrypt wdrażania npx hardhat uruchom skrypty/deploy.js --network sepolia i zarejestruj adres kontraktu wyjściowego i skrót transakcji wdrożenia. Podczas fazy testów wydajnościowych sekwencyjnie wykonywane są trzy podstawowe testy: test kosztów transakcyjnych rejestruje zużycie gazu poprzez cykliczne wywoływanie metody grantAccess kontraktu; test przepustowości wykorzystuje narzędzie Artillery do symulacji żądań użytkowników z przyrostowo rosnącym obciążeniem; Transakcje testowania i walidacji, w tym przechowywanie i pobieranie danych, są przeprowadzane w celu sprawdzenia funkcjonalności inteligentnego kontraktu.
Konstruowanie użytkowników on-chain i mechanizmów uprawnień
Unikalne konta użytkowników są generowane za pomocą portfeli blockchain (np. MetaMask), z których każdy składa się z klucza prywatnego i klucza publicznego. Prototypowa implementacja wykorzystuje symulowane środowisko blockchain, w którym syntetyczne podmioty użytkowników przesyłają publicznie dostępne zestawy danych do zdecentralizowanego systemu, przechowując tylko kryptograficzne wartości skrótu w rozproszonej księdze. Zapewnia to integralność danych bez przechowywania rzeczywistych danych w łańcuchu, co byłoby nieefektywne i kosztowne. Rzeczywiste dane są przechowywane poza łańcuchem, zwykle przy użyciu zdecentralizowanych systemów pamięci masowej, takich jak IPFS, co zapewnia wydajne zarządzanie danymi przy jednoczesnym zachowaniu bezpieczeństwa i prywatności. W przypadku tokenów niewymienialnych (NFT) i kontroli dostępu, badanie to wdraża precyzyjny mechanizm kontroli dostępu przy użyciu NFT zgodnych ze standardem ERC-721. Każdy zestaw danych przykładów, których nie można się nauczyć, jest skojarzony z unikatowym identyfikatorem tokenId, który działa jako klucz dostępu do danych. Użytkownicy proszą o dostęp, przesyłając dowody Merkle. Dowody te weryfikują tożsamość użytkownika w bezpieczny, zdecentralizowany sposób. Po pomyślnej walidacji dowodu, kontrakt wybija unikalny NFT i przekazuje go do portfela użytkownika. Ten NFT reprezentuje prawo użytkownika do dostępu do danych związanych z tym konkretnym, niemożliwym do nauczenia się przykładem. Korzystanie z NFT zapewnia, że tylko autoryzowani użytkownicy mogą uzyskać dostęp do danych, w oparciu o zdecentralizowany, niezmienny rekord. Jest to przeciwieństwo tradycyjnej kontroli dostępu opartej na rolach (RBAC), która zwykle działa na poziomie grupy i może nie zapewniać szczegółowości wymaganej w przypadku aplikacji o wysokim poziomie zabezpieczeń30.
Inteligentny kontrakt w sposób ciągły weryfikuje uprawnienia dostępu za pomocą funkcji ownerOf, sprawdzając własność NFT, aby upewnić się, że tylko autoryzowani użytkownicy mogą uzyskać dostęp do czystych danych. Administratorzy mogą cofnąć dostęp, niszcząc NFT za pomocą funkcji revokeAccess, zapewniając elastyczność w zarządzaniu dostępem użytkowników w czasie. Operacyjny przepływ pracy składa się z czterech krytycznych kroków: (1) użytkownicy składają wnioski o dostęp zawierające dowody Merkle; 2) umowa weryfikuje ważność tych dowodów; (3) po pomyślnej walidacji kontrakt wybija odpowiednie NFT; (4) użytkownicy pobierają zaszyfrowane dane za pomocą identyfikatora treści IPFS (CID) osadzonego w metadanych NFT. Wykorzystując NFT, osiągamy kilka korzyści w porównaniu z tradycyjnymi mechanizmami kontroli dostępu, takimi jak precyzyjna kontrola uprawnień (na poziomie danych vs. na poziomie grupy), lepsze możliwości audytu (niezmienne rekordy w łańcuchu) i możliwość przenoszenia uprawnień (transakcje na rynku NFT).
Kontrakty z wieloma podpisami są implementowane do aktualizacji głównego skrótu Merkle, zapobiegając nieautoryzowanej manipulacji danymi. System zawiera mechanizmy anty-Sybil, wiążąc każdy zestaw danych z unikalnym identyfikatorem tokenId, zapewniając, że złośliwi aktorzy nie mogą generować fałszywych tokenów w celu uzyskania dostępu do nieautoryzowanych danych. Interfejsy użytkownika są szyfrowane przy użyciu AES-256 przed przesłaniem do sieci InterPlanetary File System (IPFS). Zaszyfrowane skróty danych są przechowywane w łańcuchu, podczas gdy kompletne zestawy danych pozostają w IPFS, co zmniejsza koszty pamięci masowej blockchain. Hybrydowe podejście polegające na łączeniu pamięci masowej on-chain i off-chain zapewnia równowagę między zapewnieniem dostępności danych a obniżeniem kosztów przechowywania, co jest częstym problemem w aplikacjach opartych na blockchainie.
Inteligentne kontrakty są wykorzystywane do dynamicznego zarządzania uprawnieniami użytkowników. Każdy użytkownik ma dostęp do czystych danych tylko wtedy, gdy posiada odpowiednie NFT, które służy jako jego token autoryzacyjny. Inteligentne kontrakty rejestrują cały dostęp do danych w dziennikach zdarzeń, zapewniając pełną identyfikowalność. Dzienniki te są niezmienne i mogą być poddawane inspekcji, co zapewnia przejrzystość i odpowiedzialność. Inteligentny kontrakt wykorzystuje funkcję grantAccess do walidacji wniosków o dostęp. Umowa sprawdza, czy użytkownik posiada odpowiednie NFT i, jeśli jest ważny, udziela dostępu do żądanych danych. Każde zdarzenie dostępu jest rejestrowane w łańcuchu bloków, dzięki czemu wszystkie działania związane z pobieraniem danych są możliwe do zweryfikowania. Każde zdarzenie dostępu do danych jest rejestrowane w czasie rzeczywistym przez inteligentny kontrakt, który wyzwala zdarzenie AccessGranted. To zdarzenie zawiera ważne informacje, takie jak adres portfela użytkownika, znacznik czasu dostępu i odpowiadający mu identyfikator tokena NFT. Dynamiczny charakter inteligentnych kontraktów pozwala na zarządzanie uprawnieniami w czasie rzeczywistym. Jest to szczególnie przydatne w zdecentralizowanych aplikacjach, w których kontrola dostępu musi być bardzo elastyczna i możliwa do dostosowania do zmieniających się warunków.
Aby rozwiązać problemy związane z prywatnością w publicznych środowiskach blockchain, system przechowuje miniatury o niskiej rozdzielczości (np. 64 x 64 piksele) na blockchainie, podczas gdy oryginalne obrazy w wysokiej rozdzielczości są szyfrowane i przechowywane poza łańcuchem w IPFS. Tylko autoryzowani użytkownicy, którzy posiadają odpowiednie NFT, mogą odzyskać klucze deszyfrujące w celu uzyskania dostępu do danych w wysokiej rozdzielczości. Nieautoryzowani użytkownicy otrzymują wersje danych z perturbacjami DEM w czasie rzeczywistym, zapewniając, że nie mogą uzyskać dostępu do oryginalnych danych.
Generowanie zakłóceń obrazu
Wczytywanie zestawów danych CIFAR10, CIFAR100 i ImageNet. Obrazy w zestawach danych są jednolicie zmieniane i konwertowane na tensor PyTorch, a tensor obrazu jest normalizowany przy użyciu średniej i odchylenia standardowego. Zainicjuj losowy szum δ1, używając rozkładu Gaussa do wygenerowania początkowego zakłócenia. Losowy szum jest stosowany do każdego obrazu x, a strata między etykietą docelową a prognozą modelu jest obliczana na podstawie utraty entropii krzyżowej. W zbiorze danych klasy C dla próbki i, yi jest docelową wartością etykiety, pi jest prawdopodobieństwem przewidywania modelu, które określa ilościowo różnicę między rozkładem prawdopodobieństwa przewidywanym przez model a rzeczywistą etykietą, maksymalizując stratę, tak aby model generował fałszywe prognozy. Strata entropii krzyżowej wynosi:

Wpływ perturbacji obrazu na predykcję obliczany zgodnie z funkcją straty, propagacja odwrotna aktualizuje perturbację, a zakres perturbacji i wartość perturbacji są stale aktualizowane przez wiele iteracji. Dla η szybkości uczenia się wzór na aktualizację dla perturbacji jest następujący:

Generowanie zakłóceń tekstowych
Załaduj wstępnie wytrenowane modele do generowania osadzania tekstu. Niestandardowa sieć TextFeatureExtractor składająca się z dwóch bloków Transformera i w pełni połączonej warstwy służy do wyodrębniania obiektów z osadzania tekstu generowanego przez modele. Wprowadź informacje o użytkowniku i sygnaturę czasową użytkownika dostępu do wstępnie wytrenowanego modelu i dynamicznie generuj szum tekstowy za pośrednictwem dostosowanej sieci TextFeatureExtractor.
Obraz wejściowy I jest wprowadzany do modelu multimodalnego Qwen2.5-VL-7B-Instruct. Kierując się ustrukturyzowanym monitem, model generuje zwięzły opis tekstowy Tq. Ten wygenerowany tekst Tq jest wprowadzany do wstępnie wytrenowanego modelu językowego-base-uncased. Poprzez monity o ponowne zapisywanie specyficzne dla zadania system generuje zaburzony tekst
, który zachowuje semantykę podczas zmiany wyrażenia. Sieć TextFeatureExtractor odwzorowuje zaburzony tekst
na wielowymiarowy semantyczny wektor osadzania Eg.
Generuj perturbacje wielocelowe
Aby zapewnić zgodność między osadzaniem tekstu a perturbacjami obrazu, dostosowujemy kształt osadzanego tekstu do wymiarów perturbacji obrazu. Niech ET i Eq reprezentują osadzenia tekstu, a PL perturbację obrazu. Proces przekształcania zapewnia, że ET i Eq są przekształcane do tej samej wymiarowości co PL:
, gdzie C, H, W są wymiarami PL. Zdefiniuj moduł fuzji mechanizmu uwagi, który łączy perturbacje osadzania tekstu i perturbacje obrazu, dynamicznie dostosowując perturbacje zgodnie z wagą uwagi tekstu. Fuzja to:

gdzie α jest dynamiczną regulacją parametrów mechanizmu uwagi. δT jest zakłóceniem tekstu generowanym przez Eq i ET. Dodaj termin regularyzacyjny do procesu szkolenia, aby zapobiec nadmiernemu dopasowaniu. Termin regularyzacji to norma L2 osadzania tekstu, która penalizuje perturbacje. Wieloobiektywowa funkcja utraty łączy w sobie utratę entropii krzyżowej i perturbację fuzji, a funkcja utraty wielu obiektów jest następująca:

Cele funkcji straty to:

gdzie λ jest współczynnikiem regularyzacji stosowanym do kontrolowania siły karnej perturbacji w celu zahamowania nadmiernych zaburzeń lub nadmiernego dopasowania. W badaniach nad atakami przeciwstawnymi stwierdzono, że
jest to granica perturbacji odczuwalna dla ludzkiego oka. Zdefiniowany jest proces trenowania i oceny, w tym generowanie perturbacji, obliczanie strat, trenowanie modelu itp.
Eksperymenty porównawcze
Przeprowadziliśmy kompleksową ocenę proponowanego dynamicznego szumu minimalizującego błędy (DEM) w odniesieniu do trzech istniejących metod: szumu minimalizującego błędy (EM), przenoszonych perturbacji przeciwstawnych (TAP) i stabilnego szumu minimalizującego błędy (SEM). Metody te zostały przetestowane na trzech zestawach danych porównawczych: CIFAR-10, CIFAR-100 i podzbiorze ImageNet, przy użyciu czterech powszechnie przyjętych architektur sieci neuronowych: VGG-16, ResNet-18, ResNet-50 i DenseNet-121, aby zapewnić zróżnicowane warunki eksperymentalne.
Ponadto zbadaliśmy solidność tych metod, stosując modele odszumiania oparte na dyfuzji w celu usunięcia hałasu obronnego i mierząc dokładność odszumionych przykładów na testowych zestawach danych. Ten krok miał na celu ocenę zdolności każdej metody do odparcia ataków odzyskiwania i utrzymania integralności prywatności danych w nieprzyjaznych warunkach. Wyniki wskazują, że nasz DEM przewyższa inne metody zarówno pod względem solidności, jak i dokładności we wszystkich zestawach danych i architekturach, wykazując swoją skuteczność jako ramy chroniącej prywatność.