$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Kurulum
Bir veri kümesiyle
denetimli bir sınıflandırma görevi düşündük , burada
giriş özelliklerini temsil eder ve
bir K sınıfı problem için karşılık gelen sınıf etiketlerini belirtir. D veri kümesi, temiz bir eğitim veri kümesine ve bir test veri kümesine bölünür.
Amaç, küçük, algılanamayan bozulmalar sunarak temiz eğitim veri kümesini değiştirmek δ öğrenilemeyen bir veri kümesi
oluşturmaktır , burada
+ δ. Bozulma δ, verilerin normal faydasını önemli ölçüde değiştirmemesini sağlamak için
ile sınırlıdır. Temel amaç, Du üzerinde eğitilen fθ modelini, anlamlı özelliklerden ziyade gürültünün neden olduğu alakasız kalıplara odaklanmaya zorlayarak öğrenmeyi bozmak ve temiz bir test veri setinde zayıf genelleme ile sonuçlanmaktır:

Blok zinciri ortamını simüle etme
Blok zinciri araçlarını kurmak için Hardhat çerçevesi, akıllı sözleşmeleri dağıtmak ve Öğrenilemeyen Örneklerin oluşturulmasını test etmek için yerel bir ortamda bir Ethereum ağını simüle etmek için kullanılır. Yerel bir ağ başlatmak için, birden fazla düğüm ve hesap içeren simüle edilmiş bir blok zinciri ağı başlatılır. İşlem simülasyonlarını kolaylaştırmak için her düğüme Ether gibi kaynaklar tahsis edilir. Akıllı sözleşmeler geliştirmek için, kullanıcı izinlerini dinamik olarak yönetmek için uygulanırlar. Yetkili kullanıcılar temiz verilere erişebilirken, yetkisiz kullanıcılar Öğrenilemeyen Örneklere erişimle sınırlıdır. İlk olarak, Node.js v16.x ve Hardhat 2.8.4 tabanlı bir geliştirme ortamı yapılandırın ve akıllı sözleşmenin derlenmesini ve optimizasyonunu tamamlamak için Solidity 0.8.17 derleyicisini kullanın. Derleme işlemi, ABI ve bayt kodunu içeren yapı yapıtları oluşturmak için npx hardhat compile kullanılarak komut satırı tarafından yürütülür. Ardından, npx hardhat run scripts/deploy.js --network sepolia dağıtım betiğini çalıştırarak sözleşmeyi Sepolia test ağına dağıtın ve çıkış sözleşmesi adresini ve dağıtım işlemi karmasını kaydedin. Performans testi aşamasında, üç temel test sırayla yürütülür: işlem maliyeti testi, sözleşmenin grantAccess yöntemini döngüsel olarak çağırarak gaz tüketimini kaydeder; verim testi, artımlı olarak artan yük ile kullanıcı isteklerini simüle etmek için Topçu aracını kullanır; Veri depolama ve alma dahil olmak üzere test ve doğrulama işlemleri, akıllı sözleşmenin işlevselliğini doğrulamak için gerçekleştirilir.
Zincir üstü kullanıcılar ve izin mekanizmaları oluşturma
Benzersiz kullanıcı hesapları, her biri bir özel anahtar ve bir genel anahtar içeren blok zinciri cüzdanları (örneğin MetaMask) kullanılarak oluşturulur. Prototip uygulaması, sentetik kullanıcı varlıklarının halka açık veri kümelerini merkezi olmayan sisteme yüklediği ve dağıtılmış defterde yalnızca kriptografik hash değerlerini depoladığı simüle edilmiş bir blok zinciri ortamı kullanır. Bu, gerçek verileri zincir üzerinde depolamadan veri bütünlüğünü sağlar, bu da verimsiz ve maliyetli olacaktır. Gerçek veriler, genellikle IPFS gibi merkezi olmayan depolama sistemleri kullanılarak zincir dışında depolanır ve güvenlik ve gizliliği korurken verimli veri yönetimi sağlar. Değiştirilemez tokenler (NFT'ler) ve erişim kontrolü için bu çalışma, ERC-721 standardıyla uyumlu NFT'leri kullanarak ayrıntılı bir erişim kontrol mekanizması uygulamaktadır. Öğrenilemeyen örneklerden oluşan her veri kümesi, verilere erişmek için bir anahtar görevi gören benzersiz bir tokenId ile ilişkilendirilir. Kullanıcılar, Merkle kanıtlarını göndererek erişim talep eder. Bu kanıtlar, kullanıcının kimliğini güvenli ve merkezi olmayan bir şekilde doğrular. Başarılı bir kanıt doğrulamasının ardından, sözleşme benzersiz bir NFT basar ve bunu kullanıcının cüzdanına aktarır. Bu NFT, kullanıcının söz konusu öğrenilemeyen örnekle ilişkili verilere erişme hakkını temsil eder. NFT'lerin kullanımı, merkezi olmayan, değişmez bir kayda dayalı olarak verilere yalnızca yetkili kullanıcıların erişebilmesini sağlar. Bu, genellikle grup düzeyinde çalışan ve yüksek güvenlikli uygulamalar için gereken ayrıntı düzeyini sağlamayabilen geleneksel Rol Tabanlı Erişim Denetimi'nin (RBAC) tersidir30.
Akıllı sözleşme, ownerOf işlevi aracılığıyla erişim izinlerini sürekli olarak doğrular ve temiz verilere yalnızca yetkili kullanıcıların erişebilmesini sağlamak için NFT'nin sahipliğini kontrol eder. Yöneticiler, revokeAccess işlevi aracılığıyla NFT'yi yok ederek erişimi iptal edebilir ve zaman içinde kullanıcı erişimini yönetmede esneklik sağlar. Operasyonel iş akışı dört kritik adımdan oluşur: (1) kullanıcılar Merkle kanıtlarını içeren erişim istekleri gönderir; (2) sözleşme bu kanıtların geçerliliğini doğrular; (3) başarılı bir doğrulamanın ardından, sözleşme ilgili NFT'yi basar; (4) kullanıcılar, NFT'nin meta verilerine gömülü IPFS İçerik Tanımlayıcısını (CID) kullanarak şifrelenmiş verileri alır. NFT'lerden yararlanarak, geleneksel erişim kontrol mekanizmalarına göre ayrıntılı izin kontrolü (veri düzeyine karşı grup düzeyinde), daha iyi denetim yeteneği (değişmez zincir üstü kayıtlar) ve izin aktarılabilirliği (NFT pazar yeri işlemleri) gibi çeşitli avantajlar elde ediyoruz.
Merkle kök hash'ini güncellemek için çoklu imza sözleşmeleri uygulanır ve verilerin yetkisiz olarak değiştirilmesini önler. Sistem, her veri kümesini benzersiz bir tokenId'ye bağlayarak anti-Sybil mekanizmalarını içerir ve kötü niyetli aktörlerin yetkisiz verilere erişmek için sahte belirteçler oluşturamamasını sağlar. UE'ler, Gezegenler Arası Dosya Sistemi (IPFS) ağına yüklenmeden önce AES-256 kullanılarak şifrelenir. Şifrelenmiş veri karmaları zincir üzerinde depolanırken, tüm veri kümeleri IPFS'de kalarak blok zinciri depolama ek yükünü azaltır. Zincir içi ve zincir dışı depolamayı birleştirmeye yönelik hibrit yaklaşım, blok zinciri tabanlı uygulamalarda yaygın bir endişe olan veri kullanılabilirliğini sağlamak ve depolama maliyetlerini azaltmak arasında bir denge kurar.
Akıllı sözleşmeler, kullanıcı izinlerini dinamik olarak yönetmek için kullanılır. Her kullanıcıya, yalnızca yetkilendirme belirteci olarak hizmet veren uygun NFT'ye sahip olmaları durumunda temiz verilere erişim izni verilir. Akıllı sözleşmeler, tüm veri erişimini olay günlüklerine kaydederek tam izlenebilirlik sağlar. Bu günlükler değişmezdir ve denetlenebilir, bu da şeffaflık ve hesap verebilirlik sunar. Akıllı sözleşme, erişim isteklerini doğrulamak için grantAccess işlevini kullanır. Sözleşme, kullanıcının uygun NFT'ye sahip olup olmadığını kontrol eder ve geçerliyse istenen verilere erişim izni verir. Her erişim olayı blok zincirine kaydedilir ve tüm veri alma etkinliklerinin doğrulanabilir olmasını sağlar. Her veri erişim olayı, akıllı sözleşme tarafından gerçek zamanlı olarak günlüğe kaydedilir ve bu da bir AccessGiven olayını tetikler. Bu etkinlik, kullanıcının cüzdan adresi, erişimin zaman damgası ve ilgili NFT tokenId gibi önemli bilgileri içerir. Akıllı sözleşmelerin dinamik doğası, izinlerin gerçek zamanlı yönetimine izin verir. Bu, özellikle erişim kontrolünün son derece esnek ve değişen koşullara uyarlanabilir olması gereken merkezi olmayan uygulamalarda kullanışlıdır.
Halka açık blok zinciri ortamlarındaki gizlilik endişelerini gidermek için sistem, blok zincirinde düşük çözünürlüklü küçük resimler (ör. 64 x 64 piksel) depolarken, orijinal yüksek çözünürlüklü görüntüler şifrelenir ve IPFS'de zincir dışı olarak saklanır. Yalnızca ilgili NFT'ye sahip olan yetkili kullanıcılar, yüksek çözünürlüklü verilere erişmek için şifre çözme anahtarlarını alabilir. Yetkisiz kullanıcılar, verilerin sürümlerini gerçek zamanlı DEM bozulmalarıyla alarak orijinal verilere erişemeyeceklerinden emin olur.
Görüntü bozulması oluşturun
CIFAR10, CIFAR100 ve ImageNet veri kümelerini yükleyin. Veri kümelerindeki görüntüler tek tip olarak yeniden boyutlandırılır ve PyTorch tensörüne dönüştürülür ve görüntü tensörü, ortalama ve standart sapma kullanılarak normalleştirilir. İlk bozulmayı oluşturmak için bir Gauss dağılımı kullanarak rastgele bir gürültü δ 1 başlatın. Her x görüntüsüne rastgele parazit uygulanır ve hedef etiket ile model tahmini arasındaki kayıp, çapraz entropi kaybına dayalı olarak hesaplanır. C sınıfı bir veri setinde, bir örnek için i, yi hedef etiket değeridir, pi, model tarafından tahmin edilen olasılık dağılımı ile gerçek etiket arasındaki farkı ölçen ve modelin yanlış tahminler üretmesi için kaybı en üst düzeye çıkaran model tahmin olasılığıdır. Çapraz entropi kaybı:

Görüntü pertürbasyonunun kayıp fonksiyonuna göre hesaplanan tahmin üzerindeki etkisi, ters yayılma pertürbasyonu günceller ve pertürbasyon aralığı ve pertürbasyon değeri birden çok yineleme yoluyla sürekli olarak güncellenir. Öğrenme oranı η için, pertürbasyon için güncelleme formülü şu şekildedir:

Metin bozulmaları oluşturun
Metin gömmeleri oluşturmak için önceden eğitilmiş BERT modellerini yükleyin. BERT modelleri tarafından oluşturulan metin yerleştirmelerinden özellikleri çıkarmak için iki Transformer bloğundan ve tam bağlı bir katmandan oluşan özel bir TextFeatureExtractor ağı kullanılır. Erişim kullanıcısının kullanıcı bilgilerini ve zaman damgasını önceden eğitilmiş BERT modeline girin ve özelleştirilmiş TextFeatureExtractor ağı aracılığıyla dinamik olarak metin gürültüsü oluşturun.
Giriş görüntüsü I, Qwen2.5-VL-7B-Instruct multimodal modeline beslenir. Yapılandırılmış bir istem tarafından yönlendirilen model, kısa bir metinsel açıklama Tq oluşturur. Oluşturulan bu metin Tq, önceden eğitilmiş BERT tabanlı büyük/küçük harfsiz dil modeline girilir. Göreve özel yeniden yazma istemleri aracılığıyla sistem, ifadeyi değiştirirken anlambilimi koruyan rahatsız edici metinler
oluşturur. Bir TextFeatureExtractor ağı, bozulmuş metni
yüksek boyutlu bir anlamsal gömme vektörü Eg'ye eşler.
Çok hedefli bozulmalar oluşturun
Metin gömmeleri ve görüntü bozulmaları arasında uyumluluğu sağlamak için, metin gömmenin şeklini görüntü bozulmasının boyutlarına uyacak şekilde ayarlarız. ET ve Eq metin yerleştirmelerini temsil etsin ve PL görüntü bozulmasını temsil etsin. Yeniden şekillendirme işlemi, E T ve Eq'nun PL ile aynı boyutluluğa dönüştürülmesini sağlar:
burada C, H, W, P L'nin boyutlarıdır. Metin gömme bozulmaları ve görüntü bozulmalarını birleştiren, bozulmaları metnin dikkat ağırlıklarına göre dinamik olarak ayarlayan bir dikkat mekanizması füzyon modülü tanımlayın. Füzyon şudur:

burada α, dikkat mekanizması parametrelerinin dinamik olarak ayarlanmasıdır. δT, Eq ve ET tarafından oluşturulan metin bozukluğudur. Aşırı öğrenmeyi önlemek için eğitim sürecine bir düzenlileştirme terimi ekleyin. Düzenleme terimi, bozulmaları cezalandıran metin yerleştirmenin L2 normudur. Çok amaçlı kayıp fonksiyonu, çapraz entropi kaybını ve füzyon pertürbasyonunu birleştirir ve çok amaçlı kayıp fonksiyonu aşağıdaki gibidir:

Kayıp fonksiyonunun amaçları şunlardır:

burada λ , aşırı bozulmayı veya aşırı uyumu engellemek amacıyla bozulmanın ceza kuvvetini kontrol etmek için kullanılan bir düzenlileştirme katsayısıdır. Düşmanca saldırıların incelenmesinde, insan gözünün algılayabileceği pertürbasyon sınırı olduğu
bulunmuştur. Pertürbasyon oluşturma, kayıp hesaplaması, model eğitimi vb. dahil olmak üzere eğitim ve değerlendirme süreci tanımlanmıştır.
Karşılaştırmalı deneyler
Önerilen Dinamik Hata Azaltma Gürültüsünün (DEM) mevcut üç yönteme karşı kapsamlı bir değerlendirmesini yaptık: Hata Azaltıcı Gürültü (EM), Aktarılabilir Çekişmeli Bozulmalar (TAP) ve Kararlı Hata Azaltma Gürültüsü (SEM). Bu yöntemler, üç kıyaslama veri kümesi üzerinde test edildi: CIFAR-10, CIFAR-100 ve ImageNet'in bir alt kümesi, yaygın olarak benimsenen dört sinir ağı mimarisi kullanılarak: VGG-16, ResNet-18, ResNet-50 ve DenseNet-121, çeşitli deneysel koşulları sağlamak için.
Ek olarak, savunma gürültüsünü ortadan kaldırmak için difüzyon tabanlı gürültü giderme modelleri uygulayarak ve test veri setleri üzerindeki gürültü giderme örneklerinin doğruluğunu ölçerek bu yöntemlerin sağlamlığını inceledik. Bu adım, her yöntemin kurtarma saldırılarına direnme ve olumsuz koşullar altında veri gizliliği bütünlüğünü koruma yeteneğini değerlendirmeyi amaçladı. Sonuçlar, DEM'imizin tüm veri kümelerinde ve mimarilerde hem sağlamlık hem de doğruluk açısından diğer yöntemlerden daha iyi performans gösterdiğini ve gizliliği koruyan bir çerçeve olarak etkinliğini gösterdiğini gösteriyor.