データプライバシーとアクセス制御を強化するための学習不可能な例を生成および管理するためのブロックチェーンベースのフレームワーク

Summary

この論文では、動的摂動とアクセス制御を統合し、学習不可能な例を生成するためのブロックチェーンベースのフレームワークを提案します。権限のないユーザーが邪魔されたデータを確実に受信できるようにすることでプライバシー保護を強化し、スマート コントラクトを介した効率的なデータ管理とアクセスを可能にしながら機密情報を保護します。

Abstract

大規模言語モデル (LLM) の急速な発展の中で、モデルのトレーニングに膨大な量のネットワーク データを活用することでコストのかかるデータ アノテーションをバイパスできるため、対照学習が広く採用されるようになりました。ただし、この広範な使用により、データ プライバシー保護に関して重大な懸念が生じます。Unlearnable Examples (UE) は、データを摂動することでモデルの学習を妨害する手法であり、不正なモデルが機密データを悪用するのを効果的に防止します。ただし、UEを生成するための既存の方法は、2つの主要な課題に直面しています:第一に、画像UEの保護摂動を除去する拡散モデルを含む、逆精製やノイズ除去などの技術を使用して摂動を逆転させることができます。第二に、データが公開されると、データのトレーサビリティの確保とアクセス制御の管理が困難になります。これらの問題に対処するために、本稿では、UEを生成・管理するためのBlockchain-Integrated Unlearnable Example Generation and Management Framework(B-UEGMF)を提案します。ブロックチェーンの分散型で不変の特性を活用することで、サンプルのハッシュ値をブロックチェーン上に保存し、スマートコントラクトを通じてデータアクセス権を動的に管理します。さらに、UE は多目的摂動技術である動的誤差最小化ノイズ (DEM) を使用して生成され、反転法に対する堅牢性が強化されます。また、生成された事例のプライバシー保護能力を定量的に評価します。実験結果は、提案フレームワークが効率的なデータプライバシー管理を確保しながら、リバースアタックに対するUEの防御を大幅に向上させることを示しています。

Introduction

近年、深層学習と大規模言語モデルの急速な進歩に伴い、対比学習はコストのかかる手動アノテーションから独立しているため、効率的な教師なし学習アプローチとして浮上しています^1,2。しかし、公開データセットの広範な使用により、プライバシー侵害やデータの悪用に関する重大な懸念が生じています。モデルトレーニングのために公開されているデータを不正に利用する事例はますます一般的になっています³.たとえば、2017 年には、顔認識モデルのトレーニングに無許可の公開写真が使用されました⁴。同様に、Amazon は、すべてのユーザーからの明示的な同意を確保せずに、消費者の公開レビュー データを利用してレコメンデーション システムをトレーニングし、プライバシー保護メカニズムの脆弱性を露呈しました⁵。

これらの問題に対処するために、新しいデータプライバシー保護技術としてUnlearnable Examples(UE)が登場しました。UEは、データサンプルに知覚できない摂動を追加し^{、データに対する}人間の認識を維持しながら、モデルが機密情報を学習するのを防ぐショートカットを導入します^6,7,8。UEを生成するための既存の方法には、主にエラー最小化ノイズ(EM)摂動⁹、敵対的生成ネットワーク(GAN)¹⁰による摂動生成、ロバストエラー最小化ノイズ(REM)、および敵対的トレーニングによって最適化された安定エラー最小化ノイズ(SEM)^11,12が含まれます。さらに、最近、誤ったラベルノイズを生成する拡散モデルが適用され、プライバシー保護がさらに強化されています¹³。

UE の生成は大幅に進歩しましたが、特にこれらの方法のプライバシー保護効果が完全に検証されていない現実世界のアプリケーションでは、いくつかの課題が残っています。具体的には、主な課題は次のとおりです。
復元の問題:拡散モデルは、データに埋め込まれた摂動を予測して除去することで、学習不能な例を部分的に回復し、それによって学習可能性を回復し、プライバシー保護を損なうことができます^14,15。トレーニング中にデータが乱れた場合でも、復元後も機密情報が漏洩する可能性があります。
データのトレーサビリティとアクセス制御: 学習できない例がリリースされると、その出所を追跡し、アクセス制限を適用するための効果的なメカニズムは技術的に困難なままです¹⁶.
プライバシー保護とモデルパフォーマンスのバランス:既存の方法は、プライバシーを保護するために学習不可能な例を生成することに重点を置いていますが、プライバシー保護とモデルトレーニングパフォーマンスのバランスを維持することは未解決のままです17,18,19。現在の研究のほとんどはプライバシー保護を優先していますが、モデルトレーニング中のパフォーマンス低下を軽減することには限られた注意を払っています^20,21。その結果、データへのアクセスと利用は、プライバシー保護における重大な懸念事項となっています²²。

集中型ソリューションと信頼できる実行環境 (TEE) は、データ アクセス制御への代替アプローチを提供しますが、医療/法的シナリオでは固有の制限に直面しています。(2) TEE には特殊なハードウェアが必要であり、分散型コンセンサスが欠けています²⁴.ブロックチェーンは、その不変の台帳特性が、データガバナンス規制(HIPAA監査証跡など)への証明可能なコンプライアンス、複数機関の設定における検閲耐性のあるアクセス制御、タイムスタンプ付きのトランザクションによるきめ細かな出所追跡という、UE管理の3つの重要な要件に直接対処するため、最適なソリューションとして浮上しています^25、26、27。

私たちのフレームワークは、GPUアクセラレーションを備えた中規模データセットに対して最適なパフォーマンスを実証し、リアルタイムの摂動生成を実現しました。ブロックチェーンの運用には測定可能なオーバーヘッドが発生しますが、このトレードオフは、多機関の医学研究や規制されたデータ市場など、不変のアクセス ログを必要とするシナリオでは正当化されます。システムはデータセットのサイズに応じて直線的に拡張されますが、安定した動作には ≥16 GB の RAM と 4 コア CPU が必要なため、リソースに制約のあるエッジ デバイスにはあまり適していません。

これらの課題に対処するために、本論文では、ブロックチェーン統合の学習不能なサンプル生成および管理フレームワーク(B-UEGMF)を提案します。ブロックチェーンは、分散型で不変の分散型台帳技術として、データ アクセス ハッシュを効果的に記録し、スマート コントラクトによってアクセス許可を動的に管理することで、学習できない例^28,29 のプライバシー保護機能を強化します。このフレームワークでは、許可されたユーザーはクリーンなデータにアクセスできますが、許可されていないユーザーは動的に生成された学習不可能な例にのみアクセスできます。既存の問題に取り組むために、本論文では、新しい動的誤差最小化ノイズ(DEM)生成方法を紹介します。DEM は、クライアント固有の情報と時間パラメータを組み込むことで、摂動をデータに動的に埋め込み、データ要求ごとに固有の摂動を生成し、データのプライバシーと学習不能性の両方を確保します。DEM の生成プロセスを図 1 に示します。この論文の主な貢献は次のとおりです。
動的トレーサビリティとアクセス管理:本稿では、B-UEGMFフレームワークを提案することで、Unlearnable Examplesのリリースに関連するトレーサビリティとアクセス制御の問題に対処します。ブロックチェーンの分散型の性質により、従来のシステムにおける信頼できるサードパーティの問題が解決され、その透明性により、生データを公開することなく検証可能なアクセス ログが可能になります。このフレームワークは、ブロックチェーンの透明性と不変性を活用し、スマート コントラクトによって実現される動的アクセス制御と組み合わせることで、権限のないユーザーがクリーンなデータを回復または配布できないようにし、それによってデータ セキュリティを大幅に強化します。

動的摂動生成メカニズム: スマート コントラクトがさまざまなクライアントからのリクエストを管理する動的学習不可能な例生成スキームが導入されます。DEM 摂動は、クライアント固有の情報と時間パラメータに基づいて、不正なクライアント要求に対して動的に生成されます。これにより、摂動効果がリクエストによって異なることが保証され、拡散ベースのノイズ除去方法に対する耐性が強化され、権限のないユーザーが大規模なデータセットに一度にアクセスすることが制限されます。

CIFAR-10、CIFAR-100、ImageNetデータセットで実施された実験では、 図2に示すように、DEMはプライバシー保護とリバースエンジニアリング攻撃に対する耐性の点で既存の方法(EM、TAP、SEMなど)を上回り、 図3に示すように、ノイズ除去攻撃に対する耐性をEMと比較して57%、SEMと比較して25%向上させることが実証されています。 現実世界のシナリオにおける潜在的な適用可能性を強調します。

Protocol

セットアップ
データセット を使用した教師あり分類タスクを検討しましたが、 は入力特徴を表し、 は K クラス問題に対応するクラス ラベルを示します。データセット D は、クリーンなトレーニングデータセットとテストデータセットに分割されます。

目標は、 + δ の学習不可能なデータセット を作成するために、小さくて知覚できない摂動δを導入してクリーンなトレーニング データセットを変更することです。摂動δはによって制限され、データの通常の効用を大幅に変化させません。主な目的は、D_u でトレーニングされたモデル f_θ に、意味のある特徴ではなくノイズによって誘発される無関係なパターンに焦点を当てることによって学習を混乱させることであり、その結果、クリーンなテスト データセットでの一般化が不十分になります。

ブロックチェーン環境のシミュレーション
ブロックチェーン ツールをインストールするには、Hardhat フレームワークを使用してローカル環境でイーサリアム ネットワークをシミュレートし、スマート コントラクトをデプロイし、学習不可能な例の生成をテストします。ローカルネットワークを起動するには、複数のノードとアカウントを持つシミュレートされたブロックチェーンネットワークが初期化されます。各ノードには、トランザクション シミュレーションを容易にするためにイーサなどのリソースが割り当てられます。スマート コントラクトを開発するために、ユーザーの権限を動的に管理するために実装されます。許可されたユーザーはクリーンなデータにアクセスできますが、許可されていないユーザーは学習不可能な例へのアクセスに制限されます。まず、Node.js v16.x と Hardhat 2.8.4 に基づいて開発環境を構成し、Solidity 0.8.17 コンパイラを使用してスマート コントラクトのコンパイルと最適化を完了します。コンパイルプロセスは、npx hardhat compileを使用してコマンドラインによって実行され、ABIとバイトコードを含むビルドアーティファクトが生成されます。その後、デプロイ スクリプト npx hardhat run scripts/deploy.js --network sepolia を実行してコントラクトを Sepolia テスト ネットワークにデプロイし、出力コントラクト アドレスとデプロイ トランザクション ハッシュを記録します。パフォーマンス テスト フェーズでは、次の 3 つのコア テストが順次実行されます。トランザクション コスト テストでは、コントラクトの grantAccess メソッドを周期的に呼び出してガス消費量を記録します。スループット テストでは、Artillery ツールを使用して、負荷が段階的に増加するユーザー要求をシミュレートします。スマート コントラクトの機能を検証するために、データの保存や取得などのテストと検証トランザクションが実行されます。

オンチェーンユーザーと権限メカニズムの構築
一意のユーザーアカウントは、ブロックチェーンウォレット(MetaMaskなど)を使用して生成され、それぞれが秘密鍵と公開鍵で構成されています。プロトタイプの実装では、合成ユーザー エンティティが公開されているデータセットを分散型システムにアップロードし、分散型台帳に暗号化ハッシュ値のみを保存するシミュレートされたブロックチェーン環境を採用しています。これにより、実際のデータをオンチェーンに保存することなく、データの整合性が確保されますが、これは非効率的でコストがかかります。実際のデータはオフチェーンに保存され、通常は IPFS などの分散型ストレージ システムを使用して、セキュリティとプライバシーを維持しながら効率的なデータ管理が保証されます。本研究では、非代替トークン(NFT)とアクセス制御について、ERC-721標準に準拠したNFTを用いたきめ細かなアクセス制御メカニズムを実装しています。学習不可能な例の各データセットは、データにアクセスするためのキーとして機能する一意の tokenId に関連付けられています。ユーザーはマークル証明を送信してアクセスを要求します。これらの証明は、安全で分散型の方法でユーザーの身元を検証します。証明の検証が成功すると、コントラクトは固有の NFT を鋳造し、それをユーザーのウォレットに転送します。このNFTは、その特定の学習不可能な例に関連するデータにアクセスするユーザーの権利を表します。NFT を使用すると、分散化された不変の記録に基づいて、許可されたユーザーのみがデータにアクセスできるようになります。これは、通常、グループレベルで動作し、高セキュリティアプリケーションに必要な粒度を提供しない可能性がある従来のロールベースのアクセス制御(RBAC)とは対照的である³⁰。

スマート コントラクトは、ownerOf 関数を通じてアクセス許可を継続的に検証し、NFT の所有権をチェックして、許可されたユーザーのみがクリーンなデータにアクセスできるようにします。管理者は、revokeAccess 関数を通じて NFT を破棄することでアクセスを取り消すことができ、長期にわたるユーザー アクセスの管理を柔軟に確保できます。運用ワークフローは、次の 4 つの重要なステップで構成されます: (1) ユーザーはマークル証明を含むアクセス要求を送信します。(2) 契約はこれらの証明の有効性を検証します。(3) 検証が成功すると、コントラクトは対応する NFT を鋳造します。(4) ユーザーは、NFT のメタデータに埋め込まれた IPFS コンテンツ識別子 (CID) を使用して暗号化されたデータを取得します。NFTを活用することで、きめ細かな権限制御(データレベルとグループレベル)、監査機能の向上(不変のオンチェーンレコード)、権限の移転可能性(NFTマーケットプレイストランザクション)など、従来のアクセス制御メカニズムに比べていくつかの利点を達成します。

マークル ルート ハッシュを更新するためにマルチシグネチャ コントラクトが実装され、データの不正な改ざんが防止されます。このシステムには、各データセットを一意の tokenId にバインドすることでアンチ シビル メカニズムが組み込まれており、悪意のある攻撃者が不正なトークンを生成して不正なデータにアクセスできないようにします。UE は、InterPlanetary File System (IPFS) ネットワークにアップロードされる前に、AES-256 を使用して暗号化されます。暗号化されたデータ ハッシュはオンチェーンに保存され、完全なデータセットは IPFS に残るため、ブロックチェーンのストレージ オーバーヘッドが削減されます。オンチェーン ストレージとオフチェーン ストレージを組み合わせるハイブリッド アプローチは、ブロックチェーン ベースのアプリケーションで一般的な懸念事項であるデータの可用性の確保とストレージ コストの削減のバランスをとります。

スマート コントラクトは、ユーザーの権限を動的に管理するために使用されます。各ユーザーには、認証トークンとして機能する適切な NFT を保持している場合にのみ、クリーン データへのアクセスが許可されます。スマートコントラクトは、すべてのデータアクセスをイベントログに記録し、完全なトレーサビリティを提供します。これらのログは不変であり、監査できるため、透明性と説明責任が提供されます。スマートコントラクトは、grantAccess 関数を使用してアクセス要求を検証します。コントラクトは、ユーザーが適切なNFTを保有しているかどうかをチェックし、有効であれば、要求されたデータへのアクセスを許可します。各アクセス イベントはブロックチェーンに記録され、すべてのデータ取得アクティビティが検証可能であることが保証されます。すべてのデータアクセスイベントはスマートコントラクトによってリアルタイムで記録され、AccessGrantedイベントがトリガーされます。このイベントには、ユーザーのウォレット アドレス、アクセスのタイムスタンプ、対応する NFT tokenId などの重要な情報が含まれています。スマート コントラクトの動的な性質により、権限のリアルタイム管理が可能になります。これは、アクセス制御が非常に柔軟で、変化する条件に適応できる必要がある分散型アプリケーションで特に役立ちます。

パブリックブロックチェーン環境におけるプライバシーの懸念に対処するために、システムは低解像度のサムネイル(64 x 64ピクセルなど)をブロックチェーン上に保存し、元の高解像度画像は暗号化され、IPFSのオフチェーンに保存されます。対応する NFT を所有する許可されたユーザーのみが、高解像度データにアクセスするための復号化キーを取得できます。権限のないユーザーは、リアルタイムの DEM 摂動を含むバージョンのデータを受け取り、元のデータにアクセスできなくなります。

画像摂動の生成
CIFAR10、CIFAR100、ImageNet データセットを読み込みます。データセット内の画像は均一にサイズ変更され、PyTorch テンソルに変換され、画像テンソルは平均と標準偏差を使用して正規化されます。ガウス分布を使用して初期摂動を生成するランダム ノイズδ¹ を初期化します。各画像xにランダムノイズを適用し、クロスエントロピー損失に基づいてターゲットラベルとモデル予測の間の損失を計算します。クラスCのデータセットでは、サンプルiの場合、y_iはターゲットラベル値、p_iはモデル予測確率であり、モデルによって予測された確率分布と実際のラベルの差を定量化し、モデルが誤った予測を生成するように損失を最大化します。クロスエントロピー損失は次のとおりです。

損失関数に従って計算された予測に対する画像摂動の影響、逆伝搬は摂動を更新し、摂動範囲と摂動値は複数回の反復を通じて常に更新されます。学習率ηの場合、摂動の更新式は次のとおりです。

テキスト摂動の生成
テキスト埋め込みを生成するために、事前トレーニング済みの BERT モデルをロードします。2 つの Transformer ブロックと完全接続層で構成されるカスタム TextFeatureExtractor ネットワークを使用して、BERT モデルによって生成されたテキスト埋め込みから特徴を抽出します。アクセスユーザーのユーザー情報とタイムスタンプを事前トレーニング済みのBERTモデルに入力し、カスタマイズされたTextFeatureExtractorネットワークを介してテキストノイズを動的に生成します。

入力画像 I は、Qwen2.5-VL-7B-Instruct マルチモーダル モデルに入力されます。構造化されたプロンプトに導かれて、モデルは簡潔なテキスト説明 T_q を生成します。この生成されたテキスト T_q は、事前トレーニングされた BERT ベースの大文字と小文字なしの言語モデルに入力されます。タスク固有の書き換えプロンプトを通じて、システムは表現を変更しながら意味を維持する摂動テキスト を生成します。TextFeatureExtractor ネットワークは、摂動されたテキスト を高次元のセマンティック埋め込みベクトル E_g にマッピングします。

マルチターゲット摂動の生成
テキスト埋め込みと画像摂動の互換性を確保するために、画像摂動の寸法に合わせてテキスト埋め込みの形状を調整します。E_TとE_qはテキストの埋め込みを表し、P_Lは画像摂動を表します。再形成プロセスにより、E_T と E_q が P_L と同じ次元に変換されます: (ここで、C、H、W は PL の次元です)。テキスト埋め込み摂動と画像摂動を融合し、テキストのアテンションウェイトに応じて摂動を動的に調整するアテンションメカニズム融合モジュールを定義します。融合は次のとおりです。

ここで、αはアテンションメカニズムパラメータの動的調整です。δ^T は、 E_q と E_T によって生成されるテキストの外乱です。過学習を防ぐために、トレーニング プロセスに正則化項を追加します。正則化項は、テキスト埋め込みの L2 ノルムであり、摂動にペナルティを与えます。多目的損失関数は、クロスエントロピー損失と融合摂動を組み合わせたもので、多目的損失関数は次のとおりです。

損失関数の目標は次のとおりです。

ここで、 λ は、過度の摂動または過学習を抑制する目的で、摂動のペナルティ力を制御するために使用される正則化係数です。敵対的攻撃の研究では、人間の目で知覚できる摂動限界が であることがわかっています。摂動生成、損失計算、モデルトレーニングなどを含むトレーニングと評価のプロセスが定義されています。

比較実験
提案された動的誤差最小化ノイズ(DEM)を、既存の3つの方法(誤差最小化ノイズ(EM)、転送可能な敵対的摂動(TAP)、および安定誤差最小化ノイズ(SEM)に対して総合的に評価しました。これらの手法は、広く採用されている4つのニューラルネットワークアーキテクチャ(VGG-16、ResNet-18、ResNet-50、DenseNet-121)を使用して、CIFAR-10、CIFAR-100、およびImageNetのサブセットの3つのベンチマークデータセットでテストされ、多様な実験条件を確保しました。

さらに、拡散ベースのノイズ除去モデルを適用して防御ノイズを除去し、テストデータセットでノイズ除去された例の精度を測定することで、これらの手法の堅牢性を検討しました。このステップは、敵対的な条件下で回復攻撃に抵抗し、データプライバシーの整合性を維持する各方法の能力を評価することを目的としていました。結果は、私たちのDEMがすべてのデータセットとアーキテクチャにわたって堅牢性と精度の両方で他の方法よりも優れていることを示しており、プライバシー保護フレームワークとしての有効性を実証しています。

Results

ブロックチェーンとスマートコントラクトのフレームワーク
実験結果は、提案されたブロックチェーン統合学習不能な例生成および管理フレームワーク(B-UEGMF)をスマートコントラクトと組み合わせることで、データへのクライアント固有のアクセスの効果的な動的管理を可能にすることを実証しました。許可されたユーザーの場合、取得されたクリーンなデータは、CIFAR-10データセットで評価されたResNet-18サロゲートモデルで90.2%のテスト精度を達成しました。対照的に、DEM によって生成された UE にアクセスする権限のないユーザーは、テスト精度が 13.0% と大幅に低くなりました。これらの結果は、 図2に示すように、堅牢なUnlearnable Examplesを通じてデータプライバシーを維持しながらアクセス制御を効果的に実施するB-UEGMFの機能を検証しています。その他の実験結果を 表1に示します。

復元攻撃に対する耐性

Discussion

ブロックチェーンと UE の統合により、データ アクセスを管理するための透明性のある分散型ソリューションが提供され、データ プライバシー保護の分野が進歩しました。摂動技術のみに依存することが多い従来のプライバシー保護方法とは異なり³¹、この研究は、データ保護と責任追跡の間のギャップを埋めます。フェデレーテッド学習シナリオでは、提案されたフレームワークは、分散データセット全体で安全でプライベートなモデルトレーニングを保証し、不正なデータ回復のリスクを軽減します。さらに、DEM に組み込まれたアテンション メカニズムにより適応性と堅牢性が向上し、複雑な現実世界のシナリオでの応用への道が開かれます。

その貢献にもかかわらず、この研究にはいくつかの制限があります。まず、現在のフレームワークは主に画像分類タスクにおけるプライバシー保護を対象としており、他の下流タスクでのそのパフォーマンスは未踏のままです。第二に、ストレージやトランザクションのコストなど、ブロックチェーン統合の計...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 12.1	エヌビディア		ディープラーニングアプリケーションのパフォーマンスを向上させるために使用されます
NVIDIA A800 80GB PCIe A800 80GB PCIe	エヌビディア		ディープラーニングモデルのトレーニングに使用
パイソン3.10	Pythonソフトウェア財団		データの前処理と分析に使用
PyTorch 2.5.1 (英語)	フェイスブック		モデルトレーニングに使用されるディープラーニングフレームワーク
Ubuntu22.04	正規		環境のセットアップに使用するオペレーティングシステム