データプライバシーとアクセス制御を強化するための学習不可能な例を生成および管理するためのブロックチェーンベースのフレームワーク

Summary

この論文では、動的摂動とアクセス制御を統合し、学習不可能な例を生成するためのブロックチェーンベースのフレームワークを提案します。権限のないユーザーが邪魔されたデータを確実に受信できるようにすることでプライバシー保護を強化し、スマート コントラクトを介した効率的なデータ管理とアクセスを可能にしながら機密情報を保護します。

Abstract

大規模言語モデル (LLM) の急速な発展の中で、モデルのトレーニングに膨大な量のネットワーク データを活用することでコストのかかるデータ アノテーションをバイパスできるため、対照学習が広く採用されるようになりました。ただし、この広範な使用により、データ プライバシー保護に関して重大な懸念が生じます。Unlearnable Examples (UE) は、データを摂動することでモデルの学習を妨害する手法であり、不正なモデルが機密データを悪用するのを効果的に防止します。ただし、UEを生成するための既存の方法は、2つの主要な課題に直面しています:第一に、画像UEの保護摂動を除去する拡散モデルを含む、逆精製やノイズ除去などの技術を使用して摂動を逆転させることができます。第二に、データが公開されると、データのトレーサビリティの確保とアクセス制御の管理が困難になります。これらの問題に対処するために、本稿では、UEを生成・管理するためのBlockchain-Integrated Unlearnable Example Generation and Management Framework(B-UEGMF)を提案します。ブロックチェーンの分散型で不変の特性を活用することで、サンプルのハッシュ値をブロックチェーン上に保存し、スマートコントラクトを通じてデータアクセス権を動的に管理します。さらに、UE は多目的摂動技術である動的誤差最小化ノイズ (DEM) を使用して生成され、反転法に対する堅牢性が強化されます。また、生成された事例のプライバシー保護能力を定量的に評価します。実験結果は、提案フレームワークが効率的なデータプライバシー管理を確保しながら、リバースアタックに対するUEの防御を大幅に向上させることを示しています。

Introduction

近年、深層学習と大規模言語モデルの急速な進歩に伴い、対比学習はコストのかかる手動アノテーションから独立しているため、効率的な教師なし学習アプローチとして浮上しています^1,2。しかし、公開データセットの広範な使用により、プライバシー侵害やデータの悪用に関する重大な懸念が生じています。モデルトレーニングのために公開されているデータを不正に利用する事例はますます一般的になっています³.たとえば、2017 年には、顔認識モデルのトレーニングに無許可の公開写真が使用されました⁴。同様に、Amazon は、すべてのユーザーからの明示的な同意を確保せずに、消費者の公開レビュー データを利用してレコメンデーション システムをトレーニングし、プライバシー保護メカニズムの脆弱性を露呈しました⁵。

これらの問題に対処するために、新しいデータプライバシー保護技術としてUnlearnable Examples(UE)が登場しました。UEは、データサンプルに知覚できない摂動を追加し^{、データに対する}人間の認識を維持しながら、モデルが機....

Protocol

セットアップ
データセット を使用した教師あり分類タスクを検討しましたが、 は入力特徴を表し、 は K クラス問題に対応するクラス ラベルを示します。データセット D は、クリーンなトレーニングデータセットとテストデータセットに分割されます。

目標は、 +....

Results

ブロックチェーンとスマートコントラクトのフレームワーク
実験結果は、提案されたブロックチェーン統合学習不能な例生成および管理フレームワーク(B-UEGMF)をスマートコントラクトと組み合わせることで、データへのクライアント固有のアクセスの効果的な動的管理を可能にすることを実証しました。許可されたユーザーの場合、取得されたクリーンなデータは、CIFAR-10データセットで評価されたResNet-18サロゲートモデルで90.2%のテスト精度を達成しました。対照的に、DEM によって生成された UE にアクセスする権限のないユーザーは、テスト精度が 13.0% と大幅に低くなりました。これらの結果は、 図2に示すように、堅牢なUnlearnable Examplesを通じてデータプライバシーを維持しながらアクセス制御を効果的に実施するB-UEGMFの機能を検証しています。その他の実験結果を 表1に示します。

復元攻撃に対する耐性

Discussion

ブロックチェーンと UE の統合により、データ アクセスを管理するための透明性のある分散型ソリューションが提供され、データ プライバシー保護の分野が進歩しました。摂動技術のみに依存することが多い従来のプライバシー保護方法とは異なり³¹、この研究は、データ保護と責任追跡の間のギャップを埋めます。フェデレーテッド学習シナリオでは、提案されたフレームワークは、分散データセット全体で安全でプライベートなモデルトレーニングを保証し、不正なデータ回復のリスクを軽減します。さらに、DEM に組み込まれたアテンション メカニズムにより適応性と堅牢性が向上し、複雑な現実世界のシナリオでの応用への道が開かれます。

その貢献にもかかわらず、この研究にはいくつかの制限があります。まず、現在のフレームワークは主に画像分類タスクにおけるプライバシー保護を対象としており、他の下流タスクでのそのパフォーマンスは未踏のままです。第二に、ストレージやトランザクションのコストなど、ブロックチェーン統合の計.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 12.1	エヌビディア		ディープラーニングアプリケーションのパフォーマンスを向上させるために使用されます
NVIDIA A800 80GB PCIe A800 80GB PCIe	エヌビディア		ディープラーニングモデルのトレーニングに使用
パイソン3.10	Pythonソフトウェア財団		データの前処理と分析に使用
PyTorch 2.5.1 (英語)	フェイスブック		モデルトレーニングに使用されるディープラーニングフレームワーク
Ubuntu22.04	正規		環境のセットアップに使用するオペレーティングシステム