Фреймворк на основе блокчейна для создания и управления необучаемыми примерами для повышения конфиденциальности данных и контроля доступа

Summary

В этой статье предлагается основанная на блокчейне структура для генерации необучаемых примеров, объединяющая динамическое возмущение с контролем доступа. Он усиливает защиту конфиденциальности, гарантируя, что неавторизованные пользователи получат возмущенные данные, защищая конфиденциальную информацию, обеспечивая эффективное управление данными и доступ к ним через смарт-контракты.

Abstract

В условиях стремительного развития больших языковых моделей (LLM) контрастивное обучение получило широкое распространение благодаря своей способности обходить дорогостоящие аннотации данных, используя огромные объемы сетевых данных для обучения моделей. Тем не менее, такое широкое использование вызывает серьезные опасения в отношении защиты конфиденциальности данных. Необучаемые примеры (UE) — это метод, который нарушает процесс обучения модели путем искажения данных, и эффективно предотвращает неправомерное использование конфиденциальных данных несанкционированными моделями. Тем не менее, существующие методы генерации пользовательских интерфейсов сталкиваются с двумя основными проблемами: во-первых, возмущения могут быть обращены вспять с помощью таких методов, как обратная очистка или шумоподавление, включая диффузионные модели, которые устраняют защитные возмущения в графических пользовательских интерфейсах; Во-вторых, после публикации данных становится сложно обеспечить отслеживаемость данных и управление контролем доступа. Чтобы решить эти проблемы, в данной статье предлагается интегрированная в блокчейн структура генерации и управления необучаемыми примерами (B-UEGMF) для генерации и управления пользовательскими интерфейсами. Используя децентрализованные и неизменяемые свойства блокчейна, мы храним примеры хеш-значений в блокчейне и динамически управляем правами доступа к данным с помощью смарт-контрактов. Кроме того, пользовательские интерфейсы генерируются с использованием многокритериального метода возмущений, динамического шума с минимизацией ошибок (DEM), который повышает устойчивость к методам реверсирования. Мы также предоставляем количественную оценку возможностей защиты конфиденциальности сгенерированных примеров. Экспериментальные результаты показывают, что предложенная структура значительно улучшила защиту пользовательских интерфейсов от обратных атак, обеспечивая при этом эффективное управление конфиденциальностью данных.

Introduction

В последние годы, с быстрым развитием глубокого обучения и больших языковых моделей, контрастное обучение стало эффективным неконтролируемым подходом к обучению благодаря своей независимости от дорогостоящих ручных аннотаций ^1,2. Тем не менее, широкое использование общедоступных наборов данных вызвало серьезную обеспокоенность по поводу нарушений конфиденциальности и неправомерного использования данных. Случаи несанкционированного использования общедоступных данных для обучения модели становятся все более распространенными³. Например, в 2017 году несанкционированные публичные фотографии были использованы для обучения моделей распознавания лиц⁴. Аналогичным образом, Amazon использовала данные публичной проверки потребителей для обучения своих рекомендательных систем без получения явного согласия от всех пользователей, что выявляло уязвимости^{в механизмах} защиты конфиденциальности.

Для решения этих проблем появились необучаемые примеры (UE) в качестве нового метода защиты конфиденциальности данных. Пользовательские интерфейсы добавляют незаметные возмущения в выборки данных, вводя ярлык, который не позволяет моделям изучать конфиденциальную информацию, сохраняя при этом человеческое восприятие данных ^6,7,8. Существующие методы генерации пользовательских интерфейсов в первую очередь включают возмущения шума, минимизирующие ошибки (EM)⁹, генерацию возмущений генеративно-состязательными сетями (GAN)¹⁰, робастный шум, минимизирующий ошибки (REM), и стабильный шум, минимизирующий ошибки (SEM), оптимизированный с помощью состязательного обучения^11,12. Кроме того, в последнее время были применены диффузионные модели для создания неправильного шума этикетки, что еще больше усилило защиту конфиденциальности¹³.

Несмотря на значительный прогресс в создании пользовательских интерфейсов, остается несколько проблем, особенно в реальных приложениях, где влияние этих методов на защиту конфиденциальности не было полностью подтверждено. В частности, к ключевым проблемам относятся:
Проблемы восстановления: Диффузионные модели могут частично восстанавливать необучаемые примеры, прогнозируя и устраняя возмущения, встроенные в данные, тем самым восстанавливая обучаемость и ставя под угрозу защиту конфиденциальности^14,15. Даже если данные нарушаются во время обучения, конфиденциальная информация все равно может быть раскрыта после восстановления.
Отслеживаемость данных и контроль доступа: После выпуска необучаемых примеров эффективные механизмы отслеживания их происхождения и обеспечения соблюдения ограничений доступа остаются технически сложными¹⁶.
Баланс между защитой конфиденциальности и производительностью модели: В то время как существующие методы сосредоточены на создании необучаемых примеров для обеспечения конфиденциальности, поддержание баланса между защитой конфиденциальности и производительностью обучения модели остается нерешенным 17,18,19. Большинство современных исследований отдают приоритет защите конфиденциальности, но уделяют ограниченное внимание смягчению ухудшения производительности во время обучения моделей^20,21. Следовательно, доступ к данным и их использование стали критически важными проблемами в области защиты конфиденциальности²².

В то время как централизованные решения и доверенные среды выполнения (TEE) предлагают альтернативные подходы к контролю доступа к данным, они сталкиваются с присущими им ограничениями в медицинских/юридических сценариях: (1) Централизованные системы создают единые точки отказа и зависимости от аудита²³; (2) TEE требуют специализированного оборудования и не имеют децентрализованного консенсуса²⁴. Блокчейн является оптимальным решением, потому что его неизменяемые свойства реестра напрямую отвечают трем критическим требованиям к управлению UE: доказуемое соответствие правилам управления данными (например, аудиторские журналы HIPAA), устойчивый к цензуре контроль доступа в условиях нескольких учреждений и детальное отслеживание происхождения с помощью транзакций с временными метками 25,26,27.

Наша платформа продемонстрировала оптимальную производительность для наборов данных среднего масштаба с ускорением на GPU, достигая генерации возмущений в реальном времени. В то время как операции с блокчейном приводят к измеримым накладным расходам, этот компромисс оправдан в сценариях, требующих неизменяемых журналов доступа, таких как межведомственные медицинские исследования или регулируемые рынки данных. Система линейно масштабируется в зависимости от размера набора данных, но для стабильной работы требуется ≥16 ГБ ОЗУ и 4-ядерные процессоры, что делает ее менее подходящей для периферийных устройств с ограниченными ресурсами.

Для решения этих проблем в данной статье предлагается интегрированная в блокчейн структура генерации и управления необучаемыми примерами (B-UEGMF). Блокчейн, как децентрализованная и неизменяемая технология распределенного реестра, эффективно записывает хеши доступа к данным и динамически управляет разрешениями доступа с помощью смарт-контрактов, тем самым расширяя возможности защиты конфиденциальности в Unlearnable Examples^28,29. В рамках этой структуры авторизованные пользователи могут получить доступ к чистым данным, в то время как неавторизованные пользователи могут получить доступ только к динамически сгенерированным неизучаемым примерам. Для решения существующих проблем в данной статье представлен новый метод динамической генерации шума с минимизацией ошибок (DEM). Интегрируя специфичную для клиента информацию и временные параметры, DEM динамически встраивает возмущения в данные, генерируя уникальные возмущения для каждого запроса данных и обеспечивая как конфиденциальность данных, так и необучаемость. Процесс генерации ЦМР показан на рисунке 1. Основными вкладами этого документа являются следующие:
Динамическая трассируемость и управление доступом: В этом документе рассматриваются вопросы трассируемости и контроля доступа, связанные с выпуском необучаемых примеров, путем предложения инфраструктуры B-UEGMF. Децентрализованная природа блокчейна решает проблему доверенных третьих сторон в традиционных системах, в то время как его прозрачность позволяет получать верифицируемые журналы доступа без раскрытия необработанных данных. Используя прозрачность и неизменность блокчейна в сочетании с динамическим контролем доступа, обеспечиваемым смарт-контрактами, фреймворк гарантирует, что неавторизованные пользователи не смогут восстановить или распространить чистые данные, тем самым значительно повышая безопасность данных.

Механизм генерации динамических возмущений: Введена схема динамической генерации необучаемых примеров, в которой смарт-контракты управляют запросами от разных клиентов. Возмущения ЦМР динамически генерируются для несанкционированных клиентских запросов на основе специфичной для клиента информации и временных параметров. Это гарантирует, что эффекты возмущения будут варьироваться в зависимости от запроса, тем самым повышая устойчивость к методам удаления шума на основе диффузии и ограничивая одновременный доступ неавторизованных пользователей к крупномасштабным наборам данных.

Эксперименты, проведенные на наборах данных CIFAR-10, CIFAR-100 и ImageNet, показывают, что DEM превосходит существующие методы (например, EM, TAP и SEM) с точки зрения защиты конфиденциальности и устойчивости к атакам обратного проектирования, как показано на рисунке 2, при этом повышая устойчивость к атакам с удалением шума на 57% по сравнению с EM и на 25% по сравнению с SEM, как показано на рисунке 3. подчеркивая его потенциальную применимость в реальных сценариях.

Protocol

Настройка
Мы рассмотрели задачу классификации с учителем и набором данных , где представлены входные признаки и обозначены соответствующие метки классов для задачи K-класса. Набор данных D разбивается на чистый обучающий набор данных и тестовый набор данных.

Цель состоит в том, чтобы изменить чистый обучающий набор данных путем введения небольших, незаметных возмущений δ создания необучаемого набора данных , где + δ. Возмущение δ ограничено значением , что гарантирует, что оно существенно не изменяет нормальную полезность данных. Ключевая цель состоит в том, чтобы нарушить процесс обучения, заставив модель f_θ, обученную на D_u, сосредоточиться на нерелевантных паттернах, вызванных шумом, а не на значимых признаках, что приведет к плохому обобщению на чистом тестовом наборе данных:

Моделирование среды блокчейна
Для установки инструментов блокчейна используется фреймворк Hardhat для моделирования сети Ethereum в локальной среде для развертывания смарт-контрактов и тестирования генерации необучаемых примеров. Для запуска локальной сети инициализируется симулированная блокчейн-сеть с несколькими узлами и учетными записями. Каждому узлу выделяются ресурсы, такие как эфир, для облегчения моделирования транзакций. Для разработки смарт-контрактов они реализуются для динамического управления разрешениями пользователей. Авторизованные пользователи могут получить доступ к чистым данным, в то время как неавторизованные пользователи могут получить доступ к неизучаемым примерам. Во-первых, настройте среду разработки на базе Node.js v16.x и Hardhat 2.8.4, а для завершения компиляции и оптимизации смарт-контракта используйте компилятор Solidity 0.8.17. Процесс компиляции выполняется из командной строки с использованием npx hardhat compile для генерации артефактов сборки, содержащих ABI и байт-код. Затем разверните контракт в тестовой сети Sepolia, запустив скрипт развертывания npx hardhat run scripts/deploy.js --network sepolia, и запишите адрес выходного контракта и хэш транзакции развертывания. На этапе тестирования производительности последовательно выполняются три основных теста: тест транзакционных затрат регистрирует потребление газа путем циклического вызова метода grantAccess контракта; при тестировании пропускной способности используется инструмент Artillery для имитации запросов пользователей с постепенно увеличивающейся нагрузкой; Для проверки функциональности смарт-контракта проводятся транзакции тестирования и проверки, включая хранение и извлечение данных.

Создание ончейн-пользователей и механизмов разрешений
Уникальные учетные записи пользователей генерируются с помощью кошельков блокчейна (например, MetaMask), каждый из которых состоит из приватного ключа и публичного ключа. В реализации прототипа используется смоделированная среда блокчейна, в которой синтетические пользовательские сущности загружают общедоступные наборы данных в децентрализованную систему, сохраняя в распределенном реестре только криптографические хеш-значения. Это обеспечивает целостность данных без хранения фактических данных в цепочке, что было бы неэффективно и дорого. Фактические данные хранятся вне сети, как правило, с использованием децентрализованных систем хранения, таких как IPFS, что обеспечивает эффективное управление данными при сохранении безопасности и конфиденциальности. Что касается невзаимозаменяемых токенов (NFT) и контроля доступа, в этом исследовании реализован детальный механизм контроля доступа с использованием NFT, соответствующих стандарту ERC-721. Каждый набор данных неизучаемых примеров связан с уникальным идентификатором tokenId, который выступает в качестве ключа для доступа к данным. Пользователи запрашивают доступ, отправляя доказательства Меркла. Эти доказательства проверяют личность пользователя безопасным и децентрализованным способом. После успешной проверки доказательства контракт чеканит уникальный NFT и переводит его на кошелек пользователя. Этот NFT представляет собой право пользователя на доступ к данным, связанным с этим конкретным неизучаемым примером. Использование NFT гарантирует, что только авторизованные пользователи могут получить доступ к данным на основе децентрализованной, неизменяемой записи. В этом заключается отличие от традиционного управления доступом на основе ролей (RBAC), которое обычно работает на уровне группы и может не обеспечивать детализации, необходимой для приложений с высоким уровнем^{безопасности30}.

Смарт-контракт постоянно проверяет права доступа с помощью функции ownerOf, проверяя право собственности на NFT, чтобы гарантировать, что только авторизованные пользователи могут получить доступ к чистым данным. Администраторы могут отозвать доступ, уничтожив NFT с помощью функции revokeAccess, что обеспечивает гибкость в управлении доступом пользователей с течением времени. Рабочий процесс состоит из четырех важнейших этапов: (1) пользователи отправляют запросы на доступ, содержащие доказательства Меркла; (2) договор проверяет действительность этих доказательств; (3) после успешной проверки контракт чеканит соответствующий NFT; (4) пользователи извлекают зашифрованные данные с помощью идентификатора содержимого IPFS (CID), встроенного в метаданные NFT. Используя NFT, мы получаем ряд преимуществ по сравнению с традиционными механизмами контроля доступа, таких как детальный контроль разрешений (на уровне данных и на уровне группы), улучшенные возможности аудита (неизменяемые записи в сети) и возможность передачи разрешений (транзакции на торговой площадке NFT).

Контракты с мультиподписью реализованы для обновления корневого хэша Меркла, предотвращая несанкционированное вмешательство в данные. Система включает в себя механизмы защиты от Сивиллы, связывая каждый набор данных с уникальным идентификатором tokenId, гарантируя, что злоумышленники не смогут генерировать мошеннические токены для доступа к несанкционированным данным. UE шифруются с помощью AES-256 перед загрузкой в сеть InterPlanetary File System (IPFS). Зашифрованные хеши данных хранятся в блокчейне, в то время как полные наборы данных остаются в IPFS, что снижает накладные расходы на хранение блокчейна. Гибридный подход к сочетанию ончейн-хранилища и офлайн-хранилища обеспечивает баланс между обеспечением доступности данных и снижением затрат на хранение, что является общей проблемой в приложениях на основе блокчейна.

Смарт-контракты используются для динамического управления разрешениями пользователей. Каждому пользователю предоставляется доступ к чистым данным только в том случае, если он владеет соответствующим NFT, который служит его токеном авторизации. Смарт-контракты регистрируют весь доступ к данным в журналах событий, обеспечивая полную отслеживаемость. Эти журналы являются неизменяемыми и могут быть проверены, что обеспечивает прозрачность и подотчетность. Смарт-контракт использует функцию grantAccess для проверки запросов на доступ. Контракт проверяет, есть ли у пользователя соответствующий NFT и, если он действителен, предоставляет доступ к запрашиваемым данным. Каждое событие доступа записывается в блокчейн, что гарантирует, что все действия по извлечению данных могут быть проверены. Каждое событие доступа к данным регистрируется смарт-контрактом в режиме реального времени, который запускает событие AccessGranted. Это событие содержит важную информацию, такую как адрес кошелька пользователя, временная метка доступа и соответствующий идентификатор токена NFT. Динамический характер смарт-контрактов позволяет управлять разрешениями в режиме реального времени. Это особенно полезно в децентрализованных приложениях, где контроль доступа должен быть очень гибким и адаптируемым к изменяющимся условиям.

Чтобы решить проблемы конфиденциальности в публичных блокчейн-средах, система хранит миниатюры с низким разрешением (например, 64 x 64 пикселя) в блокчейне, в то время как исходные изображения с высоким разрешением шифруются и хранятся вне блокчейна в IPFS. Только авторизованные пользователи, владеющие соответствующими NFT, могут получить ключи дешифрования для доступа к данным с высоким разрешением. Неавторизованные пользователи получают версии данных с возмущениями ЦМР в режиме реального времени, гарантируя, что они не смогут получить доступ к исходным данным.

Создание возмущения изображения
Загрузка наборов данных CIFAR10, CIFAR100 и ImageNet. Размеры изображений в наборах данных равномерно изменяются и преобразуются в тензор PyTorch, а тензор изображения нормализуется с использованием среднего значения и стандартного отклонения. Инициализируем случайный шум δ¹, используя распределение Гаусса для генерации начального возмущения. Случайный шум применяется к каждому изображению x, а потери между целевой меткой и прогнозом модели вычисляются на основе потерь перекрестной энтропии. В наборе данных класса C для выборки i, y_i — целевое значение метки, p_i — вероятность предсказания модели, которая количественно определяет разницу между распределением вероятностей, предсказанным моделью, и фактической меткой, максимизируя потери, чтобы модель выдавала ложные прогнозы. Потери кросс-энтропии равны:

Влияние возмущения изображения на прогноз вычисляется в соответствии с функцией потерь, обратное распространение обновляет возмущение, а диапазон возмущения и значение возмущения постоянно обновляются через несколько итераций. Для η скорости обучения формула обновления для возмущения выглядит следующим образом:

Генерация возмущений текста
Загрузка предварительно обученных моделей BERT для создания встраиваемых текстов. Пользовательская сеть TextFeatureExtractor, состоящая из двух блоков Transformer и полностью подключенного слоя, используется для извлечения признаков из текстовых вложений, созданных моделями BERT. Введите сведения о пользователе и метку времени пользователя доступа в предварительно обученную модель BERT и динамически генерируйте текстовый шум через настраиваемую сеть TextFeatureExtractor.

Входное изображение I подается в мультимодальную модель Qwen2.5-VL-7B-Instruct. Руководствуясь структурированной подсказкой, модель генерирует краткое текстовое описание T_q. Этот сгенерированный текст T_q вводится в предварительно обученную языковую модель BERT-base-uncased. С помощью запросов на переписывание для конкретной задачи система генерирует возмущенный текст , который сохраняет семантику при изменении выражения. Сеть TextFeatureExtractor отображает возмущенный текст в высокоразмерный семантический вектор встраивания E_g.

Генерация многоцелевых возмущений
Чтобы обеспечить совместимость между вложениями текста и возмущениями изображения, мы корректируем форму встраиваемого текста в соответствии с размерами возмущения изображения. Пусть E_T и E_q представляют вложения текста, а P_L — возмущение изображения. Процесс изменения формы гарантирует, что E_T и E_q преобразуются в ту же размерность, что и P_L: , где C, H, W — размерности P_L. Определите модуль слияния механизма внимания, который объединяет возмущения встраивания текста и возмущения изображения, динамически корректируя возмущения в соответствии с весом внимания текста. Слияние это:

где α — динамическая регулировка параметров механизма внимания. δ^T — это нарушение текста, вызванное E_q и E_T. Добавьте в процесс обучения термин регуляризации, чтобы не допустить переобучения. Термин регуляризации — это норма L2 встраивания текста, которая наказывает за возмущения. Многокритериальная функция потерь сочетает в себе перекрестные энтропийные потери и термоядерное возмущение, а многокритериальная функция потерь выглядит следующим образом:

Целями функции потерь являются:

где λ — коэффициент регуляризации, используемый для управления штрафной силой возмущения с целью подавления чрезмерного возмущения или переобучения. При изучении состязательных атак было установлено, что это предел возмущения, воспринимаемый человеческим глазом. Определен процесс обучения и оценки, включая генерацию возмущений, расчет потерь, обучение модели и т. д.

Сравнительные эксперименты
Мы провели всестороннюю оценку предложенного динамического шума, минимизирующего ошибки (DEM), по трем существующим методам: шум, минимизирующий ошибки (EM), передаваемые состязательные возмущения (TAP) и стабильный шум, минимизирующий ошибки (SEM). Эти методы были протестированы на трех эталонных наборах данных: CIFAR-10, CIFAR-100 и подмножестве ImageNet с использованием четырех широко распространенных архитектур нейронных сетей: VGG-16, ResNet-18, ResNet-50 и DenseNet-121, чтобы обеспечить различные экспериментальные условия.

Кроме того, мы изучили надежность этих методов, применив модели шумоподавления на основе диффузии для устранения защитного шума и измерив точность примеров шумоподавления на тестовых наборах данных. Этот шаг был направлен на оценку способности каждого метода противостоять атакам восстановления и поддерживать целостность конфиденциальности данных в неблагоприятных условиях. Результаты показывают, что наша ЦМР превосходит другие методы как по надежности, так и по точности во всех наборах данных и архитектурах, демонстрируя свою эффективность в качестве платформы, сохраняющей конфиденциальность.

Results

Блокчейн и фреймворк смарт-контрактов
Экспериментальные результаты показали, что предложенная интегрированная в блокчейн структура генерации и управления необучаемыми примерами (B-UEGMF) в сочетании со смарт-контрактами обеспечивает эффективное динамическое управление доступом к данным, специфичным для клиента. Для авторизованных пользователей точность тестирования полученных чистых данных составила 90,2% на суррогатной модели ResNet-18, оцененной на наборе данных CIFAR-10. Напротив, неавторизованные ...

Discussion

Интеграция блокчейна и пользовательского оборудования продвинула область защиты конфиденциальности данных, предоставив прозрачное и децентрализованное решение для управления доступом к данным. В отличие от традиционных методов сохранения конфиденциальности, которые часто полагаются исключительно^{на методы} возмущения, это исследование устраняет разрыв между защитой данных и отслеживанием ответственности. В сценариях федеративного обучения предлагаемая структура обес...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 12.1	НДВО		Используется для повышения производительности приложений глубокого обучения
NVIDIA A800 80GB PCIe A800 80GB PCIe	НДВО		Используется для обучения модели глубокого обучения
Python 3.10	Python Software Foundation		Используется для предварительной обработки и анализа данных
PyTorch 2.5.1	Фейсбук		Фреймворк глубокого обучения, используемый для обучения моделей
Ubuntu 22.04	Канонический		Операционная система, используемая для настройки среды