$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
ההתקנה
שקלנו משימת סיווג מפוקחת עם מערך
נתונים , שבו
מייצג את תכונות הקלט ומציין
את תוויות המחלקה המתאימות לבעיה במחלקה K. מערך הנתונים D מחולק למערך נתוני אימון נקי ומערך נתוני בדיקה.
המטרה היא לשנות את מערך הנתונים של האימון הנקי על ידי הצגת הפרעות קטנות ובלתי מורגשות δ ליצור מערך
נתונים בלתי ניתן ללמידה , כאשר
+ δ. δ ההפרעה מוגבלת על ידי
, מה שמבטיח שהיא לא תשנה באופן משמעותי את התועלת הרגילה של הנתונים. המטרה העיקרית היא לשבש את הלמידה על ידי אילוץ המודל fθ, המאומן על Du, להתמקד בדפוסים לא רלוונטיים המושרים על ידי הרעש במקום בתכונות המשמעותיות, וכתוצאה מכך הכללה לקויה על מערך נתונים נקי של מבחן:

הדמיית סביבת בלוקצ'יין
כדי להתקין כלי בלוקצ'יין, מסגרת Hardhat משמשת להדמיית רשת Ethereum בסביבה מקומית לפריסת חוזים חכמים ובדיקת יצירת דוגמאות בלתי ניתנות ללמידה. כדי להשיק רשת מקומית, רשת בלוקצ'יין מדומה עם מספר צמתים וחשבונות מאותחלת. לכל צומת מוקצים משאבים כמו Ether כדי להקל על הדמיות טרנזקציות. כדי לפתח חוזים חכמים, הם מיושמים לניהול דינמי של הרשאות משתמש. משתמשים מורשים יכולים לגשת לנתונים נקיים, בעוד שמשתמשים לא מורשים מוגבלים לגישה לדוגמאות בלתי ניתנות ללמידה. ראשית, הגדר סביבת פיתוח המבוססת על Node.js v16.x ו- Hardhat 2.8.4, והשתמש במהדר Solidity 0.8.17 כדי להשלים את ההידור והאופטימיזציה של החוזה החכם. תהליך ההידור מבוצע על ידי שורת הפקודה באמצעות הידור npx hardhat כדי ליצור חפצי בנייה המכילים את ה-ABI ו-bytecode. לאחר מכן, פרוס את החוזה ברשת הבדיקה של Sepolia על ידי הפעלת סקריפט הפריסה npx hardhat להריץ סקריפטים/deploy.js --network sepolia, ולרשום את כתובת חוזה הפלט ואת גיבוב עסקת הפריסה. במהלך שלב בדיקת הביצועים, שלוש בדיקות ליבה מבוצעות ברצף: בדיקת עלות העסקה מתעדת את צריכת הגז על ידי הפעלה מחזורית של שיטת grantAccess של החוזה; בדיקת תפוקה משתמשת בכלי הארטילריה כדי לדמות בקשות משתמשים עם עומס הולך וגדל; עסקאות בדיקה ואימות, כולל אחסון ואחזור נתונים, מתבצעות כדי לאמת את הפונקציונליות של החוזה החכם.
בניית משתמשים בשרשרת ומנגנוני הרשאה
חשבונות משתמשים ייחודיים נוצרים באמצעות ארנקי בלוקצ'יין (למשל, MetaMask), שכל אחד מהם כולל מפתח פרטי ומפתח ציבורי. יישום אב הטיפוס משתמש בסביבת בלוקצ'יין מדומה שבה ישויות משתמשים סינתטיות מעלות מערכי נתונים זמינים לציבור למערכת המבוזרת, ומאחסנות רק ערכי גיבוב קריפטוגרפיים בספר החשבונות המבוזר. זה מבטיח את שלמות הנתונים מבלי לאחסן את הנתונים בפועל בשרשרת, מה שיהיה לא יעיל ויקר. הנתונים בפועל מאוחסנים מחוץ לשרשרת, בדרך כלל באמצעות מערכות אחסון מבוזרות כמו IPFS, מה שמבטיח ניהול נתונים יעיל תוך שמירה על אבטחה ופרטיות. עבור אסימונים שאינם ניתנים להחלפה (NFTs) ובקרת גישה, מחקר זה מיישם מנגנון בקרת גישה עדין באמצעות NFTs התואמים לתקן ERC-721. כל מערך נתונים של דוגמאות בלתי ניתנות ללמידה משויך ל-tokenId ייחודי, המשמש כמפתח לגישה לנתונים. משתמשים מבקשים גישה על ידי הגשת הוכחות מרקל. הוכחות אלו מאמתות את זהות המשתמש בצורה מאובטחת ומבוזרת. לאחר אימות הוכחה מוצלח, החוזה מטביע NFT ייחודי ומעביר אותו לארנק המשתמש. NFT זה מייצג את זכותו של המשתמש לגשת לנתונים המשויכים לאותה דוגמה ספציפית שאינה ניתנת ללמידה. השימוש ב-NFTs מבטיח שרק משתמשים מורשים יוכלו לגשת לנתונים, בהתבסס על רשומה מבוזרת ובלתי ניתנת לשינוי. זאת בניגוד לבקרת גישה מבוססת תפקידים (RBAC) מסורתית, הפועלת בדרך כלל ברמת הקבוצה ועשויה שלא לספק את הפירוט הדרוש עבור יישומים בעלי אבטחה גבוהה30.
החוזה החכם מאמת באופן רציף הרשאות גישה באמצעות פונקציית ownerOf, ובודק את הבעלות על ה-NFT כדי להבטיח שרק משתמשים מורשים יכולים לגשת לנתונים הנקיים. מנהלי מערכת יכולים לבטל גישה על ידי השמדת ה-NFT באמצעות פונקציית revokeAccess, מה שמבטיח גמישות בניהול גישת המשתמשים לאורך זמן. זרימת העבודה התפעולית מורכבת מארבעה שלבים קריטיים: (1) משתמשים מגישים בקשות גישה המכילות הוכחות מרקל; (2) החוזה מאמת את תקפותן של הוכחות אלה; (3) לאחר אימות מוצלח, החוזה מטביע את ה-NFT המתאים; (4) משתמשים מאחזרים נתונים מוצפנים באמצעות מזהה תוכן IPFS (CID) המוטמע במטא נתונים של ה-NFT. על ידי מינוף NFTs, אנו משיגים מספר יתרונות על פני מנגנוני בקרת גישה מסורתיים, כגון בקרת הרשאות עדינה (רמת נתונים לעומת רמת קבוצה), יכולת ביקורת טובה יותר (רשומות בלתי ניתנות לשינוי בשרשרת) ויכולת העברת הרשאות (עסקאות שוק NFT).
חוזים מרובי חתימות מיושמים לעדכון גיבוב השורש של מרקל, ומונעים שיבוש לא מורשה של נתונים. המערכת משלבת מנגנוני אנטי-סיביל על ידי קשירת כל מערך נתונים ל-tokenId ייחודי, מה שמבטיח ששחקנים זדוניים לא יוכלו ליצור אסימונים מזויפים כדי לגשת לנתונים לא מורשים. ה-UEs מוצפנים באמצעות AES-256 לפני שהם מועלים לרשת מערכת הקבצים הבין-פלנטרית (IPFS). גיבובי הנתונים המוצפנים מאוחסנים בשרשרת, בעוד מערכי הנתונים המלאים נשארים ב-IPFS, מה שמפחית את תקורת אחסון הבלוקצ'יין. הגישה ההיברידית של שילוב אחסון בשרשרת ומחוץ לשרשרת יוצרת איזון בין הבטחת זמינות נתונים והפחתת עלויות האחסון, דאגה נפוצה ביישומים מבוססי בלוקצ'יין.
חוזים חכמים משמשים לניהול דינמי של הרשאות משתמשים. לכל משתמש ניתנת גישה לנתונים נקיים רק אם הוא מחזיק ב-NFT המתאים, המשמש כאסימון ההרשאה שלו. חוזים חכמים רושמים את כל הגישה לנתונים ביומני אירועים, ומספקים מעקב מלא. יומנים אלה אינם ניתנים לשינוי וניתנים לביקורת, ומציעים שקיפות ואחריות. החוזה החכם משתמש בפונקציה grantAccess כדי לאמת בקשות גישה. החוזה בודק אם המשתמש מחזיק ב-NFT המתאים, ואם הוא תקף, מעניק גישה לנתונים המבוקשים. כל אירוע גישה נרשם בבלוקצ'יין, מה שמבטיח שכל פעילויות אחזור הנתונים ניתנות לאימות. כל אירוע גישה לנתונים נרשם בזמן אמת על ידי החוזה החכם, שמפעיל אירוע AccessGranted. אירוע זה מכיל מידע חשוב כגון כתובת הארנק של המשתמש, חותמת הזמן של הגישה ומזהה ה-NFT המתאים. האופי הדינמי של חוזים חכמים מאפשר ניהול הרשאות בזמן אמת. זה שימושי במיוחד ביישומים מבוזרים, שבהם בקרת הגישה צריכה להיות גמישה מאוד וניתנת להתאמה לתנאים משתנים.
כדי לטפל בחששות פרטיות בסביבות בלוקצ'יין ציבוריות, המערכת מאחסנת תמונות ממוזערות ברזולוציה נמוכה (למשל, 64 x 64 פיקסלים) בבלוקצ'יין, בעוד שהתמונות המקוריות ברזולוציה גבוהה מוצפנות ומאוחסנות מחוץ לשרשרת ב-IPFS. רק משתמשים מורשים המחזיקים ב-NFT המתאים יכולים לאחזר את מפתחות הפענוח לגישה לנתונים ברזולוציה גבוהה. משתמשים לא מורשים מקבלים גרסאות של הנתונים עם הפרעות DEM בזמן אמת, מה שמבטיח שהם לא יכולים לגשת לנתונים המקוריים.
צור הפרעה בתמונה
טען מערכי נתונים של CIFAR10, CIFAR100 ו-ImageNet. התמונות במערכי הנתונים משתנות באופן אחיד ומומרות לטנזור PyTorch, וטנזור התמונה מנורמל באמצעות הממוצע וסטיית התקן. אתחול רעש אקראי δ1, באמצעות התפלגות גאוס כדי ליצור את ההפרעה הראשונית. רעש אקראי מוחל על כל תמונה x, וההפסד בין תווית היעד לחיזוי המודל מחושב על סמך אובדן האנטרופיה הצולבת. במערך נתונים של מחלקה C, עבור מדגם i, yi הוא ערך תווית היעד, pi הוא הסתברות חיזוי המודל, המכמתת את ההבדל בין התפלגות ההסתברות שחזתה המודל לבין התווית בפועל, וממקסמת את ההפסד כך שהמודל מייצר תחזיות שגויות. אובדן האנטרופיה הצולבת הוא:

השפעת הפרעת התמונה על החיזוי המחושבת על פי פונקציית ההפסד, ההתפשטות ההפוכה מעדכנת את ההפרעה, וטווח ההפרעה וערך ההפרעה מתעדכנים כל הזמן באמצעות איטרציות מרובות. עבור קצב הלמידה η, נוסחת העדכון להפרעה היא:

צור הפרעות טקסט
טען מודלים של BERT מאומנים מראש ליצירת הטמעות טקסט. רשת TextFeatureExtractor מותאמת אישית המורכבת משני בלוקים של שנאי ושכבה מחוברת במלואה משמשת לחילוץ תכונות מהטמעות טקסט שנוצרו על ידי דגמי BERT. הזן את פרטי המשתמש וחותמת הזמן של משתמש הגישה למודל ה-BERT המאומן מראש וצור באופן דינמי רעשי טקסט באמצעות רשת TextFeatureExtractor המותאמת אישית.
תמונת הקלט I מוזנת למודל הרב-מודאלי Qwen2.5-VL-7B-Instruct. בהנחיית הנחיה מובנית, המודל מייצר תיאור טקסטואלי תמציתי Tq. טקסט זה שנוצר Tq מוזן למודל השפה המאומן מראש של BERT-base-uncased. באמצעות הנחיות שכתוב ספציפיות למשימה, המערכת מייצרת טקסט
מופרע המשמר סמנטיקה תוך שינוי הביטוי. רשת TextFeatureExtractor ממפה את הטקסט
המופרע לווקטור הטמעה סמנטי בעל מימדים גבוהים Eg.
יצירת הפרעות מרובות מטרות
כדי להבטיח תאימות בין הטמעות טקסט להפרעות בתמונה, אנו מתאימים את צורת הטמעת הטקסט כך שתתאים למידות הפרעת התמונה. תן ל -E T ו- Eq לייצג את הטמעות הטקסט, ו - PL את הפרעת התמונה. תהליך העיצוב מחדש מבטיח ש-ET ו-Eq יהפכו לאותה מימד כמו PL:
, כאשר C, H, W הם הממדים של PL. הגדר מודול היתוך מנגנון קשב הממזג הפרעות הטמעת טקסט והפרעות תמונה, ומתאים באופן דינמי את ההפרעות בהתאם למשקלי הקשב של הטקסט. המיזוג הוא:

כאשר α היא ההתאמה הדינמית של הפרמטרים של מנגנון הקשב. δT היא הפרעת הטקסט שנוצרת על ידי ה-Eq וה-ET. הוסף מונח הסדרה לתהליך האימון כדי למנוע התאמת יתר. מונח ההסדרה הוא הנורמה L2 של הטמעת הטקסט, המענישה הפרעות. פונקציית ההפסד הרב-אובייקטיבית משלבת אובדן אנטרופיה צולבת והפרעת היתוך, ופונקציית ההפסד הרב-אובייקטיבית היא כדלקמן:

המטרות של פונקציית ההפסד הן:

כאשר λ הוא מקדם רגולציה המשמש לשליטה בכוח העונשין של ההפרעה, במטרה לעכב הפרעה מוגזמת או התאמת יתר. בחקר התקפות יריבות, נמצא כי
זהו גבול ההפרעה המורגש לעין האנושית. תהליך ההדרכה וההערכה מוגדר, כולל יצירת הפרעות, חישוב הפסדים, אימון מודלים וכו'.
ניסויים השוואתיים
ערכנו הערכה מקיפה של הרעש הדינמי הממזער שגיאות (DEM) המוצע מול שלוש שיטות קיימות: רעש מזעור שגיאות (EM), הפרעות יריבות ניתנות להעברה (TAP) ורעש ממזער שגיאות יציב (SEM). שיטות אלו נבדקו על שלושה מערכי נתונים בנצ'מרק: CIFAR-10, CIFAR-100 ותת-קבוצה של ImageNet, תוך שימוש בארבע ארכיטקטורות רשת עצבית שאומצו באופן נרחב: VGG-16, ResNet-18, ResNet-50 ו-DenseNet-121, כדי להבטיח תנאי ניסוי מגוונים.
בנוסף, בחנו את החוסן של שיטות אלו על ידי יישום מודלים של הפחתת רעשים מבוססי דיפוזיה כדי להסיר רעש הגנתי ומדידת הדיוק של הדוגמאות המנופחות במערכי הנתונים של הבדיקה. צעד זה נועד להעריך את יכולתה של כל שיטה להתנגד להתקפות שחזור ולשמור על שלמות פרטיות הנתונים בתנאים עוינים. התוצאות מצביעות על כך שה-DEM שלנו עולה על שיטות אחרות הן בחוסן והן בדיוק בכל מערכי הנתונים והארכיטקטורות, מה שמדגים את יעילותו כמסגרת לשמירה על פרטיות.