מסגרת למידה אינטליגנטית מאוחדת למאגרי נתונים לא קולוקיים והטרוגניים

סיכום

פרוטוקול זה מתאר את יישום מסגרת למידה אינטליגנטית מאוחדת לאימון מודלים מבוזרים של למידת מכונה על פני מערכי נתונים הטרוגניים שאינם קולוקציה, תוך שמירה על פרטיות הנתונים ואפשרות לפרשנות של המודלים.

תקציר

למידה מאוחדת טומנת פוטנציאל משמעותי לאימון מודלים מבוזר תוך שמירה על פרטיות, אך היא מתמודדת עם אתגרים הקשורים להתכנסות, הוגנות ופרשנות בשל ההטרוגניות של מאגרי נתונים שאינם קולוקציה. מחקר זה מציע מסגרת למידה אינטליגנטית מאוחדת (IFLF) שתתמודד עם אתגרים אלו באמצעות גישה אדפטיבית באמצעות ארכיטקטורת רב-שכבתית הכוללת שכבות נתונים, לקוח, אגרגציה, הסתגלות, אופטימיזציה ופרשנות.

המסגרת מדגימה התכנסות יציבה תחת התפלגויות נתונים שאינן IID, כאשר אסטרטגיות אגרגציה התומכות באופטימיזציה מאוזנת. גישת מודולציית קצב הלמידה תורמת לאימון יציב על ידי שילוב עדכוני לקוח הטרוגניים והפחתת סטייה במהלך האופטימיזציה. טכניקות בינה מלאכותית ניתנות להסבר, כולל SHAP ו-LIME, משולבות כדי לשפר את השקיפות הן ברמת הלקוח והן ברמה הגלובלית.

ה-IFLF מוערך על פי ארבעה מאגרי נתונים מדדי המידה (FEMNIST (חזון), FLamby (דימות רפואי), FedGraphNN (למידת גרפים) ו-CICIDS2017 (סייבר)). המסגרת השיגה דיוק ממוצע של 92.8%, עם התכנסות מהירה יותר והפחתת שונות בביצועים בין לקוחות.

מבוא

העלייה המהירה בנתונים מבוזרים שמקורם במכשירים ניידים, מערכות בריאות, חיישנים תעשייתיים ותשתיות סייבר-פיזיות הגבירה את הצורך בטכניקות למידת מכונה שיתופיות שגם שומרות על פרטיות הנתונים. שיטות למידת מכונה קונבנציונליות מתבססות על איחוד נתונים מרכזי, שבו מאגרי נתונים ממקורות שונים נאספים ומאוחסנים במאגר אחד. למרות שגישה כזו מקלה על הכשרה למודלים, היא מעלה חששות הקשורים לפרטיות נתונים, עמידה ברגולציה ועומס תקשורת. הלמידה המפוחדת (FL) הוכרה כגישה מבטיחה המאפשרת למספר לקוחות לאמן במשותף מודל גלובלי מבלי לחשוף את הנתונים המקומיים^{שלהם 1}. במערכת הלמידה המבוזרת הזו, הלקוחות מאמנים מודלים מקומיים, ורק עדכוני מודלים משותפים עם שרת מרכזי. גישה זו מפחיתה סיכוני פרטיות תוך מתן אפשרות לפיתוח מודלים שיתופי בסביבות מבוזרות ^2,3.

עם זאת, למידה פדרטיבית מתמודדת עם מגבלות בפריסה מעשית. אחד האתגרים המרכזיים הוא הטרוגניות סטטיסטית, שבה מערכי הנתונים של הלקוחות עוקבים אחרי התפלגויות שונות. התפלגויות נתונים שאינן IID משפיעות באופן משמעותי על יציבות ההתכנסות והכללת המודל באופטימיזציה פדרטיבית⁴. כדי להתמודד עם בעיה זו, הוצעו מספר שיטות. FedProx מציגה מונח רגולריזציה פרוקסימלית כדי לייצב את ההכשרה בקרב לקוחות הטרוגניים⁵. FedNova מתאימה אי-עקביות אובייקטיביות הנובעות מהשתתפות לא מאוזנת^{של לקוחות 6}. בנוסף, הוצעו אסטרטגיות אופטימיזציה אדפטיבית בצד השרת לשיפור התכנסות⁷, בעוד ש-SCAFFOLD משתמשת בטכניקות הפחתת שונות כדי לצמצם סטייה של הלקוחות במהלך אופטימיזציה מבוזרת⁸.

מחקרים עדכניים בחנו טכניקות של אשכולות והתאמה אישית לטיפול בהטרוגניות בסביבות פדרליות. מסגרות למידה מאוגדות מקובצות מקבצות לקוחות עם התפלגויות נתונים דומות כדי לשפר עקביות אימון וביצועי מודלים ^9,10. שיטות למידה מותאמות אישית כמו Ditto ו-FedAMP שואפות לאזן בין ביצועי מודלים גלובליים לבין התאמה ספציפית ללקוח^11,12. באופן דומה, שיטות כמו pFedMe ו-Per-FedAvg משתמשות בכוונון עדין מבוסס רגולריזציה להתאמה ברמת הלקוח^13,14. גישות נוספות, כולל FedRep ו-FedRoD, מפרידות ייצוגים גלובליים וייצוגים ספציפיים ללקוח עבור הכשרה פדרטיבית עצמאית^15,16.

אתגר נוסף בלמידה פדרטיבית הוא הטרוגניות משאבים ויכולת הרחבה של מערכת. במערכות מבוזרות בקנה מידה גדול, ללקוחות לעיתים קרובות יש יכולות חישוביות ורוחבי פס תקשורת משתנים. FedBN מטפל בהטרוגניות בהתפלגות תכונות באמצעות נרמול אצווה מקומי¹⁷. מסגרות למידה פדרטיביות מבוססות שכבות מארגנות את הלקוחות לשכבות הדרכה היררכיות לניהול הבדלי משאבים¹⁸. אסטרטגיות לבחירת לקוחות כמו HACCS ו-Oort משפרות את יעילות המערכת על ידי מתן עדיפות למשתתפים אמינים במהלך ההדרכה^19,20. פלטפורמות הבנצ'מרקינג כמו FedScale תומכות בהערכה רחבת היקף של אלגוריתמים למידה פדרטיבית²¹.

יעילות התקשורת היא דאגה מרכזית נוספת בלמידה הפדרטיבית, לאור חילופי עדכוני מודלים תכופים בין לקוחות מבוזרים. הגישות הקיימות כוללות אסטרטגיות אימון יעילות לתקשורת כגון ממוצע תקופתי וכימות מודל²², וכן טכניקות דחיסת מודלים. זיקוק ידע מפחית את עלות התקשורת על ידי העברת ייצוגים קומפקטיים תוך שמירה על ביצועים²³. גישות נוספות כוללות הפחתת השתתפות הלקוח ויישום טכניקות דחיסה במסגרת ההכשרה המבוזרת²⁴. שיטות אופטימיזציה כמו Quped ו-FetchSGD מתמודדות גם עם אתגרי תקשורת ויעילות זיכרון^25,26.

מעבר לאופטימיזציה ותקשורת, פרשנות הפכה להיבט חשוב במערכות למידה מאוחדות. שיטות בינה מלאכותית (XAI) ניתנות להסבר כמו SHAP ו-LIME מספקות הסברים ברמת התכונות לחיזוי המודלים. טכניקות אלו תומכות בהבנת התנהגות המודל בתחומים קריטיים כגון בריאות ואבטחת סייבר^{2 7,2 8}. מחקרים עדכניים מדגישים כי שילוב הסברים במערכות למידה מאוחדות משפר שקיפות ואמינות^.

מחקר זה מציע מסגרת למידה אינטליגנטית מאוחדת (IFLF) לשיפור יציבות התכנסות, הוגנות, יעילות תקשורת ויכולת פרשנות בסביבות פדרטיביות הטרוגניות. המסגרת משלבת אגרגציה מבוססת אמינות, מנגנוני אופטימיזציה אדפטיבית וטכניקות בינה מלאכותית ניתנות להסבר בתוך ארכיטקטורה מאוחדת.

המסגרת בנויה כמערכת רב-שכבתית הכוללת שכבות נתונים, לקוח, אגרגציה, הסתגלות, אופטימיזציה, ושכבות פרשנות. אגרגציה חכמה משלבת מדדי אמינות ודמיון של הלקוח לקביעת משקל אדפטיבי. מנגנון מודולציית קצב למידה אדפטיבי תומך באופטימיזציה יציבה בין התפלגויות לקוח הטרוגניות. רכיבי פרשנות מספקים הסברים על תחזיות מודל בסביבות מבוזרות.

מחקר זה בוחן את השפעת האגרגציה האינטליגנטית, מודולציית קצב הלמידה האדפטיבית ומנגנוני פרשנות בסביבות למידה פדרטיות הטרוגניות. הוא מעריך כיצד אסטרטגיות אגרגציה משפיעות על יציבות ההתכנסות ועל ביצועי המודלים, כיצד מודולציית קצב למידה אדפטיבית תומכת באימון תחת הטרוגניות נתונים, וכיצד טכניקות פרשנות משפרות את שקיפות המודל. מסגרת הלמידה המאוחדת החכמה המוצעת בנויה בחמש שכבות—שכבת נתונים, שכבת לקוח, שכבת אגרגציה, שכבת התאמה ואופטימיזציה, ושכבת פרשנות—המאפשרת אימון מאוחד יעיל ויציב בסביבות מבוזרות. ההערכה מתחשבת בהיבטים מרכזיים של ביצועים, כולל התנהגות התכנסות, הוגנות, יעילות תקשורת ויכולת פרשנות, תוך שימוש במספר מערכי נתונים של מבחנים.

לקוחות מבוזרים מבצעים הדרכה מקומית על מערכי נתונים פרטיים ומעבירים עדכוני מודלים מוצפנים לשרת מרכזי. השרת מעריך את אמינות הלקוח והדמיון, מחשב משקלי אגרגציה ועדכון המודל הגלובלי. התאמת קצב הלמידה האדפטיבית תומכת בהתכנסות יציבה, ושיטות AI מוסברות מספקות פלטים ניתנים לפרשנות. שאר המאמר מאורגן כך. מדור העבודה הקשורה סוקר התקדמות אחרונה בלמידה הפדרטיבית ההטרוגנית. סעיף הפרוטוקול מתאר את יישום המסגרת המוצעת. מדור התוצאות מציג ממצאים ניסיוניים, והדיון מפרט את ההשלכות והכיוונים העתידיים.

עבודות קשורות
מחקרים אחרונים עסקו בלמידה פדרטיבית הטרוגנית במגוון מודאליות נתונים ותחומי יישום. גישות למידה פדרטיבית מונחות אב-טיפוס מאפשרות שיתוף פעולה בין מוסדות מבוזרים על ידי שיתוף אב-טיפוס מייצגים במקום נתונים גולמיים³¹. FedGraphNN מספקת פלטפורמת השוואה להערכת אלגוריתמים של למידה פדרלית בהגדרות רשת נוירונים גרפית³². OpenFGL תומכת בבנצ'מרקינג רחב היקף בין תרחישי למידה פדרטיבית³³. FLamby מציעה מערכי נתונים בריאותיים חוצי סילו ללמידה מאוחדת תחת מגבלות פרטיות מחמירות³⁴.

מסגרות ברמת המערכת פותחו גם הן לתמיכה בפריסות למידה פדרטיבית ניתנות להרחבה. Flower מספקת תשתית גמישה ליישום והערכת אלגוריתמים של למידה פדרטיבית בסביבות מבוזרות³⁵. שיטות זיקוק דינמיות הוצעו לשיפור ביצועי המודל תחת התפלגויות נתונים הטרוגניות³⁶. בנוסף, מחקרי סקר מדגישים אתגרים מרכזיים הקשורים להטרוגניות, יכולת הרחבה ופרשנות במערכות למידה פדרטיבית³⁷. עבודות אלו מדגישות יחד את הצורך במסגרות מאוחדות המשלבים אגרגציה אדפטיבית, אסטרטגיות אופטימיזציה ומנגנוני פרשנות ללמידה מאוחדת חזקה ביישומים אמיתיים.

פרוטוקול

סקירה כללית
מסגרת למידה אינטליגנטית מאוחדת (IFLF) פותחה לניהול יעיל של הטרוגניות נתונים ומערכות בסביבות שאינן קולוקציה. ארכיטקטורת המערכת כללה חמש שכבות: שכבת הנתונים, שכבת הלקוח, שכבת האגרגציה, שכבת ההתאמה והאופטימיזציה, ושכבת הפרשנות. המודולים הוצבו על מערכת מחשוב מבוזרת עם שרת אגרגציה מרכזי וצמתים מרובים של לקוחות. חיבורי שקע מאובטחים (SSL/TLS) שימשו לתקשורת בין צמתים כדי להבטיח פרטיות ושלמות נתונים. ההליך הבא שימש להכנת מערכי נתונים, הקמת הארכיטקטורה, ביצוע הכשרות פדרטיביות והערכת יכולת פרשנות.

תצורת סביבה חישובית
הסביבה החישובית הוגדרה על ידי התקנת מסגרות התוכנה הנדרשות ליישום מסגרת הלמידה המאוחדת. פייתון שימשה כשפת התכנות הראשית לפיתוח מודלים וניסויים. ספריות למידת מכונה כולל TensorFlow או PyTorch הותקנו לאימון רשתות עצביות, יחד עם ספריות נוספות כמו NumPy, Scikit-learn ו-Pandas לעיבוד וניתוח נתונים מוקדמים. הותקנו ספריות למידה מאוחדות כמו Flower או PySyft כדי לדמות סביבות לקוח מבוזרות. סביבת המחשוב הוגדרה על תחנת עבודה המצוידת בהאצת GPU, כאשר זמינה. כל הלקוחות ושרת האגרגציה הוגדרו לתקשר דרך חיבורי שקע מאובטחים (SSL/TLS). כל מערכי הנתונים הנדרשים אושרו כנגישים בתוך האחסון המקומי של כל צומת לקוח לפני תחילת ההדרכה המאוחדת. מסגרות התוכנה, מערכי הנתונים והסביבה החישובית הנדרשים לשחזור הפרוטוקול מסוכמים בטבלת החומרים.

אתחול של צמתים מאוחדים
שרת האגרגציה המרכזי הוגדר באמצעות מסגרת הלמידה הפדרטיבית Flower. שרת האגרגציה הופעל באמצעות הפקודה הבאה:

פייתון server.py --מסובב 100 --לקוחות 10 --secure_connection נכון

צמתים בודדים של לקוח הופעלו על מסופים נפרדים או סביבות מחשוב באמצעות הפקודה הבאה:
פייתון client.py --client_id 01

תקשורת מאובטחת בסוקט הוגדרה על ידי יצירת תעודות SSL/TLS באמצעות כלי OpenSSL.
דרישת openSSL -x509 -newkey RSA:4096 -keyout key.pem -out cert.pem -days 365

תקשורת מאובטחת בין השרת ללקוחות הופעלה על ידי הגדרת מסלולי התעודה בקובץ הקונפיגורציה. הקישוריות אושרה על ידי ביצוע סבב תקשורת ניסיוני לפני תחילת תהליך ההכשרה המאוחד.

הכנת מערך נתונים ותיאור
נבחרו מערכי נתונים ציבוריים מייצגים להערכת ביצועים בתחומים ומודאליות נתונים שונים. FEMNIST הוא מסד נתונים מתקדם של MNIST לזיהוי תווים בכתב יד, הכולל 62 מחלקות (A–Z, a–z, ספרות 0–9), כאשר כל לקוח מייצג את נתוני כותב אחד, מה שיוצר התפלגויות טבעיות שאינן IID. FLamby הוא מדד הדמיה רפואית המורכב ממאגרי נתונים רפואיים חוצי-סילו שונים (למשל, MRI לב, תמונות היסטופתולוגיות), כאשר כל בית חולים או מוסד פועלים כלקוח פדרטיבי. FedGraphNN הוא נקודת ייחוס לרשתות עצביות גרפיות, המכסה משימות כמו רשתות ציטוט, סיווג מולקולות וגרפים חברתיים, שבהן לקוחות מכילים תת-גרפים או תכונות צמתים שונות. CICIDS2017 הוא מאגר נתונים לאבטחת סייבר לזיהוי חדירות עם יותר מ-80 תכונות של זרימות תעבורת רשת בין סוגי תקיפה כמו DDoS, PortScan ו-Botnet, כאשר כל לקוח מייצג תחום רשת נפרד או חיישן.

סטטיסטיקות מאגר נתונים
המאפיינים המרכזיים של מערכי הנתונים ששימשו בניסויים סוכמו כדי להבטיח שחזוריות של מערכת הלמידה המאוחדת. FEMNIST מכיל כ-805,263 דגימות תווים בכתב יד המפוזרות על פני 3,550 כותבים, כאשר 62 מחלקות המייצגות אותיות גדולות, אותיות קטנות וספרות, וכל לקוח מתאים לכותב יחיד עם כ-200–300 דגימות בממוצע. FLamby מספקת מאגרי נתונים רפואיים חוצי סילו, ובמחקר זה, מאגר הדימות הרפואי מכיל כ-20,000 דגימות שנאספו ממספר בתי חולים, כאשר כל בית חולים פועל כלקוח פדרטיבי עצמאי. FedGraphNN כוללת מספר מערכי נתונים ללמידת גרפים כגון רשתות ציטוט וגרפים של מולקולות, הכוללים בדרך כלל אלפי צמתים וקטורים של תכונות צמתים בטווח של 50–500 ממדים בהתאם למשימה. CICIDS2017 מכיל כ-2.8 מיליון זרמי תעבורת רשת עם 80 תכונות סטטיסטיות המופקות מחבילות הרשת, וכולל מספר קטגוריות תקיפה כגון DDoS, PortScan ותעבורת בוטנט, כאשר כל לקוח מאוחד מייצג סביבת רשת שונה או חיישן ניטור. מערכי הנתונים ששימשו במחקר זה פורסמו בין השנים 2017 ל-2023 וזמינים לציבור למחקר למידה פדרטיבית. המאפיינים הסטטיסטיים של מערכי הנתונים ששימשו בניסויים מסוכמים בטבלה 1.

מערך נתונים	תחום	דגימות	מאפיינים	מחלקות	לקוחות	שנת יציאה
פמיניסטית	חזון (דמויות בכתב יד)	8,05,263	פיקסלי תמונה (28×28)	62	3,550	2017
פלמבי	הדמיה רפואית	~20,000	מאפייני תמונה	בינארי / רב-מחלקתי	5	2023
FedGraphNN	למידת גרפים	~10k–100k צמתים	תכונות של 50–500 צומת	תלוי במשימה	7	2021
CICIDS2017	אבטחת סייבר	~2.8 מיליון זרימות	80	מספר מחלקות התקפה	10	2017

טבלה 1: סיכום מאגרי הנתונים ששימשו בניסויים במסגרת הלמידה האינטליגנטית המאוחדת. הטבלה מסכמת את מאפייני מערכי הנתונים ששימשו במחקר זה, כולל תחום היישום, סך כל הדגימות, מספר התכונות, מספר המחלקות, מספר הלקוחות המאוגדים ושנת שחרור מערכי הנתונים. סטטיסטיקות אלו מספקות סקירה של מודאליות הנתונים ההטרוגניות המשמשות להערכת המסגרת.

הטרוגניות ברמת הלקוח
הטרוגניות ברמת הלקוח הוכנסה באמצעות חלוקת מערכי נתונים. למרות שארבעה מערכי נתונים מתחומים שונים שימשו להערכה, הוכנסה הטרוגניות בכל מאגר נתונים פדרטיבי באמצעות חלוקה ברמת הלקוח. כל מערך נתונים חולק בין מספר לקוחות, מה שהוביל להתפלגויות נתונים מקומיות לא זהות (non-IID). תת-קבוצות שונות של מדגמים או מחלקות הוקצו ללקוחות בודדים כדי לדמות תנאי למידה פדרטיביים ריאליסטיים, המייצגים הטרוגניות סטטיסטית בכל מאגר נתונים. כ-5–10% מכלל מאגר הנתונים הוקצה לכל לקוח תוך שמירה על חוסר איזון מחלקתי כדי לדמות סביבות אמיתיות שאינן IID מאוחדות. המונח מערכי נתונים הטרוגניים במחקר זה מתייחס להטרוגניות סטטיסטית ברמת הלקוח ולא להבדלים בין מערכי נתונים ניסיוניים עצמאיים. מערכי הנתונים של הבנצ'מרק הציגו סוגים שונים של הטרוגניות סטטיסטית, כולל שונות בסגנונות כתיבה בודדים ב-FEMNIST, הבדלים בפרוטוקולי הדמיה ודמוגרפיה של מטופלים במאגרי FLamby, שונות מבנית במאגרי FedGraphNN ודפוסי תעבורת רשת מגוונים CICIDS2017, שיצרו יחד התפלגויות נתונים ריאליסטיות שאינן IID שמאתגרות אלגוריתמים אופטימיזציה מאוחדים.

עיבוד מוקדם ספציפי למאגר נתונים
בוצעו פעולות קדם-עיבוד ספציפיות למאגרי נתונים כדי לתקן פורמטים של קלט לפני ההכשרה המאוחדת. ב-FEMNIST, תמונות תווים בכתב יד הומרו לגווני אפור, גודלו שונה ל-28×28 פיקסלים, ונרמלו לטווח [0, 1], כאשר דגימות פגומות או לא שלמות הוסרו ותוויות מחלקות קודדו ב-one-hot, ודגימות אורגנו לפי מזהי כותבים כך שכל כותב יתאים ללקוח מאוחד. ב-FLamby, תמונות רפואיות שונו לגודל של 224×224 פיקסלים, נורמל באמצעות ממוצע וסטיית תקן ספציפית למאגר נתונים, הוגדלו באמצעות טכניקות כמו הפיכה אופקית, סיבוב וקונטרסט, וחולקו לפי מזהי בתי חולים. עבור FedGraphNN, מבני גרפים נבנו על ידי הגדרת תכונות צומתים, מטריצות שכנות ויחסי קשתות, וקטורי תכונות הצמתים נורמליזציה, נתוני הגרף הומרו לייצוגי סמיכות דלילים, והגרפים חולקו בין לקוחות כתת-גרפים. עבור CICIDS2017, הוסרו רשומות כפולות, ערכים חסרים הוחדרו לממוצע, תכונות קטגוריות קודדו, הוחל נרמול תכונות, ותעבורת תקלה ותעבורת התקפה אוזנה באמצעות דגימה שכבתית. כל מערך נתונים של לקוח חולק לתת-קבוצות של 80% אימון, 10% אימות ו-10% בדיקות, כדי להבטיח שימור התפלגויות המחלקות. מערכי הנתונים של הלקוח נשמרו בתיקיות נפרדות (Client_01, Client_02, ...), והגישה לצמתים המקומיים הוגבלה מטעמי פרטיות.

ארכיטקטורה של מסגרת הלמידה המאוחדת החכמה (IFLF)
מסגרת הלמידה המאוחדת החכמה אורגנה לארכיטקטורה בת חמש שכבות הכוללת שכבת נתונים, שכבת לקוח, שכבת אגרגציה, שכבת התאמה ואופטימיזציה, ושכבת פרשנות, כפי שמודגם באיור 1. השכבות האדריכליות תוכננו להעביר מידע ברצף. לאחר הכנה וחלוקה של מערכי נתונים הטרוגניים לפי בעלות הלקוח, שכבת הנתונים שידרה מידע לשכבת הלקוח, שם הוכנסו מודלים מקומיים ונוצרו עדכוני מודלים. עדכונים אלו נשלחו לשכבת האגרגציה, שם מדדי אמינות ודמיון הנחו את צבירת תרומות הלקוחות המשוקללות. שכבת ההתאמה והאופטימיזציה הבטיחה תהליך אימון גלובלי חלק על ידי שינוי פרמטרי קצב הלמידה בהתאם לשונות הגרדיאנט. לבסוף, שכבת הפרשנות השתמשה בשיטות בינה מלאכותית ניתנות להסבר כמו SHAP ו-LIME כדי לפרש את המודל הגלובלי ולהפיק הסברים לתחזיות.

איור 1. ארכיטקטורה של מסגרת הלמידה המאוחדת החכמה. המסגרת מחולקת לחמש שכבות: נתונים, לקוח, אגרגציה, התאמה ואופטימיזציה, ויכולת פרשנות. נתונים מלקוחות הטרוגניים שאינם קולוקציונליים מעובדים מקומית, מאוגדים על בסיס אמינות ודמיון, מותאמים אדפטיבית, ומפורשים באמצעות SHAP או LIME. החצים מציינים את התקשורת האיטרטיבית בין הלקוחות לשרת המרכזי היוצרת את לולאת הלמידה המאוחדת. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

שכבת הנתונים
מערכי הנתונים חולקו לפי דרישות בעלות הלקוח ופרטיות, כאשר מקומות אחסון ייעודיים נשמרו לכל לקוח. הוחלו צינורות עיבוד מקדים שונים, ותכונות נורמלו כדי להבטיח פורמטים סטנדרטיים של קלט בין תחומים.

שכבת לקוח
הוקמו לקוחות מבוזרים המייצגים מכשירים, ארגונים או מוסדות, שכל אחד מהם קיבל עותק זהה של המודל הגלובלי המאותחל עם אותם פרמטרים. הדרכה מקומית בוצעה באמצעות מאגרי נתונים ייעודיים ללקוח עם שיטות אופטימיזציה כמו ירידת גרדיאנט סטוכסטית או אדם, בעוד שרק פרמטרים או גרדיאנטים של מודל הועברו לשמירה על פרטיות הנתונים.

שכבת אגרגציה
יחידת אגרגציה מרכזית קיבלה עדכוני מודל מוצפנים מכל הלקוחות והעריכה את האמינות והדמיון שלהם לפני האגרגציה. ציוני אמינות המבוססים על ביצועי אימות שימשו לקביעת חשיבות עדכוני הלקוח, והדמיון בין עדכונים הוערך באמצעות שיטות כמו אשכולות או דמיון קוסינוס. בוצעה אגרגציה משוקללת, והמודל הגלובלי המעודכן הופץ מחדש ללקוחות.

שכבת התאמה ואופטימיזציה
פרמטרי האופטימיזציה הותאמו דינמית בהתבסס על התקדמות ההכשרה בין הלקוחות. קצבי הלמידה נקבעו כדי להפחית שונות עדכונים, וטכניקות נוספות כמו רגולריזציה פרוקסימלית ומשקל אדפטיבי יושמו כדי להפחית סטייה אצל הלקוח ולשיפור יציבות ההתכנסות.

שכבת פרשנות
שיטות בינה מלאכותית ניתנות להסבר כמו SHAP ו-LIME שימשו ליצירת ציוני ייחוס תכונות והסברים למודלים. התוצרים כללו דירוגי חשיבות תכונות, מפות ייחוס והסברים ויזואליים, שפורשו בהקשר של ידע ספציפי לתחום כדי להבטיח שקיפות.

הכשרה פדרטיבית
מסגרת הלמידה האינטליגנטית המאוחדת יושמה באמצעות אתחול המודל הגלובלי בשרת האגרגציה המרכזי, ואחריה הגדרת היפרפרמטרים של אימון, כולל קצב למידה, סבבי תקשורת ותקופות מקומיות. פרמטרי המודל הגלובליים חולקו לכל הלקוחות, אשר ביצעו הדרכה מקומית באמצעות מאגרי הנתונים הפרטיים שלהם. אובדן אימון מקומי ודיוק אימות חושבו, ועדכוני מודלים נוצרו והוצפנו לפני ההעברה לשרת האגרגציה. אמינות עדכוני הלקוח הוערכה על בסיס ביצועי אימות באמצעות משוואה 1.

(1)

כאשר Acc_i מייצג את דיוק האימות של לקוח i.

הדמיון בין עדכוני הלקוח חושב באמצעות דמיון קוסינוס של וקטורי גרדיאנט, כפי שמוגדר במשוואה 2.

(2)

כאשר g_i ו-g_j מייצגים את וקטורי הגרדיאנט של לקוחות שונים.

משקלי אגרגציה אדפטיביים חושבו על ידי שילוב ציוני אמינות ודמיון, כפי שהוגדרו במשוואה 3.

(3)

משקל האגרגציה האדפטיבי עבור כל לקוח נקבע על ידי שילוב ציוני אמינות ודמיון. מדד האמינות שיקף את דיוק האימות של מודל הלקוח המקומי, בעוד מדד הדמיון מדד את דמיון הקוסינוס בין עדכוני גרדיאנט של הלקוח.

לכן, משקל האגרגציה w נתן עדיפות ללקוחות שהפגינו גם ביצועי אימות אמינים וגם הפגינו כיווני עדכון עקביים עם מטרת האופטימיזציה הגלובלית.

המשקלים המנורמליים הבטיחו שהתרומה הכוללת של כל הלקוחות המשתתפים תסכם לאחד, ובכך שמרו על יציבות בעדכון המודל הגלובלי.

המשקלים נורמל כך ש -.

עדכון מודל גלובלי
מודלי הלקוח אוגדו באמצעות ממוצע משוקלל, כפי שמוצג במשוואה 4.

(4)

כאשר M_i מייצג את הפרמטרים המקומיים של לקוח i.

פרמטרי המודל הגלובליים המעודכנים שודרו לכל הלקוחות.

מודולציית קצב למידה אדפטיבי
השונות של גרדיאנטים של הלקוחות בין סבבי התקשורת נעקבה. קצב הלמידה הותאם דינמית לפי משוואה 5.

(5)

כאשר Var(g) מייצג שונות גרדיאנטית בין לקוחות.

קצב הלמידה המעודכן יושם במהלך מחזור ההכשרה המקומי הבא. קצב הלמידה האדפטיבי נשלט על ידי שרת האגרגציה המרכזי והופעל באופן גלובלי על כל הלקוחות במהלך סבבי ההדרכה הבאים. התאמה גלובלית זו הבטיחה התנהגות אופטימיזציה עקבית תוך התחשבות בשונות בעדכוני הלקוח. מכיוון שמודולציית קצב הלמידה בוצעה ברמת השרת, כל הלקוחות המשתתפים קיבלו את קצב הלמידה המעודכן יחד עם פרמטרי המודל הגלובלי של השידור.

הערכת ביצועי למידה מאוחדת
דיוק המודל הגלובלי הוערך באמצעות מאגר הנתונים המצטבר, כפי שמוצג במשוואה 6.

(6)

כאשר TP מייצג את מספר התחזיות החיוביות האמיתיות, TN מייצג תחזיות שליליות אמיתיות, FP מייצג תחזיות חיוביות שגויות, ו-FN מייצג תחזיות שליליות שגויות

ההגינות בין לקוחות נמדדה על ידי חישוב שונות דיוק הלקוח.

עלות התקשורת חושבה כמספר הפרמטרים הכולל של המודל שהועברו בין לקוחות לשרת האגרגציה בכל סבבי התקשורת. לכן, העומס הכולל לתקשורת הוערך כפי שמוצג במשוואה 7.

(7)

כאשר R הוא מספר סבבי התקשורת, C הוא מספר הלקוחות, ו-S מייצג את גודל המודל.

ניתוח פרשנות מודלים בוצע באמצעות SHAP לחישוב ציוני חשיבות תכונות גלובליים ו-LIME ליצירת הסברים מקומיים לתחזיות בודדות. תוצאות ייחוס תכונות הוצגו כדי לפרש התנהגות של המודלים.

פתרון תקלות
התכנסות לא יציבה התרחשה כאשר מערכי הנתונים של הלקוח היו הטרוגניים מאוד או הכילו התפלגויות מחלקות לא מאוזנות במיוחד. במקרים כאלה, תקופות האימון המקומיות קוצצו או קצב הלמידה הראשוני הופחת כדי לייצב עדכוני גרדיאנט. התפלגויות לקוחות מוטות מאוד הובילה לדומיננטיות של מספר קטן של לקוחות במהלך האגרגציה, שהופחתה על ידי התאמת סף משקל האמינות או הגדלת המגוון בהשתתפות הלקוחות. השתתפות לקוחות לא אמינה שנגרמה מהפרעות ברשת שיבשה סבבי תקשורת; לכן, השתתפות חלקית הופעלה, מה שאפשר לשרת האגרגציה להמשיך עם עדכוני לקוח זמינים. כשל בפרשנות או ייחוס תכונות לא עקבי נוצר כאשר מודלים עברו רגולריזציה יתר על המידה או אומנו על נתונים לא מספקים, ושלבי קדם-עיבוד הנתונים אומתו תוך הבטחת יצירת הסברים של SHAP או LIME לאחר התכנסות המודלים.

הרצף האיטרטיבי של אתחול המודל, אימון מקומי, אגרגציה חכמה, אופטימיזציה אדפטיבית וניתוח פרשנות מוצג באיור 2, המייצג את תהליך העבודה הכולל של מסגרת הלמידה הפדרטיבית החכמה (IFLF).

איור 2. זרימת העבודה של מסגרת הלמידה האינטליגנטית המאוחדת. האיור מתאר את מחזור השלבים האיטרטיביים, הכולל אתחול, אימון מקומי, אגרגציה, אופטימיזציה אדפטיבית ופרשנות, וממחיש את הפעולה מקצה לקצה של המסגרת. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

הערכת ביצועים
חושבו מדדים גלובליים ומקומיים כולל דיוק, דיוק, זיכרון וציון F1. ההגינות נמדדה באמצעות שונות הדיוק המקומי של הלקוח. יעילות התקשורת נבדקה לפי גודל הנתונים שהועברו בכל סבב. ביצועי המודל הוערכו מול קווי בסיס מאוגדים טיפוסיים כמו FedAvg, FedProx ו-FedOpt. התוצאות הוצגו באמצעות עקומות התכנסות, מטריצות בלבול וגרפים של פרשנות. כל הגדרות הניסוי, הלוגים ונקודות הביקורת נשמרו כדי להבטיח שחזור.

סיכום זרימת העבודה
מחזור ה-IFLF בוצע על ידי חזרה מתמדת על אימון מקומי, אגרגציה חכמה, אופטימיזציה אדפטיבית וניתוח פרשנות. פרטיות הנתונים נשמרה על ידי שמירת נתונים בצמתים מקומיים תוך מתן אפשרות לשיפור מודל שיתופי. צעדים אלו כללו מנגנונים לטיפול בהגינות, שקיפות וביצועים בקרב לקוחות שאינם מוקמים.

תוצאות

סקירה כללית
כל תוצאות הניסוי שדווחו במחקר זה נמדדו בממוצע על פני חמש ריצות עצמאיות עם אתחולים אקראיים שונים ותצורות דגימה שונות של הלקוח כדי להבטיח עמידות. מדדי ביצועים, כולל דיוק, דיוק, זיכרון וציון F1, מוצגים כסטיית תקן ממוצעת ±. סטיית התקן שנצפתה בין ריצות נשארה בטווח קטן (בדרך כלל ±0.5% עד ±1.2%), מה שמעיד על ביצועים יציבים ועקביים של המסגרת המוצעת תחת הגדרות פדרטיביות הטרוגניות.

מסגרת הלמידה המאוחדת החכמה (IFLF) נבדקה על ארבעה מערכי נתונים מדדיים – FEMNIST, FLamby, Fed...

דיון

מסגרת הלמידה המאוחדת החכמה המוצעת (IFLF) מתמודדת עם אתגרים בלמידה מפדרטיבית הנובעים מסביבות הטרוגניות ומבוזרות. הערכה שיטתית בארבעה מערכי נתונים מצביעה על כך ששילוב אגרגציה ואופטימיזציה אדפטיבית משפר את יציבות ההתכנסות ואת ביצועי המודל הגלובליים. על ידי שילוב אמינות ודמיון של הלקוח בתהליך האגרגציה, המסגרת מפחיתה את השפעת עדכונים לא עקביים תוך מתן משקל רב יותר לתרומות אמינות יותר של לקוחות במהלך אופטימיזציה גלובלית. גישה זו משיגה דיוק גבוה יותר והתכנסות מהירה יותר מאשר אלגוריתמים בסיסיים ...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
מערך הנתונים CICIDS2017	המכון הקנדי לאבטחת סייבר	מאגר נתונים ציבורי	זיהוי חדירה
מערך הנתונים FedGraphNN	FedGraphNN	מאגר נתונים ציבורי	למידת גרפים
מערך נתונים FEMNIST	מדד LEAF	מאגר נתונים ציבורי	מערך נתונים של חזון
מערך הנתונים של FLamby	פרויקט פלמבי	מאגר נתונים ציבורי	מאגר נתונים בתחום הבריאות
פרח	מסגרת הפרחים	1.6	סימולציית למידה מאוחדת
תחנת עבודה של GPU	NVIDIA	כרטיס RTX	אימון מודלים
NumPy	מפתחי NumPy	1.26	חישוב נומרי
פייתון	קרן התוכנה של פייתון	3.1	שפת תכנות
Scikit-learn	Scikit-learn	1.3	כלי למידת מכונה
TensorFlow / PyTorch	גוגל / מטא	העדכונים האחרונים	מסגרת למידה עמוקה