إطار التعلم الذكي الموحد لمجموعات البيانات غير المتمركزة وغير المتجانسة

ملخص

يصف هذا البروتوكول تنفيذ إطار عمل التعلم الموحد الذكي لتدريب نماذج التعلم الآلي الموزعة عبر مجموعات بيانات غير متجانسة وغير متزامنة، مع الحفاظ على خصوصية البيانات وتمكين قابلية تفسير النماذج.

الملخص

التعلم الموحد لديه إمكانات كبيرة لتدريب النماذج الموزعة مع الحفاظ على الخصوصية، لكنه يواجه تحديات تتعلق بالتقارب والعدالة وقابلية التفسير بسبب تباين مجموعات البيانات غير المتوافقة. تقترح هذه الدراسة إطار عمل للتعلم الذكي الموحد (IFLF) لمعالجة هذه التحديات من خلال نهج تكيفي باستخدام بنية متعددة الطبقات تتكون من طبقات البيانات، والعميل، والتجميع، والتكيف، والتحسين، وطبقات التفسير.

يظهر الإطار تقارب مستقر تحت توزيعات البيانات غير المستقلة (IID)، مع استراتيجيات التجميع التي تدعم التحسين المتوازن. يساهم نهج تعديل معدل التعلم في تدريب مستقر من خلال دمج تحديثات العملاء غير المتجانسة وتقليل التباعد أثناء التحسين. تم دمج تقنيات الذكاء الاصطناعي القابلة للتفسير، بما في ذلك SHAP وLIME، لتحسين الشفافية على المستويين العالمي والعملاء.

يتم تقييم IFLF على أربع مجموعات بيانات مرجعية (FEMNIST (رؤية)، FLamby (تصوير الرعاية الصحية)، FedGraphNN (تعلم الرسوم البيانية)، و CICIDS2017 (الأمن السيبراني)). حقق الإطار دقة متوسطة بلغت 92.8٪، مع تقارب أسرع وانخفاض تباين الأداء بين العملاء.

المقدمة

الزيادة السريعة في البيانات الموزعة القادمة من الأجهزة المحمولة، وأنظمة الرعاية الصحية، وأجهزة الاستشعار الصناعية، والبنى التحتية السيبرانية الفيزيائية زادت الحاجة إلى تقنيات التعلم الآلي التعاونية التي تحافظ أيضا على خصوصية البيانات. تعتمد طرق التعلم الآلي التقليدية على توحيد البيانات المركزي، حيث يتم جمع مجموعات البيانات من مصادر مختلفة وتخزينها في مستودع واحد. على الرغم من أن هذا النهج يسهل تدريب النماذج، إلا أنه يثير مخاوف تتعلق بخصوصية البيانات، والامتثال التنظيمي، وعبء الاتصالات. تم الاعتراف بالتعلم الموحد (FL) كنهج واعد يمكن عدة عملاء من تدريب نموذج عالمي بشكل مشترك دون الكشف عن بياناتهم المحلية¹. في هذا النظام اللامركزي، يقوم العملاء بتدريب النماذج المحلية، ولا يتم مشاركة تحديثات النماذج إلا مع خادم مركزي. يقلل هذا النهج من مخاطر الخصوصية مع تمكين تطوير النماذج التعاونية عبر البيئات الموزعة^2،3.

ومع ذلك، يواجه التعلم الفيدرالي قيودا في التطبيق العملي. أحد التحديات الرئيسية هو التباين الإحصائي، حيث تتبع مجموعات بيانات العملاء توزيعات مختلفة. تؤثر توزيعات البيانات غير المستقلة بشكل كبير على استقرار التقارب وتعميم النموذج في التحسين الفيدرالي⁴. لمعالجة هذه المشكلة، تم اقتراح عدة طرق. تقدم FedProx مصطلح تنظيم قريب لتثبيت التدريب عبر العملاء غير المتجانسين⁵. تقوم FedNova بتعديل التناقضات الموضوعية الناشئة عن مشاركة العملاء غير المتوازنة⁶. بالإضافة إلى ذلك، تم اقتراح استراتيجيات تحسين تكيفي على جانب الخادم لتحسين التقارب⁷، بينما يستخدم SCAFFOLD تقنيات تقليل التباين للتخفيف من انحراف العميل خلال التحسين^{الموزع 8}.

استكشفت الدراسات الحديثة تقنيات التجميع والتخصيص لمعالجة التباين في البيئات الفيدرالية. تقوم أطر التعلم الفيدرالي المجمعة بتجميع العملاء الذين لديهم توزيعات بيانات مماثلة لتحسين اتساق التدريب وأداء النماذج ^9,10. تهدف طرق التعلم الاتحادي المخصصة مثل Ditto وFedAMP إلى تحقيق التوازن بين أداء النماذج العالمي والتكيف الخاص بالعميل ^11,12. وبالمثل، تستخدم طرق مثل pFedMe وPer-FedAvg ضبطا دقيقا قائما على التنظيم للتكيف على مستوى العميل ^13,14. طرق أخرى، بما في ذلك FedRep وFedRoD، تفصل تمثيلات عالمية وخاصة بالعميل للتدريب الفيدرالي المستقل^15,16.

تحد آخر في التعلم الفيدرالي هو تباين الموارد وقابلية التوسع للأنظمة. في الأنظمة الموزعة واسعة النطاق، غالبا ما يكون لدى العملاء قدرات حسابية وعرض نطاق ترددي للاتصالات متفاوتة. تعالج FedBN تنوع توزيع الميزات من خلال تطبيع الدفعات المحلية¹⁷. تنظم أطر التعلم الفيدرالي القائمة على المستويات العملاء في مستويات تدريب هرمية لإدارة فروق الموارد¹⁸. تحسن استراتيجيات اختيار العملاء مثل HACCS وOort كفاءة النظام من خلال إعطاء الأولوية للمشاركين الموثوقين خلال التدريب^19,20. تدعم منصات المقارنة مثل FedScale التقييم واسع النطاق لخوارزميات التعلم الفيدرالي²¹.

كفاءة التواصل هي قلق رئيسي آخر في التعلم الفيدرالي، نظرا للتبادل المتكرر لتحديثات النماذج بين العملاء الموزعين. تشمل الأساليب الحالية استراتيجيات تدريب فعالة في التواصل مثل المتوسط الدوري وتكميم النموذج²²، بالإضافة إلى تقنيات ضغط النماذج. يقلل تقطير المعرفة من تكلفة الاتصال من خلال نقل التمثيلات المدمجة مع الحفاظ على الأداء²³. تشمل الأساليب الإضافية تقليل مشاركة العملاء وتطبيق تقنيات الضغط ضمن التدريب الموزع²⁴. تعالج طرق التحسين مثل Quped وFetchSGD أيضا تحديات كفاءة الاتصال^{والذاكرة 25,26}.

بعيدا عن التحسين والتواصل، أصبحت قابلية التفسير جانبا مهما في أنظمة التعلم الفيدرالي. توفر طرق الذكاء الاصطناعي القابلة للتفسير (XAI) مثل SHAP وLIME تفسيرات على مستوى الميزات لتوقعات النموذج. تدعم هذه التقنيات فهم سلوك النماذج في المجالات الحيوية مثل الرعاية الصحية والأمن السيبراني^{27 ، 28}. تسلط الدراسات الحديثة الضوء على أن دمج التفسير في أنظمة التعلم الموحدة يحسن الشفافية والموثوقية^.

تقترح هذه الدراسة إطار عمل التعلم الموحد الذكي (IFLF) لتحسين استقرار التقارب، والعدالة، وكفاءة التواصل، وقابلية التفسير في البيئات الفيدرالية غير المتجانسة. يدمج الإطار التجميع القائم على الموثوقية، وآليات التحسين التكيفي، وتقنيات الذكاء الاصطناعي القابلة للتفسير ضمن بنية موحدة.

هيكل الإطار كنظام متعدد الطبقات يتكون من طبقات البيانات، والعميل، والتجميع، والتكيف، والتحسين، وطبقات التفسير. يدمج التجميع الذكي مؤشرات موثوقية العميل والتشابه لتحديد الوزن التكيفي. آلية تعديل معدل التعلم التكيفية تدعم التحسين المستقر عبر توزيعات العملاء غير المتجانسة. توفر مكونات قابلية التفسير تفسيرات لتوقعات النموذج عبر البيئات الموزعة.

تبحث هذه الدراسة في تأثير التجميع الذكي، وتعديل معدل التعلم التكيفي، وآليات قابلية التفسير في بيئات التعلم الفيدرالية غير المتجانسة. يقيم كيف تؤثر استراتيجيات التجميع على استقرار التقارب وأداء النماذج، وكيف يدعم تعديل معدل التعلم التكيفي التدريب تحت تباين البيانات، وكيف تعزز تقنيات التفسير شفافية النماذج. إطار العمل المقترح للتعلم الذكي الموحد منظم إلى خمس طبقات—طبقة البيانات، طبقة العميل، طبقة التجميع، طبقة التكيف والتحسين، وطبقة التفسير—مما يتيح تدريبا اتحاديا فعالا ومستقرا عبر البيئات الموزعة. يأخذ التقييم في الاعتبار الجوانب الرئيسية للأداء، بما في ذلك سلوك التقارب، العدالة، كفاءة الاتصال، وقابلية التفسير، باستخدام مجموعات بيانات متعددة للمعيار.

يقوم العملاء الموزعون بأداء تدريب محلي على مجموعات البيانات الخاصة وينقلون تحديثات النماذج المشفرة إلى خادم مركزي. يقوم الخادم بتقييم موثوقية العميل وتشابهه، ويحسب أوزان التجميع، ويحدث النموذج العام. يدعم تعديل معدل التعلم التكيفي التقارب المستقر، وتوفر طرق الذكاء الاصطناعي القابلة للتفسير مخرجات قابلة للتفسير. بقية هذه الورقة منظمة كما يلي. يستعرض قسم العمل ذي الصلة التطورات الأخيرة في التعلم الفيدرالي غير المتجانس. يصف قسم البروتوكول تنفيذ الإطار المقترح. يعرض قسم النتائج النتائج التجريبية، ويعرض النقاش التداعيات والاتجاهات المستقبلية.

أعمال ذات صلة
تناولت الدراسات الحديثة التعلم الفيدرالي المتجانس عبر أنماط بيانات ومجالات تطبيقية متنوعة. تمكن أساليب التعلم الفيدرالي الموجهة بالنماذج الأولية التعاون بين المؤسسات الموزعة من خلال مشاركة النماذج الأولية التمثيلية بدلا من البيانات الخام³¹. توفر FedGraphNN منصة مقارنة مرجعية لتقييم خوارزميات التعلم الفيدرالي في إعدادات الشبكات العصبية البيانية³². يدعم OpenFGL المقارنة المرجعية واسعة النطاق عبر سيناريوهات التعلم الفيدرالي³³. تقدم FLamby مجموعات بيانات صحية عبر الصوامع للتعلم الفيدرالي تحت قيود صارمة على الخصوصية³⁴.

كما تم تطوير أطر عمل على مستوى النظام لدعم نشر التعلم الفيدرالي القابل للتوسع. توفر Flower بنية تحتية مرنة لتنفيذ وتقييم خوارزميات التعلم الفيدرالي في البيئات الموزعة³⁵. تم اقتراح طرق التقطير الديناميكي لتحسين أداء النموذج تحت توزيعات بيانات غير متجانسة³⁶. بالإضافة إلى ذلك، تسلط الدراسات الاستقصائية الضوء على التحديات الرئيسية المتعلقة بالتباين، وقابلية التوسع، وقابلية التفسير في أنظمة التعلم الموحدة³⁷. تؤكد هذه الأعمال مجتمعة على الحاجة إلى أطر موحدة تدمج التجميع التكيفي، واستراتيجيات التحسين، وآليات التفسير لتعلم اتحادي قوي في التطبيقات الواقعية.

البروتوكول

نظرة عامة
تم تطوير إطار عمل التعلم الموحد الذكي (IFLF) لإدارة تنوع البيانات والأنظمة بكفاءة في البيئات غير المتجمعة. تكونت بنية النظام من خمس طبقات: طبقة البيانات، طبقة العميل، طبقة التجميع، طبقة التكيف والتحسين، وطبقة قابلية التفسير. تم نشر الوحدات عبر إعداد حوسبة موزعة مع خادم تجميع مركزي وعقد عملاء متعددة. تم استخدام اتصالات المقبس الآمنة (SSL/TLS) للتواصل بين العقد لضمان الخصوصية وسلامة البيانات. تم استخدام الإجراء التالي لإعداد مجموعات البيانات، وإعداد البنية المعمارية، وإجراء التدريب الفيدرالي، وتقييم قابلية التفسير.

تكوين البيئة الحاسوبية
تم تكوين البيئة الحاسوبية من خلال تثبيت أطر البرمجيات المطلوبة لتنفيذ إطار التعلم الفيدرالي. كانت بايثون تستخدم كلغة برمجة رئيسية لتطوير النماذج والتجربة. تم تثبيت مكتبات تعلم الآلة بما في ذلك TensorFlow أو PyTorch لتدريب الشبكات العصبية، إلى جانب مكتبات إضافية مثل NumPy وScikit-learn وPandas لمعالجة البيانات وتحليلها. تم تثبيت مكتبات التعلم الموحدة مثل Flower أو PySyft لمحاكاة بيئات العملاء الموزعة. تم تكوين بيئة الحوسبة على محطة عمل مزودة بتسريع وحدة معالجة الرسوميات، حيثما توفرت. تم تكوين جميع العملاء وخادم التجميع للتواصل عبر اتصالات منفذ آمنة (SSL/TLS). تم التحقق من إمكانية الوصول إلى جميع مجموعات البيانات المطلوبة ضمن التخزين المحلي لكل عقدة عميل قبل بدء التدريب الفيدرالي. يتم تلخيص أطر البرمجيات ومجموعات البيانات والبيئة الحاسوبية المطلوبة لإعادة إنتاج البروتوكول في جدول المواد.

تهيئة العقد الموحدة
تم تكوين خادم التجميع المركزي باستخدام إطار التعلم الفيدرالي Flower. تم تشغيل خادم التجميع باستخدام الأمر التالي:

بايثون server.py --تدور 100 --العملاء 10 --secure_connection صحيح

تم تشغيل عقد العملاء الفردية على محطات طرفية أو بيئات حوسبة منفصلة باستخدام الأمر التالي:
بايثون client.py --client_id 01

تم تكوين الاتصال الآمن عبر المقبس عن طريق توليد شهادات SSL/TLS باستخدام أداة OpenSSL.
متطلب OpenSSL -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365

تم تمكين التواصل الآمن بين الخادم والعملاء عن طريق تحديد مسارات الشهادات في ملف التكوين. تم التحقق من الاتصال من خلال تنفيذ جولة اتصالات اختبارية قبل بدء عملية التدريب الاتحادي.

إعداد ووصف مجموعة البيانات
تم اختيار مجموعات بيانات عامة ممثلة لتقييم الأداء عبر مجالات وأنماط بيانات مختلفة. FEMNIST هو قاعدة بيانات متقدمة لنظام MNIST للتعرف على الحروف المكتوبة بخط اليد، وتحتوي على 62 فئة (A–Z، a–z، الأرقام 0–9)، حيث يمثل كل عميل بيانات كاتب واحد، مما يؤدي إلى توزيعات طبيعية غير IID. FLamby هو معيار تصوير طبي يتكون من مجموعات بيانات طبية مختلفة عبر الصوامع (مثل تصوير القلب بالرنين المغناطيسي، صور الأنسجة المرضية)، حيث يعمل كل مستشفى أو مؤسسة كعميل اتحادي. FedGraphNN هو معيار لشبكات الرسم العصبي البياني يغطي مهام مثل شبكات الاستشهادات، وتصنيف الجزيئات، والرسوم البيانية الاجتماعية، حيث يحتوي العملاء على رسوم فرعية أو ميزات عقدية مختلفة. CICIDS2017 هو مجموعة بيانات للأمن السيبراني لاكتشاف التسلل تحتوي على أكثر من 80 ميزة لتدفقات حركة المرور عبر أنواع الهجمات مثل DDoS، PortScan، وBotnet، حيث يمثل كل عميل نطاق شبكة منفصل أو مستشعر.

إحصائيات مجموعة البيانات
تم تلخيص الخصائص الرئيسية لمجموعات البيانات المستخدمة في التجارب لضمان قابلية تكرار إعداد التعلم الفيدرالي. يحتوي FEMNIST على حوالي 805,263 عينة من الحروف المكتوبة بخط اليد موزعة على 3,550 كاتبا، مع 62 فئة تمثل الحروف الكبيرة والحروف الصغيرة والأرقام، وكل عميل يتوافق مع كاتب واحد مع حوالي 200–300 عينة في المتوسط. توفر FLamby مجموعات بيانات صحية عبر الصومعة، وفي هذه الدراسة، تحتوي مجموعة بيانات التصوير الطبي على حوالي 20,000 عينة تم جمعها من عدة مستشفيات، حيث يعمل كل مستشفى كعميل مستقل واتحادي. يتضمن FedGraphNN مجموعات بيانات تعلم الرسوم البيانية متعددة مثل شبكات الاستشهادات والرسوم البيانية للجزيئات، وعادة ما تحتوي على آلاف العقد والحواف مع متجهات ميزات العقد التي تتراوح بين 50–500 بعد حسب المهمة. يحتوي CICIDS2017 على حوالي 2.8 مليون تدفق حركة مرور شبكي مع 80 ميزة إحصائية مستخرجة من حزم الشبكة، ويشمل عدة فئات هجوم مثل DDoS، وPortScan، وحركة بوتنت، حيث يمثل كل عميل اتحادي بيئة شبكة مختلفة أو مستشعر مراقبة. تم إصدار مجموعات البيانات المستخدمة في هذه الدراسة بين عامي 2017 و2023 وهي متاحة للجمهور لأبحاث التعلم الفيدرالي. يتم تلخيص الخصائص الإحصائية لمجموعات البيانات المستخدمة في التجارب في الجدول 1.

مجموعة البيانات	المجال	عينات	الميزات	الفئات	العملاء	سنة الإصدار
فيمنيست	الرؤية (شخصيات مكتوبة بخط اليد)	8,05,263	بكسلات الصورة (28×28)	62	3,550	2017
فلامبي	تصوير الرعاية الصحية	~20,000	ميزات الصورة	الثنائي / متعدد الفئات	5	2023
FedGraphNN	تعلم الرسوم البيانية	~10k–100k عقد	ميزات العقدة من 50 إلى 500	تعتمد على المهمة	7	2021
CICIDS2017	الأمن السيبراني	~2.8 مليون تدفق	80	فئات هجوم متعددة	10	2017

الجدول 1: ملخص مجموعات البيانات المستخدمة في تجارب إطار التعلم الذكي الفيدرالي. يلخص الجدول خصائص مجموعات البيانات المستخدمة في هذه الدراسة، بما في ذلك مجال التطبيق، العدد الكلي للعينات، عدد الميزات، عدد الفئات، عدد العملاء الموحدين، وسنة إصدار مجموعة البيانات. توفر هذه الإحصائيات نظرة عامة على وسائل البيانات المتجانسة المستخدمة لتقييم الإطار.

التباين على مستوى العميل
تم إدخال التباين على مستوى العميل من خلال تقسيم مجموعات البيانات. على الرغم من استخدام أربع مجموعات بيانات من مجالات مختلفة للتقييم، تم إدخال التباين داخل كل مجموعة بيانات اتحادية من خلال تقسيم على مستوى العميل. تم تقسيم كل مجموعة بيانات بين عدة عملاء، مما أدى إلى توزيعات بيانات محلية غير متطابقة (غير IID). تم تخصيص مجموعات فرعية مختلفة من العينات أو الفئات لعملاء فرديين لمحاكاة ظروف تعلم اتحادية واقعية، مما يمثل التباين الإحصائي داخل كل مجموعة بيانات. تم تخصيص حوالي 5–10٪ من إجمالي مجموعة البيانات لكل عميل مع الحفاظ على عدم توازن الفئة لمحاكاة البيئات الفيدرالية غير الاتحادية في العالم الحقيقي. يشير مصطلح مجموعات البيانات غير المتجانسة في هذه الدراسة إلى التباين الإحصائي على مستوى العميل بدلا من الفروق بين مجموعات البيانات التجريبية المستقلة. أظهرت مجموعات البيانات المعيارية أشكالا مختلفة من التباين الإحصائي، بما في ذلك اختلافات في أنماط الكتابة الفردية في FEMNIST، واختلافات في بروتوكولات التصوير وتركيبة المرضى في مجموعات بيانات FLamby، والاختلافات الهيكلية في مجموعات بيانات FedGraphNN، وأنماط حركة مرور الشبكة المتنوعة في CICIDS2017، مما خلق مجتمعين توزيعات بيانات واقعية غير IID تتحدى خوارزميات التحسين الفيدرالي.

المعالجة المسبقة الخاصة بمجموعة البيانات
تم تنفيذ عمليات معالجة مسبقة خاصة بمجموعة البيانات لتوحيد صيغ الإدخال قبل التدريب الفيدرالي. بالنسبة ل FEMNIST، تم تحويل صور الأحرف المكتوبة بخط اليد إلى التدرج الرمادي، وإعادة تسميتها إلى 28×28 بكسل، وتم تطبيعها إلى الفترة [0, 1]، مع إزالة العينات التالفة أو غير المكتملة وترميز تسميات الفئات بزر واحد، وتنظيم العينات حسب معرفات الكاتب بحيث يتوافق كل كاتب مع عميل اتحادي. بالنسبة ل FLamby، تم تغيير حجم الصور الطبية إلى 224×224 بكسل، وتم تطبييعها باستخدام متوسط وانحراف معياري خاص بمجموعة البيانات، وتم تعزيزها باستخدام تقنيات مثل الانقلاب الأفقي، والدوران، وضبط التباين، وتقسيمها وفقا لمعرفات المستشفى. بالنسبة ل FedGraphNN، تم بناء هياكل الرسوم البيانية عن طريق تعريف ميزات العقد، ومصفوفات الجوار، وعلاقات الحواف، وتم تطبيع متجهات ميزات العقد، وتحويل بيانات الرسوم إلى تمثيلات متناثرة للجوار، وتقسيم الرسوم البيانية عبر العملاء كرسوم فرعية. بالنسبة ل CICIDS2017، تمت إزالة السجلات المكررة، واحتساب القيم المفقودة مع المتوسط، وترميز الميزات التصنيفية، وتطبيق تطبيع الميزات، وتوازن حركة المرور الحميدة والهجومية باستخدام أخذ عينات طبقية. تم تقسيم كل مجموعة بيانات للعميل إلى 80٪ تدريب، 10٪ تحقق، و10٪ اختبار، لضمان الحفاظ على توزيعات الفئات. تم تخزين مجموعات بيانات العملاء في مجلدات منفصلة (Client_01، Client_02، ...)، وكان الوصول إلى العقد المحلية مقيدا لأغراض الخصوصية.

هيكلية إطار التعلم الذكي الموحد (IFLF)
تم تنظيم إطار التعلم الموحد الذكي في بنية من خمس طبقات تتكون من طبقة البيانات، طبقة العميل، طبقة التجميع، طبقة التكيف والتحسين، وطبقة قابلية التفسير، كما هو موضح في الشكل 1. تم تصميم الطبقات المعمارية لتمرير المعلومات بشكل متسلسل. بعد إعداد وتقسيم مجموعات البيانات غير المتجانسة حسب ملكية العميل، كانت طبقة البيانات تنقل المعلومات إلى طبقة العميل، حيث تم تدريب النماذج المحلية وتوليد تحديثات النماذج. تم إرسال هذه التحديثات إلى طبقة التجميع، حيث وجهت مقاييس الموثوقية والتشابه تجميع مساهمات العملاء المرجحة. ضمنت طبقة التكيف والتحسين عملية تدريب عالمية سلسة من خلال تغيير معلمات معدل التعلم وفقا لتباين التدرج. وأخيرا، استفادت طبقة التفسير من طرق الذكاء الاصطناعي القابلة للتفسير مثل SHAP وLIME لتفسير النموذج العالمي وإنتاج تفسيرات للتنبؤات.

الشكل 1. هيكلية إطار التعلم الذكي الموحد (Intelligent Fedeated Framework). ينقسم الإطار إلى خمس طبقات: البيانات، العميل، التجميع، التكيف والتحسين، وقابلية التفسير. تتم معالجة البيانات من العملاء غير المتجانسين وغير المتجانسين محليا، وتجميعها بناء على الموثوقية والتشابه، وتحسينها التكيفي، وتفسيرها باستخدام SHAP أو LIME. تشير الأسهم إلى التواصل التكراري بين العملاء والخادم المركزي الذي يشكل حلقة التعلم الموحدة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

طبقة البيانات
تم تقسيم مجموعات البيانات حسب متطلبات ملكية العميل والخصوصية، مع الحفاظ على مواقع تخزين مخصصة لكل عميل. تم تطبيق خطوط معالجة مسبقة مختلفة، وتم تطبيع الميزات لضمان توحيد صيغ الإدخال عبر المجالات.

طبقة العميل
تم إنشاء عملاء موزعين يمثلون الأجهزة أو المؤسسات أو المؤسسات، حيث يحصل كل منهم على نسخة مطابقة من النموذج العالمي المهيأ بنفس المعلمات. تم إجراء التدريب المحلي باستخدام مجموعات بيانات خاصة بالعميل مع طرق تحسين مثل النزول التدرج العشوائي أو آدم، بينما تم التواصل فقط مع معلمات النموذج أو التدرجات للحفاظ على خصوصية البيانات.

طبقة التجميع
تلقت وحدة التجميع المركزية تحديثات النماذج المشفرة من جميع العملاء وقيمت موثوقيتها وتشابهها قبل التجميع. تم استخدام درجات الموثوقية المبنية على أداء التحقق لتحديد أهمية تحديثات العملاء، وتم تقييم التشابه بين التحديثات باستخدام طرق مثل التجميع أو تشابه الجيب تمام. تم إجراء التجميع الموزون، وأعيد توزيع النموذج العالمي المحدث على العملاء.

طبقة التكيف والتحسين
تم تعديل معلمات التحسين ديناميكيا بناء على تقدم التدريب بين العملاء. تم جدولة معدلات التعلم لتقليل تباين التحديثات، وتم تطبيق تقنيات إضافية مثل التنظيم القريب والوزن التكيفي للتخفيف من انحراف العميل وتحسين استقرار التقارب.

طبقة التفسير
تم استخدام طرق ذكاء اصطناعي قابلة للتفسير مثل SHAP وLIME لتوليد درجات نسبة الميزات وتفسيرات النماذج. شملت النتائج تصنيفات أهمية الميزات، وخرائط النسبة، وتفسيرات بصرية، والتي تم تفسيرها في سياق المعرفة الخاصة بالمجال لضمان الشفافية.

التدريب الموحد
تم تنفيذ إطار التعلم الذكي الموحد من خلال تهيئة النموذج العالمي في خادم التجميع المركزي، تلاه تعريف معايير التدريب الفائقة، بما في ذلك معدل التعلم، جولات الاتصال، والفترات المحلية. تم توزيع معلمات النموذج العالمي على جميع العملاء، الذين قاموا بعد ذلك بإجراء تدريب محلي باستخدام مجموعات بياناتهم الخاصة. تم حساب فقدان التدريب المحلي ودقة التحقق، وتم إنشاء تحديثات النماذج وتشفيرها قبل إرسالها إلى خادم التجميع. تم تقييم موثوقية تحديثات العملاء بناء على أداء التحقق باستخدام المعادلة 1.

(1)

حيث يمثل Acc_i دقة التحقق من صحة العميل i.

تم حساب التشابه بين تحديثات العميل باستخدام تشابه جيب تمام لمتجهات التدرج، كما هو معرف في المعادلة 2.

(2)

حيث g_i و g_j يمثلان متجهات التدرج لعملاء مختلفين.

تم حساب أوزان التجميع التكيفي من خلال دمج درجات الموثوقية والتشابه، كما هو معرف في المعادلة 3.

(3)

تم تحديد وزن التجميع التكيفي لكل عميل من خلال دمج درجات الموثوقية والتشابه. عكس مقياس الموثوقية دقة التحقق من صحة نموذج العميل المحلي، بينما قاس مقياس التشابه بين تحديثات تدرج العميل.

لذلك، أعطى وزن التجميع مع i الأولوية للعملاء الذين أظهروا أداء تحقق موثوق وأظهروا اتجاهات تحديث متسقة مع هدف التحسين العام.

ضمنت الأوزان الموحدة أن مجموع مساهمة جميع العملاء المشاركين يجمع إلى واحد، مما حافظ على استقرار تحديث النموذج العالمي.

تم تطبيع الأوزان بحيث .

تحديث النموذج العالمي
تم تجميع نماذج العملاء باستخدام متوسط مرجح، كما هو موضح في المعادلة 4.

(4)

حيث يمثل M_i المعلمات المحلية للعميل i.

تم بث معلمات النموذج العالمية المحدثة لجميع العملاء.

تعديل معدل التعلم التكيفي
تم مراقبة تباين تدرجات العملاء عبر جولات الاتصالات. تم تعديل معدل التعلم ديناميكيا وفقا للمعادلة 5.

(5)

حيث يمثل Var(g) تباين التدرج عبر العملاء.

تم تطبيق معدل التعلم المحدث خلال دورة التدريب المحلية التالية. تم التحكم في معدل التعلم التكيفي بواسطة خادم التجميع المركزي وتطبيق على مستوى العالم على جميع العملاء خلال جولات التدريب التالية. ضمن هذا التعديل العالمي سلوك تحسين ثابت مع مراعاة التباين في تحديثات العملاء. نظرا لأن تعديل معدل التعلم كان يتم على مستوى الخادم، حصل جميع العملاء المشاركين على معدل التعلم المحدث مع معلمات نموذج البث العالمي.

تقييم أداء التعلم الموحد
تم تقييم دقة النموذج العالمي باستخدام مجموعة بيانات الاختبار المجمعة، كما هو موضح في المعادلة 6.

(6)

حيث تمثل TP عدد التنبؤات الإيجابية الحقيقية، تمثل TN التنبؤات السلبية الحقيقية، وتمثل FP التنبؤات الإيجابية الكاذبة، وتمثل FN التنبؤات السلبية الكاذبة

تم قياس العدالة بين العملاء من خلال حساب تباين دقة العميل.

تم حساب تكلفة الاتصال كإجمالي عدد معلمات النموذج المرسلة بين العملاء وخادم التجميع عبر جميع جولات الاتصال. لذلك تم تقدير إجمالي عبء الاتصالات كما هو موضح في المعادلة 7.

(7)

حيث R هو عدد جولات الاتصال، وC هو عدد العملاء، وS يمثل حجم النموذج.

تم إجراء تحليل قابلية تفسير النموذج باستخدام SHAP لحساب درجات أهمية الميزات العالمية وLIME لتوليد تفسيرات محلية للتنبؤات الفردية. تم تصور نتائج إسناد الميزات لتفسير سلوك النموذج.

استكشاف الأخطاء
حدث التقارب غير المستقر عندما تكون مجموعات بيانات العملاء متجانسة للغاية أو تحتوي على توزيعات فئات غير متوازنة للغاية. في مثل هذه الحالات، تم تقليل فترات التدريب المحلية أو تقليل معدل التعلم الأولي لاستقرار تحديثات التدرج. أدت توزيعات العملاء المنحرفة بشدة إلى هيمنة عدد قليل من العملاء أثناء التجميع، وقد تم التخفيف من ذلك بتعديل عتبة وزن الموثوقية أو زيادة تنوع مشاركة العملاء. أدى عدم الاعتماد في مشاركة العملاء الناتجة عن انقطاعات الشبكة إلى تعطيل جولات الاتصال؛ لذلك، تم تمكين المشاركة الجزئية، مما سمح لخادم التجميع بالمضي قدما في تحديثات العملاء المتاحة. نشأ فشل قابلية التفسير أو نسبة الميزات غير المتسقة عندما تم تنظيم النماذج بشكل مفرط أو تدريبها على بيانات غير كافية، وتم التحقق من خطوات معالجة البيانات المسبقة مع ضمان توليد تفسيرات SHAP أو LIME بعد تقارب النموذج.

يتم تصوير التسلسل التكراري لتهيئة النموذج، والتدريب المحلي، والتجميع الذكي، والتحسين التكيفي، وتحليل قابلية التفسير في الشكل 2، الذي يمثل سير العمل العام لإطار العمل الفيدرالي الذكي للتعلم (IFLF).

الشكل 2. سير عمل إطار التعلم الذكي الفيدرالي. يصور الشكل دورة المراحل التكرارية، بما في ذلك التهيئة، والتدريب المحلي، والتجميع، والتحسين التكيفي، وقابلية التفسير، موضحا عملية الإطارات من البداية إلى النهاية. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

تقييم الأداء
تم حساب مقاييس عالمية ومحلية تشمل الدقة، والدقة، والاستدعاء، ودرجة F1. تم قياس العدالة من خلال تباين دقة العملاء المحليين. تم فحص كفاءة الاتصالات حسب حجم البيانات المنقولة في كل جولة. تم تقييم أداء النماذج مقابل خطوط أساس اتحادية نموذجية مثل FedAvg وFedProx وFedOpt. تم تقديم النتائج باستخدام منحنيات التقارب، ومصفوفات الالتباس، ومخططات التفسير. تم تخزين جميع الإعدادات التجريبية والسجلات ونقاط الحفظ لضمان قابلية التكرار.

ملخص سير العمل
تم تنفيذ دورة IFLF من خلال تكرار التدريب المحلي باستمرار، والتجميع الذكي، والتحسين التكيفي، وتحليل قابلية التفسير. تم الحفاظ على خصوصية البيانات من خلال الاحتفاظ بالبيانات في العقد المحلية مع تمكين تحسين النماذج التعاونية. تضمنت هذه الخطوات آليات لمعالجة العدالة والشفافية والأداء عبر العملاء غير المتواجدين.

النتائج

نظرة عامة
جميع النتائج التجريبية التي تم الإبلاغ عنها في هذه الدراسة تم قياسها على مدى خمس جولات مستقلة مع تهيئة عشوائية مختلفة وتكوينات عينات العملاء لضمان المتانة. تعرض مقاييس الأداء، بما في ذلك الدقة، والدقة، والاستدعاء، ودرجة F1، كمتوسط ± انحراف معياري. ظل الانحراف المعياري الملحوظ عبر الجولات ضمن نطاق صغير (عادة ±0.5٪ إلى ±1.2٪)، مما يشير إلى أداء مستقر ومتسق للإطار المقترح تحت بيئات اتحادية متجانسة.

تم اختبار إطار العمل الفيدرالي الذكي للتعلم (IFLF) على أربع مجموعات ب...

المناقشة

يتناول إطار التعلم الموحد الذكي المقترح (IFLF) التحديات في التعلم الموحد الناتجة عن بيئات متجانسة وموزعة. يشير التقييم المنهجي عبر أربع مجموعات بيانات إلى أن الجمع بين التجميع والتحسين التكيفي يحسن استقرار التقارب وأداء النموذج العالمي. من خلال دمج موثوقية العميل وتشابه في عملية التجميع، يقلل الإطار من تأثير التحديثات غير المتسقة مع إعطاء وزنا أكبر للمساهمات الأكثر موثوقية من العملاء أثناء التحسين العالمي. يحقق هذا النهج دقة أعلى وتقارب أسرع من خوارزميات التعلم الفيدرالي الأساسية مثل Fed...

المواد

قائمة المواد المستخدمة في هذه المقالة

الاسم	الشركة	رقم فهرسي	التعليقات
مجموعة بيانات CICIDS2017	المعهد الكندي للأمن السيبراني	مجموعة البيانات العامة	كشف التسلل
مجموعة بيانات FedGraphNN	FedGraphNN	مجموعة البيانات العامة	تعلم الرسوم البيانية
مجموعة بيانات FEMNIST	اختبار LEAF	مجموعة البيانات العامة	مجموعة بيانات الرؤية
مجموعة بيانات FLamby	مشروع فلامبي	مجموعة البيانات العامة	مجموعة بيانات الرعاية الصحية
الزهرة	إطار الزهور	1.6	محاكاة التعلم الموحدة
محطة عمل وحدة معالجة الرسومات (GPU)	NVIDIA	وحدة معالجة رسومات RTX	تدريب النماذج
نومباي	مطورو نومبي	1.26	الحوسبة العددية
بايثون	مؤسسة بايثون للبرمجيات	3.1	لغة البرمجة
سكيت-لرن	سكيت-لرن	1.3	أدوات التعلم الآلي
تينسورفلو / بايتورش	جوجل / ميتا	أحدث الإصدارات	إطار التعلم العميق