Aynı Konumlanmamış ve Heterojen Veri Setleri İçin Zeki Federe Öğrenme Çerçevesi

Summary

Bu protokol, veri gizliliğini koruyarak ve model yorumlanabilirliğini mümkün kılarken, heterojen, konumlanmamış veri setleri üzerinde dağıtık makine öğrenimi modellerini eğitmek için Akıllı Federe Öğrenim Çerçevesi'nin uygulanmasını tanımlar.

Abstract

Federe öğrenme, gizliliği koruyarak dağıtık model eğitimi için önemli bir potansiyele sahiptir, ancak konumlanmamış veri setlerinin heterojenliği nedeniyle yakınsama, adalet ve yorumlanabilirlik gibi zorluklarla karşı karşıyadır. Bu çalışma, bu zorlukları Veri, İstemci Toplama, Uyum ve Optimizasyon ile Yorumlanabilirlik katmanlarından oluşan çok katmanlı bir mimariyle uyarlayıcı bir yaklaşımla ele almak için Akıllı Federe Öğrenim Çerçevesi (IFLF) önermektedir.

Çerçeve, IID dışı veri dağılımları altında kararlı yakınsamayı gösterir ve toplama stratejileri dengeli optimizasyonu destekler. Öğrenme hızı modülasyonu yaklaşımı, heterojen danışan güncellemelerini entegre ederek ve optimizasyon sırasında ayrışmayı azaltarak kararlı eğitime katkıda bulunur. SHAP ve LIME gibi açıklanabilir yapay zeka teknikleri, hem müşteri hem de küresel düzeyde şeffaflığı artırmak için dahil edilmektedir.

IFLF, dört kıyaslama veri seti üzerinde değerlendirilir (FEMNIST (vizyon), FLamby (sağlık görüntüleme), FedGraphNN (grafik öğrenimi) ve CICIDS2017 (siber güvenlik)). Çerçeve, daha hızlı yakınsama ve müşteriler arasında daha düşük performans değişkenliği ile ortalama %92,8 doğruluk sağladı.

Introduction

Mobil cihazlardan, sağlık sistemlerinden, endüstriyel sensörlerden ve siber-fiziksel altyapılardan kaynaklanan dağıtık verilerin hızlı artışı, veri gizliliğini koruyan işbirlikçi makine öğrenimi tekniklerine olan ihtiyacı artırmıştır. Geleneksel makine öğrenimi yöntemleri, farklı kaynaklardan veri setlerinin toplanıp tek bir depoda saklandığı merkezi veri birleştirmeye dayanır. Böyle bir yaklaşım model eğitimini kolaylaştırsa da, veri gizliliği, düzenleyici uyum ve iletişim yükleriyle ilgili endişeleri gündeme getirir. Federated learning (FL), birden fazla müşterinin yerel verilerini açıklamadan küresel bir modeli birlikte eğitmesini sağlayan umut verici bir yaklaşım olarak kabul^{edilmiştir 1}. Bu merkeziyetsiz öğrenme şemasında, istemciler yerel modelleri eğitar ve yalnızca model güncellemeleri merkezi bir sunucuyla paylaşılır. Bu yaklaşım, gizlilik risklerini azaltırken, dağıtık ortamlar arasında iş birliği modeli geliştirmeyi mümkün^{kılarken 2,3}.

Buna rağmen, federasyon öğrenim pratik uygulamada sınırlamalarla karşı karşıyadır. Başlıca zorluklardan biri, istemci veri setlerinin farklı dağılımları takip ettiği istatistiksel heterojenliktir. IID dışı veri dağılımları, federasyon optimizasyonunda yakınsamaya kararlılık ve model genellemesini önemli ölçüde^{etkiler 4}. Bu sorunu ele almak için birkaç yöntem önerilmiştir. FedProx, heterojen danışanlar arasında eğitimi stabilize etmek için proksimal düzenleme terimi^{tanıtıyor 5}. FedNova, dengesiz müşteri katılımından kaynaklanan nesnel tutarsızlıkları^{düzeltir 6}. Ayrıca, yakınsamayı geliştirmek için sunucu tarafı uyarlanabilir^{optimizasyon stratejileri önerilmiştir;} SCAFFOLD, dağıtık^{optimizasyon 8} sırasında istemci kaymasını azaltmak için varyans azaltma teknikleri kullanır.

Son çalışmalar, federasyon ortamlarında heterojenliği ele almak için kümeleme ve kişiselleştirme tekniklerini araştırmıştır. Kümelenmiş federasyon öğrenme çerçeveleri, benzer veri dağılımlarına sahip istemcileri gruplayarak eğitim tutarlılığını ve model performansını^{artırır 9,10}. Ditto ve FedAMP gibi kişiselleştirilmiş federasyon öğrenme yöntemleri, küresel model performansını müşteriye özgü uyum ile^{dengelemeyi amaçlar 11,12}. Benzer şekilde, pFedMe ve Per-FedAvg gibi yöntemler, istemci düzeyinde uyarlama için düzenlemeye dayalı ince ayar^{kullanır 13,14}. FedRep ve FedRoD gibi diğer yaklaşımlar, bağımsız federasyon eğitimi için küresel ve müşteriye özgü temsilcilikleri^{ayrı tutar 15,16}.

Federe öğrenmedeki bir diğer zorluk ise kaynak heterojenliği ve sistem ölçeklenebilirliğidir. Büyük ölçekli dağıtık sistemlerde, istemciler genellikle farklı hesaplama yetenekleri ve iletişim bant genişliklerine sahiptir. FedBN, yerel parti normalizasyonu¹⁷ yoluyla özellik dağılımı heterojenliğini ele alır. Katman tabanlı federe öğrenme çerçeveleri, istemci kaynak farklılıklarını yönetmek için hiyerarşik eğitim katmanlarına^{düzenler 18}. HACCS ve Oort gibi müşteri seçim stratejileri, eğitim sırasında güvenilir katılımcıları önceliklendirerek sistem verimliliğini^{artırır 19,20}. FedScale gibi kıyaslama platformları, federasyon öğrenme algoritmalarının büyük ölçekli değerlendirilmesini^{destekler 21}.

İletişim verimliliği, dağıtık istemciler arasında model güncellemelerinin sık sık değiş tokuşu göz önüne alındığında, federasyon öğreniminde bir diğer önemli endişedir. Mevcut yaklaşımlar arasında periyodik ortalama, model^{kuantizasyonu 22} gibi iletişim verimli eğitim stratejileri ile model sıkıştırma teknikleri yer alır. Bilgi damıtılması, kompakt temsilleri aktararak iletişim maliyetini azaltır ve performansı^{korurken 23}. Ek yaklaşımlar arasında danışan katılımını azaltmak ve dağıtık eğitim içinde sıkıştırma teknikleri^{uygulanmaktadır 24}. Quped ve FetchSGD gibi optimizasyon yöntemleri, iletişim ve bellek verimliliği sorunlarını daha da^{giderir 25,26}.

Optimizasyon ve iletişimin ötesinde, yorumlanabilirlik federasyon öğrenme sistemlerinin önemli bir yönü haline gelmiştir. SHAP ve LIME gibi açıklanabilir yapay zeka (XAI) yöntemleri, model tahminleri için özellik düzeyinde açıklamalar sağlar. Bu teknikler, sağlık ve siber güvenlik gibi kritik alanlarda model davranışının anlaşılmasını^{destekler 2 7,2 8}. Son çalışmalar, federe öğrenme sistemlerine açıklanabilirliğin entegre edilmesinin şeffaflığı ve güvenilirliği artırdığını^{vurgulamaktadır 2 9,30}.

Bu çalışma, heterojen federasyon ortamlarında yakınsama kararlılığını, adaletini, iletişim verimliliğini ve yorumlanabilirliğini artırmak için Akıllı Federe Öğrenme Çerçevesi (IFLF) önermektedir. Çerçeve, güvenilirlik temelli toplama, uyarlanabilir optimizasyon mekanizmaları ve açıklanabilir yapay zeka tekniklerini birleşik bir mimari içinde entegre eder.

Çerçeve, Veri, İstemci, Toplama, Uyum ve Optimizasyon ile Yorumlanabilirlik katmanlarından oluşan çok katmanlı bir sistem olarak yapılandırılmıştır. Akıllı toplama, uyarlanabilir ağırlık belirlemek için müşteri güvenilirliği ve benzerlik metriklerini içerir. Uyarlanabilir öğrenme hızı modülasyon mekanizması, heterojen istemci dağılımları arasında kararlı optimizasyonu destekler. Yorumlanabilirlik bileşenleri, dağıtık ortamlar genelinde model tahminlerinin açıklanmasını sağlar.

Bu çalışma, heterojen federasyon öğrenme ortamlarında zeki toplama, uyarlanabilir öğrenme hızı modülasyonu ve yorumlanabilirlik mekanizmalarının etkisini araştırmaktadır. Toplu stratejilerin yakınsamaya karar verme kararlılığı ve model performansını nasıl etkilediğini, uyarlanabilir öğrenme oranı modülasyonunun veri heterojenliği altında eğitimi nasıl desteklediğini ve yorumlanabilirlik tekniklerinin model şeffaflığını nasıl artırdığını değerlendirir. Önerilen Akıllı Federasyona Öğrenme Çerçevesi, Veri Katmanı, İstemci Katmanı, Toplama Katmanı, Uyum ve Optimizasyon Katmanı ile Yorumlanabilirlik Katmanı olmak üzere beş katmandan oluşur ve dağıtık ortamlarda verimli ve istikrarlı federasyon eğitimi mümkün kılar. Değerlendirme, birden fazla kıyaslama veri seti kullanılarak yakınsama, adalet, iletişim verimliliği ve yorumlanabilirlik gibi temel performans yönlerini dikkate alır.

Dağıtık istemciler, özel veri setlerinde yerel eğitim yapar ve şifreli model güncellemelerini merkezi bir sunucuya iletir. Sunucu, istemci güvenilirliğini ve benzerliğini değerlendirir, toplama ağırlıklarını hesaplar ve küresel modeli günceller. Uyarlanabilir öğrenme hızı ayarlaması kararlı yakınsamayı destekler ve açıklanabilir yapay zeka yöntemleri yorumlanabilir çıktılar sağlar. Bu makalenin geri kalanı aşağıdaki şekilde düzenlenmiştir. İlgili Çalışmalar bölümü, heterojen federasyon öğrenimindeki son gelişmeleri inceler. Protokol bölümü, önerilen çerçevenin uygulanmasını tanımlar. Sonuçlar bölümü deneysel bulguları sunarken, Tartışma sonuçları ve gelecekteki yönleri özetler.

İLGİLİ ÇALIŞMALAR
Son çalışmalar, çeşitli veri modaliteleri ve uygulama alanları arasında heterojen federasyon öğrenimini ele almıştır. Prototip yönlendirmeli federasyon öğrenme yaklaşımları, ham veri yerine temsilci prototipleri paylaşarak dağıtık kurumlar arasında iş birliğini^{mümkün kılar 31}. FedGraphNN, graf sinir ağı ayarlarında federe öğrenme algoritmalarını değerlendirmek için bir kıyaslama platformu^{sağlar 32}. OpenFGL, federasyon tabanlı öğrenme senaryoları arasında büyük ölçekli kıyaslama destekler³³. FLamby, katı gizlilik kısıtlamaları altında federasyon öğrenimi için çapraz silo sağlık veri setleri^{sunar 34}.

Ölçeklenebilir federasyon tabanlı öğrenme dağıtımlarını desteklemek için sistem düzeyinde çerçeveler de geliştirilmiştir. Flower, dağıtık ortamlarda federasyon öğrenme algoritmalarını uygulamak ve değerlendirmek için esnek bir altyapı^{sağlar 35}. Heterojen veri dağılımları altında model performansını artırmak için dinamik damıtma^{yöntemleri önerilmiştir 36}. Ayrıca, anket çalışmaları, federasyon öğrenme sistemlerinde heterojenlik, ölçeklenebilirlik ve yorumlanabilirlikle ilgili temel zorlukları^{vurgulamaktadır 37}. Bu çalışmalar, gerçek dünya uygulamalarında sağlam federasyon öğrenme için uyarlanabilir toplama, optimizasyon stratejileri ve yorumlanabilirlik mekanizmalarını entegre eden birleşik çerçevelere olan ihtiyacı vurgular.

Protocol

Genel Bakış
Bir Akıllı Federe Öğrenme Çerçevesi (IFLF), veri ve sistem heterojenliğini verimli bir şekilde yönetmek için geliştirilmiştir. Sistem mimarisi beş katmandan oluşuyordu: Veri Katmanı, İstemci Katmanı, Toplama Katmanı, Uyarlama ve Optimizasyon Katmanı ve Yorumlanabilirlik Katmanı. Modüller, merkezi bir toplama sunucusu ve birden fazla istemci düğümü olan dağıtık bir hesaplama sistemi üzerinden dağıtıldı. Düğümler arasındaki iletişim için güvenli soket bağlantıları (SSL/TLS) kullanılarak gizlilik ve veri bütünlüğü sağlandı. Veri setlerinin hazırlanması, mimarinin kurulması, federasyon eğitimi yürütülmesi ve yorumlanabilirliğin değerlendirilmesi için aşağıdaki prosedür kullanıldı.

Hesaplamalı ortam yapılandırması
Hesaplama ortamı, federasyon öğrenme çerçevesini uygulamak için gerekli yazılım çerçevelerinin kurulmasıyla yapılandırıldı. Python, model geliştirme ve deney için birincil programlama dili olarak kullanıldı. Sinir ağı eğitimi için TensorFlow veya PyTorch gibi makine öğrenimi kütüphaneleri, veri ön işleme ve analiz için NumPy, Scikit-learn ve Pandas gibi ek kütüphaneler kuruldu. Flower veya PySyft gibi federasyon öğrenme kütüphaneleri, dağıtık istemci ortamlarını simüle etmek için kuruldu. Hesaplama ortamı, mevcut olduğunda GPU hızlandırma ile donatılmış bir iş istasyonunda yapılandırıldı. Tüm istemci ve toplama sunucusu, güvenli soket bağlantıları (SSL/TLS) üzerinden iletişim kuracak şekilde yapılandırıldı. Tüm gerekli veri setleri, federe eğitim başlamadan önce her istemci düğümünün yerel depolamasında erişilebilir olduğu doğrulandı. Protokolü yeniden üretmek için gereken yazılım çerçeveleri, veri setleri ve hesaplama ortamı, Materyaller Tablosu'nda özetlenmiştir.

Federe düğümlerin başlatılması
Merkezi toplama sunucusu, Flower federated learning framework'u kullanılarak yapılandırıldı. Toplama sunucusu aşağıdaki komutla başlatıldı:

python server.py --rounds 100 --client 10 --secure_connection Doğru

Bireysel istemci düğümleri, ayrı terminallerde veya hesaplama ortamlarında aşağıdaki komutla başlatıldı:
python client.py --client_id 01

Güvenli soket iletişimi, OpenSSL araç seti kullanılarak SSL/TLS sertifikaları oluşturularak yapılandırıldı.
openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365

Sunucu ile istemci arasında güvenli iletişim, yapılandırma dosyasında sertifika yollarının belirlenmesiyle mümkün oluyordu. Bağlantı, federasyon eğitim süreci başlatılmadan önce test iletişim turu gerçekleştirilerek doğrulandı.

Veri seti hazırlama ve tanım
Farklı alanlar ve veri modaliteleri arasında performansı değerlendirmek için temsilli kamu veri setleri seçildi. FEMNIST, el yazısı karakter tanıma için gelişmiş bir MNIST veritabanıdır ve 62 sınıf (A–Z, a–z, 0–9 rakamlar) içerir; her istemci bir yazarın verisini temsil eder ve doğal IID dışı dağılımları oluşturur. FLamby, her hastane veya kurumun federasyon bir danışan olarak hareket ettiği farklı çapraz silo tıbbi veri setlerinden (örneğin kalp MR'ı, histopatoloji görüntüleri) oluşan bir tıbbi görüntüleme kıstasıdır. FedGraphNN, grafik sinir ağları için bir kıyaslamadır ve atıf ağları, molekül sınıflandırması ve sosyal grafikler gibi görevleri kapsar; burada istemciler farklı alt graflar veya düğüm özellikleri içerir. CICIDS2017, DDoS, PortScan ve Botnet gibi saldırı türlerinde ağ trafiği akışının 80'den fazla özelliğine sahip bir siber güvenlik veri setidir; her istemcinin ayrı bir ağ alanı veya sensörü temsil ettiği saldırı türleri arasında.

Veri seti istatistikleri
Deneylerde kullanılan veri setlerinin temel özellikleri, federasyon öğrenme sisteminin tekrarlanabilirliğini sağlamak için özetlenmiştir. FEMNIST, 3.550 yazara dağıtılmış yaklaşık 805.263 el yazısı karakter örneği içerir; 62 sınıf büyük harfleri, küçük harfleri ve rakamları temsil eder ve her istemci ortalama 200–300 örnekle tek bir yazara karşılık gelir. FLamby, çapraz silo sağlık veri setleri sağlar ve bu çalışmada tıbbi görüntüleme veri seti yaklaşık 20.000 örnek içerir; her hastane bağımsız bir federasyon danışan olarak hareket eder. FedGraphNN, genellikle göreve bağlı olarak 50–500 boyut arasında değişen düğüm özellik vektörleriyle binlerce düğüm ve kenar içeren atıf ağları ve molekül grafikleri gibi birden fazla grafik öğrenme veri seti içerir. CICIDS2017, ağ paketlerinden çıkarılan 80 istatistiksel özellikle yaklaşık 2,8 milyon ağ trafiği akışını içerir ve DDoS, PortScan ve Botnet trafiği gibi birden fazla saldırı kategorisini içerir; her federasyon istemcisi farklı bir ağ ortamı veya izleme sensörünü temsil eder. Bu çalışmada kullanılan veri setleri 2017 ile 2023 yılları arasında yayımlanmış olup, federe öğrenme araştırmaları için kamuya açıktır. Deneylerde kullanılan veri setlerinin istatistiksel özellikleri Tablo 1'de özetlenmiştir.

Veri seti	Alan	Örnekler	Özellikler	Sınıflar	Müşteriler	Çıkış Yılı
FEMNIST	Vizyon (El Yazısı Karakterler)	8,05,263	Görüntü pikselleri (28×28)	62	3,550	2017
FLamby	Sağlık Görüntüleme	~20.000	Görsel özellikler	İkili / çok sınıflı	5	2023
FedGraphNN	Grafik Öğrenme	~10k–100k düğümleri	50–500 düğüm özellikleri	Göreve bağlı	7	2021
CICIDS2017	Siber güvenlik	~2,8 milyon akış	80	Çoklu saldırı sınıfları	10	2017

Tablo 1: Zeki Federasyon Öğrenme Çerçevesi deneylerinde kullanılan veri setlerinin özeti. Tablo, bu çalışmada kullanılan veri setlerinin özelliklerini özetlemektedir; uygulama alanı, toplam örnek sayısı, özellik sayısı, sınıf sayısı, federasyona ulaşmış istemci sayısı ve veri seti çıkış yılı dahildir. Bu istatistikler, çerçeveyi değerlendirmek için kullanılan heterojen veri modalitelerine genel bir bakış sunar.

Client seviyesinde heterojenlik
İstemci düzeyinde heterojenlik, veri seti bölümlendirmesi yoluyla tanıtıldı. Farklı alanlardan dört veri seti değerlendirme için kullanılmasına rağmen, her federe veri setinde istemci düzeyinde bölümleme yoluyla heterojenlik sağlanmıştır. Her veri seti birden fazla istemci arasında bölünür ve bu da aynı olmayan yerel veri dağılımları (IID olmayan) ortaya çıkar. Farklı alt gruplar, bireysel müşterilere atandı; bu durum gerçekçi federasyon öğrenme koşullarını simüle ederek, her veri seti içindeki istatistiksel heterojenliği temsil ederdi. Toplam veri setinin yaklaşık %5–10'u her istemciye atanmış, sınıf dengesizliği korunarak gerçek dünyadaki IID dışı federasyon ortamlarını taklit etmiştir. Bu çalışmadaki heterojen veri setleri terimi, bağımsız deneysel veri setleri arasındaki farklardan ziyade müşteri düzeyinde istatistiksel heterojenliği ifade eder. Kıyaslama veri setleri, FEMNIST'te bireysel yazım stillerindeki farklılıklar, FLamby veri setlerinde görüntüleme protokolleri ve hasta demografisindeki farklılıklar, FedGraphNN veri setlerindeki yapısal farklılıklar ve CICIDS2017'te çeşitli ağ trafik desenleri gibi farklı istatistiksel heterojenlik biçimleri sergiledi ve topluca federe dayalı optimizasyon algoritmalarını zorlayan gerçekçi IID dışı veri dağılımları yarattı.

Veri setine özgü ön işleme
Veri setine özgü ön işleme işlemleri, federasyon eğitimden önce giriş formatlarını standartlaştırmak için gerçekleştirildi. FEMNIST için el yazısı karakter görüntüleri gri tonlara dönüştürülür, 28×28 piksel boyutuna yeniden boyutlandırılır ve [0, 1] aralığına normalleştirilir; bozuk veya eksik örnekler çıkarılır, sınıf etiketleri tek sıcak kodlanır ve örnekler yazar kimliklerine göre düzenlenir, böylece her yazar federe bir istemciye karşılık gelir. FLamby için tıbbi görüntüler 224×224 piksele boyutlandırıldı, veri setine özgü ortalama ve standart sapma kullanılarak normalleştirildi, yatay çevirme, dönüş ve kontrast ayarlaması gibi tekniklerle artırıldı ve hastane tanımlayıcılarına göre bölümlendi. FedGraphNN için, düğüm özellikleri, bitişik matrisler ve kenar ilişkileri tanımlanarak grafik yapıları oluşturuldu, düğüm özellik vektörleri normalleştirildi, grafik verileri seyrek bitişik temsillere dönüştürüldü ve grafikler istemci arasında alt graflar olarak bölündü. CICIDS2017 için tekrarlanan kayıtlar kaldırıldı, eksik değerler ortalama ile atfedildi, kategorik özellikler kodlandı, özellik normalizasyonu uygulandı ve iyi huylu ile saldırı trafiği katmanlı örnekleme kullanılarak dengelendi. Her müşteri veri seti %80 eğitim, %10 doğrulama ve %10 test alt kümelerine bölünmüş, böylece sınıf dağılımları korunmuştur. İstemci veri setleri ayrı klasörlerde (Client_01, Client_02, ...) saklanıyordu ve gizlilik amacıyla yerel düğüm erişimi kısıtlanıyordu.

Akıllı Federe Öğrenme Çerçevesi (IFLF) Mimarisi
Akıllı Federe Öğrenme Çerçevesi, Şekil 1'de gösterildiği gibi, Veri Katmanı, İstemci Katmanı, Toplama Katmanı, Uyum ve Optimizasyon Katmanı ile Yorumlanabilirlik Katmanı'ndan oluşan beş katmanlı bir mimari olarak organize edilmiştir. Mimari katmanlar, bilgiyi sıralı olarak aktaracak şekilde tasarlanmıştı. Heterojen veri setlerini istemci sahipliğine göre hazırlayıp bölümlendirdikten sonra, Veri Katmanı bilgiyi İstemci Katmanına iletmiştir; burada yerel modeller eğitilir ve model güncellemeleri oluşturulur. Bu güncellemeler, güvenilirlik ve benzerlik metriklerinin ağırlıklı müşteri katkılarının toplanmasını yönlendirdiği Aggregation Layer'a gönderildi. Adaptasyon ve Optimizasyon Katmanı, gradyan varyansına göre öğrenme oranı parametrelerini değiştirerek sorunsuz bir küresel eğitim süreci sağladı. Son olarak, Yorumlanabilirlik Katmanı, küresel modeli yorumlamak ve tahminlerin açıklamalarını üretmek için SHAP ve LIME gibi açıklanabilir yapay zeka yöntemlerinden yararlandı.

Şekil 1. Akıllı Federasyona Öğrenme Çerçevesinin Mimarisi. Çerçeve beş katmana ayrılmıştır: Veri, İstemci, Toplama, Uyum ve Optimizasyon ile Yorumlanabilirlik. Aynı konumlanmamış, heterojen istemcilerden gelen veriler yerel olarak işlenir, güvenilirlik ve benzerlik temelinde toplanır, uyarlanabilir olarak optimize edilir ve SHAP veya LIME kullanılarak yorumlanır. Oklar, istemci ile merkezi sunucu arasındaki yinelemeli iletişimi gösterir ve federasyon öğrenme döngüsünü oluşturur. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Veri katmanı
Veri setleri, istemci sahipliği ve gizlilik gereksinimlerine göre bölünmüş, her bir istemci için özel depolama konumları sağlanmıştır. Farklı ön işleme boru hatları uygulandı ve özellikler normalleştirildi; böylece alanlar arasında standart giriş formatları sağlandı.

İstemci katmanı
Cihazları, organizasyonları veya kurumları temsil eden dağıtık istemciler kuruldu ve her biri aynı parametrelerle başlatılmış aynı küresel modelin bir kopyasını aldı. Yerel eğitim, istmence özgü veri setleri kullanılarak ve stokastik gradyan inişi veya Adam gibi optimizasyon yöntemleriyle gerçekleştirildi; veri gizliliğini korumak için yalnızca model parametreleri veya gradyanlar iletildi.

Toplama katmanı
Merkezi bir toplama birimi, tüm istemcilerden şifreli model güncellemelerini alır ve toplamadan önce güvenilirliklerini ve benzerliklerini değerlendirirdi. Doğrulama performansına dayalı güvenilirlik puanları kullanılarak müşteri güncellemelerinin önemi belirlendi ve güncellemeler arasındaki benzerlik, kümeleme veya kosinüs benzerliği gibi yöntemlerle değerlendirildi. Ağırlıklı toplama gerçekleştirildi ve güncellenmiş küresel model müşterilere yeniden dağıtıldı.

Uyum ve optimizasyon katmanı
Optimizasyon parametreleri, danışmanlar arasındaki eğitim ilerlemesine göre dinamik olarak ayarlandı. Öğrenme oranları güncelleme varyansını azaltmak için planlandı ve danışan kaymasını azaltmak ve yakınsama kararlılığını artırmak için proksimal düzenleme ve uyarlanabilir ağırlıklandırma gibi ek teknikler uygulandı.

Yorumlanabilirlik katmanı
SHAP ve LIME gibi açıklanabilir yapay zeka yöntemleri, özellik atfisyon puanları ve model açıklamaları oluşturmak için kullanıldı. Çıktılar arasında özellik önemi sıralamaları, atıf haritaları ve görsel açıklamalar yer aldı; bunlar şeffaflığı sağlamak için alan özellerine özgü bilgi bağlamında yorumlandı.

Federe eğitim
Akıllı Federasyona Öğrenme Çerçevesi, merkezi toplama sunucusunda küresel modelin başlatılması ve ardından öğrenme hızı, iletişim turları ve yerel dönemler dahil olmak üzere eğitim hiperparametrelerinin tanımlanmasıyla uygulandı. Küresel model parametreleri tüm istemcilere dağıtıldı ve onlar da kendi özel veri setlerini kullanarak yerel eğitim yaptılar. Yerel eğitim kaybı ve doğrulama doğruluğu hesaplandı, model güncellemeleri toplanmadan önce oluşturulup şifrelendi. İstemci güncellemelerinin güvenilirliği, Denklem 1 kullanılarak doğrulama performansına dayanarak değerlendirildi.

(1)

Acc_i , müşterinin doğrulama doğruluğunu temsil eder.

İstemci güncellemeleri arasındaki benzerlik, Denklem 2'de tanımlandığı gibi gradyan vektörlerinin kosinüs benzerliği kullanılarak hesaplandı.

(2)

Burada g_i ve g_j, farklı istemcilerin gradyan vektörlerini temsil eder.

Uyarlanabilir toplama ağırlıkları, Denklem 3'te tanımlandığı şekilde güvenilirlik ve benzerlik puanlarının birleştirilmesiyle hesaplandı.

(3)

Her danışan için uyarlanabilir toplama ağırlığı, güvenilirlik ve benzerlik puanlarının birleştirilmesiyle belirlendi. Güvenilirlik metriği, yerel istemci modelinin doğrulama doğruluğunu yansıtırken, benzerlik metriği ise istemci gradyan güncellemeleri arasındaki kosinüs benzerliğini ölçtü.

Bu nedenle toplama ağırlığı w_i, hem güvenilir doğrulama performansı gösteren hem de küresel optimizasyon hedefiyle tutarlı güncelleme yönleri gösteren müşterileri önceliklendirdi.

Normalize ağırlıklar, tüm katılımcı istemcilerin toplam katkısının bir olmasını sağladı ve böylece küresel model güncellemesinde istikrar korundu.

Ağırlıklar öyle normalleştirildi ki , .

Küresel model güncellemesi
Müşteri modelleri, Denklem 4'te gösterildiği gibi ağırlıklı ortalama kullanılarak toplandı.

(4)

Burada M_i, istemci i'nin yerel parametrelerini temsil eder.

Güncellenmiş küresel model parametreleri tüm müşterilere yayınlandı.

Adaptif öğrenme hızı modülasyonu
İletişim turları arasındaki istemci gradyanlarının varyasyonu izlendi. Öğrenme hızı, Denklem 5'e göre dinamik olarak ayarlandı.

(5)

Var(g) ise danışanlar arasında gradyan varyansını temsil eder.

Güncellenmiş öğrenme oranı, bir sonraki yerel eğitim döngüsünde uygulandı. Uyarlanabilir öğrenme hızı, merkezi toplama sunucusu tarafından kontrol edildi ve sonraki eğitim turlarında tüm istemcilere küresel olarak uygulandı. Bu küresel ayarlama, müşteri güncellemelerindeki varyasyonları hesaba katırken tutarlı optimizasyon davranışını sağladı. Öğrenme hızı modülasyonu sunucu seviyesinde gerçekleştirildiği için, tüm katılımcı istemciler güncellenmiş öğrenme hızını ve yayın küresel model parametrelerini aldı.

Federe öğrenme performansı değerlendirmesi
Küresel model doğruluğu, Denklem 6'da gösterildiği gibi toplu test veri seti kullanılarak değerlendirildi.

(6)

TP gerçek pozitif tahmin sayısını, TN gerçek negatif tahminleri, FP yanlış pozitif tahminleri ve FN yanlış negatif tahminleri temsil eder

Müşteriler arasında adalet, müşteri doğruluğunun varyansının hesaplanmasıyla ölçüldü.

İletişim maliyeti, tüm iletişim turları boyunca istemci ile toplama sunucusu arasında iletilen toplam model parametreleri olarak hesaplandı. Bu nedenle toplam iletişim yükü, Denklem 7'de gösterildiği gibi tahmin edilmiştir.

(7)

Burada R, iletişim turlarının sayısı, C istemci sayısı ve S model boyutunu temsil eder.

Model yorumlanabilirlik analizi, küresel özellik önem puanlarını hesaplamak için SHAP ve bireysel tahminler için yerel açıklamalar oluşturmak için LIME kullanılarak gerçekleştirildi. Özellik atfisyonu sonuçları model davranışını yorumlamak için görselleştirildi.

Sorun Giderme
Kararsız yakınsama, istemci veri setleri çok heterojen olduğunda veya aşırı dengesiz sınıf dağılımları içerdiğinde meydana gelir. Bu tür durumlarda, yerel eğitim dönemleri kısaltıldı veya gradyan güncellemelerini stabilize etmek için başlangıç öğrenme oranı düşürüldü. Aşırı çarpık müşteri dağıtımları, toplama sırasında az sayıda müşterinin hakimiyetine yol açtı; bu durum, güvenilirlik ağırlık eşiğinin ayarlanması veya müşteri katılım çeşitliliğinin artırılmasıyla azaltıldı. Ağ kesintileri nedeniyle güvenilmez müşteri katılımı iletişim turlarını kesintiye uğrattı; bu nedenle, kısmi katılım etkinleştirildi ve toplama sunucusu mevcut istemci güncellemeleriyle devam edebildi. Yorumlanabilirlik hatası veya tutarsız özellik atıfı, modeller aşırı düzenlendiğinde veya yetersiz verilerle eğitildiğinde ortaya çıktı ve veri ön işleme adımları doğrulanırken model yakınsamasından sonra SHAP veya LIME açıklamaları oluşturuldu.

Model başlatma, yerel eğitim, akıllı toplama, uyarlanabilir optimizasyon ve yorumlanabilirlik analizinin yinelemeli dizisi, Akıllı Federasyon Öğrenme Çerçevesi'nin (IFLF) genel iş akışını temsil eden Şekil 2'de gösterilmiştir.

Şekil 2. Akıllı Federatif Öğrenme Çerçevesinin İş Akışı. Şekil, başlatma, yerel eğitim, toplama, uyarlanabilirlik ve yorumlanabilirlik dahil olmak üzere aşamaların yineleme döngüsünü göstermekte olup, çerçevenin uçtan uca işleyişini göstermektedir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Performans değerlendirmesi
Doğruluk, hassasiyet, hatırlama ve F1 puanı dahil olmak üzere küresel ve yerel metrikler hesaplandı. Adalet, yerel müşteri doğruluğunun varyansıyla ölçüldü. İletişim verimliliği, tur başına aktarılan veri boyutu olarak incelendi. Model performansı, FedAvg, FedProx ve FedOpt gibi tipik federasyon tabanlarına göre değerlendirildi. Sonuçlar yakınsama eğrileri, karışıklık matrisleri ve yorumlanabilirlik grafikleri kullanılarak sunuldu. Tüm deneysel ayarlar, kayıtlar ve kontrol noktaları tekrarlanabilirliği sağlamak için saklandı.

İş akışı özeti
IFLF döngüsü, yerel eğitim, akıllı toplama, uyarlanabilir optimizasyon ve yorumlanabilirlik analizi gibi yöntemlerin sürekli tekrarlanmasıyla gerçekleştirildi. Veri gizliliği, verilerin yerel düğümlerde tutulması ve iş birliği modelinin geliştirilmesini mümkün kılarak sağlandı. Bu adımlar, aynı yerde olmayan müşteriler arasında adalet, şeffaflık ve performansı ele alan mekanizmalar içeriyordu.

Results

Genel Bakış
Bu çalışmada bildirilen tüm deneysel sonuçlar, sağlam olmak için farklı rastgele başlatmalar ve müşteri örnekleme konfigürasyonlarıyla beş bağımsız çalışmada ortalamaya alınmıştır. Doğruluk, hassasiyet, hatırlama ve F1-puanı gibi performans metrikleri ortalama ± standart sapma olarak sunulur. Koşular arasında gözlemlenen standart sapma, genellikle %0,5 ile ±1,2% arasında ±%) sınırlı bir aralıkta kaldı ve önerilen çerçevenin heterojen federasyon ortamlarında istikrarlı ve tutarlı performans...

Discussion

Önerilen Akıllı Federasyon Öğrenme Çerçevesi (IFLF), heterojen ve dağıtık ortamlardan kaynaklanan federasyon öğrenimindeki zorlukları ele almaktadır. Dört veri seti boyunca sistematik değerlendirme, toplama ve uyarlanabilir optimizasyonun birleştirilmesinin yakınsama kararlılığını ve küresel model performansını iyileştirdiğini göstermektedir. Müşteri güvenilirliği ve benzerliği toplama sürecine dahil ederek, çerçeve tutarsız güncellemelerin etkisini azaltırken, küresel optimizasyon sıras...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CICIDS2017 Veri Seti	Kanada Siber Güvenlik Enstitüsü	Açık veri seti	Müdahale tespiti
FedGraphNN Veri Seti	FedGraphNN	Açık veri seti	Grafik öğrenme
FEMNIST Veri Seti	LEAF Kıyaslaması	Açık veri seti	Vizyon veri seti
FLamby Veri Seti	FLamby Projesi	Açık veri seti	Sağlık veri seti
Çiçek	Çiçek Çerçevesi	1.6	Federe öğrenme simülasyonu
GPU İş İstasyonu	NVIDIA	RTX GPU	Model eğitimi
NumPy	NumPy Geliştiricileri	1.26	Sayısal hesaplama
Python	Python Yazılım Vakfı	3.1	Programlama dili
Scikit-learn	Scikit-learn	1.3	ML yardımcı programları
TensorFlow / PyTorch	Google / Meta	Son Bilgiler	Derin öğrenme çerçevesi