Kurumlar arası dijital finansal veri iş birliği ve risk kontrolü için açıklanabilir federasyona öğrenme modeli

Özet

FedRisk uygulamak için tekrarlanabilir bir protokol sunuyoruz; açıklanabilir bir federasyon öğrenme çerçevesi. Prosedür, anlamsal veri uyumlaştırması, gizliliği koruyan varlıkların hizalanması, diferansiyel gizlilik kalibrasyonu, yerel GBDT eğitimi, küresel Transformer füzyonu ve gradyan sıkıştırılmış asenkron güncellemeleri içerir; böylece birden fazla kurumda güvenli, ölçeklenebilir ve düzenlemelere uygun finansal risk tahmini yapılabilir.

Özet

Finansal verilerin kurumlar arasında parçalanması ve sıkı gizlilik düzenlemeleri, iş birliği riski yönetimini ciddi şekilde engeller; bu da %60'ın altında doğrulukla sahtekarlık tespitinin eksik tespitine ve %25'in üzerinde yüksek KOBİ kredi temerrüt hatalarına yol açar. Mevcut federasyon öğrenme çözümleri, IID dışı veriler, model yorumlanabilirliği ve uyumluluk gibi zorluklarla karşı karşıya kalıyor ve bu da gerçek dünyada benimseme oranlarının %20'nin altına düşmesine yol açıyor. Bu eksiklikleri gidermek için, dört temel yeniliği entegre eden açıklanabilir bir federasyon öğrenme çerçevesi olan FedRisk'i öneriyoruz. İlk olarak, ontolojik anlamsal uyumlaştırmaya sahip kurumlar arası veri ağı özellik kullanımını %85'in üzerinde sağlar. İkinci olarak, hibrit bir yapay zeka modeli, yerel olarak yorumlanabilir GBDT'yi monoton kısıtlamalarla ve küresel dikkat odaklı bir Transformer ile birleştirerek, IID dışı senaryolarda performans kaybını FedAvg'ye göre %7,6 azaltıyor. Üçüncüsü, üçlü gizlilik mekanizması, ε=5 toplam bütçeyle uyarlanabilir diferansiyel gizlilik, ek olarak sır paylaşımı ve adalet farkında düzenleme kullanır; böylece grup tahmin yanlılığını 0,05'in altında ve RAROC kaybını %2,1'in altında sınırlar. Dördüncüsü, iletişim verimli optimizasyonlar tur başına bant genişliğini 8,5 MB'e, eğitim süresini ise 85 dakikaya düşürür. 5 milyondan fazla çok kurumsal kayıtta değerlendirilen FedRisk, merkezi GBDT'den sadece %1,8 düşük olan 0,912 AUC-ROC elde ederken, üyelik çıkarımı saldırılarına karşı 0,58 AUC ile direniyor. Kurumlar arası veri iletimi %99 azaltır ve AUC-ROC'da klasik FL tabanlarını %7,3 geride bırakır. Ham veri paylaşımı olmadan güvenli, şeffaf ve düzenlemelere uygun risk tahminini mümkün kılarak, FedRisk kurumlar arası finansal iş birliği için ölçeklenebilir bir çözüm sunar.

Giriş

Dijital finansın derinlemesine gelişimi, kişisel kredi riski kontrolünden KOBİ tedarik zinciri finansmanına kadar hizmet modellerini yeniden şekillendiriyor ve verileri temel üretim faktörü olarak belirliyor. PBOC'nun "2023 Çin Fintech Kalkınma Raporu"na göre, 2023 sonlarına doğru Çin'in dijital kredi ölçeği 65 trilyon yuan'ı aşarak toplam bakiyenin %38'ini oluşturdu ve günlük işlem verileri 500TB^1'i geçti. Ancak, "veri siloları" önemli bir engel olmaya devam ediyor. Kurumlar genellikle rekabet ve güvenlik endişeleri nedeniyle kapalı veri modellerini benimser. Örneğin, kredi kartı dolandırıcılığı tespitinde, yalnızca iç verilere dayanan bankalar kritik kurumlar arası kayıtları gözden kaçırır ve bu da yeni dolandırıcılık türleri için kimlik oranlarının %60'ın altına düşmesine yol açar. Benzer şekilde, KOBİ kredisi için dış sigorta ve vergi verilerinin eksikliği, temerrüt tahmin hatalarının %25'i aşmasına yol açıyor. Bu parçalanma, iki zorluk yaratır: 200 milyon hizmet almayan danışanın erişimini sınırlamak ve risk çapraz bulaşmayı %18 artırmak (CBIRC 2023 Raporu). Sonuç olarak, veri siloları dijital finansın yüksek kaliteli gelişimini engelleyen temel darboğaz haline geldi.

Son yıllarda, küresel veri gizliliği yasalarındaki artış, merkezi veri paylaşımını önemli ölçüde sınırladı. Finansal kurumlar artık üç temel ilkeye uymak zorundadır: "minimum gereklilik," "bilgilendirilmiş rıza" ve "izlenebilirlik." Bölgesel çerçeveler farklılık gösterse de, hepsi kurumlar arası veri kullanımına katı eşikler getirir; bu durum Tablo 1'de detaylandırılmıştır.

Düzenleyici çerçeve	Çekirdek kısıtlayıcı maddeler	Finansal veri iş birliği üzerindeki etkisi
AB'nin Genel Veri Koruma Yönetmeliği (GDPR)	1. Sınır ötesi veri transferi "yeterlilik belirlemesi"ni karşılamalıdır; 2. Bireylerin verilerine erişme ve silme hakkı vardır; 3. Veri ihlalleri 72 saat içinde bildirilmelidir	Ham verinin yetkisiz sınır ötesi iletimi yasaktır ve merkezi paylaşım gizlilik etki değerlendirmesi (PIA) gerektirir; bu da uyum maliyetlerini %30 artırır
Kaliforniya Tüketici Gizliliği Yasası (CCPA)	1. Tüketiciler şirketlerden kişisel verilerini silmelerini isteyebilir; 2. Veri paylaşımı, ne amaçla kullanılacağına dair net bildirim gerektirir	Merkezi platformlar, her tüketici için veri erişim arayüzleri gerektirir, bu da işletme maliyetlerini %25 artırır ve tüketicilerin verileri silmesi ve model için eksik eğitim verilerine neden olmasını kolaylaştırır
Çin'in Kişisel Bilgi Koruma Yasası	1. Kişisel bilgi işleme ayrı bir onay gerektirir; 2. Hassas kişisel bilgi işleme için ek yetkilendirme belgeleri gereklidir; 3. "Veri sınıflandırma ve koruma" sistemi kurmak	Kurumlar arası veri paylaşımı her müşteriden yetkilendirme gerektirir ve pratikte yetkilendirme oranı %40'ın altındadır. Merkezi modun uygulanması zordur
AB Ödeme Hizmetleri Direktifi II (PSD2)	1. Banka veri arayüzünü açın; 2. Veri paylaşımı, müşteri yetkilendirmesi ve sınırlı kullanıma dayalı olmalıdır	Veri paylaşımını desteklese de, tüm arayüz erişim sürecinin takip edilmesini gerektirir ve merkezi platform, arayüz güvenliği ve denetim sorumluluğunu üstlenir; bu da teknik karmaşıklığı önemli ölçüde artırır

Tablo 1: Büyük veri düzenleyici çerçevelerinin temel gereksinimlerinin karşılaştırılması.

Bu çalışma, kurumlar arası federasyona dayalı risk modellemedeki zorlukları ele almak için üç önemli yeniliği tanıtmaktadır. İlk olarak, ontolojik anlamsal katmana sahip bir veri ağı mimarisi, heterojen şemaları standartlaştırarak %85'ten fazla özellik kullanımı sağlarken veri egemenliğini korur. İkincisi, hibrit bir yapay zeka modeli, yerel olarak yorumlanabilir GBDT'yi düzenleyici uyumlu monoton kısıtlamalarla ve küresel dikkat odaklı bir Transformer ile birleştirir. Kurumsal çıktıları dinamik olarak ağırlıklandırarak, bu model IID dışı performans kaybını %7,6 azaltırken AUC-ROC'yu 0,912 tutar. Üçüncüsü, üç taraflı gizlilik uyum mekanizması, GDPR uyumunu sağlamak için uyarlanabilir diferensiel gizliliği (ε=5), ek gizli paylaşımı ve adalet farkında düzenlemeyi entegre eder, ΔDP önyargısını < 0.05'e sınırlar ve üyelik çıkarımı saldırılarına karşı direnç gösterir (AUC=0.58). Bu yenilikler, federe finansal yapay zekada veri parçalanması, düzenleyici yorumlanabilirlik ve gizlilik-güvenlik dengelerini bir araya getiriyor.

Finans alanında federasyon öğrenimi, veri dağılımına göre Yatay Federe Öğrenme (HFL⁾², Dikey Federasyon Öğrenim (VFL⁾³ ve Federe Transfer Öğrenme (FTL⁾⁴ olarak kategorize edilmiştir (Tablo 2).

Federal paradigma	Temel özellikler	Finansal risk kontrolü adaptasyon senaryosu	Temsilci çalışmalar	Sınırlılık
Yatay federal öğrenme	Katılımcıların veri özellik alanı tutarlıdır, ancak örneklem alanı farklıdır	Kurumlar arası kredi kartı dolandırıcılığı tespiti	McMahan ve ark. [[i]](2017), parametre ortalaması yoluyla kurumlar arası model iş birliği sağlayarak ilk kez finansal dolandırıcılıkla mücadeleye HFL uygulayan ve 10 bankalı veri setinde dolandırıcılık tespit oranını %12 artıran FedAvg algoritmasını önermiştir	Finansal verilerin bağımsız olmayan ve aynı şekilde dağıtılmış (IIID olmayan) özellikleri dikkate alınmadan, kurumlar arasındaki müşteri risk dağılımı farkı %30'u aştığında, modelin AUC-ROC oranı %15'ten fazla azalır
Dikey federal öğrenme	Katılımcıların örnek alanı tutarlıdır, ancak özellik alanı farklıdır	Bankalar ve sigorta şirketleri arasında iş birliği içinde kredi riski kontrolü	Yang ve ark. [[ii]] (2020), homomorfik şifreleme yoluyla dikey özellik ortak eğitimi sağlayan ve küçük ve mikro işletme kredisi senaryosunda varsayılan tahmin doğruluk oranını %89,3 sağlayan SecureBoost algoritmasını önermiştir	Sıkı varlık hizalamasına dayanır, bu da gizlilik sızıntısı riski yüksek ve özellik boyutu çok büyük olduğunda eğitim verimliliği keskin şekilde düşer
Federal Transfer Öğrenimi	Katılımcıların veri dağılımı ve özellik alanında farklılıklar vardır	Senaryolar arası risk göçü	Pan ve diğerleri.[[iii]] (2021), tedarik zinciri finansmanında örnek kıtlığı sorununu parametre göç optimizasyon modelini başlatarak çözmüştür ve bu da yakınsama hızını %60 artırmıştır	"Negatif göç" göç sürecinde gerçekleşmesi muhtemeldir. Kaynak senaryo ile hedef senaryo arasındaki risk mekanizması farkı %40'ı aştığında, model performansı geleneksel modeli aşmaktadır
[[i]]McMahan, B., Moore, E., Ramage, D., Hampson, S., & y Arcas, B. A. (2017). Derin ağların merkeziyetsiz veriden iletişim açısından verimli öğrenimi. 20. Uluslararası Yapay Zeka ve İstatistik Konferansı Bildirileri, 1273–1282.
[[ii]]Yang, Q., Liu, Y., Chen, T., & Tong, Y. (2020). Federe makine öğrenimi: Kavram ve uygulamalar. ACM Akıllı Sistemler ve Teknoloji Üzerine İşlemler, 10(2), 1–19.
[[iii]]Pan, S. J., & Yang, Q. (2021). Transfer öğrenme üzerine bir anket. IEEE Bilgi ve Veri Mühendisliği Süreçleri, 33(12), 2345–2359.

Tablo 2: Finans sektöründe öğrenme paradigmalarının karşılaştırılması.^5,6,7

Son gelişmeler senaryoya özgü zorlukları ele alıyor: FedSSL⁸ , karşılaştırmalı öğrenme yoluyla etiket kıtlığını ele alırken, FedLite⁹ kaynak kısıtlı kurumlar için 490×% iletişim azalması sağlıyor. Sağlık¹⁰, güvenlik açıkları¹¹, çoklu modal finans¹² ve ölçeklenebilirlik¹³ genişletmeleri, FL'nin geniş uygulanabilirliğini göstermektedir.

Gizlilik koruması finansal risk kontrolünün merkezindedir. Üç ana akım teknik—Diferansiyel Gizlilik (DP)¹⁴, Güvenli Çok Taraflı Hesaplama (SMC)¹⁵ ve Homomorfik Şifreleme (HE)¹⁶—güç, verimlilik ve uyum sağlama açısından belirgin avantajlar sunar. DP resmi olarak Pr[M(x) = y] ≤ e^∈ ⋅ Pr[M(x') = y] + δ ile tanımlanır; burada M rastgele algoritmanı temsil eder, $x$ ve $x'$ komşu veri setlerini gösterir ve y algoritma çıktısıdır. Bu, veri setleri arasında çıktı benzerliğini sağlar ve kontrol edilebilir gürültü yoluyla bireysel sızıntıyı sıkı bir şekilde sınırlar. Teknik özelliklerinin karşılaştırmalı analizi Tablo 3'te sunulmaktadır.

Teknoloji türü	Temel ilkeler	Gizlilik gücü (ε değeri)	Hesaplama karmaşıklığı	Finansal senaryo uyum sağlama
Farklılık gizlilik	Veri setine bireysel katkılar, gürültü eklenerek ayırt edilemez	ε=1-5 (finansal senaryolar için önerilen değer)	O (n) (n örneklem büyüklüğüdür)	Yüksek, tüm model eğitimi sürecine uygun olup, federasyon öğrenimiyle sorunsuz bir şekilde birleştirilebilir
Güvenli çok taraflı hesaplama	Birden fazla katılımcı, ara sonuçları açıklamadan hesaplama yapmak için iş birliği yapar	Bilgi-teorik güvenlik	O (n²) (dikey federal senaryo)	Evet, hassas özellik birleşimi hesaplamaları için uygundur, ancak büyük örneklem senaryolarında çok uzun sürer
Homomorfik şifreleme	Şifrelenmiş veri doğrudan hesaplanır ve şifre çözüldükten sonra doğru sonuç elde edilir	Hesaplama açısından güvenli	O (n³) (kafes kriptografisine dayanır)	Düşük ölçekli, sadece küçük ölçekli parametre iletimi için uygun, milyonlarca örnek senaryo hesaplama süresi 24 saatten fazla

Tablo 3: Gizlilik koruma teknolojisi özelliklerinin karşılaştırılması.

Finansal uygulamalarda, "gizlilik-etki denge kontrolü" nedeniyle diferansiyel gizlilik ana akım tercih haline gelmiştir. Dwork, ^C.17 , klasik (ε, δ)-DP tanımını önererek gizlilik koruması için nicel bir standart sağladı. Temel formül şöyledir:

(1)

Burada M Bir gizlilik koruma algoritması olarak, D ve D bitişik bir veri setidir (sadece bir örnek fark), Gizlilik bütçesi (gizlilik koruması ne kadar küçükse o kadar güçlüdür), r Gizlilik bütçesi (gizlilik koruması ne kadar küçükse o kadar güçlü), δ Başarısızlık olasılığı (genellikle ^10-5 olarak alınır).

Abadi, M. ve ^ark.18 , kredi riski modeli gizlilik sızıntısını %8'in altına düşürmek için gradyan kırpma ve gürültü enjeksiyonu kullanarak Diferansiyel Gizlilik Stokastik Gradient Inişi (DP-SGD) geliştirmiştir. Güvenli çok taraflı hesaplama (SMC) ve homomorfik şifreleme öncelikle hassas işleme için kullanılır. Örneğin, Bogetoft, P. ve ^ark.19 , SMC'yi bankalar arası kredi puanlamasına uygulamış ve yalnızca nihai puanların erişilebilir olmasını sağlamıştır. Perri, ^L.2 , güvenli parametre toplama için tamamen homomorfik bir şifreleme algoritması önermiştir; ancak yüksek hesaplama karmaşıklığı bu algoritmanın uygulamasını orta ölçekli bankalar arasında küçük ölçekli eğitimle sınırlandırır.

Yapay zeka risk kontrol modelleri, geleneksel merkezi mimarilerden dağıtık mimarilere evrilmiş olup, veri bağımlılığı, performans ve uyum maliyetlerinde önemli farklılıklar gösteren iki paradigma bulunmaktadır. Merkezi modeller arasında Gradient Boosting Trees (GBDT) ve derin öğrenme modelleri bulunur. Friedman, J., Hastie, T.Tibshirani, ^R.21 tarafından önerilen GBDT algoritması, çoklu ağaç entegrasyonu yoluyla risk tahmin doğruluğunu artırır ve kişisel kredi senaryolarında 0.93 AUC-ROC elde eder. Ancak, tam müşteri verilerinin toplanmasını gerektirir ve veri ihlali ve uyum zorlukları riski taşır. Zhang, H., Liu, Y., Zhang, X., Yin, Z.Li, ^Y.22 , dolandırıcılık tespit oranlarını %15 artıran ancak parametre boyutu 10 GB'ı aşan transformatör tabanlı bir risk kontrol modeli geliştirmiştir. Dağıtık paradigma, parametre paylaşımı ve özellik paylaşımı yaklaşımlarını içerir. Parametre paylaşımı (örneğin, FedAvg) yerel parametreleri toplar ancak IID dışı özelliklerle mücadele eder: AUC-ROC 0,89'dan 0,82'ye düşerken, varsayılan oran farkları %0,5'ten %3,5'e yükselirken. Özellik paylaşımı (örneğin, SecureBoost) dikey iş birliğini sağlar ancak hassas hizalama gerektirir; hatalar %5'i aştığında performans %20 düşer.

Federe öğrenmenin özü, ham veri transferi olmadan çok kurumlu işbirlikçi eğitimi mümkün kılmaktır. Bu çerçeve, katılımcıları, eğitim sürecini ve hedef fonksiyonu tanımlar. Bu çalışmada sistem, Kfinance kurum düğümlerinden (P₁, P₂, ..., P_K olarak gösterilir) ve bir koordinatör C'den oluşmaktadır. Her kurum_PK, risk etiketleri (0 normal, 1 varsayılan dolandırıcılık), yerel örneklem büyüklüğü, tam veri ölçeği için müşteri özellik vektörleri y  _k,i∈_∈R_d ile yerel bir veri seti bulundurur. Eğitim, "yerel yineleme-küresel toplama" sürecini takip eder: i) Başlatma: Koordinatör başlangıç küresel parametreleri θ₀ üretir ve bunları tüm kurumlara dağıtır; ii) Yerel yineleme: eğitim turunda,_{kurum P K} yerel verilere ve mevcut küresel parametrelere θ_t dayanır, gradyan inişi yoluyla yerel kayıp fonksiyonunu en aza indirir, güncellenmiş yerel parametreler θ_t,k alınır, yani:

(2)

Burada n öğrenme hızıdır ve ∇_θL_k(θ_t) yerel kaybın gradyanıdır, a θ_t yerel kaybın gradyanı a θ_t; iii) Küresel toplama: Kurum yerel parametreleri şifreler ve koordinatörüne yükler, koordinatör örnek boyutu ağırlıklı toplama ile yeni küresel parametreler θ_t+1 üretir:

(3)

iv) Son koşul: 2-3. adımları tekrarlayın, küresel modelin doğrulama kümesindeki performansı ardışık turlar için iyileşmeyince, son modeli çıktılayın. θ^* = θ_T. Finansal verilerin bağımsız olmayan özdeş dağılım (IID olmayan) özellikleri göz önüne alındığında, geleneksel federasyon ortalaması (Fed Ortalama_k) varsayımlarının genişletilmesi gereklidir. Bu çalışma, IID dışı karakterizasyonda "etiket dağılımı heterojenliği" ve "özellik dağılımı heterojenliği" gibi çift boyutlar kullanır: Kurumlardaki pozitif örneklerin (varsayılan olaylar) oranı şu şekilde tanımlansın:

(4)

Etiket izomorfizma katsayısı tanımlanır ; Küme özelliklerinin ortalama farkı şu olsun: α>0.03 ve ne zaman, Yüksek bir IID dışı senaryo olarak belirlenir.

Saldırganın yeteneği ve hedefine göre, tehdit senaryoları Tablo 4'te gösterildiği gibi üç kategoriye ayrılmıştır

Tehdit Türü	Saldırganların kimliği	Punch Ball	Tipik yöntemler
Yarı doğruluk saldırısı	Katılımcı kurumlar/koordinatörler	Diğer kurumların müşteri özelliklerini çıkarmak	Model parametrelerine dayalı gradyen tersine çevirme ve üye akıl yürütme saldırıları
düşman saldırısı	Kötü niyetli kurumlar	Kirlilik küresel modeli	Yanlış gradyanlar ve zehir modelleri yükleyin
Dış saldırı	Yetkisiz üçüncü şahıslar	Geçiş sırasında parametreleri/özellikleri çal	Ara saldırılar, iletişim bağlantılarını dinleme

Tablo 4: Finansal Sistemin tehdit modeli sınıflandırması.

(ε,δ) -Diferansiyel gizlilik (Diferansiyel Gizlilik, DP) temel gizlilik standardı olarak kullanılarak, temel gizlilik standartı "veri setinin örnek içerip içermediği" etkisinin model çıktısı üzerindeki etkisinin göz ardı edilebilmesidir. Biçimsel tanım şöyledir: Federatif öğrenme M algoritmaları için, Eğer sadece bir örnek (DΔD' = 1) fark eden ve bitişik iki veri seti için ve herhangi bir çıktı S⊆Aralığı(M) kümesi için şunları sağlar:

Pr[M(D)∈S]≤e^ε⋅Pr[M(D^')∈S]+δ (5)

O zaman buna tatmin (ε,δ)-DP denir. Bunlardan biri "gizlilik bütçesi" (Gizlilik koruması ne kadar küçükse, o kadar güçlüdür ve genellikle finansal senaryo alınır), δ "başarısızlık olasılığı" (Genellikle δ≤düşük olasılıklı olayların gizlilik ve güvenliği etkilememesi için 10-5) (genellikle ^10-5 olarak düşük olasılıklı olayların gizlilik ve güvenliği etkilememesini sağlar). Federe eğitimin çok turlu yineleme özelliklerine uyum sağlamak için, toplam gizlilik tüketimi "Renyi diferansiyel gizliliği" (RDP) kombinasyon teoremi kullanılarak hesaplanır. Her eğitim turunun gizlilik bütçesi ε_{t olsun,} ardından döngü eğitiminden sonraki toplam gizlilik bütçesi şunları karşılar:

(6)

Bu teorem, tur başına gizlilik bütçesini dinamik olarak tahsis ederek uyarlanabilir gürültü kalibrasyonu için teorik bir temel sağlar.

FedRisk, Rényi DP (RDP) bileşim teoremi aracılığıyla gizlilik bütçelerini dinamik olarak tahsis eden titiz (ε, δ)-diferansiyel gizlilik (DP) çerçevesi kullanır. Küresel duyarlılık Δf'yi, bitişik veri setleri tarafından indüklenen model parametrelerindeki maksimum L1-norm değişimi olarak tanımlar (tek bir örnekle farklılık gösteren), varyans farkında Laplace gürültü kalibrasyonu ile (gürültü katsayısı κ_t veri dağılımı dalgalanmalarına orantılıdır). Toplam gizlilik bütçesi kısıtlaması ε=5 (GDPR uyum eşiklerini karşılama) altında, RDP çok turlu eğitim gizlilik tüketimini (ε, δ)-DP (δ=10⁻⁵) olarak dönüştürür; koruma gücü ve model fayda-ampirik sonuçları bunun üye çıkarımı saldırısı AUC'sini 0.58'e bastırdığını ve risk tahmini AUC-ROC'nin 0.912'de korunduğunu gösterir.

Finansal risk kontrol modellerinin optimizasyonu, aynı anda üç düzenleyici gerekliliği karşılamalıdır: "öngörücü doğruluk", "gizlilik koruması" ve "adalet". Yalnızca kayıp minimize etmeyi amaçlayan geleneksel optimizasyon fonksiyonları artık geçerli değildir. Düzenleyici kısıtlamaları ölçülebilir düzenleme terimlerine dönüştürmek için çok amaçlı bir optimizasyon çerçevesi oluşturulmalıdır. İkili sınıflandırma senaryoları (varsayılan/normal) için, log kaybı (LogLoss) temel kayıp fonksiyonu olarak benimsenmiştir ve model tarafından tahmin edilen olasılıklar ile gerçek etiketler arasındaki sapmayı ölçmek için şu şekilde tanımlanır:

(13)

Burada p_k,i = σ(θ; x_k,i) model için örneklemin (x_{k,i,y k,i}) tahmin edilen varsayılan olasılığıdır, σ(⋅) Sigmoid aktivasyon fonksiyonudur.

GDPR, Kişisel Bilgi Koruma Yasası ve diğer düzenlemelerin gereklilikleri, nihai optimizasyon hedefini oluşturmak için temel kayıp fonksiyonuyla birleştirilen üç tür düzenleme terimine dönüştürülür:

(14)

Her düzenleme teriminin tanımı ve işlevi şöyledir: i) Gizlilik kısıtlamaları: Farklı gizliliğin gürültü ekleme maliyetine dayanarak, nicel gizlilik korumasının model doğruluğu üzerindeki etkisi tartışılır. Model Δparametrelerinin küresel hassasiyeti (yani, bitişik veri kümelerinin neden olduğu maksimum parametr değişimi) olsun, o zaman:

(15)

Bu terim, eklenen gürültü yoğunluğunun gizlilik bütçesine uymasını ve model doğruluğundan aşırı ödün vermemesini sağlar. ii) Adalet kısıtlaması: Kişisel Bilgi Koruma Yasası'ndaki "ayrımcılığa karşı" gereklilikler göz önüne alındığında, farklı grupların tahmin yanlılığı sınırlandırılmıştır. Örneğin "demografik eşitlik" (Demografik Parite) örneğini alalım, kümenin pozitif tahmin oranı , o zaman olur:

(16)

Bu terim, farklı gruplar arasındaki tahmin oranındaki farkı en aza indirir ve model ayrımcılığını önler. III) Dayanıklılık kısıtlamaları: Basel III'teki "model anti-parazit yeteneği" gereksinimlerine yanıt olarak, verideki küçük bozulmaların model çıktısını anlamlı şekilde etkilemediğinden emin olun. Karşıt örnek Δx bozulmaları ekleyerek (Δx|_∞≤γ), araştırma şunları tanımlar:

(17)

Terim geliştirme modelinin anormal verilere dayanıklılığı iyileştirilir ve yanlış değerlendirme riski azalır. Bu formülde, düzenleme katsayısı çapraz doğrulama ile belirlenmiştir (bu çalışmada λ₁=0.01, λ₂=0.05,λ₃=0.02), üç düzenleyici hedef ile tahminin doğruluğu arasında bir denge sağlanır.

Protokol

Sistem mimarisi

Kurumlar arası veri ağı ve anlamsal katman

Kurumlar arası veri heterojenliğini ele almak için araştırma, alan odaklı düğüm bölümlemesi yoluyla bir Veri Mesh mimarisi oluşturur. Her finansal kurum, sahiplik ve kontrol haklarını koruyarak bağımsız bir veri alanı düğümü olarak çalışır; anlamsal katman ise birleşik veri anlama ve etkileşim sağlar. Ontoloji tabanlı anlamsal katman, birleşik bir finansal risk kontrol veri modeli oluşturur; temel varlıkları, f_harita özelliklerini ve varlık ilişkilerini tanımlar. Belirli anlamsal eşleme kuralları Tablo 5'te detaylandırılmıştır. Kuruma özgü alanlar için, standartlaştırılmış dönüşümler anlamsal eşleme fonksiyonlarıyla sağlanır:

(18)

Çekirdek varlığı	Kurumun A alan adı	Kurumdaki B alanının adı	Anlamsal katman uniform alan adı	Veri türü	Standart kurallar
Müşteri	Premium müşteri puanı (1-5)	VIP müşteri seviyeleri (bronzdan elmasa kadar)	Müşteri kredi puanı (1-5)	Tam sayı	Bronz→1, Gümüş→2, Altın→3, Platin→4, Elmas →5
İş Dünyası	İşlem miktarı (on bin yuan)	İşlem miktarı (yuan)	İşlem miktarı (yuan)	Yüzen sayı	Kurumdaki A alanının değeri 10.000 kattır
Kredi başvurusu	Başvuru kotası (kredi oranı)	Beklenen kredi miktarı	Başvuru kredisi miktarı (yuan)	Yüzen sayı	Kurum A: Toplam kredi × başvuru miktarı oranı; Kurum B: doğrudan haritalama

Tablo 5: Finansal risk kontrolü alanında temel varlık anlamsal eşleme kuralları.

Burada x_i,j , kurumun i-nji özel alan değeri j, min(x_j) ve max(x_j) kurum içindeki alanın minimum ve maksimum değerleridir, U_j ve L_j, bu alan için birleşik değer aralığının üst ve alt sınırlarını anlamsal katmanda tanımlar.

Blokzincir tabanlı küresel model kaydı ve denetim izi

Federasyon öğreniminde kaotik model sürüm yönetimi ve izlenemeyen eğitim süreçleri sorunlarını çözmek için, blokzincir teknolojisi küresel bir model kaydı ve denetim - takip sistemi oluşturmak için kullanılır. Konsorsiyum blok zinciri mimarisi kullanılarak, katılımcı düğümler arasında finansal kurumlar, federasyon koordinatörleri ve düzenleyici kurumlar bulunur; bu da verilerin değişmezliğini ve çok partili uzlaşma^{sağlar 23}. Küresel model sicili, modellerin temel meta verilerini saklar; bunlar arasında sürüm numaraları, eğitim H_v turları, katılımcı kurumların listeleri, yapısal parametreler ve performans metrikleri bulunur. Bu meta veriler, her model versiyonunun benzersiz bir hash değerine karşılık geldiği bir Merkle ağacı yapısı kullanılarak saklanır:

(19)

Burada v model versiyon numarası, T toplam eğitim tur sayısı, S eğitime katılan kurumların koleksiyonu, ID_i bir kurumun benzersiz tanımlayıcısı, θ_v versiyon v için model parametre vektörüdür ve AUC_v bu modelin AUC-ROC değeridir.

Federe özellik mühendisliği boru hattı

Güvenli varlık hizalanması ve şema uyumlaştırması

Özellik mühendisliği, kurumlar arası veri iş birliğinin temel bileşeni olarak hizmet eder ve verilerin gizliliğini sağlarken etkili bir şekilde özelliklerin çıkarılması, hizalanması ve toplanması gerekir. Bu çalışma, hem kurumlar arası özellik heterojenliği hem de gizlilik sızıntısı risklerini ele almak için güvenli varlık hizası, şema koordinasyonu ve farklı gizliliğe dayalı işlem grafiği toplama süreçlerini kapsayan kapsamlı bir iş hattı^{tasarlamaktadır 24}. Kurumlar arası varlık uyumu, özellik iş birliği için gereklidir. Ancak, müşteri tanımlayıcılarının doğrudan iletilmesi gizliliği tehlikeye atacaktır. Bu nedenle, araştırma, homomorfik şifreleme (HE) ile yerel hassasiyetli hashing (LSH) teknolojisini birleştiren gizlilik koruyucu varlık hizalama yöntemini benimsemektedir. Kurumlar, ön tanımlayıcılar oluşturmak için SHA-256 hash fonksiyonları kullanarak müşteri tanımlayıcılarını ön işliyor. Bu tanımlayıcılar, sonraki şifreleme hesaplamalarını azaltmak için LSH aracılığıyla aynı "kova"ya eşlenir. Aynı kovadaki tanımlayıcılar Paillier homomorfik şifrelemesinden geçer. Şifrelenmiş tanımlayıcılar, şifrelenmiş tanımlayıcıların benzerliğini kosinüs benzerliği kullanarak karşılaştırarak varlık hizalanması sağlanan federasyon koordinatörüne yüklenir.

(20)

Benzerlik önceden belirlenmiş eşik değerinden büyük olduğunda (bu çalışmada τ=0.95 olarak alınır), aynı varlık olduğu belirlenir ve kurumlar arasında birleşik bir varlık kimliği oluşturularak güvenli varlık hizalanması sağlanır.

İşlem grafiği gömmelerinin diferansiyel özelleştirilmesi

Finansal işlem verileri belirgin grafik yapılandırılmış özellikler gösterir (müşteriler düğüm, işlemler kenar olarak). İşlem grafiği gömme, müşterilerin ilgili taraf işlem kalıplarını etkili bir şekilde yakalar ve risk kontrol modelleri için kritik özellikler sağlar. Ancak, kurumlar arası G_i=(V_{i,E i})V_iiE_ie_i,v∈R^dd d işlem grafiği gömmelerinin doğrudan toplanması, istemcilerin işlem ile ilgili bilgilerini sızdırabilir. Bu nedenle, işlem grafiği gömmelerinin gizliliği koruyan toplanması için Diferansiyel Gizlilik (DP) teknolojisi tanıtıldı. Her kurum, kurumun istemci düğümleri kümesini temsil eden ve işlem kenarları kümesini (işlem miktarlarına eşit kenar ağırlıkları) temsil eden bir işlem grafiği yerel olarak oluşturur. GraphSAGE algoritması, düğüm gömme boyutları oluşturmak için kullanılmıştır (bu çalışmada 256 boyutlu göme boyutları ile). Farklı gizlilik gereksinimlerini karşılamak için, yerel gömmelere Laplacian gürültüsü eklenir:

(21)

Burada Δ_G GraphSAGE algoritmasının küresel hassasiyeti (bu çalışmada deneyle tahmin edilen Δ_G=0.8), ajansın yerel gizlilik bütçesi için,

(22)

Sistemin toplam gizlilik bütçesi için bu çalışma ε_toplam=1.5 alır. Koordinatörü, her kurumun gürültü gömülmesini ağırlıklı ortalama stratejisi kullanarak toplar; ağırlıklar her kurumun müşteri yüzdesine göre yapılır:

(23)

Toplu küresel işlem grafiği, her kuruma gömülülüp geri aktarılır. Risk kontrol modelinin temel bir giriş özelliği olarak, yalnızca kurumlar arası işlem korelasyon bilgisini korumakla kalmaz, aynı zamanda müşteri gizliliğini de farklı gizlilik yoluyla korur.

(24)

Hibrit yapay zeka risk modeli

Yerel alt modeller: Monoton kısıtlamalarla gradyen güçlendirme

Geleneksel merkezi yapay zeka risk kontrol modelleri, kurumlar arası federasyon senaryolarına uyum sağlamakta zorlanıyor. Bu çalışma, "yerel alt modeller + küresel füzyon modeli"ni birleştiren hibrit bir yapay zeka risk modeli geliştirerek, Gradient Boosting Tree'lerin (GBDT) yüksek yorumlanabilirliğini Transformer'ın bağımsız olmayan ve aynı şekilde dağıtılmış (NID) verilere uyum sağlama yeteneğiyle birleştiriyor. Federe ortamlarda model performansı ile açıklanabilirliği dengelemek için bir yorumlama modülü tanıtılır. Her kurum, güçlü yapısal veri uyum yeteneği ve yüksek yorumlanabilirliği nedeniyle seçilen GBDT alt modellerini yerel olarak oluşturur - finansal risk kontrol düzenlemeleri için temel gereksinimler. Aşırı uyum ve mantıksız sonuçları önlemek için, GBDT eğitimi sırasında monoton kısıtlamalar uygulanır ve müşteri geliri ve kredi puanları gibi temel özellikler için monoton artan veya azalan kalıplar uygulanır. GBTD tarafından belirlenen ilk ağaç h_t(x)'dir ve model çıktısı şudur:

(25)

Burada η öğrenme oranıdır (bu çalışma η=0.1 alır). Monoton kısıtlama, kayıp fonksiyonunun düzenlenmesi x_j ile gerçekleştirilir.

Kısıtlama terimi ekleyin:

(26)

Burada, x≺x^' x'in özdeğerinin ^x'in özdeğerinden küçük olduğunu gösterir ve nihai kayıp fonksiyonu şöyledir:

(27)

Burada l, logaritmik kayıp fonksiyonudur (ikili risk kontrolü y_i∈{0,1} senaryosunda kullanılır ve müşterinin varsayılan olup olmadığını gösterir). ağaç için karmaşıklık düzenleme terimidir, λ ve γ düzenlenme katsayısıdır (Bu çalışma λ=0.01 γ=0.5 çapraz doğrulama yoluyla yapılmıştır, n_i kurum için yerel örnek sayısıdır i,T ağaç sayısıdır (Bu çalışma T=100 aldı).

Küresel füzyon: IID dışı adaptasyon için dikkat odaklı transformatör

Kurumlar arası veriler, IID dışı dağılım özelliklerinde önemli özellikler gösterir. Yerel model parametrelerini sadece ortalayan geleneksel FedAvg algoritmaları, IID dışı verilere uyum sağlamakta zorlanır. Bunu ele almak için, araştırma yerel alt modellerin akıllı füzyonu için p_i(x)=σ(F_i(x))σF_i(x)_{ia i} tabanlı Transformer modeli tanıtmaktadır. Küresel füzyon modeli, her kurumun yerel alt modelinden (kurumsal GBDT modellerinden sigmoid fonksiyon çıktıları) çıktı olasılıklarını girdi olarak alır. Transformer mimarisi, bir kodlayıcı ve dikkat katmanından oluşur; dikkat katmanı, farklı kurumların çıktılarından dikkat ağırlıklarını hesaplayarak uyarlanabilir ağırlık elde eder. Dikkat ağırlıkları Ölçekli Nokta-Çarpım Dikkat kullanılarak hesaplanır:

(28)

Burada, q sorgu vektörü (küresel örneklerin ortalama risk özellikleri tarafından oluşturulan), kurumun anahtar vektörüdür i, d_k anahtar vektörün boyutudur (bu çalışmada d_k=64), n federasyona katılan ajansların sayısıdır.

Küresel modelin nihai çıktı olasılığı şudur:

(29)

Dikkat mekanizması sayesinde, küresel model yüksek veri kalitesine ve doğru risk tahminine sahip kurumlara otomatik olarak daha yüksek ağırlık verebilir ve IID dışı verilere uyum sağlama yeteneğini artırabilir.

Açıklanabilirlik modülü: Federated Trees üzerinde SHAP + karşıt-gerçekçi üreteç

Finansal risk kontrol modelleri, düzenleyici gereklilikleri karşılamak ve müşterilerin 'bilgi edinme hakkını' korumak için yorumlanabilirliği korumalıdır. Bunu çözmek için araştırma, federasyon SHAP+ karşı gerçekçi üreteçlerini birleştiren bir yorumlanabilirlik modülü geliştirmektedir. Yerel GBDT alt modelleri için araştırma, SHAP değerlerini kullanarak özellik önemini ölçer ve S i∈R N i^×mm nicelikleşir; S^{iR N}im m her özelliğin tahmin sonuçlarına katkısını nicelikle ölçür. Federe senaryolarda, yerel SHAP değerlerinin doğrudan iletilmesi, özellik dağılımı bilgisini tehlikeye atabilir. Bu nedenle, araştırma güvenli bir toplama stratejisi uygular; her kurum yerel olarak SHAP değer matrisini (özellik sayısı için) hesaplar, SHAP değerlerine farklı gizlilik gürültüsü uygular ve bunları federasyon koordinatörüne yükler. Koordinatör daha sonra küresel SHAP değerlerini hesaplar:

(30)

Burada, S_i^' kurumun SHAP değer matrisidir ve w_i , kurumların örneklem büyüklüğü oranıdır.

Müşterinin mevcut özvektörü x ve hedef risk derecelendirmesi y_hedefi girin, Çıktı, anti-faktik x_cf özellik vektörüdür ve tatmin edilmiştir (hedef risk derecesine karşılık gelen θ_hedef olasılık eşiği). Ve |_{x cf-x}|₂ minimum (yani en düşük ayarlama maliyeti). Gerçek üreticisinin kayıp fonksiyonu şudur:

(31)

Burada α,β,γ ağırlık katsayılarıdır (bu çalışmada α=10,β=5,γ=1),L_GAN Karşı-faktual özellik vektörünün rasyonalitesini ve özgünlüğünü sağlamak için GAN için karşısal kayıp fonksiyonu kullanılır.

Gizlilik ve güvenlik katmanı

Toplama sır paylaşımıyla güvenli toplama

Federe öğrenmede, yerel model parametrelerinin iletimi ve toplanması gizlilik sızıntısında kilit bir halkadır. AdditiveSecretSharing (ASS) teknolojisi, güvenli toplama sağlamak ve koordinatör tarafından her organizasyonun yerel model parametrelerinin doğrudan alınmasını önlemek için benimsenmiştir. Özel süreç şöyledir: i) Her kurum yerel model parametrelerini gizli paylaşımlara bölecektir: θ i,1,θ_i,2,...,θ_i,n, ve böylece katılımcı kurumların sayısı şöyledir; ii) i kurumu θ_i,k hissesini kuruma (k≠i) gönderir, kendi payını alır θ_i,i; iii) Her kurum k, diğer tüm kurumlar tarafından gönderilen hisseleri toplar θ_{1,k,θ 2,k},...,θ_n,k ve kendi içinde tutulan θ_k,k hissesiyle kısmi toplamı elde eder; iv) Tüm kurumlar bir kısmını yükleyip koordinatörüne paylaşacak, koordinatör küresel parametre toplama sonuçlarını hesaplıyor. Toplama gizli paylaşım yoluyla koordinatör yalnızca küresel toplu parametreleri elde edebilir ve n-1ttt=⌈n/2⌉t herhangi bir kurumun yerel parametrelerini çıkaramaz. Birden fazla kurum arasında işbirliği bile parametreleri başkalarından geri kazanamaz, bu da parametre iletimi sırasında gizlilik ve güvenliği sağlar. Kurumsal bağlantı kopuklarından kaynaklanan paylaşım kaybını gidermek için, Shamir gizli paylaşım mekanizması yedek olarak tanıtılır. Her pay parçalara ayrılır. Herhangi bir parça toplanarak tüm pay geri kazanılabilir ve böylece sistemin dayanıklılığı artırılır.

(ε, δ)-DP bütçe planlaması altında uyarlanabilir gürültü kalibrasyonu

Farklılık gizliliğinin temel zorluğu, gizlilik korumasının gücünü model performansı ile dengelemektir. Geleneksel sabit gürültü toplama yöntemleri, federasyon eğitimi sırasında veri dağılımlarının dinamik olarak değiştiği senaryolara uyum sağlamakta zorlanır. Bu çalışma, (ε,δ)-DP temelli uyarlanabilir bir gürültü kalibrasyon mekanizması ve gizlilik bütçesi planlama stratejisi ile birleştirilerek gürültü yoğunluğunun dinamik ayarlanmasını sağlamaktadır. Sistemin toplam gizlilik bütçesini şu şekilde tanımlayın (Bu çalışma_toplam=^10-5 δ alır, GDPR gizlilik riski gereksinimlerine uygundur), segmentli bütçe planlama stratejisini benimseyin, toplam bütçe {ε_{1,ε 2},...,ε_T} eğitim döngüsü tarafından aşağıdaki şekilde tahsis edilir, tatmin edilir:

(32)

Her eğitim turunda, gürültü yoğunluğu yerel verilerin dağılım özelliklerine göre dinamik olarak ayarlanır. Kurumun t-nji turunun yerel veri özellik varyansı varyaj olarak ,_i,t α gürültü ayarlama katsayısı tanımlanır:

(33)

α_i,t≥0.8 (veri dağılımı kararlıdır), küçük bir gürültü yoğunluğu kullanarak; αi,t<0.8 (veri dağılımı dalgalandığında) , gürültü yoğunluğunu artır. Bunların arasında, model parametrelerinin küresel hassasiyeti de yer alıyor (bu çalışma gradyan kırpımı yoluyla sağlanır).

İletişim verimli eğitim protokolü

Duraklık kontrolüyle asenkron istemci güncellemeleri

Kurumlar arası federasyon öğrenme, yüksek iletişim gecikmesi ve önemli bant genişliği tüketimi gibi zorluklarla karşı karşıya kalmaktadır (özellikle sınırlı ağ kaynaklarına sahip küçük ve orta ölçekli finans kurumları için). Bu çalışma, iletişim maliyetlerini azaltmak ve sistem ölçeklenebilirliğini artırmak için asenkron istemci güncellemeleri, gradyan sıkıştırma ve hata geri bildirimini içeren verimli bir iletişim eğitim protokolü^{tasarlamaktadır 25}. FedAvg gibi geleneksel senkron federasyon eğitim yöntemleri, tüm müşterilerin yerel eğitimi tamamlamasını beklemeyi gerektirir ve parametre toplama işlemi uzun sürer. Asenkron istemci güncelleme mekanizması, istemcilerin yerel eğitimi bağımsız olarak tamamlamasına ve parametreleri hemen yüklemesine olanak tanır. Bu parametreleri aldıktan sonra, federasyon koordinatörü diğer istemcileri beklemeden küresel modeli gerçek zamanlı olarak günceller. Bu, asenkron eğitimdeki model bayatlığı sorununu ele alır. Durantlık kontrol stratejisini tanıtarak, istemci için durantlık değerini tanımlayın ,(t_güncel için mevcut küresel eğitim turu, t_{last_update} müşterinin son küresel modeli elde ettiği tur). Eğer (S_max izin verilen maksimum bayatlık olduğunda, bu çalışma s_max=5 alır). Danışan eğitime normal şekilde katılıyor; O zamanın_{en >} noktasında, istemci yerel eğitimden önce en son küresel modeli tekrar indirmesi gerekir. Donanım yapılandırması, dağıtık eğitim iş yüklerini verimli bir şekilde yönetmek için Intel Xeon E5-2678 v3 CPU'larından (12 çekirdek, 2.5GHz) NVIDIA Tesla V100 GPU'ları (16GB VRAM) ve düğüm başına 64GB DDR4 bellek ile eşleştirilir. Yazılım başlatma için, hook = sy gibi PySyft komutları kullanılır. TorchHook(torch)andvirtual_worker = sy. VirtualWorker(hook, id="client1"), güvenli federasyon bağlantıları kurmak için kullanılırken, federated_train_loader = sy. FederatedDataLoader(dataset.federate((client1, client2)), batch_size=32)katılımcılar arasında federasyona dayalı veri yüklemesini mümkün kılar. Semantik eşleme, finansal özellikleri kurumlar arasında dönüştürür—örneğin, işlem tutarlarını USD'den CNY'ye dinamik bir döviz kuru formülü kullanarak dönüştürür:transaction_amount_CNY = transaction_amount_USD exchange_rate + (0.001 randn()), burada döviz kuru API aracılığıyla periyodik olarak güncellenir. Dengesiz veri setlerini artırmak için CopulaGAN, sdv.tabular import CopulaGAN'dan olduğu gibi bir kod parçası ile sentetik karşıt örnekler üretir; synthesizer = CopulaGAN(epochs=50); synthesizer.fit (train_data); synthetic_samples = synthesizer.sample(num_rows=1000), orijinal verilerin istatistiksel özelliklerini koruyor. Yerel GBDT eğitimi, monoton kısıtlamaları uygular (örneğin, "credit_score"nin "approval_probability" ile pozitif korelasyonunu sağlamak) viaparams = {"monotonic_constraints": (1, 0, -1)}LightGBM'de, Transformer füzyon ise PyTorch'ta çoklu başlı dikkat katmanları:self.attention = nn ile uygulanır. MultiheadAttention (embed_dim=64, num_heads=4); attn_output, _ = self.attention(sorgu, anahtar, değer, key_padding_mask=padding_mask), ardından katman normalizasyonu ve stabilite için kalıntı bağlantılar gelir. Diferansiyel gizlilik, Laplace gürültüsünü L1 hassasiyeti (Δf) ve gizlilik bütçesi (ε) olarak ölçeklendirerek enjekte eder - örneğin, np.random.laplace(loc=0, scale=Δf/ε) örneklerinden alınan gürültüyü ekleyerek Δf=1.2 ve ε=0.5-gradyanlara toplanmış önce. Adalet kısıtlamaları, demografik eşitlik ihlallerini azaltmak için örneklerin grup yayımlanmasına ters orantılı şekilde (sample_weight = 1 / group_counts[y_train]) yeniden ağırlıklandırılmasıyla uygulanır. Aynı zamanda, ağırlıklı toplama stratejisi, müşteri parametrelerinin ağırlığını durantlık değerine göre ayarlamak için kullanılır:

(34)

Burada λ=0.1 bayatlık ceza katsayısıdır; Eski durum ne kadar büyükse, ağırlık da o kadar küçük olur ve bu da eski parametrelerin küresel model üzerindeki etkisini azaltır.

Gradient sıkıştırma ve hata-geri bildirim birikimi

Model parametreleri (özellikle Transformer küresel füzyon modellerindeki dikkat ağırlıkları) yüksek boyutsal karmaşıklığa sahiptir. Doğrudan iletim aşırı bant genişliği tüketir ve veri transferini azaltmak için gradyan sıkıştırma teknikleri gerektirir²⁶. Bu çalışma, Top-K seyrekleştirmesini kuantizasyon sıkıştırmasıyla bütünleştirir ve bu özel adımları takip eder: i) Top-K seyrek: Yerel model ∇θ_i gradyanı için, K% gradyan elemanı en büyük mutlak değere sahip K seçin. Diğer elemanlar sıfırdır, Değer bant genişliği koşuluna göre dinamik olarak ayarlanır (bant genişliği yeterli olduğunda K=30, bant genişliği sınırlıysa, K=10); ii) Kuantlaştırma sıkıştırması: Tutulan gradyan elemanlar 32 bitlik kayan noktadan 8 bitlik tam sayılara kuantize edilir. Kuantizasyon formülü şudur:

(35)

  

iii) Hata geri bildirimi: Sıkıştırma sırasında atılmış gradyanı Δ∇=∇θ_i-∇θ_i^{sıkıştırılmış} hatasını istemci tarafında saklar, Bir sonraki gradyan hesaplamasında, hata yeni gradyana biriktirilir, yaklaşım, , Sıkıştırma kayıplarını telafi eder. Gradyent sıkıştırma ve hata geri bildiriminin etkileri Tablo 6'da gösterilmiştir, İçinde, 8 K=%20 -bit kuantizasyon koşulları, sıkıştırma oranı 15:1'e (orijinal veri hacmi/sıkıştırılmış veri hacmi) ulaşır ve hata geri bildirimi sayesinde modelin AUC-ROC oranı yalnızca %0,5-%1,0 azalır ve iletişim maliyeti ile model performansı arasındaki^{dengeyi 27} gerçekleştirir.

Sıkıştırma stratejileri	İndüksiyon oranı	Yükleme bant genişliği tüketimi (MB/tur)	AUC-ROC düşüş oranı	Eğitim süresi azaltma oranı
sıkıştırılmamış (32-bit kayan nokta)	1:01	128	0.00%	0.00%
En üst %30 seyrek+16-bit kuantizasyon	6.7:1	19.1	0.30%	35.20%
En üst %20 seyrek + 8-bit quantizasyon	15:01	8.5	0.80%	58.70%
En üst %10 seyrek + 8-bit quantizasyon	30:01:00	4.3	2.10%	72.10%

Tablo 6: Gradyent sıkıştırma stratejilerinin performans karşılaştırması.

Adalet farkında düzenleme

Finansal risk kontrol modelleri, belirli gruplara karşı ayrımcılıktan kaçınmalı ve Kişisel Bilgi Koruma Yasası ile Adil Kredi Raporlama Yasası gibi düzenleyici gerekliliklere uymalıdır. Bu çalışma, model eğitimi sırasında gruplar arası tahmin yanlılıklarını sınırlamak ve model adaletini sağlamak için adalet farkında bir düzenleme mekanizması tanıtmaktadır. İki temel adalet göstergesi tanımlanır: i) Demografik Eşitlik (DP): Farklı gruplar için pozitif tahmin oranı eşittir, yaklaşım, , Bunlar arasında grup tanımlayıcısı bulunur; ii) Eşit Fırsat (EO): Gerçek pozitif oran gruplar arasında eşittir, yaklaşım . Hibrit yapay zeka risk modelinin kayıp fonksiyonuna adalet düzenleme terimleri ekleyin ve sırasıyla yerel GBDT alt modeli ile küresel Transformer modeline kısıtlamalar koyun: iii) Yerel model adalet kısıtlamaları:

Burada PR(g=A), g grubu λ için pozitif tahmin oranıdır ve adalet için düzenlenme katsayısıdır.

iv) Küresel model adalet kısıtı: Transformer dikkat katmanına grup adalet ağırlık ayarlaması eklendiğinde, savunmasız gruplar için model çıktısı a_g=a_taban×(1+β⋅Δ_haksız değil) daha yüksek dikkat ağırlığı verilir, Burada, Δ_adil değil, bu grup ile baskın grup arasındaki adalet önyargısını temsil eder (Δ_haksız = PR (baskın grup)-PR (savunmasız gruplar)); λ_EO, sapma telafi katsayısıdır. Adalet algısı düzenlemesinin etkisi ΔDP (DP sapması), ΔEO (EO sapması) ve grup kalibrasyon hatası ile değerlendirilir.

Model yönetişimi ve uyum paneli

Gerçek zamanlı önyargı izleme

Model yaşam döngüsü yönetiminde finansal düzenleme gereksinimlerini karşılamak için araştırma, gerçek zamanlı sapma izleme ve düzenleyici raporlama API'lerini entegre eden bir model yönetişim ve uyum paneli geliştirmiştir; bu da model eğitimi, dağıtımı ve yineleme boyunca tam süreç denetimi ve izlenebilirliği sağlamaktadır. Gerçek zamanlı sapma izleme modülü, model adaleti ve performansının dinamik izini aşağıdaki boyutlarla sağlar: i) Grup sapma izleme: Müşteri cinsiyeti, yaş, bölge, gelir seviyesi vb. göre grupları kategorize etmek, her grup için saatlik olarak PR, TPR ve FPR (FPR) hesaplanmak. Gruplar arası PR farkları 0.08'i veya TPR farkları 0.05'i aştığında sapma uyarıları tetiklenir; ii) Performans kayma izleme: AUC-ROC ve PR-AUC gibi metriklerin sürekli hesaplanması. Bu metrikler üç saat boyunca ardışık olarak %2'den fazla azaldığında, performans kayması olarak belirlenir ve otomatik olarak model yeniden eğitim süreci başlatılır. iii) Gizlilik uyumu izleme: Her eğitim turunun gizlilik, bütçe tüketimi ve gürültü eklemesi ε_toplam/10 yoğunluk kaydı. Tek bir turun ε tüketimi aşıldığında, eğitimi durdurun ve gürültü stratejisini ayarlayın. iv) İzleme verileri görsel gösterge panelleri aracılığıyla gösterilir, bu da düzenleyicilerin ve katılımcı kurumların bunları gerçek zamanlı olarak görmesini sağlar ve model risklerinin şeffaf yönetimini gerçekleştirir.

Düzenleyici raporlama API'si

Düzenleyici raporlama sürecini basitleştirmek için, GDPR, CCPA ve Çin'in Kişisel Bilgi Koruma Yasası gibi düzenlemelerle uyumlu raporların otomatik oluşturulmasını desteklemek üzere standartlaştırılmış düzenleyici raporlama API'si tasarlanmıştır. Temel işlevler şunlardır: i) Veri Kaynağı Uyum Raporu: Katılımcı kurumların veri türleri, hacimleri ve yetkilendirme durumlarını otomatik olarak toplayarak "minimum gerekli" ilkesine uyumu doğrulamak; ii) Model Eğitim Uyum Raporu: Eğitim yinelemelerini, katılımcı kurumları, gizlilik koruma önlemlerini ve adalet metriklerini kaydederek model eğitim izlenebilirlik raporu oluşturur; iii) Risk Tahmini Uyum Raporu: Farklı gruplar arasında model tahminlerinin düzenleyici uyumlu dağıtım kalıplarını ve ayrımcılıktan kaçınmayı göstermek için karşıt açıklama örneklerini gösterir. API, JSON ve XML format çıktılarını destekleyen RESTful tasarım tarzını benimser. Düzenleyici otoriteler, rapor verilerine API arayüzleri üzerinden doğrudan erişebilir veya otomatik raporlama döngüleri kurarak otomatik ve standartlaştırılmış düzenleyici süreçleri gerçekleştirebilir. Rapor şablonları, Uluslararası Standartlaştırma Örgütü'nün (ISO) finansal model düzenleyici standartlarına uygun olarak raporların yetkisini ve evrenselliğini garanti altına alır.

Deneysel tasarım: Veri seti tanımı

Çok kurumsal kredi kartı ve KOBİ kredi verileri

Deneysel veriler, Çin'deki finansal kurumlardan alınmıştır ve kişisel kredi kartı işlemleri ile KOBİ kredi başvuru ve yerine getirme kayıtları gibi veri türlerini kapsıyor. CopulaGAN teknolojisi, nadir sahte olayları sentezlemek ve geliştirmek için kullanıldı; böylece özgünlüğü bütünlüğü birleştiren deneysel bir veri seti oluşturuldu. Deneyde kullanılan gerçek veriler iki ana kategoriyi içeriyor: kişisel kredi kartı işlem verileri ve KOBİ kredi verisi; Ocak 2022'den Aralık 2023'e kadar toplam 5 milyondan fazla kayıt bulunmaktadır. Veriler, örnekler dağılımında coğrafi temsil ve çeşitliliği sağlamak için Kuzey Çin, Doğu Çin, Güney Çin ve Güneybatı Çin olmak üzere dört ana ekonomik bölgeyi kapsar. Kurumsal verilerin temel alanları ve istatistiksel özellikleri Tablo 7'de gösterilmiştir. Bunlar arasında, Kurumlar A ve B, tüm yaş gruplarını kapsayan geniş müşteri tabanlarına sahip ülke çapında ticari bankalardır; C ve D kurumları, ağırlıklı olarak genç demografiye (20-35 yaş arası) hizmet veren internet bankasıdır; Institution E, alt seviye pazarlardaki kullanıcıları hedefleyen bir tüketici finansmanı şirketidir ve veri dağıtımı önemli IID dışı özellikler sergilemektedir. Veri seti 115610 veri parçası içermektedir. Veri seti, üniversitelerle iş birliği yapan finansal kurumlar tarafından sağlanmaktadır

Veri türü	Kurum	Kayıt sayısı (10.000)	Müşteri sayısı (10.000)	Temel alanlar	Temerrüt dolandırıcılığı oranı	Veri dağılımı özellikleri
Kredi kartı işlemleri	A	180	85	İşlem süresi, miktar, satıcı türü, işlem yeri, kartın çalınıp çalınmaması	0.32%	Büyük işlemler büyük bir oranı oluşturur (> 5000 yuan)
Kredi kartı işlemleri	B	150	72	İşlem akış numarası, tutar (USD/RMB), ödeme kanalı, müşteri puanı	0.28%	Sınır ötesi işlemler %15'i oluşturur
Kredi kartı işlemleri	C	120	68	İşlem zaman damgası, tutar, kurulum yapıp yapılmaması, müşteri yaşı, cep telefonu numarası konumu	0.45%	Küçük yüksek frekanslı ticaret (<1000 yuan %60'ı temsil ediyor)
Küçük ve mikro işletme kredileri	D	32	1.2	Şirket adı, kredi tutarı, kredi süresi, gelir skalası, vergi miktarı, gecikmiş olup olmadığı	2.80%	Üretim müşterileri %40'ını oluşturuyor
Küçük ve mikro işletme kredileri	E	18	0.8	Kredi başvuru tarihi, beklenen tutar, iş türü, çalışan sayısı, tarihsel performans kaydı	3.50%	Hizmet müşterileri %70'ini oluşturur

Tablo 7: Çok kurumlu gerçek finansal veri setinin istatistiksel özellikleri.

Kurumlar arası verilerin heterojenliğini ele almak için deney, kurumsal alanları standartlaştırarak veri ızgarası ve anlamsal katman spesifikasyonlarına sıkı sıkıya bağlı kalmıştır: Örneğin, Kurum B'nin "işlem miktarı (USD)"ni işlem tarihinin döviz kuru kullanarak RMB'ye dönüştürüp alan adını "işlem miktarı (YUAN)" olarak birleştirmek; Kurum C'nin "müşteri yaşı"nı ("1990-01-01" formatı) tam sayı çağına dönüştürmek; ve Institution D'nin "kurumsal gelir ölçeği"ni ("1 milyonun altında / 1-5 milyon / 5 milyonun üzerinde" olarak sınıflandırılmış) sayısal aralıkların orta noktalarına (500.000,3.000,000,7.500,000) eşlemek, veri formatı ile anlamsal anlam arasında tutarlılığı sağlamak için kullanılır.

Nadir dolandırıcılık olayları için CopulaGAN üzerinden sentetik artırma

Finansal risk kontrol senaryolarında, dolandırıcılık/temerrüt örnekleri genellikle çok düşük bir oranı oluşturur. Bu kadar küçük örneklem boyutlarının model eğitimi için doğrudan kullanılması, ciddi sınıf dengesizliği sorunlarına yol açar ve modelin genelleme yeteneklerini tehlikeye atar. Deney, nadir dolandırıcılık vakaları için artırılmış veri sentezlemek amacıyla Copula GAN (Copula fonksiyonlarına dayalı üretken bir düşman ağ) kullanır. Bu yöntem, Copula fonksiyonunun yüksek boyutlu veri dağılımlarını modelleme yeteneğini GAN'ın üretken yetenekleriyle birleştirerek, gerçek dolandırıcılık kalıplarıyla uyumlu sentetik verilerin oluşturulmasını sağlarken, geleneksel GAN üretiminde sıkça gözlemlenen "desen çöküşü" sorunundan kaçınır.

CopulaGAN model yapısı

CopulaGAN üç bölümden oluşur: Jeneratör, Ayrımcıcı ve Copula dağılım kısıtlama modülü: (1) Jeneratör: Giriş, 128 boyutlu rastgele gürültü vektörü z∼N(0,1)'dir ve 3 katmanlı tam bağlantılı ağ üzerinden gerçek örnek boyutuyla tutarlı sentetik bir özellik vektörüdür (gizli katman boyutları 256, 512, 256'dır); (2) Ayrımcı: Girdi gerçek örnek veya sentetik örnek x_syn olup, iki katmanlı tam bağlantılı ağ+Sigmoid aktivasyon fonksiyonu aracılığıyla örneklemin gerçek veri olma olasılığını çıkarır; (3) Copula dağılım kısıtlama modülü: Gerçek dolandırılma örneklerinin ortak dağılımını Gauss Copula fonksiyonu (burada i'nin 8. özelliğinin kenar dağılım fonksiyonu değeri) üzerinden uyarlayın ve sentetik örneklerin ortak dağılımı gerçek örneklerle tutarlı olmasını sağlamak için jeneratör kaybına Copula mesafe kısıtlaması ekleyin.

(36)

Süreç ve etki doğrulamasını geliştirmek

CopulaGAN'ın eğitim ve geliştirme süreci şöyledir: i) Veri ön işleme: Çeşitli kurumların gerçek verilerinden dolandırıcılık/Varsayılan örnekler (toplamda 18.200) çıkarmak; Sürekli özellikleri standartlaştırın (x^'=(x-μ)/σ); Ayrı özellikler benzersiz ısı ile kodlanır; ii) Copula uyumu: Gauss Copula fonksiyonu, önceden işlenmiş dolandırıcılık örneklerinin ortak dağılımını uydurmak için kullanılır, her özelliğin kenar dağılımı F_iθ fonksiyonu ve Copula fonksiyon parametreleri hesaplanır; iii) GAN eğitimi: Jeneratör ve ayrımcı dönüşümlü olarak eğitilir. Jeneratörün kayıp fonksiyonu şudur:

(37)

Burada, λ kısıtlama ağırlığıdır ve Mesafe(C_{syn,C real}) sentetik örneklerin Copula dağılımı ile gerçek örneklerin Copula dağılımı arasındaki KL divergensiyasıdır; Ayrımcı kayıp fonksiyonu standart ikili çapraz entropi kaybıdır:

(38)

Model yakınsamasından sonra (ayırıcı doğruluğu %50±5%'de stabilize edilmişti), üretici 50.000 sentetik sahte örneği üretti. Bunlar, anlamsal özelliklere göre orijinal özellik alanına geri eşlendi ve gerçek örneklerle karıştırarak dengeli bir eğitim seti oluşturuldu. Sentetik örneklerin etkinliğini doğrulamak için araştırma, iki örnekli KS testi ve özellik dağılımı görselleştirmesi kullanarak değerlendirdi. KS test sonuçları, sentetik ve gerçek örnekler arasındaki özellik dağılımlarındaki farkların hepsinin 0.05'in altında olduğunu gösterdi (KS istatistiği <0.05, p-değeri>0.05), bu da iyi bir dağılım tutarlılığını gösterdi. Özellik dağılımı karşılaştırması, sentetik örneklerin gerçek dolandırıcılık örneklerinin dağılım özelliklerini doğru şekilde yeniden üretebildiğini gösterdi ve Şekil 1'de gösterildiği gibi model eğitimi için yeterli geçerli veri sağladı.

Şekil 1: Gerçek dolandırıcılık örnekleri ile CopulaGAN arasındaki özellik dağılımı karşılaştırması Bu şekilin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Değerlendirme metrikleri

Deney, dört temel boyuttan çok indeksli bir değerlendirme sistemi inşa eder: tahmin performansı, gizlilik koruması, adalet ve iletişim verimliliği, böylece federasyon öğrenim çerçevesi ve yapay zeka risk kontrol modelinin kapsamlı performansını kapsamlı ölçür. Her boyutun tanımı, hesaplama yöntemi ve değerlendirme kriterleri Tablo 8'de gösterilmiştir.

Değerlendirme boyutları	İndeksin adı	Tanım ve hesaplama yöntemi	Değerlendirme kriteri
Tahmini performans	AUC-ROC	Deneğin karakteristik çalışma eğrisinin altındaki alan, modelin olumlu (temerrüt/dolandırıcılık) ve olumsuz örnekleri ayırt etme yeteneğini ölçür	Değer ne kadar yüksekse, o kadar iyi. Mükemmel modelin AUC-ROC değeri>0.9
	PR-AUC	Eğri altındaki hassas hatırlama alanı, dengesiz verilere uygulanabilir ve olumlu örneklerin az olduğu senaryolarda modelin performansını ölçür	Değer ne kadar yüksekse, o kadar iyi. Mükemmel bir modelin PR-AUC>0.8'dir
	Brier fraksiyonu	Tahmin edilen olasılık ile gerçek etiket arasındaki ortalama kare hatası,B=1Ni=1N(pi-yi)2	Değer ne kadar düşükse, o kadar iyi. Mükemmel bir modelin Brier puanı 0.05'ten azdır
	Yanlış pozitif oranı (FPR)	Negatif örneklerin oranı FPR=FPFP+TNthat	Değer ne kadar düşükse, o kadar iyi. Finansal senaryolar genellikle FPR <%1 (iyi müşterileri reddetmemek için) gerektirir
Gizlilik koruması	ε-Tüketim eğrisi (ε-Eğri)	Eğitim sırasında biriktirilen gizlilik bütçesinin tüketim oranını kaydederek gizlilik korumasının dinamik denge yeteneğini yansıtmak için kaydedin	Eğri dengeleniyor ve toplam ε 5'ten az veya eşit (GDPR gizlilik risk gereksinimlerine uygun)
	Üye mantık saldırısı AUC (MI-AUC)	Saldırganın model tahmin sonuçlarından bir örneklemin eğitim setine ait olup olmadığını çıkarabilme yeteneği ve AUC değeri 0.5'e ne kadar yakınsa, gizlilik o kadar iyi olur	MI-AUC<0.6 gizlilik koruması için etkilidir, MI-AUC<0.55 ise mükemmel
	Özellik sızıntı oranı (FLR)	Saldırgan, orijinal veri dağılımının FLR=1-KL(P∥∥Q)Dmaxrate hatasını tersine çevirmek için özellikleri birleştirir,	FLR <0.1, gizlilik korumasının etkili olduğunu gösterir (P gerçek dağılımın Dmax'ı, Q çıkarılan dağılımdır ve maksimum KL mesafesidir)
Adalet	İstatistikte DP yanlılığı (ΔDP)	Farklı gruplar arasında pozitif örneklerin tahminindeki maksimum fark ΔDP=max∥PRg-PRavg∥rate oranı,	ΔDP<0.05 adalet ve mükemmellik için (grup g pozitif oranı için PRg)
	EO önyargısı (ΔEO)	Farklı gruplar arasında gerçek pozitif ΔEO=max∥TPRg-TPRavg∥oranlarındaki maksimum fark,	GCE <0.02 iyi ayarlanmıştır (K grup numarası, tahmin edilen oran ve gerçek orandır)
	Grup kalibrasyon hatası (GCE)	Her grubun tahmin edilen olasılığı GCE=1Kg=1K∥pg-rg∥ ile gerçek temerrüt oranı arasındaki ortalama sapma,	Değer ne kadar düşükse, o kadar iyi. Küçük ve orta ölçekli kuruluşların senaryo gereksinimleri <10MB/tur
İletişim verimliliği	Tur başına uplink bant genişliği	Her organizasyon tarafından koordinatörüne yüklenen verilerin toplam bant genişliği tüketimi	Değer ne kadar düşükse, o kadar iyi. Kurumlar arası senaryolar 120 dakikadan az sürer
	İndirim oranı (CR)	Orijinal veri hacminin sıkıştırılmış veri hacmine oranı, CR=SizerawSizecomp	Sıkıştırma oranı ne kadar yüksekse o kadar iyi. Mükemmel çözümler CR>10:1

Tablo 8: Deneysel değerlendirme indeks sistemi.

Metrik Açıklama: i) Üyelik Çıkarımı Saldırısı: Kara kutu saldırı metodolojisi kullanarak, saldırgan hedef modelden tahmin edilen olasılıkları giren ve örnek üyelik durumunu veren ikili sınıflandırma modeli eğitir. Gizlilik sızıntısı riski, modelin AUC'si (yani MI-AUC) ile ölçülür. ii) Grup Sınıflandırma Kriterleri: Adalet değerlendirmesinde gruplar dört boyutta kategorize edilir: cinsiyet (erkek/kadın), yaş (25/25-40/40 yaş >40), bölge (birinci kademe/yeni birinci kademe/ikinci kademe/yan kuruluş pazarları) ve gelir seviyesi (<5k/5k/15k-15k-15k-130 bin/>30k RMB/ay). Bu, finansal düzenleyiciler tarafından tanımlanan hassas grupların kapsamını sağlar. iii) Yakınsamaya Kriterleri: Model eğitimi sırasında, doğrulama seti AUC-ROC ardışık üç turda (her tur 10 dönem içerir) 0.001'den az azalma gösterirse, eğitim yakınsalanmış ve durdurulmuş sayılır.

Temel Çizgiler

Önerilen "Federasyon Öğrenme + Hibrit Yapay Zeka Risk Kontrol Modeli"nin üstünlüğünü doğrulamak için, bu çalışma beş temel model oluşturmaktadır: geleneksel merkezi modeller, klasik federasyon öğrenme modelleri ve mahremiyeti koruyan gelişmiş modeller. Her temel modelin temel parametreleri ve eğitim stratejileri, karşılaştırmalı deneylerde adalet sağlamak için Tablo 9'da detaylandırılmıştır (tüm modeller aynı eğitim setleri, doğrulama setleri ve hiperparametre optimizasyon stratejileri kullanır).

Model türleri	Model adı	Çekirdek mimari	Eğitim modu	Gizlilik koruma önlemleri	Ana hiperparametreler
Merkezi model	GBDT Geleneği	XGBoost gradyan artırma ağacı	Tüm kurumlar eğitim verilerini merkezi olarak saklıyor	Yok	Ağaç sayısı =100, öğrenme oranı =0.1, ağaç derinliği =6, düzenlenme katsayısı λ=1.0
Merkezi model	Derin öğrenme modeli (MLP)	Üç katmanlı tam bağlantılı ağ (giriş katmanı 256 boyutları → gizli katman 128 boyutları → gizli katman 64 boyutları → çıkış katmanı 1 boyutu)	Tüm kurumlar eğitim verilerini merkezi olarak saklıyor	Yok	Optimizer=Adam, öğrenme hızı=0.001, parti sayısı=256, Dropout=0.3
Klasik federal model	FedAvg (Federal ortalama)	Yerel model GBDT'dir ve küresel model parametre ortalamasını benimser	Federal senkronize eğitim	Yok	Katılım oranı = 0.8, yerel dönem = 5, toplama turu = 50, öğrenme oranı =0.1
Klasik federal model	FedProx (Federal Yakın Sona Yönelik Toplama)	Yerel model GBDT'dir ve proksimal model	Federal senkronize eğitim	Yok	Katılım oranı = 0.8, yerel dönem = 5, toplama turu = 50, proksimal parametre μ = 0.01
		μ=0.01 Terim kısıtlaması toplama sırasında eklenir ().
Gizlilik Destekli Federasyon	FedAvg+DP (sabit gürültü)	FedAvg'ye sabit Laplacian gürültüsü ekle (ε=5, δ=1e-5)	Federal senkronize eğitim	Sabit diferansiyel gizlilik	Gürültü yoğunluğu=0.1, katılım oranı=0.8, yerel dönem=5, toplama turları=50
Araştırma modeli	FedRisk (Federal Risk Kontrol Modeli)	Yerel GDT (Monoton Kısıtlama) + Küresel Transformator (Dikkat Füzyon) + DP + Güvenli Toplama	Federal Asenkron Eğitim	Adaptif DP+ eklemeli sır paylaşımı	Yerel dönem=5, toplama turları=50, dikkat boyutu=64, gizlilik bütçesi=5, sıkıştırma oranı=15:1

Tablo 9: Temel model ile bu çalışma modeli arasındaki parametre karşılaştırması.

Karşılaştırmalı Boyut Açıklaması: (1) Merkezi ve Federasyon: "Geleneksel GBDT/MLP" ile "FedAvg/FedProx/FedRisk" karşılaştırılmasıyla, bu çalışma "veri dışı" senaryolarında federasyon öğreniminin performans düşüşünü incelemektedir. (2) Klasik ve Gizlilik Destekli Federe: "FedAvg" ile "FedAvg+DP" arasında, araştırma farklılık gizliliğinin model performansı üzerindeki etkisini değerlendiriyor. (3) Senkron ve Asenkron Federe: "FedAvg" (senkron) ile "FedRisk" (asenkron) arasındaki karşılaştırma, asenkron eğitimin iletişim verimliliği avantajlarını gösterir. (4) Basit Toplama ile Akıllı Füzyon arasındaki fark, "FedAvg" (parametre ortalaması) ile "FedRisk" (dikkat füzyon) arasındaki fark, Transformer entegrasyon stratejilerinin IID dışı verilere uyum sağlayabilmesini doğrular. (5) Sansürsüz vs. Adalet-Sansür: "FedAvg" (adalet kısıtlamaları yok) ile "FedRisk" (adalet farkında kısıtlamalar) arasındaki karşılaştırma, adalet mekanizmalarının model adaleti ve performansı üzerindeki etkilerini inceler.

Ablasyon çalışmaları

Değişken ε model faydası üzerindeki etkisi

Toplam gizlilik bütçesi εa değişkeni olarak (1, 3, 5, 7 ve 10 değerlerle) kullanılarak yapılan araştırma, δ=1e-5'i sabitlerken, diğer modüller (dikkat füzyonu ve monoton kısıtlama GBDT) değişmeden kalarak gizlilik korumasının gücü ile model faydalılığı arasındaki dengeyi değerlendirdi. Deney, hem AUC-ROC (model faydası) hem de MI-AUC (gizlilik riski) çift göstergeler olarak ölçüldü ve sonuçlar Tablo 10'da gösterildi. ε=1 olduğunda, MI-AUC 0.53'e düştü (mükemmel gizlilik koruması), ancak AUC-ROC sadece 0.821'e ulaştı (önemli fayda kaybı). ε=5 ikende, AUC-ROC 0.912'ye (finansal risk kontrol gereksinimlerini karşılıyor) ve MI-AUC=0.58 (etkili gizlilik koruması) ile geri döndü. ε>5 olduğunda, AUC-ROC'daki iyileşme 0.01'in altına düştü, MI-AUC ise hızla 0.63'e yükseldi (gizlilik risk sınırlarını aştı). Bu, ε=5'in en uygun toplam gizlilik bütçesi olduğunu doğrular; böylece gizlilik ile fayda arasında bir denge sağlanır.

Toplam Gizlilik Bütçesi........�	AUC-ROC Modeli	MI-AUC (gizlilik riski)	Özellik sızıntı oranı FLR	Brier fraksiyonu
1	0.821	0.53	0.04	0.078
3	0.876	0.55	0.06	0.061
5	0.912	0.58	0.08	0.042
7	0.919	0.6	0.11	0.039
10	0.923	0.63	0.15	0.037

Tablo 10: Farklı gizlilik bütçeleriyle model performansının karşılaştırılması ε.

Dikkat füzyonu ile basit ortalamanın katkısı

Bağımsız olmayan veri senaryolarında "dikkat füzyonu" (önerilen strateji) ile "basit ortalama" (FedAvg stratejisi) arasındaki performans farklarını değerlendirmek için iki değişken deneysel olarak yapılandırıldı: (1) IID dışı şiddet (kuruma özgü varsayılan oran varyasyonlarıyla ölçülür, düşük varyasyon: %0,2-0,5%, yüksek varyasyon: %0,2-%3,5); (2) Birleşme stratejileri (dikkat füzyonu vs basit ortalama). Şekil 2'de gösterildiği gibi, iki strateji arasındaki AUC-ROC farkı düşük IID dışı senaryolarda sadece 0.023 (0.912 vs 0.889) idi. Ancak, bu fark yüksek IID dışı senaryolarda 0.076'ya (0.905 vs 0.829) kadar genişledi ve basit ortalama modeli önemli bir aşırı uyum sergiledi (eğitim seti AUC-ROC 0.941 vs doğrulama seti 0.829). Bu, dikkat mekanizmalarının, bağımsız olmayan verilerin neden olduğu performans bozulmalarını dinamik ağırlıklandırma yoluyla etkili bir şekilde azaltabileceğini göstermektedir—örneğin, doğru varsayılan tahminlerle kurum E'ye 0.32 ağırlık ve daha büyük sapmalara sahip kurum C'ye 0.12 ağırlık vermek gibi.

Şekil 2: Farklı IID dışı dereceler altında füzyon stratejilerinin karşılaştırılması. Bu şekilin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Adalet düzenleyicilerinin kâr temelli KPI'lar üzerindeki etkisi

Finansal kurumların temel talebi, adalet kısıtlaması altında işletme kârlarını sağlamaktır; bu nedenle deney, kâr odaklı bir endeks - "riske göre ayarlanmış sermaye getirisi (RAROC)" - tanıtır. Formül şöyledir:

(39)

Beklenen kayıp, temerrüt olasılığının sabit temerrüt kayıp oranı ile çarpılması olarak hesaplanır (%40 olarak belirlenmiştir), ekonomik sermaye ise risk riski ağırlığıyla çarpılır (Basel III gereksinimlerine göre). Adalet düzenlenmesi ile modelin adil ölçütleri (ΔDP, ΔEO) ve RAROC, bu düzenleme olmadan modelle karşılaştırılmıştır . Adalet düzenlemesi uygulandıktan sonra, ΔDP 0,15'ten 0,04'e, ΔEO 0,12'den 0,03'e düştü ve RAROC sadece %2,1 azaldı (%18,3 vs %18,7), bu da sektör tarafından kabul edilebilir olan %5 eşiğinin oldukça altındaydı. Bu, çalışmamızdaki adalet mekanizmasının düzenleyici ayrımcılık yasası gerekliliklerini etkili bir şekilde karşıladığını ve kâr kayıplarını kontrol ettiğini gösteriyor.

Model kurulumu	ΔDP (grup pozitif oran farkı)	ΔEO (grup TPR farkı)	GCE (grup kalibrasyon hatası)	RAROC (Risk Düzeltilmiş Varlık Getirisi)	FPR (yanlış pozitif oranı)
Adalet kuralı yok	0.15	0.12	0.035	18.70%	0.95%
Adalet ve düzenlilik var	0.04	0.03	0.018	18.30%	1.02%

Tablo 11: Adalet düzenlemesinin adalet ve kâr göstergeleri üzerindeki etkisi.

Uygulama detayları

Deneyin tekrarlanabilirliğini sağlamak için araştırma teknik yığın ve eğitim süreci detaylarını netleştirdi: (1) Donanım ortamı: Her kurumsal düğüm Intel Xeon Gold 6248 işlemcileri, 64GB RAM ve NVIDIA Tesla V100 GPU'ları kullanır; federe koordinatör ise, paralel hesaplama ve verimli parametre toplama sağlamak için 128GB RAM'li çift Xeon Gold 6348 işlemcileri kullanır. (2) Yazılım çerçevesi: Federe öğrenme çerçevesi PySyft 0.8.6 kullanılarak geliştirilir, blokzincir modülü Hyperledger Fabric 2.5 (uzlaşma mekanizması: Raft) kullanır, model eğitimi PyTorch 2.0 ve XGBoost 2.0.3'e dayanırken, diferansiyel gizlilik modülü IBM DP Kütüphanesi'ni entegre eder. (3) Eğitim süreci: (1) Veri ön işleme (2 saat, anlamsal normalizasyon ve CopulaGAN geliştirme dahil); (2) Yerel eğitim (tur başına 5 dönem, öğrenme hızı kosinüs tavlama yoluyla azaldı); (3) Asenkron toplama (küresel model güncellemeleri koordinatör 3 kurumdan parametre aldığında gerçekleşir); (4) Model değerlendirmesi (AUC-ROC ve 10 tur sonra hesaplanan adalet metrikleri); (5) Hiperparametre optimizasyonu (optimal parametreleri belirlemek için 50 iterasyonlu Bayes optimizasyonu). (4) Dayanıklılık testi: simüle edilen kurumsal kopukluklar (1-3 eğitim turunu durdurmak için rastgele bir kurum seçme) ve veri gürültüsü (%5 özellik değeri bozulması ekleme) senaryoları. Sonuçlar, AUC-ROC dalgalanmalarının 0.02'nin altında olduğunu gösterdi ve sistemin anti-parazit yeteneğini gösterdi.

Bu çalışma, başlangıç öğrenme oranı 0.05 olan kosinüs tavlama zamanlama stratejisi kullandı. Öğrenme hızı, formüle göre her dönemde toplam 100 eğitim dönemi boyunca dinamik olarak güncellendi. Bu strateji, modelin yakınsamasını hızlandırmak için eğitimin erken aşamalarında, örneğin ilk dönemde 0.05 olmak üzere yüksek öğrenme oranını korudu ve parametre ince ayarının kararlılığını artırmak için örneğin yüzüncü dönemde 0.00025 gibi sıfıra yaklaştı. Deneysel sonuçlar, sabit öğrenme oranına kıyasla bu stratejinin doğrulama seti AUC-ROC'yu %2,3 artırdığını ve yakınsama hızını %37 artırdığını gösterdi. Veri bölmesi, beş finansal kurumdan elde edilen ham veri setine dayanarak toplam 5 milyon örnekle oluşturuldu ve kurumlar arası veri izolasyonu ilkesine sıkı sıkıya bağlı kaldı. Her kurumdan yerel veriler kronolojik olarak bölündü; Ocak 2022'den Haziran 2023'e kadar olan veriler eğitim seti olarak (%70), Temmuz-Eylül 2023 verileri doğrulama seti (%15) ve Ekim-Aralık 2023 verileri test seti olarak (%15) seçildi. Bu bölünme, eğitim, doğrulama ve test setlerinin zamansal pencere bağımsızlığını sağladı ve gerçek dünya senaryolarında zamansal risk kalıplarının evrimini etkili bir şekilde simüle etti. Anahtar hiperparametreler Bayes optimizasyonu ile belirlendi. 0.01 ile 0.1 arasında başlangıç öğrenme oranı, 50 ile 200 arasında GBDT ağacı numaralarını ve {2, 4, 8} kümesinden Transformer dikkat başlıklarını içeren ortak arama alanında, doğrulama seti AUC-ROC'yu maksimize etmek amacıyla 50 yineleme gerçekleştirildi. Son optimal kombinasyon ise 0.05 başlangıç öğrenme oranı, 120 GBDT ağaç ve 4 dikkat başlığı olarak belirlendi.

Sonuçlar

Öngörücü performans: IID dışı senaryolarda merkezi modellerin seviyesine yaklaşmak

Gerçek dünyada yüksek derecede IID dışı verilere sahip senaryolarda (kurumsal temerrüt oranı değişimleri %0,2-%3,5) FedRisk, Tablo 12'de gösterildiği gibi olağanüstü risk ayırt etme yetenekleri sergiler. AUC-ROC 0.912'ye, PR-AUC 0.823, Brier puanı 0.042 ve yanlış pozitif oranı (FPR) %1.02'ye ulaşır. Bu metrikler, finansal risk kontrolünün temel ...

Tartışma

Dinamik hiperparametre ayarlama stratejisi, özellikle kosinüs tavlama öğrenme hızı zamanlayıcısı, yakınsama hızı ile model kararlılığını dengelemek için hayati olmuştur. Öğrenme oranını 100 dönem boyunca 0.05'ten 0.00025'e düşürerek, bu yaklaşım erken aşama yakınsamayı hızlandırdı ve geç aşama volatilitesini %37 azaltarak eğitim süresini %37 azalttı ve doğrulama AUC-ROC'yu sabit hızlı programlara göre %2.3 artırdı. Aynı derecede kritik olan, farklılık gerektiren gizlilikte uyarlanabilir ...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Dizüstü Bilgisayar	Dell Technologies	Yok	Veri işleme ve dokümantasyon için kullanılır
İstatistiksel Yazılım (SPSS)	IBM Corp.	Sürüm 26.0	İstatistiksel analiz için kullanılıyor
Microsoft Excel	Microsoft	Office 365	Veri girişi ve temel veri işleme