비동일 및 이기종 데이터셋을 위한 지능형 연합 학습 프레임워크

Summary

이 프로토콜은 데이터 프라이버시를 유지하고 모델 해석 가능성을 가능하게 하면서 이기종적이고 비동위치화된 데이터셋에서 분산 머신러닝 모델을 훈련하기 위한 지능형 연합학습 프레임워크(ETL)의 구현을 설명합니다.

Abstract

연합 학습은 프라이버시를 유지하면서 분산 모델 학습에 상당한 잠재력을 가지고 있지만, 비공동 배치 데이터셋의 이질성으로 인해 수렴성, 공정성, 해석 가능성 측면에서 어려움을 겪고 있습니다. 본 연구는 데이터, 클라이언트, 집계, 적응, 최적화, 해석 가능성 계층으로 구성된 다층 아키텍처를 활용한 적응적 접근법을 통해 이러한 도전 과제를 해결하기 위한 지능형 연합 학습 프레임워크(IFLF)를 제안합니다.

이 프레임워크는 비-IID 데이터 분포에서 안정적인 수렴성을 보여주며, 균형 잡힌 최적화를 지원하는 집계 전략을 제공합니다. 학습률 변조 접근법은 이기종 클라이언트 업데이트를 통합하고 최적화 중 발산을 줄여 안정적인 학습에 기여합니다. SHAP과 LIME을 포함한 설명 가능한 AI 기법이 도입되어 고객 및 글로벌 차원의 투명성을 향상시킵니다.

IFLF는 네 가지 벤치마크 데이터셋(FEMNIST(비전), FLamby(의료 영상), FedGraphNN(그래프 학습), CICIDS2017(사이버보안))로 평가됩니다. 이 프레임워크는 평균 정확도 92.8%를 달성했으며, 더 빠른 수렴과 클라이언트 간 성능 변동이 감소했습니다.

Introduction

모바일 기기, 의료 시스템, 산업 센서, 사이버-물리 인프라에서 유래하는 분산 데이터가 급증하면서 데이터 프라이버시를 보호하는 협업 머신러닝 기법의 필요성이 커졌습니다. 기존의 머신러닝 방법은 서로 다른 출처의 데이터셋을 수집하고 단일 저장소에 저장하는 중앙 집중식 데이터 통합에 의존합니다. 이러한 접근법은 모델 학습을 용이하게 하지만, 데이터 프라이버시, 규제 준수, 통신 오버헤드와 관련된 우려를 불러일으킵니다. 연합학습(FL)은 여러 고객이 지역 데이터를 공개하지 않고 글로벌 모델을 공동 학습할 수 있는 유망한 접근법으로 인정받고^{있습니다.} 이 분산형 학습 방식에서는 클라이언트가 로컬 모델을 학습시키며, 모델 업데이트만 중앙 서버와 공유합니다. 이 접근법은 분산 환경 전반에 걸쳐 협업 모델 개발을 가능하게 하면서 개인정보 위험을 줄여줍니다 ^2,3.

그럼에도 불구하고, 연합 학습은 실용적인 도입에서 한계에 직면해 있습니다. 주요 과제 중 하나는 고객 데이터셋이 서로 다른 분포를 따르는 통계적 이질성입니다. 비IID 데이터 분포는 연합 최적화에서 수렴 안정성과 모델 일반화에 큰 영향을 미칩^니다. 이 문제를 해결하기 위해 여러 방법이 제안되었습니다. FedProx는 이질^{적인 클라이언트 간의} 교육을 안정화하기 위해 근접 정규화 항을 도입합니다. FedNova는 불균형한 고객 참여에서 발생하는 객관적 불일치를 조정합니다⁶. 또한, 서버 측 적응형 최적화 전략이 수렴⁷을 개선하기 위해 제안되었으며, SCAFFOLD는 분산 감소 기법을 사용해 분산 최적화⁸ 중 클라이언트 드리프트를 완화합니다.

최근 연구들은 연합 환경에서 이질성을 해결하기 위한 클러스터링 및 개인화 기법을 탐구해왔습니다. 클러스터 연합 학습 프레임워크는 학습 일관성과^{모델 성능을 향상시키}기 위해 유사한 데이터 분포를 가진 클라이언트를 그룹화합니다. ^9,10. Ditto와 FedAMP와 같은 맞춤형 연합 학습 방법은 글로벌 모델 성능과 클라이언트 맞춤형 적응의 균형을 맞추는 것을 목표로 합니다 ^11,12. 마찬가지로, pFedMe와 Per-FedAvg와 같은 방법들은 클라이언트 수준의 적응을 위해 정규화 기반의 미세 조정을 사용합니다^13,14. FedRep과 FedRoD를 포함한 다른 접근법들은 독립적인 연합 교육을 위한 글로벌 및 클라이언트별 대표를 분리합니다^15,16.

연합 학습의 또 다른 도전 과제는 자원의 이질성과 시스템 확장성입니다. 대규모 분산 시스템에서는 클라이언트가 계산 능력과 통신 대역폭이 다양할 수 있습니다. FedBN은 로컬 배치 정규화¹⁷을 통해 특징 분포 이질성을 해결합니다. 계층 기반 연합 학습 프레임워크는 자원 차이를 관리하기 위해 클라이언트를 계층적 교육 계층으로 조직합니다^. HACCS와 Oort와 같은 고객 선택 전략은 교육 중 신뢰할 수 있는 참가자를 우선시함으로써 시스템 효율성을 향상시킵니다^19,20. FedScale과 같은 벤치마킹 플랫폼은 연합학습 알고리즘의 대규모 평가를 지원합니다²¹.

분산된 클라이언트 간에 모델 업데이트가 자주 교환되는 상황에서 의사소통 효율성도 연합 학습에서 또 다른 핵심 관심사입니다. 기존 접근법에는 주기적 평균화, 모델 양자화²²와 같은 통신 효율적인 훈련 전략과 모델 압축 기법이 포함됩니다. 지식 증류^{는 컴팩}트 표현을 전송하면서 성능을 유지함으로써 통신 비용을 줄입니다. 추가 접근법으로는 고객 참여를 줄이고^{분산 훈련 내에서} 압축 기법을 적용하는 것이 포함됩니다. Quped와 FetchSGD와 같은 최적화 방법은 통신 및 메모리 효율성 문제를 추가로 해결합니다^25,26.

최적화와 소통을 넘어, 해석 가능성은 연합 학습 시스템의 중요한 측면이 되었습니다. SHAP, LIME과 같은 설명 가능한 인공지능(XAI) 기법은 모델 예측에 대한 특징 수준의 설명을 제공합니다. 이 기법들은 의료 및 사이버보안과 같은 중요한 영역에서 모델 행동에 대한 이해를 지원합니다^{2 7,2 8}. 최근 연구들은 연합 학습 시스템에 설명 가능성을 통합하면 투명성과 신뢰성이 향상된다는 점을 강조합니다^{2 9,30}.

본 연구는 이질적인 연합 환경에서 수렴 안정성, 공정성, 의사소통 효율성 및 해석 가능성을 향상시키기 위한 지능형 연합 학습 프레임워크(IFLF)를 제안합니다. 이 프레임워크는 신뢰성 기반 집계, 적응 최적화 메커니즘, 설명 가능한 AI 기법을 통합 아키텍처 내에 통합합니다.

이 프레임워크는 데이터, 클라이언트, 집계, 적응, 최적화, 해석 가능성 계층으로 구성된 다층 시스템으로 구성되어 있습니다. 지능형 집계는 고객 신뢰성과 유사성 지표를 통합하여 적응형 가중치를 결정합니다. 적응형 학습률 변조 메커니즘은 이기종 클라이언트 분포 전반에 걸쳐 안정적인 최적화를 지원합니다. 해석 가능성 구성 요소는 분산 환경 전반에 걸쳐 모델 예측에 대한 설명을 제공합니다.

본 연구는 이질적인 연합 학습 환경에서 지능형 집계, 적응형 학습률 조절, 해석 가능성 메커니즘의 영향을 조사합니다. 이 연구는 집계 전략이 수렴 안정성과 모델 성능에 미치는 영향, 적응형 학습률 변조가 데이터 이질성 하에서의 학습을 어떻게 지원하는지, 그리고 해석 가능성 기법이 모델 투명성을 어떻게 향상시키는지 평가합니다. 제안된 지능형 연합학습 프레임워크는 데이터 계층, 클라이언트 계층, 집계층, 적응 및 최적화층, 해석 가능성 계층의 다섯 가지 계층으로 구성되어 분산 환경에서 효율적이고 안정적인 연합 학습을 가능하게 합니다. 평가는 수렴 행동, 공정성, 소통 효율성, 해석 가능성 등 주요 성능 측면을 여러 벤치마크 데이터셋을 사용하여 고려합니다.

분산 클라이언트는 사설 데이터셋에 대해 로컬 학습을 수행하고 암호화된 모델 업데이트를 중앙 서버로 전송합니다. 서버는 클라이언트의 신뢰성과 유사성을 평가하고, 집계 가중치를 계산하며, 글로벌 모델을 업데이트합니다. 적응형 학습률 조정은 안정적인 수렴을 지원하며, 설명 가능한 AI 방법은 해석 가능한 출력을 제공합니다. 이 논문의 나머지 부분은 다음과 같이 구성되어 있습니다. 관련 연구 섹션에서는 이질적 연합 학습의 최근 발전을 검토합니다. 프로토콜 섹션은 제안된 프레임워크의 구현을 설명합니다. 결과 섹션은 실험 결과를 제시하고, 토론은 그 함의와 향후 방향을 개괄합니다.

관련 활동
최근 연구들은 다양한 데이터 방식과 응용 영역에서 이질적 연합 학습을 다루고 있습니다. 프로토타입 유도 연합 학습 접근법은 원시 데이터 대신 대표성 프로토타입을 공유함으로써 분산된 기관 간 협업을 가능하게 합니다³¹. FedGraphNN은 그래프 신경^{망 설정에서} 연합 학습 알고리즘을 평가하기 위한 벤치마킹 플랫폼을 제공합니다. OpenFGL은 연합 학습 시나리오³³에서 대규모 벤치마킹을 지원합니다. FLamby는 엄격한 개인정보 보호 제약 하에 연합 학습을 위한 크로스 사일로 의료 데이터셋을 제공합니다³⁴.

확장 가능한 연합 학습 배포를 지원하기 위해 시스템 수준 프레임워크도 개발되었습니다. Flower는 분산 환경에서 연합 학습 알고리즘을 구현하고 평가하기 위한 유연한 인프라를 제공합니다³⁵. 동적 증류 방법은 이질적인 데이터 분포에서 모델 성능을 향상시키기 위해 제안되었습니다³⁶. 또한, 설문 연구들은 연합 학습 시스템에서 이질성, 확장성, 해석 가능성과 관련된 주요 과제들을 강조합니다³⁷. 이들 연구는 실제 응용 분야에서 견고한 연합 학습을 위한 적응형 집계, 최적화 전략, 해석 가능성 메커니즘을 통합하는 통합 프레임워크의 필요성을 강조합니다.

Protocol

개요
비공동 위치(non-colocated) 환경에서 데이터와 시스템 이질성을 효율적으로 관리하기 위해 지능형 연합학습 프레임워크(IFLF)가 개발되었습니다. 시스템 아키텍처는 데이터 계층, 클라이언트 계층, 집계계층, 적응 및 최적화계층, 해석 가능성 계층의 다섯 계층으로 구성되었습니다. 모듈들은 중앙 집계 서버와 여러 클라이언트 노드가 있는 분산 컴퓨팅 구성에 배포되었습니다. 보안 소켓 연결(SSL/TLS)은 프라이버시와 데이터 무결성을 보장하기 위해 노드 간 통신에 사용되었습니다. 다음 절차가 데이터셋 준비, 아키텍처 설정, 연합 훈련 수행 및 해석 가능성 평가에 사용되었습니다.

계산 환경 구성
연합 학습 프레임워크 구현을 위한 필요한 소프트웨어 프레임워크를 설치하여 계산 환경을 구성했습니다. 파이썬은 모델 개발과 실험을 위한 주요 프로그래밍 언어로 사용되었습니다. TensorFlow나 PyTorch 등 머신러닝 라이브러리가 신경망 학습을 위해 설치되었고, 데이터 전처리 및 분석을 위해 NumPy, Scikit-learn, Pandas 등 추가 라이브러리도 추가로 도입되었습니다. 분산 클라이언트 환경을 시뮬레이션하기 위해 Flower나 PySyft와 같은 연합 학습 라이브러리가 설치되었습니다. 컴퓨팅 환경은 GPU 가속이 가능한 워크스테이션에서 구성되었습니다. 모든 클라이언트와 집계 서버는 보안 소켓 연결(SSL/TLS)을 통해 통신하도록 설정되었습니다. 모든 필요한 데이터셋은 연합 훈련을 시작하기 전에 각 클라이언트 노드의 로컬 저장소 내에서 접근 가능한지 검증되었습니다. 프로토콜을 재현하는 데 필요한 소프트웨어 프레임워크, 데이터셋 및 계산 환경은 재료표에 요약되어 있습니다.

연합 노드의 초기화
중앙 집계 서버는 Flower 연합 학습 프레임워크를 사용해 구성되었습니다. 집계 서버는 다음 명령어로 시작되었습니다:

파이썬 server.py --반올림 100 --클라이언트 10 --secure_connection 참

개별 클라이언트 노드는 다음 명령어를 사용하여 별도의 터미널이나 컴퓨팅 환경에서 실행되었습니다:
파이썬 client.py --client_id 01

보안 소켓 통신은 OpenSSL 툴킷을 사용하여 SSL/TLS 인증서를 생성하여 구성되었습니다.
OpenSSL Req -x509 -newkey RSA:4096 -keyout key.pem -out cert.pem -days 365

서버와 클라이언트 간의 안전한 통신은 구성 파일에서 인증서 경로를 지정함으로써 가능했습니다. 연합 훈련 과정을 시작하기 전에 통신 테스트 라운드를 실행하여 연결성을 검증했습니다.

데이터셋 준비 및 설명
대표성 공개 데이터셋을 선정하여 다양한 도메인과 데이터 방식 전반에 걸친 성능을 평가하였습니다. FEMNIST는 62개의 클래스(A–Z, a–z, 0–9 자리)를 포함하는 고급 MNIST 문자 인식 데이터베이스로, 각 클라이언트는 한 명의 작성자의 데이터를 나타내어 자연스러운 비IID 분포를 유도합니다. FLamby는 심장 MRI, 조직병리 이미지와 같은 다양한 사일로 간 의료 데이터셋으로 구성된 의료 영상 벤치마크로, 각 병원이나 기관이 연합된 클라이언트 역할을 합니다. FedGraphNN은 인용 네트워크, 분자 분류, 소셜 그래프와 같은 작업을 포함하는 그래프 신경망의 벤치마크로, 클라이언트가 서로 다른 하위 그래프나 노드 특징을 포함합니다. CICIDS2017는 DDoS, PortScan, 봇넷 등 공격 유형에 걸친 80개 이상의 네트워크 트래픽 흐름 특징을 포함하는 침입 탐지 대상 사이버보안 데이터셋으로, 각 클라이언트는 별도의 네트워크 도메인 또는 센서를 나타냅니다.

데이터셋 통계
실험에 사용된 데이터셋의 주요 특징을 요약하여 연합 학습 환경의 재현성을 보장하였습니다. FEMNIST는 약 805,263개의 손글씨 샘플을 포함하며, 3,550명의 작가에 걸쳐 분포되어 있으며, 대문자, 소문자, 숫자를 나타내는 62개의 클래스가 있습니다. 각 클라이언트는 평균 약 200–300개의 샘플을 가진 단일 필자에게 대응합니다. FLamby는 사일로 간 의료 데이터셋을 제공하며, 본 연구에서는 각 병원이 독립적인 연합 클라이언트 역할을 하는 여러 병원에서 수집된 약 20,000개의 샘플을 포함하고 있습니다. FedGraphNN은 인용 네트워크와 분자 그래프 등 여러 그래프 학습 데이터셋을 포함하며, 일반적으로 수천 개의 노드와 간선을 포함하며, 노드 특징 벡터는 작업에 따라 50–500 차원 범위입니다. CICIDS2017 약 280만 개의 네트워크 트래픽 흐름과 네트워크 패킷에서 추출한 80개의 통계적 특징을 포함하며, DDoS, 포트스캔, 봇넷 트래픽과 같은 여러 공격 범주를 포함합니다. 각 연합 클라이언트는 서로 다른 네트워크 환경이나 모니터링 센서를 나타냅니다. 이 연구에 사용된 데이터셋은 2017년부터 2023년 사이에 공개되었으며, 연합 학습 연구를 위해 공개되어 있습니다. 실험에 사용된 데이터셋의 통계적 특성은 표 1에 요약되어 있습니다.

데이터셋	도메인	샘플	특징	클래스	고객	출시 연도
페먼니스트	비전 (손글씨)	8,05,263	이미지 픽셀 (28×28)	62	3,550	2017
플램비	헬스케어 영상	~20,000	이미지 특징	바이너리 / 멀티클래스	5	2023
FedGraphNN	그래프 학습	~10k–100k 노드	50–500 노드 특징	작업 의존	7	2021
CICIDS2017	사이버보안	~280만 유량	80	다중 공격 클래스	10	2017

표 1: 지능형 연합학습 프레임워크 실험에서 사용된 데이터셋 요약. 표는 본 연구에서 사용된 데이터셋의 특성을 요약하는데, 여기에는 응용 도메인, 총 샘플 수, 특징 수, 클래스 수, 연합 클라이언트 수, 데이터셋 릴리스 연도 등이 포함됩니다. 이 통계들은 프레임워크 평가에 사용되는 이질적인 데이터 양식에 대한 개요를 제공합니다.

클라이언트 수준 이질성
클라이언트 수준의 이질성은 데이터셋 분할을 통해 도입되었습니다. 평가에 서로 다른 도메인의 네 개 데이터셋이 사용되었지만, 각 연합 데이터셋 내에서는 클라이언트 수준 분할을 통해 이질성이 도입되었습니다. 각 데이터셋은 여러 클라이언트에 나누어져 동일하지 않은 지역 데이터 분포(비IID)가 발생했습니다. 각 데이터셋 내 통계적 이질성을 나타내는 현실적인 연방 학습 조건을 시뮬레이션하기 위해 개별 클라이언트에게 다양한 샘플 또는 클래스의 하위 집합이 할당되었습니다. 전체 데이터셋의 약 5–10%가 각 클라이언트에 할당되었으며, 클래스 불균형을 유지하여 실제 비IID 연합 환경을 모방했습니다. 본 연구에서 이질성 데이터셋이라는 용어는 독립적인 실험 데이터셋 간의 차이가 아니라 고객 수준의 통계적 이질성을 의미합니다. 벤치마크 데이터셋은 FEMNIST의 개별 작성 스타일 차이, FLamby 데이터셋의 영상 프로토콜 및 환자 인구 통계 차이, FedGraphNN 데이터셋의 구조적 차이, CICIDS2017의 다양한 네트워크 트래픽 패턴 등 다양한 통계적 이질성을 보여주었으며, 이들은 연합 최적화 알고리즘에 도전하는 현실적인 비IID 데이터 분포를 만들어냈습니다.

데이터셋별 전처리
연합 학습 전에 입력 형식을 표준화하기 위해 데이터셋별 전처리 작업이 수행되었습니다. FEMNIST에서는 손글씨 문자 이미지를 회색조로 변환하고, 28×28 픽셀로 크기 조정하며, [0, 1] 구간으로 정규화되었고, 손상되거나 불완전한 샘플은 제거되었으며, 클래스 라벨은 원핫 인코딩되었으며, 각 라이터가 연합 클라이언트에 대응하도록 작가 ID별로 샘플을 정리했습니다. FLamby의 경우 의료 이미지를 224×224 픽셀로 크기 조정하고, 데이터셋별 평균 및 표준편차를 사용해 정규화했으며, 수평 뒤집기, 회전, 대비 조정 등의 기법으로 보강하고 병원 식별자별로 분할했습니다. FedGraphNN에서는 노드 특징, 인접 행렬, 간선 관계를 정의하여 그래프 구조를 구성하고, 노드 특징 벡터를 정규화하며, 그래프 데이터를 희소 인접 표현으로 변환하고, 그래프를 클라이언트 간에 부분그래프로 분할했습니다. CICIDS2017에서는 중복 기록을 제거하고, 누락된 값은 평균과 함께 추정되었으며, 범주적 특징을 인코딩하고, 특징 정규화를 적용했으며, 무해한 트래픽과 공격 트래픽은 층화 샘플링을 사용해 균형을 맞췄습니다. 각 클라이언트 데이터셋은 80% 학습, 10% 검증, 10% 테스트 하위 집합으로 나뉘어 클래스 분포가 유지되도록 했습니다. 클라이언트 데이터셋은 별도의 폴더(Client_01, Client_02 등)에 저장되었고, 로컬 노드 접근은 개인정보 보호를 위해 제한되었습니다.

지능형 연합학습 프레임워크(IFLF)의 아키텍처
지능형 연합학습 프레임워크는 그림 1에 나타난 대로 데이터 계층, 클라이언트 계층, 집계계층, 적응 및 최적화 계층, 해석 가능성 계층으로 구성된 5계층 아키텍처로 조직되었습니다. 아키텍처 계층은 정보를 순차적으로 전달하도록 설계되었습니다. 클라이언트 소유에 따라 이기종 데이터셋을 준비하고 분할한 후, 데이터 레이어는 정보를 클라이언트 레이어로 전송했고, 클라이언트 레이어에서 로컬 모델이 학습되고 모델 업데이트가 생성되었습니다. 이 업데이트들은 집계 계층으로 전송되었으며, 신뢰성과 유사도 지표가 가중치 클라이언트 기여도의 집계를 안내했습니다. 적응 및 최적화 계층은 구배 분산에 따라 학습률 매개변수를 변화시켜 원활한 전역 학습 과정을 보장했습니다. 마지막으로, 해석 가능성 계층은 SHAP, LIME과 같은 설명 가능한 인공지능 기법을 활용하여 전역 모델을 해석하고 예측에 대한 설명을 생성했습니다.

그림 1. 지능형 연합학습 프레임워크의 아키텍처. 이 프레임워크는 데이터, 클라이언트, 집계, 적응 및 최적화, 해석 가능성의 다섯 가지 계층으로 나뉩니다. 비동위치, 이기종 클라이언트의 데이터는 로컬 처리, 신뢰성 및 유사성에 따라 집계, 적응 최적화, SHAP 또는 LIME 해석이 이루어집니다. 화살표는 클라이언트와 중앙 서버 간의 반복적인 통신을 나타내며, 이는 연합 학습 루프를 형성합니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

데이터 계층
데이터셋은 클라이언트 소유권과 개인정보 보호 요구사항에 따라 나뉘었으며, 각 클라이언트별로 전용 저장 위치가 유지되었습니다. 다양한 전처리 파이프라인이 적용되었고, 도메인 간 표준화된 입력 형식을 보장하기 위해 기능들이 정규화되었습니다.

클라이언트 계층
장치, 조직 또는 기관을 대표하는 분산 클라이언트가 설정되었으며, 각각 동일한 매개변수로 초기화된 글로벌 모델 복사본을 받았습니다. 로컬 훈련은 확률적 기울기 하강이나 Adam과 같은 최적화 방법을 적용한 클라이언트 전용 데이터셋을 사용해 수행되었으며, 데이터 프라이버시를 보호하기 위해 모델 매개변수나 기울기만 전달했습니다.

집계 계층
중앙 집계 장치는 모든 클라이언트로부터 암호화된 모델 업데이트를 받고, 집계 전에 신뢰성과 유사성을 평가했습니다. 검증 성과에 기반한 신뢰도 점수를 사용하여 클라이언트 업데이트의 중요성을 결정했고, 업데이트 간 유사성은 클러스터링이나 코사인 유사성 같은 방법으로 평가했습니다. 가중 집계가 수행되었고, 업데이트된 글로벌 모델은 고객에게 재분배되었습니다.

적응 및 최적화 계층
최적화 매개변수는 클라이언트 간 학습 진행 상황에 따라 동적으로 조정되었습니다. 학습 속도는 업데이트 분산을 줄이기 위해 계획되었고, 근접 정규화와 적응 가중치와 같은 추가 기법이 적용되어 클라이언트 드리프트를 완화하고 수렴 안정성을 개선했습니다.

해석 가능성 계층
SHAP과 LIME과 같은 설명 가능한 인공지능 기법이 사용되어 특징 귀속 점수와 모델 설명을 생성했습니다. 결과물에는 특징 중요성 순위, 귀속 지도, 시각적 설명이 포함되었으며, 이는 도메인 특화 지식의 맥락에서 투명성을 보장하기 위해 해석되었습니다.

연합 훈련
지능형 연합 학습 프레임워크는 중앙 집계 서버에서 글로벌 모델을 초기화한 후, 학습 속도, 통신 라운드, 로컬 에포크 등 훈련 하이퍼파라미터를 정의하는 방식으로 구현되었습니다. 글로벌 모델 매개변수는 모든 고객에게 배포되었고, 고객은 개인 데이터셋을 사용해 로컬 학습을 수행했습니다. 로컬 훈련 손실과 검증 정확도를 계산하고, 모델 업데이트를 생성 및 암호화한 후 집계 서버로 전송했습니다. 클라이언트 업데이트의 신뢰성은 방정식 1을 사용하여 검증 성능을 기반으로 평가되었습니다.

(1)

여기서 Acc_i 는 클라이언트 i의 검증 정확도를 나타냅니다.

클라이언트 업데이트 간 유사성은 방정식 2에 정의된 구배 벡터의 코사인 유사도를 사용하여 계산되었습니다.

(2)

여기서 g_i와 g_j는 서로 다른 클라이언트의 그라데이언트 벡터를 나타냅니다.

적응적 집계 가중치는 방정식 3에 정의된 신뢰도와 유사도 점수를 결합하여 계산하였습니다.

(3)

각 클라이언트의 적응형 집계 가중치는 신뢰성과 유사도 점수를 결합하여 결정되었습니다. 신뢰도 지표는 로컬 클라이언트 모델의 검증 정확도를 반영했고, 유사도 지표는 클라이언트 그라디언트 업데이트 간의 코사인 유사도를 측정했습니다.

따라서 집계 가중치 i 는 신뢰할 수 있는 검증 성능을 보여주고 글로벌 최적화 목표에 따라 일관된 업데이트 방향을 보이는 클라이언트를 우선시했습니다.

정규화된 가중치는 참여 클라이언트의 총 기여도를 1로 합산하여 글로벌 모델 업데이트의 안정성을 유지하도록 했습니다.

가중치는 정규화되어 .

글로벌 모델 업데이트
클라이언트 모델은 방정식 4에 나타난 가중 평균을 사용하여 집계되었습니다.

(4)

여기서 M_i 는 클라이언트 i의 로컬 파라미터를 나타냅니다.

업데이트된 글로벌 모델 매개변수는 모든 클라이언트에 브로드캐스트되었습니다.

적응형 학습 속도 변조
커뮤니케이션 라운드마다 클라이언트 기울기의 변동이 모니터링되었습니다. 학습 속도는 방정식 5에 따라 동적으로 조정되었습니다.

(5)

여기서 Var(g)는 클라이언트 간 구배 분산을 나타냅니다.

업데이트된 학습률은 다음 지역 교육 주기에 적용되었습니다. 적응형 학습률은 중앙 집계 서버에 의해 제어되었으며, 이후 훈련 라운드에서 전 세계 모든 클라이언트에 적용되었습니다. 이러한 글로벌 조정은 고객 업데이트의 변동을 고려하면서도 일관된 최적화 동작을 보장했습니다. 학습 속도 변조가 서버 수준에서 수행되었기 때문에, 참여하는 모든 클라이언트는 업데이트된 학습률과 방송 글로벌 모델 매개변수를 함께 받았습니다.

연합학습 성과 평가
전체 모델 정확도는 집계된 테스트 데이터셋을 사용하여 평가되었으며, 이는 방정식 6에 나타났습니다.

(6)

여기서 TP는 진정 양성 예측 수, TN은 진음성 예측, FP는 거짓 양성 예측, FN은 거짓 음성 예측을 나타냅니다

고객 간 공정성은 고객 정확성의 분산을 계산하여 측정했습니다.

통신 비용은 모든 통신 라운드에서 클라이언트와 집계 서버 간에 전송되는 모델 매개변수의 총 수로 계산되었습니다. 따라서 전체 통신 오버헤드는 방정식 7에 따라 추정되었습니다.

(7)

여기서 R은 통신 라운드 수, C는 클라이언트 수, S는 모델 크기를 나타냅니다.

모델 해석 가능성 분석은 SHAP을 사용하여 전역 특징 중요도 점수를, LIME을 사용해 개별 예측에 대한 국소적 설명을 생성하였습니다. 특징 귀속 결과를 시각화하여 모델 행동을 해석하였습니다.

문제 해결
불안정한 수렴은 클라이언트 데이터셋이 매우 이질적이거나 극도로 불균형한 클래스 분포를 포함할 때 발생했습니다. 이런 경우에는 지역 학습 이포크가 줄어들거나 초기 학습 속도를 낮춰 경사를 안정화했습니다. 매우 편향된 고객 분포로 인해 집계 시 소수의 고객이 우위를 점했으며, 이는 신뢰성 가중 임계값을 조정하거나 고객 참여 다양성을 높이는 방식으로 완화되었습니다. 네트워크 중단으로 인한 신뢰할 수 없는 클라이언트 참여가 통신 라운드를 방해했으며; 따라서 부분 참여가 활성화되어 집계 서버가 사용 가능한 클라이언트 업데이트를 진행할 수 있게 되었습니다. 모델이 과도하게 정규화되거나 불충분한 데이터로 학습되었고, 모델 수렴 후 SHAP 또는 LIME 설명이 생성되도록 하면서 데이터 전처리 단계를 검증할 때 해석 가능성 실패나 일관성 없는 특징 귀속이 발생했습니다.

모델 초기화, 로컬 학습, 지능형 집계, 적응 최적화, 해석 가능성 분석의 반복적 순서는 그림 2에 나타나 있으며, 이는 지능형 연합 학습 프레임워크(IFLF)의 전체 워크플로우를 나타냅니다.

그림 2. 지능형 연합 학습 프레임워크의 워크플로우. 그림은 초기화, 로컬 훈련, 집계, 적응 최적화, 해석 가능성을 포함한 단계의 반복 주기를 보여주며, 프레임워크의 종단 간 작동을 보여줍니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

성과 평가
정확도, 정밀도, 회상률, F1 점수 등 전 세계 및 지역적 지표가 계산되었습니다. 공정성은 지역 고객 정확도의 변동을 통해 측정되었습니다. 통신 효율성은 라운드당 전송되는 데이터 크기로 평가되었습니다. 모델 성능은 FedAvg, FedProx, FedOpt와 같은 일반적인 연합 기준선과 비교하여 평가되었습니다. 결과는 수렴 곡선, 혼동 행렬, 해석 가능성 플롯을 사용하여 제시되었습니다. 모든 실험 설정, 로그, 체크포인트가 재현성을 보장하기 위해 저장되었습니다.

워크플로우 요약
IFLF 사이클은 지속적인 로컬 훈련, 스마트 집계, 적응 최적화, 해석 가능성 분석을 반복하여 수행되었습니다. 데이터 프라이버시는 데이터를 로컬 노드에 보관하면서 협력적 모델 개선을 가능하게 하여 유지되었습니다. 이 조치들은 비코로케이션 클라이언트 간 공정성, 투명성, 성능 문제를 해결하기 위한 메커니즘을 포함했습니다.

Results

개요
본 연구에서 보고된 모든 실험 결과는 견고성을 보장하기 위해 서로 다른 무작위 초기화 및 클라이언트 샘플링 구성을 적용한 5회의 독립 실행에 걸쳐 평균을 내렸습니다. 정확도, 정밀도, 회상력, F1 점수 등 성과 지표는 표준편차± 평균 단위로 제시됩니다. 런 간 관측된 표준편차는 작은 범위(일반적으로 ±0.5%에서 ±1.2%)에 머물렀으며, 이는 제안된 프레임워크가 이기종 연합 환경에서 안정적이고 일관된 성능을 보이고 있음을 나타냈다.

지능형 연합학습 프레임워크(IFLF)는 FEMNIST, FLamby, FedGraphNN, CICIDS2017 네 가지 벤치마크 데이터셋에서 일반화, 공정성, 해석 가능성을 평가하기 위해 테스트되었습니다. 모든 실험은 하나의 중앙 집계 서버와 독립적인 기관 또는 장치를 대표하는 10개의 분산 클라이언트 노드를 갖춘 시뮬레이션된 연합 환경에서 수행되었습니다. 모든 실험은 동기식 연합학습 환경에서 수행되었으며,...

Discussion

제안된 지능형 연합학습 프레임워크(IFLF)는 이기종적이고 분산된 환경에서 발생하는 연합 학습의 문제를 다룹니다. 네 개의 데이터셋에 걸친 체계적 평가 결과, 집계와 적응 최적화를 결합하면 수렴 안정성과 전역 모델 성능이 향상된다는 결과가 나타났습니다. 클라이언트 신뢰성과 유사성을 집계 과정에 통합함으로써, 프레임워크는 일관성 없는 업데이트의 영향을 줄이고, 글로벌 최적화 과정에서 더 신뢰할 수 있는 클라이언트 기여에 더 큰 비중을 부여합니다. 이 접근법은 FedAvg, FedProx, FedOpt와 같은 기본 연합학습 알고리즘보다 더 높은 정확도와 빠른 수렴을 달성합니다.

적응형 학습률 조절 메커니즘은 이기종적인 클라이언트 데이터 분포 속에서도 안정적인 학습에 기여합니다. 고정된 최적화 매개변수는 다양한 클라이언트 데이터 특성을 가진 연합 환경에서 진동을 유발할 수 있습니다. 적응형 학습률은 커뮤니케이션 라운드별 클라...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CICIDS2017 데이터셋	캐나다 사이버보안 연구소	공개 데이터셋	침입 탐지
FedGraphNN 데이터셋	FedGraphNN	공개 데이터셋	그래프 학습
FEMNIST 데이터셋	LEAF 벤치마크	공개 데이터셋	비전 데이터셋
플램비 데이터셋	플램비 프로젝트	공개 데이터셋	의료 데이터셋
꽃	플라워 프레임워크	1.6	연합 학습 시뮬레이션
GPU 워크스테이션	엔비디아	RTX GPU	모델 훈련
넘버피	넘피 개발자들	1.26	수치 계산
파이썬	파이썬 소프트웨어 재단	3.1	프로그래밍 언어
Scikit-learn	Scikit-learn	1.3	ML 유틸리티
텐서플로우 / 파이토치	구글 / 메타	최신 소식	딥러닝 프레임워크