Framework de Aprendizagem Federada Inteligente para Conjuntos de Dados Não Colocalizados e Heterogêneos

Resumo

Este protocolo descreve a implementação de um Framework de Aprendizagem Federada Inteligente para treinar modelos distribuídos de aprendizado de máquina em conjuntos de dados heterogêneos e não colocalizados, preservando a privacidade dos dados e possibilitando a interpretabilidade do modelo.

Resumo

O aprendizado federado tem potencial significativo para treinamento distribuído de modelos preservando a privacidade, mas enfrenta desafios relacionados à convergência, justiça e interpretabilidade devido à heterogeneidade dos conjuntos de dados não colocalizados. Este estudo propõe uma Estrutura Inteligente de Aprendizagem Federada (IFLF) para enfrentar esses desafios por meio de uma abordagem adaptativa, utilizando uma arquitetura multicamadas composta por camadas de Dados, Cliente, Agregação, Adaptação, Otimização e Interpretabilidade.

A estrutura demonstra convergência estável sob distribuições de dados não-IID, com estratégias de agregação que suportam otimização balanceada. A abordagem de modulação da taxa de aprendizado contribui para um treinamento estável ao integrar atualizações heterogêneas dos clientes e reduzir a divergência durante a otimização. Técnicas de IA explicáveis, incluindo SHAP e LIME, são incorporadas para melhorar a transparência tanto no nível do cliente quanto global.

O IFLF é avaliado em quatro conjuntos de dados de referência (FEMNIST (visão), FLamby (imagem em saúde), FedGraphNN (aprendizado de grafos) e CICIDS2017 (cibersegurança)). O framework alcançou uma precisão média de 92,8%, com convergência mais rápida e menor variabilidade de desempenho entre os clientes.

Introdução

O rápido aumento de dados distribuídos provenientes de dispositivos móveis, sistemas de saúde, sensores industriais e infraestruturas ciberfísicas aumentou a necessidade de técnicas colaborativas de aprendizado de máquina que também preservem a privacidade dos dados. Métodos convencionais de aprendizado de máquina dependem da consolidação centralizada de dados, na qual conjuntos de dados de diferentes fontes são reunidos e armazenados em um único repositório. Embora essa abordagem facilite o treinamento do modelo, ela levanta preocupações relacionadas à privacidade de dados, conformidade regulatória e sobrecarga de comunicação. O aprendizado federado (FL) foi reconhecido como uma abordagem promissora que permite que múltiplos clientes treinem conjuntamente um modelo global sem revelar seus dados^{locais 1}. Nesse esquema de aprendizado descentralizado, os clientes treinam modelos locais, e apenas as atualizações dos modelos são compartilhadas com um servidor central. Essa abordagem reduz riscos de privacidade ao mesmo tempo em que possibilita o desenvolvimento colaborativo de modelos em ambientes^{distribuídos 2,3}.

No entanto, o aprendizado federado enfrenta limitações na implementação prática. Um dos principais desafios é a heterogeneidade estatística, onde os conjuntos de dados dos clientes seguem distribuições diferentes. Distribuições de dados não-IID afetam significativamente a estabilidade da convergência e a generalização do modelo na otimização^{federada 4}. Para resolver essa questão, vários métodos foram propostos. O FedProx introduz um termo de regularização proximal para estabilizar o treinamento entre clientes^{heterogêneos 5}. O FedNova ajusta inconsistências objetivas decorrentes da participação desequilibrada dos^{clientes 6}. Além disso, estratégias de otimização adaptativa do lado do servidor foram propostas para melhorar a convergência⁷, enquanto o SCAFFOLD utiliza técnicas de redução de variância para mitigar o desvio do cliente durante a otimização^{distribuída 8}.

Estudos recentes exploraram técnicas de agrupamento e personalização para abordar a heterogeneidade em ambientes federados. Frameworks de aprendizagem federada agrupam clientes com distribuições de dados semelhantes para melhorar a consistência do treinamento e o desempenho do^{modelo 9,10}. Métodos personalizados de aprendizado federado, como Ditto e FedAMP, visam equilibrar o desempenho global do modelo com a adaptação específica do^{cliente 11,12}. De forma semelhante, métodos como pFedMe e Per-FedAvg utilizam ajuste fino baseado em regularização para adaptação em nível^{de cliente 13,14}. Outras abordagens, incluindo FedRep e FedRoD, separam representações globais e específicas de clientes para treinamento federado^{independente 15,16}.

Outro desafio na aprendizagem federada é a heterogeneidade de recursos e a escalabilidade do sistema. Em sistemas distribuídos em grande escala, os clientes frequentemente possuem capacidades computacionais e larguras de banda de comunicação variadas. O FedBN aborda a heterogeneidade da distribuição de características por meio da normalização local por^{lote 17}. Frameworks de aprendizagem federada baseados em níveis organizam os clientes em níveis hierárquicos de treinamento para gerenciar diferenças de recursos¹⁸. Estratégias de seleção de clientes, como HACCS e Oort, melhoram a eficiência do sistema ao priorizar participantes confiáveis durante o treinamento^19,20. Plataformas de benchmarking como a FedScale suportam avaliação em larga escala de algoritmos de aprendizado^{federado 21}.

A eficiência da comunicação é outra preocupação fundamental no aprendizado federado, dada a frequente troca de atualizações de modelos entre clientes distribuídos. Abordagens existentes incluem estratégias de treinamento eficientes em comunicação, como média periódica e quantização^{de modelos 22}, além de técnicas de compressão de modelos. A destilação de conhecimento reduz o custo de comunicação ao transferir representações compactas enquanto preserva o desempenho²³. Abordagens adicionais incluem a redução da participação do cliente e a aplicação de técnicas de compressão dentro do treinamento^{distribuído 24}. Métodos de otimização como Quped e FetchSGD abordam ainda mais os desafios de comunicação e eficiência de^{memória 25,26}.

Além da otimização e comunicação, a interpretabilidade tornou-se um aspecto importante dos sistemas de aprendizagem federada. Métodos de inteligência artificial explicável (XAI), como SHAP e LIME, fornecem explicações em nível de características para as previsões do modelo. Essas técnicas apoiam a compreensão do comportamento do modelo em domínios críticos como saúde e cibersegurança², ^{7,2, 8}. Estudos recentes destacam que integrar a explicabilidade em sistemas de aprendizagem federada melhora a transparência e a confiabilidade², ^9,30.

Este estudo propõe um Intelligent Federated Learning Framework (IFLF) para melhorar a estabilidade, justiça, eficiência da comunicação e interpretabilidade em ambientes federados heterogêneos. A estrutura integra agregação baseada em confiabilidade, mecanismos de otimização adaptativa e técnicas de IA explicáveis dentro de uma arquitetura unificada.

A estrutura é estruturada como um sistema multicamada, composto por camadas de Dados, Cliente, Agregação, Adaptação, Otimização e Interpretabilidade. A agregação inteligente incorpora métricas de confiabilidade e similaridade do cliente para determinar ponderação adaptativa. Um mecanismo adaptativo de modulação da taxa de aprendizado suporta otimização estável entre distribuições heterogêneas de clientes. Componentes de interpretabilidade fornecem explicações das previsões de modelos em ambientes distribuídos.

Este estudo investiga o impacto da agregação inteligente, da modulação adaptativa da taxa de aprendizagem e dos mecanismos de interpretabilidade em ambientes de aprendizagem federados heterogêneos. Ele avalia como as estratégias de agregação influenciam a estabilidade da convergência e o desempenho do modelo, como a modulação adaptativa da taxa de aprendizado apoia o treinamento sob heterogeneidade de dados e como as técnicas de interpretabilidade melhoram a transparência do modelo. O proposto Framework de Aprendizagem Federada Inteligente é estruturado em cinco camadas — Camada de Dados, Camada de Cliente, Camada de Agregação, Camada de Adaptação e Otimização, e Camada de Interpretabilidade — permitindo treinamento federado eficiente e estável em ambientes distribuídos. A avaliação considera aspectos-chave de desempenho, incluindo comportamento de convergência, justiça, eficiência da comunicação e interpretabilidade, utilizando múltiplos conjuntos de dados de benchmark.

Clientes distribuídos realizam treinamento local em conjuntos de dados privados e transmitem atualizações de modelos criptografadas para um servidor central. O servidor avalia a confiabilidade e similaridade do cliente, calcula os pesos de agregação e atualiza o modelo global. O ajuste adaptativo da taxa de aprendizado suporta convergência estável, e métodos de IA explicáveis fornecem resultados interpretáveis. O restante deste artigo está organizado da seguinte forma. A seção Trabalho Relacionado revisa os avanços recentes na aprendizagem heterogênea federada. A seção de Protocolo descreve a implementação do framework proposto. A seção de Resultados apresenta achados experimentais, e a Discussão apresenta as implicações e direções futuras.

TRABALHO RELACIONADO
Estudos recentes abordaram a aprendizagem federada heterogênea em diversas modalidades de dados e domínios de aplicação. Abordagens de aprendizagem federada guiadas por protótipos permitem a colaboração entre instituições distribuídas ao compartilhar protótipos representativos em vez de dados^{brutos 31}. O FedGraphNN oferece uma plataforma de benchmarking para avaliar algoritmos de aprendizado federado em configurações de redes neurais de^{grafos 32}. O OpenFGL suporta benchmarking em larga escala em cenários de aprendizagem^{federada 33}. A FLamby oferece conjuntos de dados de saúde cross-silo para aprendizado federado sob rigorosas restrições de privacidade³⁴.

Frameworks em nível de sistema também foram desenvolvidos para suportar implantações escaláveis de aprendizado federado. A Flower oferece uma infraestrutura flexível para implementar e avaliar algoritmos de aprendizagem federada em ambientes^{distribuídos 35}. Métodos de destilação dinâmica foram propostos para melhorar o desempenho do modelo sob distribuições de dados^{heterogêneas 36}. Além disso, estudos de pesquisa destacam desafios importantes relacionados à heterogeneidade, escalabilidade e interpretabilidade em sistemas de aprendizagem^{federados 37}. Esses trabalhos enfatizam coletivamente a necessidade de frameworks unificados que integrem agregação adaptativa, estratégias de otimização e mecanismos de interpretabilidade para uma aprendizagem federada robusta em aplicações do mundo real.

Protocolo

Visão geral
Um Framework de Aprendizagem Federada Inteligente (IFLF) foi desenvolvido para gerenciar de forma eficiente a heterogeneidade de dados e sistemas em ambientes não colocalizados. A arquitetura do sistema consistia em cinco camadas: a Camada de Dados, a Camada do Cliente, a Camada de Agregação, a Camada de Adaptação e Otimização, e a Camada de Interpretabilidade. Os módulos foram implantados em uma configuração de computação distribuída com um servidor central de agregação e múltiplos nós cliente. Conexões seguras por soquete (SSL/TLS) eram usadas para comunicação entre nós a fim de garantir privacidade e integridade dos dados. O procedimento a seguir foi utilizado para preparar conjuntos de dados, configurar a arquitetura, conduzir treinamentos federados e avaliar a interpretabilidade.

Configuração do ambiente computacional
O ambiente computacional foi configurado pela instalação dos frameworks de software necessários para implementar o framework de aprendizagem federada. Python foi usado como a principal linguagem de programação para desenvolvimento e experimentação de modelos. Bibliotecas de aprendizado de máquina, incluindo TensorFlow ou PyTorch, foram instaladas para treinamento em redes neurais, junto com bibliotecas adicionais como NumPy, Scikit-learn e Pandas para pré-processamento e análise de dados. Bibliotecas de aprendizado federadas como Flower ou PySyft foram instaladas para simular ambientes de clientes distribuídos. O ambiente de computação era configurado em uma estação de trabalho equipada com aceleração por GPU, quando disponível. Todos os clientes e o servidor de agregação foram configurados para se comunicar por meio de conexões seguras por socket (SSL/TLS). Todos os conjuntos de dados necessários foram verificados como acessíveis dentro do armazenamento local de cada nó cliente antes de iniciar o treinamento federado. Os frameworks de software, conjuntos de dados e ambiente computacional necessários para reproduzir o protocolo são resumidos na Tabela de Materiais.

Inicialização de nós federados
O servidor central de agregação foi configurado usando o framework de aprendizado federado Flower. O servidor de agregação foi iniciado usando o seguinte comando:

python server.py --rondas 100 --clientes 10 --secure_connection Verdadeiro

Nós clientes individuais eram lançados em terminais ou ambientes de computação separados usando o seguinte comando:
Python client.py --client_id 01

A comunicação segura por socket era configurada gerando certificados SSL/TLS usando o toolkit OpenSSL.
openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365

A comunicação segura entre o servidor e os clientes era viabilizada especificando os caminhos dos certificados no arquivo de configuração. A conectividade foi verificada executando uma rodada de comunicação de teste antes de iniciar o processo de treinamento federado.

Preparação e descrição do conjunto de dados
Conjuntos de dados públicos representativos foram selecionados para avaliar o desempenho em diferentes domínios e modalidades de dados. FEMNIST é um banco de dados MNIST avançado para reconhecimento de caracteres manuscritos, contendo 62 classes (A–Z, a–z, dígitos 0–9), onde cada cliente representa os dados de um escritor, induzindo distribuições naturais não-IID. FLamby é um benchmark de imagem médica composto por diferentes conjuntos de dados médicos cross-silo (por exemplo, ressonância magnética cardíaca, imagens histopatologicas), onde cada hospital ou instituição atua como um cliente federado. FedGraphNN é um benchmark para redes neurais de grafos que cobre tarefas como redes de citação, classificação de moléculas e grafos sociais, onde os clientes contêm diferentes subgrafos ou características de nós. CICIDS2017 é um conjunto de dados de cibersegurança para detecção de intrusões com mais de 80 recursos de fluxo de tráfego de rede entre tipos de ataque como DDoS, PortScan e Botnet, onde cada cliente representa um domínio ou sensor de rede separado.

Estatísticas do conjunto de dados
As principais características dos conjuntos de dados usados nos experimentos foram resumidas para garantir a reprodutibilidade da configuração de aprendizagem federada. O FEMNIST contém aproximadamente 805.263 amostras de caracteres manuscritos distribuídas por 3.550 escritores, com 62 classes representando letras maiúsculas, minúsculas e dígitos, e cada cliente corresponde a um único escritor com aproximadamente 200–300 amostras em média. A FLamby fornece conjuntos de dados de dados de saúde entre silos e, neste estudo, o conjunto de dados de imagem médica contém aproximadamente 20.000 amostras coletadas de múltiplos hospitais, onde cada hospital atua como um cliente federado independente. O FedGraphNN inclui múltiplos conjuntos de dados de aprendizado de grafos, como redes de citação e grafos moleculares, normalmente contendo milhares de nós e arestas com vetores de características de nós variando entre 50 e 500 dimensões, dependendo da tarefa. CICIDS2017 contém aproximadamente 2,8 milhões de fluxos de tráfego de rede, com 80 características estatísticas extraídas de pacotes de rede, e inclui múltiplas categorias de ataque, como DDoS, PortScan e tráfego Botnet, onde cada cliente federado representa um ambiente de rede diferente ou sensor de monitoramento. Os conjuntos de dados utilizados neste estudo foram divulgados entre 2017 e 2023 e estão disponíveis publicamente para pesquisa em aprendizagem federada. As características estatísticas dos conjuntos de dados usados nos experimentos são resumidas na Tabela 1.

Conjunto de dados	Domínio	Samples	Características	Classes	Clientes	Ano de Lançamento
FEMNIST	Visão (caracteres manuscritos)	8,05,263	Pixels da imagem (28×28)	62	3,550	2017
FLamby	Imagem em Saúde	~20.000	Recursos da imagem	Binário / multiclasse	5	2023
FedGraphNN	Aprendizado de Grafos	~10k–100k nós	Características de 50–500 nós	Dependente da tarefa	7	2021
CICIDS2017	Cibersegurança	~2,8 milhões de fluxos	80	Múltiplas classes de ataque	10	2017

Tabela 1: Resumo dos conjuntos de dados usados nos experimentos do Intelligent Federated Learning Framework. A tabela resume as características dos conjuntos de dados utilizados neste estudo, incluindo domínio de aplicação, número total de amostras, número de recursos, número de classes, número de clientes federados e ano de lançamento do conjunto de dados. Essas estatísticas fornecem uma visão geral das modalidades heterogêneas de dados usadas para avaliar o arcabou.

Heterogeneidade em nível de cliente
A heterogeneidade em nível de cliente foi introduzida por meio do particionamento de conjuntos de dados. Embora quatro conjuntos de dados de domínios diferentes tenham sido usados para avaliação, a heterogeneidade foi introduzida em cada conjunto federado por meio de particionamento em nível cliente. Cada conjunto de dados foi dividido entre múltiplos clientes, resultando em distribuições locais de dados não idênticas (não-IID). Diferentes subconjuntos de amostras ou classes foram atribuídos a clientes individuais para simular condições realistas de aprendizagem federada, representando heterogeneidade estatística dentro de cada conjunto de dados. Aproximadamente 5–10% do conjunto total de dados foi atribuído a cada cliente, mantendo o desequilíbrio de classe para emular ambientes federados não IID do mundo real. O termo conjuntos de dados heterogêneos neste estudo refere-se à heterogeneidade estatística em nível de cliente, e não às diferenças entre conjuntos de dados experimentais independentes. Os conjuntos de dados de referência apresentaram diferentes formas de heterogeneidade estatística, incluindo variações nos estilos individuais de escrita no FEMNIST, diferenças nos protocolos de imagem e na demografia dos pacientes nos conjuntos de dados FLamby, variações estruturais nos conjuntos de dados do FedGraphNN e padrões diversos de tráfego de rede em CICIDS2017, criando coletivamente distribuições realistas de dados não-IID que desafiam algoritmos de otimização federada.

Pré-processamento específico de conjunto de dados
Operações de pré-processamento específicas para conjunto de dados eram realizadas para padronizar formatos de entrada antes do treinamento federado. Para o FEMNIST, imagens de caracteres manuscritas eram convertidas para escala de cinza, redimensionadas para 28×28 pixels e normalizadas para o intervalo [0, 1], com amostras corrompidas ou incompletas removidas e rótulos de classe codificados one-hot, e amostras organizadas por IDs de escritor para que cada escritor correspondesse a um cliente federado. Para FLamby, imagens médicas foram redimensionadas para 224×224 pixels, normalizadas usando média e desvio padrão específicas de cada conjunto, aumentadas usando técnicas como inversão horizontal, rotação e ajuste de contraste, e particionadas de acordo com identificadores hospitalares. Para o FedGraphNN, estruturas de grafos foram construídas definindo características de nós, matrizes de adjacência e relações de borda, vetores de características de nós foram normalizados, dados de grafos foram convertidos em representações de adjacência esparsas e grafos foram particionados entre clientes como subgrafos. Para CICIDS2017, registros duplicados foram removidos, valores ausentes foram imputados com a média, características categóricas foram codificadas, a normalização de características foi aplicada e tráfego benigno e de ataque foi equilibrado usando amostragem estratificada. Cada conjunto de dados cliente foi dividido em subconjuntos de 80% de treinamento, 10% de validação e 10% de testes, garantindo que as distribuições de classes fossem preservadas. Conjuntos de dados clientes eram armazenados em pastas separadas (Client_01, Client_02, ...), e o acesso a nós locais era restrito por motivos de privacidade.

Arquitetura do Intelligent Federated Learning Framework (IFLF)
O Intelligent Federated Learning Framework foi organizado em uma arquitetura de cinco camadas composta pela Camada de Dados, Camada do Cliente, Camada de Agregação, Camada de Adaptação e Otimização, e Camada de Interpretabilidade, conforme ilustrado na Figura 1. As camadas arquitetônicas foram projetadas para passar informações sequencialmente. Após preparar e particionar conjuntos de dados heterogêneos de acordo com a propriedade do cliente, a Camada de Dados transmitia informações para a Camada do Cliente, onde modelos locais eram treinados e atualizações de modelos geradas. Essas atualizações eram enviadas para a Camada de Agregação, onde métricas de confiabilidade e similaridade guiavam a agregação das contribuições ponderadas dos clientes. A Camada de Adaptação e Otimização garantia um processo global de treinamento suave ao variar os parâmetros da taxa de aprendizado de acordo com a variância do gradiente. Por fim, a Camada de Interpretabilidade utilizou métodos explicáveis de inteligência artificial, como SHAP e LIME, para interpretar o modelo global e produzir explicações das previsões.

Figura 1. Arquitetura do Framework de Aprendizagem Federada Inteligente. O framework é dividido em cinco camadas: Dados, Cliente, Agregação, Adaptação e Otimização, e Interpretabilidade. Dados de clientes heterogêneos e não colocados são processados localmente, agregados com base em confiabilidade e similaridade, otimizados adaptativamente e interpretados usando SHAP ou LIME. Setas indicam a comunicação iterativa entre clientes e o servidor central formando o ciclo de aprendizado federado. Por favor, clique aqui para ver uma versão ampliada desta figura.

Camada de dados
Os conjuntos de dados eram divididos por requisitos de propriedade do cliente e privacidade, mantendo locais de armazenamento dedicados para cada cliente. Diferentes pipelines de pré-processamento foram aplicados, e recursos foram normalizados para garantir formatos de entrada padronizados entre domínios.

Camada cliente
Clientes distribuídos representando dispositivos, organizações ou instituições foram configurados, cada um recebendo uma cópia idêntica do modelo global inicializada com os mesmos parâmetros. O treinamento local foi realizado usando conjuntos de dados específicos do cliente, com métodos de otimização como descida estocástica de gradiente ou Adam, enquanto apenas parâmetros ou gradientes do modelo foram comunicados para preservar a privacidade dos dados.

Camada de agregação
Uma unidade central de agregação recebia atualizações de modelo criptografadas de todos os clientes e avaliava sua confiabilidade e similaridade antes da agregação. Pontuações de confiabilidade baseadas no desempenho de validação foram usadas para determinar a importância das atualizações do cliente, e a similaridade entre as atualizações foi avaliada usando métodos como clustering ou similaridade cosseno. Foi realizada agregação ponderada, e o modelo global atualizado foi redistribuído aos clientes.

Camada de adaptação e otimização
Os parâmetros de otimização foram ajustados dinamicamente com base no progresso do treinamento entre os clientes. As taxas de aprendizado foram programadas para reduzir a variância das atualizações, e técnicas adicionais, como regularização proximal e ponderação adaptativa, foram aplicadas para mitigar a deriva do cliente e melhorar a estabilidade da convergência.

Camada de interpretabilidade
Métodos explicáveis de inteligência artificial, como SHAP e LIME, foram usados para gerar escores de atribuição de características e explicações de modelos. Os resultados incluíram rankings de importância de características, mapas de atribuição e explicações visuais, que foram interpretadas no contexto do conhecimento específico do domínio para garantir transparência.

Treinamento federado
O Intelligent Federated Learning Framework foi implementado por meio da inicialização do modelo global no servidor central de agregação, seguido pela definição dos hiperparâmetros de treinamento, incluindo taxa de aprendizado, rodadas de comunicação e épocas locais. Os parâmetros do modelo global foram distribuídos para todos os clientes, que então realizaram treinamento local usando seus conjuntos de dados privados. A perda local de treinamento e a precisão da validação eram calculadas, e atualizações de modelo eram geradas e criptografadas antes da transmissão para o servidor de agregação. A confiabilidade das atualizações do cliente foi avaliada com base no desempenho de validação usando a Equação 1.

(1)

Onde Acc_i representa a precisão de validação do cliente i.

A similaridade entre as atualizações dos clientes foi calculada usando similaridade cosseno dos vetores gradiente, conforme definido na Equação 2.

(2)

Onde g_i e _{g j} representam os vetores de gradiente de diferentes clientes.

Os pesos de agregação adaptativa foram calculados combinando escores de confiabilidade e similaridade, conforme definido na Equação 3.

(3)

O peso de agregação adaptativa para cada cliente foi determinado combinando escores de confiabilidade e similaridade. A métrica de confiabilidade refletia a precisão da validação do modelo cliente local, enquanto a métrica de similaridade media a similaridade cosseno entre atualizações de gradiente do cliente.

O peso de agregação w_i, portanto, priorizou clientes que demonstrassem desempenho confiável em validação e apresentassem direções consistentes de atualização com o objetivo global de otimização.

Os pesos normalizados garantiram que a contribuição total de todos os clientes participantes somasse um, mantendo assim a estabilidade na atualização global do modelo.

Os pesos foram normalizados de modo que .

Atualização global do modelo
Os modelos de clientes foram agregados usando uma média ponderada, conforme mostrado na Equação 4.

(4)

Onde M_i representa os parâmetros locais do cliente i.

Os parâmetros atualizados do modelo global foram transmitidos para todos os clientes.

Modulação adaptativa da taxa de aprendizado
A variação dos gradientes de clientes entre rodadas de comunicação foi monitorada. A taxa de aprendizado foi ajustada dinamicamente de acordo com a Equação 5.

(5)

Onde Var(g) representa a variância do gradiente entre clientes.

A taxa de aprendizado atualizada foi aplicada no próximo ciclo local de treinamento. A taxa de aprendizado adaptativo era controlada pelo servidor central de agregação e aplicada globalmente em todos os clientes durante as rodadas de treinamento subsequentes. Esse ajuste global garantiu um comportamento consistente de otimização, levando em conta a variância nas atualizações dos clientes. Como a modulação da taxa de aprendizado era realizada no nível do servidor, todos os clientes participantes recebiam a taxa de aprendizado atualizada junto com os parâmetros do modelo global de broadcast.

Avaliação de desempenho em aprendizagem federada
A precisão global do modelo foi avaliada usando o conjunto de dados agregado de testes, conforme mostrado na Equação 6.

(6)

Onde TP representa o número de previsões verdadeiramente positivas, TN representa previsões verdadeiras negativas, FP representa previsões falsas positivas e FN representa previsões falsas negativas

A justiça entre os clientes foi medida calculando a variância da precisão do cliente.

O custo de comunicação foi calculado como o número total de parâmetros do modelo transmitidos entre os clientes e o servidor de agregação em todas as rodadas de comunicação. Portanto, a sobrecarga total de comunicação foi estimada conforme mostrado na Equação 7.

(7)

Onde R é o número de rodadas de comunicação, C é o número de clientes e S representa o tamanho do modelo.

A análise de interpretabilidade do modelo foi realizada usando SHAP para calcular pontuações globais de importância de características e LIME para gerar explicações locais para previsões individuais. Os resultados da atribuição de características foram visualizados para interpretar o comportamento do modelo.

Solução de problemas
Convergência instável ocorreu quando os conjuntos de dados clientes eram altamente heterogêneos ou continham distribuições de classes extremamente desequilibradas. Nesses casos, as épocas locais de treinamento foram reduzidas ou a taxa inicial de aprendizado foi diminuída para estabilizar as atualizações do gradiente. Distribuições altamente enviesadas de clientes levaram à dominância de um pequeno número de clientes durante a agregação, o que foi mitigado ajustando o limiar de peso de confiabilidade ou aumentando a diversidade de participação dos clientes. A participação pouco confiável dos clientes causada por interrupções na rede interrompeu as rodadas de comunicação; portanto, a participação parcial foi habilitada, permitindo que o servidor de agregação prosseguisse com as atualizações disponíveis dos clientes. Falhas de interpretabilidade ou atribuição inconsistente de características surgiram quando os modelos foram excessivamente regularizados ou treinados com dados insuficientes, e as etapas de pré-processamento dos dados foram verificadas, garantindo que explicações SHAP ou LIME fossem geradas após a convergência dos modelos.

A sequência iterativa de inicialização do modelo, treinamento local, agregação inteligente, otimização adaptativa e análise de interpretabilidade é representada na Figura 2, que representa o fluxo de trabalho geral do Intelligent Federated Learning Framework (IFLF).

Figura 2. Fluxo de trabalho do Framework de Aprendizagem Federada Inteligente. A figura mostra o ciclo iterativo de fases, incluindo inicialização, treinamento local, agregação, otimização adaptativa e interpretabilidade, ilustrando a operação de ponta a ponta do framework. Por favor, clique aqui para ver uma versão ampliada desta figura.

Avaliação de desempenho
Métricas globais e locais, incluindo precisão, precisão, recordação e pontuação F1, foram calculadas. A justiça foi medida pela variância da precisão do cliente local. A eficiência da comunicação foi examinada como o tamanho dos dados transferidos por rodada. O desempenho do modelo foi avaliado com base federada típica, como FedAvg, FedProx e FedOpt. Os resultados foram apresentados usando curvas de convergência, matrizes de confusão e gráficos de interpretabilidade. Todos os ajustes experimentais, registros e checkpoints foram armazenados para garantir a reprodutibilidade.

Resumo do fluxo de trabalho
O ciclo IFLF foi realizado por meio de repetição contínua de treinamento local, agregação inteligente, otimização adaptativa e análise de interpretabilidade. A privacidade dos dados era mantida mantendo os dados em nós locais, ao mesmo tempo em que se possibilitava a melhoria colaborativa do modelo. Essas etapas incorporaram mecanismos para abordar justiça, transparência e desempenho entre clientes não localizados.

Resultados

Visão geral
Todos os resultados experimentais relatados neste estudo foram mediados em cinco execuções independentes com diferentes inicializações aleatórias e configurações de amostragem do cliente para garantir robustez. Métricas de desempenho, incluindo precisão, precisão, recordação e pontuação F1, são apresentadas como média ± desvio padrão. O desvio padrão observado entre as sequências permaneceu dentro de uma faixa pequena (tipicamente ±0,5% a ±1,2%), indicando desempenho estável e consistente ...

Discussão

O proposto Intelligent Federated Learning Framework (IFLF) aborda desafios na aprendizagem federada que surgem de ambientes heterogêneos e distribuídos. A avaliação sistemática em quatro conjuntos de dados indica que combinar agregação e otimização adaptativa melhora a estabilidade da convergência e o desempenho global do modelo. Ao incorporar a confiabilidade e a similaridade do cliente no processo de agregação, o framework reduz a influência de atualizações inconsistentes, ao mesmo tem...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
CICIDS2017 Conjunto de Dados	Instituto Canadense de Cibersegurança	Conjunto de dados público	Detecção de intrusão
Conjunto de Dados FedGraphNN	FedGraphNN	Conjunto de dados público	Aprendizado de grafos
Conjunto de Dados FEMNIST	LEAF Benchmark	Conjunto de dados público	Conjunto de dados de visão
Conjunto de Dados FLamby	Projeto FLamby	Conjunto de dados público	Conjunto de dados em saúde
Flor	Estrutura de Flores	1.6	Simulação de aprendizagem federada
Estação de Trabalho GPU	NVIDIA	RTX GPU	Treinamento em modelos
NumPy	Desenvolvedores NumPy	1.26	Computação numérica
Python	Fundação de Software Python	3.1	Linguagem de programação
Scikit-learn	Scikit-learn	1.3	Utilidades de ML
TensorFlow / PyTorch	Google / Meta	Últimas novidades	Estrutura de aprendizado profundo