Orquestração Dinâmica de Aceitação de Alimentadores Baseada em RL Multiagente Utilizando o Conjunto de Dados FeederBW e Rede de Distribuição de Baixa Tensão de 236 Barras

Resumo

Este estudo apresenta uma Estratégia de Otimização Dinâmica para aceitação de alimentadores de baixa tensão utilizando aprendizado por reforço colaborativo com múltiplos agentes. Agentes inteligentes coordenam a operação do alimentador, o gerenciamento de congestionamento, a estabilidade de tensão e a integração de energias renováveis sob condições incertas. A abordagem foi avaliada por meio de simulações utilizando os conjuntos de dados FeederBW e 236-bus.

Resumo

A integração extensiva de fontes renováveis distribuídas e a rápida expansão de alimentadores de baixa tensão (LV) criaram desafios operacionais relacionados à aceitação de alimentadores e coordenação de congestionamento. As abordagens existentes de controle de tensão e gerenciamento de alimentadores podem ter escalabilidade e adaptabilidade limitadas sob geração renovável intermitente e condições de rede variáveis. Para superar essas limitações, este estudo propõe um Framework de Orquestração Dinâmica para Aceitação de Alimentadores de Baixa Tensão baseado na colaboração de agentes inteligentes dentro de uma abordagem de aprendizado por reforço multiagente. Diferentemente das estratégias de controle de tensão focadas principalmente na estabilização de tensão, o framework proposto suporta aceitação dinâmica de alimentadores por meio da operação coordenada de agentes responsáveis pelo monitoramento de alimentadores, gerenciamento de congestionamento e priorização baseada na sensibilidade à tensão. Os agentes observaram independentemente os estados dos alimentadores, avaliaram o congestionamento e as sensibilidades de tensão e colaboraram nas decisões de aceitação de alimentadores. O framework foi avaliado por meio de simulações utilizando o conjunto de dados FeederBW e o conjunto de dados da rede de distribuição de baixa tensão com 236 barras, sob diferentes níveis de integração de renováveis e condições de carga. O framework proposto alcançou uma Taxa de Aceitação de Alimentadores de 97%, um Índice de Conformidade de Tensão de 98%, uma latência de orquestração de 98 ms medida como o tempo de execução real do algoritmo de orquestração no hardware relatado e uma velocidade de convergência de 98,5%, superando os métodos centralizados de coordenação avaliados. Os resultados também indicaram melhor adaptabilidade, resiliência operacional e eficiência na tomada de decisões descentralizadas sob as condições simuladas de rede de distribuição de baixa tensão.

Introdução

Sistemas elétricos modernos enfrentam desafios operacionais significativos devido ao aumento da demanda de eletricidade e ao uso crescente de geração distribuída. Desequilíbrios entre oferta e demanda de eletricidade, ou aumentos rápidos na geração distribuída, podem impor pressão financeira às concessionárias e aos consumidores finais e comprometer a estabilidade da rede elétrica. A infraestrutura convencional de eletricidade, baseada em controle centralizado e em combustíveis fósseis, está, portanto, migrando para um modelo distribuído, impulsionado por energias renováveis. Essa transição melhorou o acesso a fontes de energia mais acessíveis e ambientalmente sustentáveis. No entanto, a natureza intermitente e imprevisível da geração fotovoltaica (PV) levanta preocupações quanto à confiabilidade da rede^1,2.

A transição energética global está acelerando a implantação da energia fotovoltaica devido aos seus benefícios ambientais, escalabilidade e custo decrescente. De acordo com a Agência Internacional de Energia Renovável, espera-se que a capacidade fotovoltaica represente mais de 22% do fornecimento global de eletricidade até 2050, e a energia solar fotovoltaica deverá tornar-se uma importante contribuinte para o fornecimento global de eletricidade já em 2030³. Essa ampla integração apresenta desafios substanciais para os sistemas convencionais de energia, particularmente em relação à estabilidade e confiabilidade operacionais. A flutuação de tensão é uma preocupação crítica porque a geração fotovoltaica é intermitente e não despachável, e seus efeitos tornam-se mais acentuados à medida que a penetração aumenta nas redes de distribuição e transmissão⁴.

Variações na irradiância solar afetam diretamente a saída dos painéis fotovoltaicos (PV) e podem provocar mudanças rápidas de tensão. O movimento de nuvens, variações bruscas na irradiância e transitórios de carga podem causar flutuações de tensão que as arquiteturas atuais da rede elétrica não conseguem acomodar adequadamente⁵. Embora as tecnologias convencionais tenham sido eficazes em configurações de rede centralizadas e relativamente estáveis, elas são menos adequadas para redes cada vez mais distribuídas. Mudanças rápidas de tensão em ambas as direções podem exceder as capacidades dos sistemas de potência convencionais, especialmente em condições de alta penetração de energia fotovoltaica⁶. Flutuações não controladas podem violar os limites de tensão, afetar cargas sensíveis e comprometer a segurança da rede elétrica.

A integração de cargas inteligentes e recursos distribuídos nas redes de distribuição, portanto, motivou o desenvolvimento de estratégias de controle mais avançadas. Sistemas de controle inteligentes que monitoram e coordenam continuamente equipamentos distribuídos podem ajudar a mitigar desafios em redes de baixa tensão (BT) com alta geração distribuída⁷. A integração em larga escala de sistemas fotovoltaicos (PV) também cria dificuldades operacionais para a geração térmica, especialmente quando a produção de PV diminui e as unidades térmicas precisam responder rapidamente, às vezes excedendo os limites de taxa de rampa⁸. Ao mesmo tempo, os programas de resposta à demanda (DR) devem equilibrar a sustentabilidade de longo prazo com a viabilidade econômica⁹.

Os programas de RD podem apoiar a integração de geração distribuída enquanto ajudam a equilibrar a oferta e a demanda de eletricidade. Esses programas são classificados como RD baseada em preço ou RD baseada em incentivos (RD-BI). A RD baseada em preço incentiva os consumidores a modificar o uso de eletricidade em resposta a tarifas que variam conforme o horário, enquanto a RD-BI oferece incentivos financeiros fixos ou variáveis para reduzir o consumo quando solicitado¹⁰. No entanto, a RD baseada em preço expõe os consumidores a preços atacadistas flutuantes e oferece flexibilidade operacional limitada do ponto de vista da concessionária, o que pode desestimular participantes avessos ao risco^11,12.

Vários estudos examinaram a DRBI em sistemas de distribuição com alta penetração de PV. Um estudo avaliou os desafios e benefícios de combinar DRBI com alta penetração de PV, mas focou no uso agregado de energia, em vez de sistemas de gerenciamento energético residencial em nível doméstico¹³. Outro propôs um método de gerenciamento de tensão baseado em incentivos, no qual sinais de preços controlavam indiretamente a operação de baterias para manter os limites de tensão, embora a demanda residencial não tenha sido modelada explicitamente¹⁴. Um método baseado em lógica difusa para determinar pagamentos de incentivos considerou a satisfação do consumidor e os custos de integração de renováveis, mas não incluiu análise em nível de alimentador¹⁵. O planejamento de geração de longo prazo que incorpora DR baseado em preço e DR baseado em incentivos também já foi estudado, incluindo geração térmica e renovável, mas sem levar em conta o conforto do usuário ou a demanda em nível doméstico¹⁶.

A aprendizagem por reforço profunda (RL) também tem sido aplicada à DR residencial. Foram propostos métodos de RL profunda para controle agregado de carga sob tarifas horossazonais, embora sua generalização tenha sido limitada por populações pequenas de usuários e pela ausência de programação em nível de eletrodomésticos¹⁷. Uma estrutura de aprendizagem por reforço multiagente que combina DR e controle de tensão utilizou redes neurais de memória de longo prazo curta para previsão de carga, mas não resolveu a insatisfação dos consumidores resultante da restrição de carga¹⁸. Outros estudos concentraram-se na coordenação de DR para sistemas de ar-condicionado em edifícios comerciais usando um processo de decisão markoviano, sem considerar outras cargas residenciais¹⁹. Em geral, os estudos existentes sobre controle de tensão com RL profunda não incorporaram simultaneamente DR e integração de PV^20,21.

Inversores inteligentes podem responder rapidamente a mudanças bruscas e irregulares na saída da energia fotovoltaica²². Quando ocorrem violações de tensão, os inversores fotovoltaicos podem atuar em milissegundos, enquanto dispositivos convencionais podem exigir vários segundos²³. Alguns estudos propuseram modificações nos procedimentos padrão de controle de dispositivos, incluindo abordagens multiagente para coordenar reguladores de tensão e modificar as ações convencionais dos controladores de tensão²⁴. No entanto, a geração fotovoltaica autônoma sem armazenamento co-localizado pode agravar as variações de tensão e não atenua os picos noturnos, mesmo quando reduz as importações líquidas diurnas^24,25. As baterias residenciais também podem se esgotar durante períodos de excedente diurno da energia fotovoltaica e ficar indisponíveis para o carregamento noturno de veículos elétricos se sua operação não for coordenada com a demanda e geração locais^26,27. Os efeitos combinados da demanda estocástica, da geração intermitente e do comportamento diversificado do armazenamento tornam o gerenciamento de capacidade, a longevidade dos ativos e a resiliência preocupações importantes para os operadores de sistemas de distribuição²⁸. Os Sistemas de Gerenciamento de Energia Residencial oferecem um meio potencial de implementar controle automatizado no nível do consumidor. A aprendizagem por reforço (RL) é particularmente adequada para essas aplicações, pois os agentes podem aprender estratégias de controle por meio da interação com o ambiente, lidando com incertezas e tomando decisões de baixa latência.

Os avanços no roteamento de veículos elétricos também ilustram como o RL profundo pode gerenciar restrições dinâmicas de energia. O problema de roteamento de veículos elétricos capacitado com frota heterogênea incorpora dinâmicas de condução, características das estradas, resistência cinética e eficiência de carregamento, ao mesmo tempo que minimiza o consumo máximo de energia em uma frota diversificada²⁹. Um método de aprendizado por reforço profundo com percepção dinâmica formula esse problema como um processo de decisão de Markov personalizado e utiliza uma arquitetura codificador-atualizador-decodificador. Nesse projeto, o codificador desenvolve representações específicas às funções para vértices e veículos, o atualizador aperfeiçoa os tokens dos veículos conforme as informações contextuais mudam, e o decodificador separa a seleção do veículo da seleção de vértices específicos ao veículo, para apoiar a tomada de decisões adaptativa. De forma semelhante, um problema de roteamento de veículos elétricos com otimização energética, coleta-entrega e janelas de tempo utiliza um modelo de consumo de energia de alta resolução que inclui comportamento de carregamento, dinâmicas de condução dependentes do tempo e informações detalhadas sobre as rotas³⁰. Um framework de aprendizado por reforço profundo heterogêneo baseado em atenção representa a tarefa de roteamento como um processo de decisão de Markov, com um codificador que captura interações específicas às funções entre depósitos, clientes e estações de carregamento, e um decodificador que acompanha as transições de estado e a viabilidade temporal.

Apesar desses avanços, a maioria dos estudos sobre gerenciamento da distribuição em BT enfatiza a estabilização de tensão e a otimização da potência reativa, em vez da orquestração dinâmica da aceitação de alimentadores sob incerteza renovável. Métodos distribuídos de controle de tensão baseados em inversores inteligentes e aprendizado de máquina geralmente se concentram na compensação de tensão e na otimização da potência reativa, sem abordar o controle adaptativo da aceitação de alimentadores ou a orquestração baseada em congestionamento em redes complexas de BT. Da mesma forma, abordagens de aprendizado por reforço multiagente com restrição de tensão para DR não abordam diretamente o gerenciamento colaborativo da aceitação de alimentadores, a orquestração descentralizada com percepção de congestionamento ou o controle de admissão em nível de nó em sistemas interconectados de distribuição em BT. Métodos cooperativos de regulação de tensão baseados em coordenação multiagente tipicamente minimizam desvios de tensão e operações de derivação utilizando inversores de PV, mas não consideram admissão adaptativa de alimentadores, instabilidade na aceitação relacionada a fontes renováveis ou orquestração descentralizada sob condições dinâmicas da rede.

Os métodos atuais de coordenação de recursos distribuídos e multiagente também enfrentam limitações em relação à percepção de congestionamento, adaptabilidade temporal e escalabilidade. A maioria enfatiza a análise de sobrecarga, interações entre recursos energéticos distribuídos ou gestão energética baseada em tarifas, em vez da aceitação adaptativa em nível de alimentador e orquestração com sensibilidade à tensão. A dependência de centralização parcial e prioridades estáticas pode ainda limitar a tomada de decisões descentralizada, a resposta rápida à propagação de congestionamentos e a adaptação à variabilidade das fontes renováveis. Assim sendo, é necessário um framework totalmente descentralizado, baseado em aprendizado por reforço, que combine coordenação cooperativa de agentes com análise sensível à tensão e ao congestionamento, para gerenciamento adaptativo da aceitação em alimentadores, utilizando conjuntos de dados em larga escala, como o FeederBW e a rede de distribuição em baixa tensão com 236 barras.

Neste estudo, a aceitação de alimentadores refere-se ao processo operacional adaptativo para determinar se um alimentador de média tensão pode acomodar recursos energéticos distribuídos adicionais ou cargas elétricas, mantendo a segurança da rede, a conformidade com a tensão, os limites de carregamento térmico e a confiabilidade operacional. O limite operacional para a aceitação de alimentadores inclui a avaliação da capacidade do alimentador, sensibilidade de tensão, condições de congestionamento e variabilidade da energia renovável antes que novas conexões de alimentadores sejam aceitas ou priorizadas. Diferentemente do controle convencional de tensão, que regula os perfis de tensão, da coordenação de recursos energéticos distribuídos, que gerencia a operação dos recursos, ou do gerenciamento de congestionamento, que mitiga sobrecargas na rede, a aceitação de alimentadores integra essas funções dentro de uma estrutura colaborativa de aprendizado por reforço multiagente para apoiar uma orquestração dinâmica, descentralizada e adaptativa em condições com alta penetração de fontes renováveis.

O objetivo deste estudo é desenvolver uma Estratégia Colaborativa de Orlamentação Dinâmica baseada em agentes inteligentes para a Aceitação de Alimentadores de Baixa Tensão sob condições operacionais variáveis e incerteza de fontes renováveis. A estrutura proposta realiza orquestração descentralizada da aceitação de alimentadores mediante avaliação dinâmica dos estados dos alimentadores, sensibilidade de tensão, sensibilidade de congestionamento e capacidade de aceitação, permitindo assim a priorização adaptativa e a tomada de decisões além dos métodos estáticos de controle de tensão. Utilizando o conjunto de dados FeederBW e o conjunto de dados da rede de distribuição em BT com 236 barras, o estudo também desenvolve uma arquitetura escalável de aprendizado por reforço multiagente para sistemas de BT de grande escala. Por meio de aprendizado impulsionado por reforço e otimização colaborativa de baixa latência realizada em cada intervalo operacional simulado, a estrutura é projetada para reduzir a propagação de congestionamento, melhorar a conformidade com a tensão, diminuir a latência de orquestração e aumentar a eficiência da coordenação descentralizada.

A estrutura proposta contribui com uma abordagem dinâmica de orquestração de aceitação em alimentadores de média tensão que substitui estratégias tradicionais baseadas em controle estático de tensão; uma arquitetura descentralizada de aprendizado por reforço multiagente para lidar com incertezas em fontes renováveis e condições variáveis de carga; gerenciamento descentralizado de admissão com base em condições de baixa latência e priorização dinâmica de alimentadores; índices conjuntos de sensibilidade à tensão e ao congestionamento para identificar alimentadores críticos e priorizar decisões de aceitação; comunicação colaborativa entre agentes vizinhos; otimização contínua de políticas baseada em aprendizado por reforço para melhorar a estabilidade dos alimentadores, mitigação de congestionamento, conformidade com a tensão e convergência; e validação em larga escala por meio de simulações utilizando os conjuntos de dados FeederBW e 236-bus LV. Os resultados comparativos indicam melhorias na aceitação dos alimentadores, mitigação de congestionamento, atraso de orquestração, velocidade de convergência e conformidade com a tensão em relação aos métodos tradicionais centralizados de coordenação.

Protocolo

Nenhum ser humano, animal vertebrado, tecido humano ou tecido animal foi utilizado nesta investigação. Apenas conjuntos de dados de acesso público (o conjunto de dados FeederBW e o conjunto de dados da rede de distribuição de baixa tensão com 236 barras) e simulações baseadas em computador foram utilizados no estudo. Portanto, este estudo não exigiu aprovação do comitê de ética em pesquisa (IRB), ética ou consentimento informado.

A Estratégia Dinâmica de Orlamentação para Aceitação de Alimentadores de Baixa Tensão Baseada em Colaboração entre Agentes foi desenvolvida utilizando aprendizado por reforço multiagente (MARL) para condições operacionais ricas em fontes renováveis. Os conjuntos de dados FeederBW e de 236 barras de baixa tensão foram pré-processados, normalizados e sincronizados temporalmente para construir um modelo de rede dinâmico que represente os estados dos alimentadores, recursos energéticos distribuídos, regiões sensíveis à tensão e condições de congestionamento. Agentes inteligentes foram atribuídos a seções dos alimentadores e pontos de junção da rede para monitorar tensão local, congestionamento, incerteza na geração renovável e capacidade de aceitação do alimentador, trocar informações com agentes vizinhos e atualizar políticas de orlamentação por meio de aprendizado por reforço descentralizado. A função de recompensa foi projetada para melhorar a aceitação do alimentador, ao mesmo tempo que limita o congestionamento, a instabilidade de tensão e os atrasos de coordenação. Foram consideradas restrições de tensão, carregamento do alimentador, carregamento do transformador e congestionamento, enquanto a operação desequilibrada trifásica, o controle avançado de inversores fotovoltaicos e a compensação de potência reativa não foram modeladas explicitamente. O framework geral é apresentado na Figura 1. As ferramentas de pesquisa utilizadas neste estudo estão listadas na Tabela de Materiais.

Figura 1: Arquitetura do framework proposto. Esquema do Framework de Orquestração Dinâmica que incorpora agentes inteligentes, aprendizado por reforço, análise de congestionamento e coordenação adaptativa de alimentadores. Clique aqui para visualizar uma versão maior desta figura.

1. Aquisição de dados

Os dados foram obtidos do conjunto de dados FeederBW³¹ e do conjunto de dados de distribuição em baixa tensão com 236 barras³². Esses conjuntos de dados foram selecionados porque continham informações sobre topologia do alimentador, condições de tensão, comportamento da geração renovável, demanda de carga, congestionamento e perfis operacionais dinâmicos necessários para a orquestração descentralizada e o aprendizado de agentes baseado em reforço.

O conjunto de dados FeederBW foi utilizado principalmente para modelar a operação do alimentador, a intermitência de energia renovável, o desvio de tensão e a propagação de congestionamento em redes de baixa tensão. Ele continha dados operacionais do alimentador, comportamento da geração distribuída, medições de tensão nos nós e flutuações de carga que apoiavam a análise de orquestração adaptativa. O conjunto de dados de 236 barras em baixa tensão foi usado para avaliar a escalabilidade e a coordenação descentralizada. Ele continha informações sobre conexões das barras, condições de carga do alimentador, características de tensão nos nós, penetração de fontes renováveis distribuídas e casos operacionais sensíveis ao congestionamento. Juntos, os dois conjuntos de dados permitiram análises em nível de alimentador e em larga escala sob condições de alta penetração de energia renovável. As características dos conjuntos de dados e seus propósitos na estrutura são resumidos na Tabela 1.

Nome do Conjunto de Dados	Tipo de Conjunto de Dados	Número de Nós/Barra	Atributos dos Dados	Finalidade no Trabalho Proposto
Conjunto de Dados FeederBW	Conjunto de Dados Operacionais de Alimentador de Baixa Tensão	Múltiplos nós do alimentador	Perfis de tensão, geração renovável, demanda de carga, estados de congestionamento, comportamento operacional do alimentador	orquestração de alimentador com baixa latência, análise de congestionamento, priorização adaptativa de aceitação
Conjunto de Dados LV de 236 Barras	Conjunto de Dados de Distribuição em Grande Escala de Baixa Tensão	236 barras	Topologia da barra, carregamento do alimentador, sensibilidade de tensão, penetração de renováveis, dinâmicas de congestionamento	Validação de escalabilidade, avaliação de coordenação descentralizada, análise de orquestração em grande escala

Tabela 1: Características do conjunto de dados. Descrição dos conjuntos de dados, atributos operacionais e seus propósitos dentro do framework proposto de orquestração em baixa tensão.

2. Pré-processamento dos dados

Os conjuntos de dados adquiridos foram pré-processados para melhorar a consistência, o alinhamento temporal e a estabilidade da aprendizagem por reforço. Entradas ausentes, medições errôneas, registros duplicados e dados inconsistentes dos alimentadores foram filtrados utilizando procedimentos estatísticos de pré-processamento. Este passo foi utilizado para manter a consistência entre os dados operacionais dos alimentadores, os perfis de geração renovável, as medições de tensão e os dados de estado de congestionamento. Todas as variáveis operacionais foram normalizadas pelo método min–max, de modo que as características de entrada fossem transformadas em uma escala comum adequada para a aprendizagem do agente. As variáveis normalizadas incluíram a tensão do alimentador, a demanda de potência ativa, a geração renovável, o status de congestionamento e a capacidade de aceitação do alimentador. A formulação matemática do procedimento de pré-processamento está fornecida no Arquivo Suplementar 1 (Seção 1).

3. Modelagem dinâmica de rede de baixa tensão

Após a aquisição e pré-processamento dos dados, foi construído um modelo dinâmico de rede de distribuição para simular o comportamento de um sistema de distribuição com alta proporção de geração renovável sob condições variáveis de carga e geração. O modelo rastreou dinamicamente a topologia do alimentador, o comportamento dos recursos energéticos distribuídos, regiões sensíveis à tensão e a propagação de congestionamento.

Diferentemente de uma representação estática de rede, o modelo atualiza o comportamento do alimentador com base na intermitência das fontes renováveis, na demanda do consumidor e nas condições de congestionamento. Os conjuntos de dados FeederBW e LV de 236 barras foram utilizados para construir alimentadores interconectados nos quais barras, transformadores, fontes renováveis distribuídas e cargas foram representados como nós da rede. Cada nó do alimentador fornecia informações atualizadas sobre magnitude de tensão, demanda de potência ativa, geração renovável, estado de carregamento do alimentador e estado de congestionamento. Essas variáveis foram utilizadas pelos agentes inteligentes para monitorar o comportamento do alimentador e tomar decisões descentralizadas de orquestração. O modelo de rede também permitiu a identificação de regiões sensíveis e a priorização da aceitação de alimentadores por meio de análise contínua de sensibilidade.

A rede de distribuição de MT foi representada como uma rede baseada em grafos contendo estações de barramento, linhas de alimentação, transformadores, fontes renováveis e nós de carga consumidora. As derivações matemáticas detalhadas do modelo de rede são fornecidas no Arquivo Suplementar 1 (Seção 2). O estado dinâmico da rede e o índice de congestionamento foram monitorados continuamente. O índice de congestionamento foi normalizado na faixa [0,1], e a orquestração colaborativa de aceitação de alimentadores foi iniciada quando o índice de congestionamento excedeu 0,80.

4. Inicialização do Ambiente Multiagente

Após a construção do modelo dinâmico da rede de BT, o ambiente multiagente foi inicializado para apoiar a aceitação descentralizada de alimentadores. Agentes inteligentes foram atribuídos a segmentos de alimentadores, pontos de conexão de recursos energéticos distribuídos, locais de transformadores e nós suscetíveis a congestionamento dentro da rede de BT.

Cada agente atuava como uma entidade independente de tomada de decisão que monitorava a operação do alimentador local, trocava informações com agentes vizinhos e executava ações adaptativas de orquestração. Os agentes foram atribuídos a nós-chave dos alimentadores com base na sensibilidade de tensão, penetração de fontes renováveis, nível de congestionamento e importância do alimentador. A rede de baixa tensão foi configurada como um ambiente baseado em agentes, no qual os agentes monitoravam continuamente a tensão do alimentador, a demanda de potência ativa, a variação da geração renovável, o status de congestionamento e a capacidade de aceitação do alimentador. A formulação matemática do ambiente multiagente é fornecida no Arquivo Suplementar 1 (Seção 3).

5. Aprendizado de agente orientado por reforço

Após a inicialização do ambiente multiagente, implementou-se uma aprendizagem orientada por reforço para permitir que os agentes aprendessem políticas de orquestração de alimentadores por meio da interação com condições operacionais variáveis do sistema de média tensão. Durante cada interação, um agente observava o estado atual do alimentador, selecionava uma ação de orquestração e recebia uma recompensa ou penalização. O processo descentralizado de aprendizagem permitiu que os agentes se adaptassem à incerteza da geração renovável, às condições variáveis de congestionamento, às variações de tensão e às alterações na capacidade de aceitação do alimentador. Cada agente selecionava uma ação de orquestração de acordo com sua política aprendida. As derivações matemáticas associadas estão fornecidas no Arquivo Suplementar 1 (Seção 4).

Um total de 64 agentes inteligentes foi implantado. Com base na topologia do alimentador, nível de penetração de energias renováveis, sensibilidade de tensão e gravidade da congestão, cada agente foi alocado a um segmento do alimentador, local de transformador, ponto de conexão de recurso energético distribuído ou nó da rede sensível à congestão. Embora preservasse uma complexidade computacional razoável, a implantação descentralizada permitiu monitoramento cooperativo e aceitação adaptativa do alimentador em toda a rede de distribuição de baixa tensão com 236 barras. Cada agente observou um vetor de estado de cinco dimensões composto por magnitude de tensão, demanda de carga do alimentador, geração renovável, status de congestão e capacidade de aceitação do alimentador. O espaço de ações consistia em cinco ações de orquestração: priorização da aceitação do alimentador, mitigação de congestão, coordenação de renováveis, balanceamento de carga e controle de tensão. A tomada de decisão cooperativa foi apoiada por meio de uma topologia de comunicação descentralizada entre vizinhos, na qual cada agente trocava índices de sensibilidade e informações operacionais locais apenas com os agentes dos alimentadores vizinhos.

Um método MARL baseado em Q-learning foi implementado utilizando uma rede neural totalmente conectada com duas camadas ocultas contendo 128 e 64 neurônios. A ativação da unidade linear retificada foi aplicada nas camadas ocultas. Os parâmetros da rede foram otimizados usando o otimizador Adam com uma taxa de aprendizado de 0,001 e um fator de desconto de 0,99. Um tamanho de mini-lote de 64 foi utilizado, e o buffer de replay de experiências tinha capacidade para 100.000 transições. O treinamento foi considerado convergido quando a média móvel da recompensa cumulativa ao longo dos últimos 20 episódios variou menos que 0,1% durante 10 janelas de avaliação consecutivas. Caso esse critério não fosse satisfeito, o treinamento continuava até um máximo de 500 episódios. O fluxo de trabalho de aprendizado por reforço é mostrado na Figura 2.

Figura 2: Fluxograma do aprendizado do agente orientado por reforço. Fluxograma ilustrando o processo de aprendizado do agente baseado em reforço para orquestração descentralizada de alimentadores e otimização de decisões. Clique aqui para visualizar uma versão maior desta figura.

O processo de aprendizagem iniciou-se com a inicialização do ambiente de distribuição de MT, dos estados dos agentes e dos parâmetros de aprendizagem. Agentes inteligentes foram posicionados em regiões alimentadoras, locais de recursos energéticos distribuídos e barras propensas a congestionamento. Em seguida, foram definidos o espaço de observação, a taxa de aprendizagem, a estratégia de exploração, os fatores de recompensa e as funções de política. A cada etapa de interação, cada agente observava o estado atual da região alimentadora designada. O estado consistia na magnitude da tensão nos nós, demanda de carga do alimentador, características da geração renovável, nível de congestionamento e capacidade de aceitação do alimentador. Essas observações formavam o estado ambiental utilizado para a tomada de decisões de orquestração. Cada agente selecionava uma ação de acordo com sua política de aprendizagem por reforço. As ações disponíveis incluíam priorização da aceitação do alimentador, gerenciamento de congestionamento, coordenação de energia renovável, balanceamento de carga e gerenciamento de tensão. A ação selecionada era aplicada ao ambiente dinâmico de MT, após o que o estado do alimentador era atualizado.

Uma recompensa foi calculada após cada ação. Uma recompensa positiva foi atribuída quando a ação selecionada melhorou a aceitação do alimentador, evitou a propagação de congestionamento, manteve a conformidade de tensão ou melhorou a estabilidade da rede. Uma penalidade foi aplicada quando a ação resultou em, ou falhou em prevenir, sobrecarga do alimentador, violações de tensão ou atrasos na orquestração. A recompensa calculada foi utilizada para atualizar a função de valor e a política de decisão do agente por meio de otimização por reforço. A sequência de observação, seleção de ação, transição do ambiente, cálculo da recompensa e atualização da política foi repetida até que o critério de parada fosse satisfeito.

6. Avaliação da sensibilidade à tensão e à congestão

Após a aprendizagem orientada por reforço, as sensibilidades à tensão e ao congestionamento foram avaliadas para identificar regiões vulneráveis do alimentador e apoiar decisões dinâmicas de aceitação do alimentador sob incerteza da energia renovável.

Em cada intervalo de operação, foram determinados os efeitos das variações na potência da alimentador, na geração renovável e na demanda de carga sobre a tensão do nó e a congestão da rede. Os índices de sensibilidade à tensão e à congestão foram recalculados em cada intervalo de operação simulado, em vez de serem derivados exclusivamente de condições estáticas da rede. Os índices de sensibilidade para cada nó do alimentador foram atualizados com base nas condições atuais da rede, na variação da geração renovável e no estado de carregamento do alimentador. Os valores resultantes foram utilizados para classificar os nós do alimentador em ações de aceitação de alimentadores, gerenciamento de congestionamento e controle de tensão.

O índice de sensibilidade à tensão quantificou a alteração na tensão do nó resultante de uma variação no fluxo de potência ativa. Após o cálculo dos índices de sensibilidade à tensão e à congestão, eles foram combinados em uma pontuação de sensibilidade composta para a priorização adaptativa da aceitação do alimentador. O método de pontuação composta é descrito no Arquivo Suplementar 1 (Seção 5). Nós do alimentador com pontuações de sensibilidade mais altas receberam prioridades mais elevadas de orquestração durante a mitigação de congestão, correção na aceitação do alimentador e operações de regulação de tensão. As pontuações de sensibilidade foram recalculadas em cada intervalo de operação e compartilhadas com agentes vizinhos por meio do ambiente colaborativo de comunicação.

7. Orquestração colaborativa de aceitação e otimização adaptativa de decisão em cada intervalo operacional simulado

Após uma avaliação de sensibilidade, foi realizada a orquestração colaborativa da aceitação para permitir que agentes descentralizados tomassem decisões coordenadas de aceitação de alimentadores sob incerteza de fontes renováveis e condições dinâmicas de congestionamento. Os agentes trocaram estados locais dos alimentadores, índices de sensibilidade, alertas de congestionamento e prioridades operacionais. Cada agente avaliou independentemente a condição local do seu alimentador, ao mesmo tempo em que coordenou com agentes vizinhos para apoiar a estabilidade geral da rede.

A aceitação de alimentadores foi priorizada de acordo com a sensibilidade à tensão, gravidade da congestão, variabilidade da geração renovável e capacidade disponível do alimentador. As observações locais com base na sensibilidade foram agregadas entre os agentes, e foram geradas ações coordenadas de aceitação de alimentadores. A formulação matemática do processo colaborativo de orquestração é fornecida no Arquivo Suplementar 1 (Seção 6). O ambiente dinâmico da rede de BT foi implantado com agentes colaborativos posicionados em regiões de alimentadores, pontos de integração de energia renovável e barramentos suscetíveis a congestão, conforme descrito no Arquivo Suplementar 1 (Algoritmo 1). Em cada intervalo de operação, cada agente observou parâmetros locais do alimentador, incluindo magnitude de tensão, variação da geração renovável, carga do alimentador, nível de congestão e capacidade de aceitação do alimentador.

Os índices de sensibilidade à tensão e de sensibilidade à congestão foram então calculados para identificar regiões alimentadoras suscetíveis à instabilidade de tensão ou à propagação de congestão. Esses índices foram combinados em uma pontuação geral de sensibilidade da alimentadora, que determinou a prioridade de aceitação e orquestração da alimentadora. Informações locais de estado, níveis de congestão, indicadores de instabilidade de tensão e prioridades de aceitação foram trocados entre agentes vizinhos. Com base nas observações locais e nas informações compartilhadas, cada agente selecionou e implementou uma ação adaptativa de orquestração. Após cada ação, um feedback de reforço foi obtido a partir do ambiente dinâmico da rede de baixa tensão, com base na estabilidade da alimentadora, redução de congestão, conformidade de tensão e eficiência de aceitação da alimentadora. Esse feedback foi utilizado para atualizar a política de cada agente por meio de uma otimização baseada em reforço. A função objetiva global de orquestração forneceu simultaneamente um feedback coordenado para a otimização adaptativa em toda a população de agentes. As atualizações de política prosseguiram até que as políticas dos agentes convergissem para uma estratégia ótima de orquestração descentralizada.

8. Validação em larga escala

A estratégia de orquestração dinâmica foi validada utilizando o conjunto de dados FeederBW e o conjunto de dados da rede de distribuição de baixa tensão com 236 barras em cenários operacionais com alta penetração de energia renovável. A validação avaliou a capacidade do framework de orquestração descentralizada em gerenciar a aceitação dinâmica de alimentadores, intermitência renovável, propagação de congestionamento e instabilidade de tensão em sistemas interconectados de distribuição em baixa tensão. Os cenários operacionais avaliados incluíram alta penetração de renováveis, demanda de carga variável, propagação dinâmica de congestionamento, condições sensíveis à tensão e capacidade variável de aceitação de alimentadores.

O desempenho do framework foi avaliado utilizando a taxa de aceitação do alimentador, índice de conformidade de tensão, taxa de redução de congestionamento, latência de orquestração, velocidade de convergência, eficiência da coordenação descentralizada e capacidade de acomodação de renováveis. Essas medidas foram utilizadas para avaliar escalabilidade, robustez, adaptabilidade e desempenho de coordenação. O framework proposto foi comparado com abordagens tradicionais centralizadas de orquestração de alimentadores sob as mesmas configurações de rede. Conjuntos de dados equivalentes, cenários operacionais, condições de avaliação e medidas de desempenho foram aplicados aos métodos de comparação.

Tabela 2 resume os conjuntos de dados, condições operacionais, ambientes de orquestração e variáveis de desempenho utilizados para a validação experimental. O conjunto de dados FeederBW foi utilizado para avaliar a dinâmica operacional do alimentador, a intermitência de fontes renováveis, o desenvolvimento de congestionamento, a variação da carga residencial e as flutuações de tensão sob condições de alimentador de baixa tensão. O conjunto de dados de 236 barras em baixa tensão foi utilizado para avaliar a orquestração descentralizada em uma rede interconectada maior. A arquitetura foi validada sob condições variáveis de geração renovável, demanda de carga, tensão e congestionamento. A coordenação descentralizada e a otimização de políticas baseada em aprendizado por reforço foram avaliadas conjuntamente entre os agentes inteligentes.

A taxa de aceitação de alimentadores, o índice de conformidade de tensão, a taxa de redução de congestionamento, a velocidade de convergência e a latência de orquestração foram utilizados para quantificar o desempenho sob condições operacionais dinâmicas em sistemas de energia renovável.

Parâmetro Experimental	Conjunto de Dados FeederBW	Conjunto de Dados LV 236-barras	Finalidade da Validação
Tipo de Rede	Rede Alimentadora de Baixa Tensão	Rede de Distribuição LV em Grande Escala	Avaliação da orquestração dinâmica
Número de Nós/Barras	Múltiplos nós alimentadores	236 barras	Análise de escalabilidade
Integração de Renováveis	Fontes fotovoltaicas e renováveis distribuídas	Barras com alta penetração de renováveis	Validação da incerteza renovável
Comportamento da Demanda de Carga	Perfis dinâmicos de carga residencial	Variações de carga em alimentadores de grande escala	Orquestração adaptativa de carga
Cenários de Congestionamento	Estados de sobrecarga e congestionamento do alimentador	Propagação de congestionamento em múltiplas barras	Análise de mitigação de congestionamento
Condições de Tensão	Perfis de flutuação de tensão	Condições de barras sensíveis à tensão	Avaliação de conformidade com tensão
Agentes Inteligentes	Agentes distribuídos no alimentador	Agentes colaborativos em grande escala	Análise de coordenação descentralizada
Ambiente de Aprendizado	Orquestração orientada por reforço	Aprendizado adaptativo multiagente	Validação da otimização de políticas
Condições de Simulação	Variabilidade dinâmica de fontes renováveis	Operação dinâmica em grande escala	Teste de orquestração de baixa latência
Métricas de Desempenho	Taxa de aceitação, redução de congestionamento	Conformidade com tensão, velocidade de convergência	Desempenho geral da orquestração

Tabela 2: Validação experimental em larga escala. Configurações experimentais utilizadas para avaliar escalabilidade, incerteza da energia renovável e coordenação descentralizada.

Resultados

Todos os experimentos foram realizados cinco vezes utilizando diferentes sementes aleatórias para reduzir a influência da aprendizagem estocástica. Os valores médios foram calculados ao longo das cinco execuções. Os mesmos conjuntos de dados, parâmetros de simulação, hiperparâmetros, critérios de parada e procedimentos de avaliação foram utilizados para todos os métodos. O Controle Centralizado de Tensão (CVC)³³, Controle Convencional Baseado em Múltiplos Agentes (CMAC)²¹, Regulação de Tensão Baseada em Aprendizado por Reforço (RLVR)²⁰, Coordenação de Recursos Energéticos Distribuídos (DERC)²⁶ e Gerenciamento de Congestionamento Baseado em Sensibilidade (SBCM)³⁴ foram utilizados como métodos de comparação.

Utilizando análise de variância de um fator (ANOVA), comparações estatísticas entre a estrutura proposta e as técnicas de referência (CVC, CMAC, RLVR, DERC e SBCM) foram realizadas independentemente para cada métrica de avaliação. O teste post hoc de Tukey para diferença honestamente significativa (HSD) foi empregado para comparações pareadas quando a ANOVA revelou diferenças estatisticamente significativas. O limiar para significância estatística foi definido em p < 0,001. Todas as análises estatísticas foram realizadas utilizando análise de variância de um fator, seguida por um teste post hoc de diferença significativa quando apropriado. A ANOVA de um fator foi conduzida usando o módulo statsmodels.stats.anova. Os valores finais de desempenho convergidos de cinco execuções separadas de simulação para cada abordagem foram utilizados para o teste de significância estatística. O objetivo dos episódios intermediários de treinamento era visualizar o processo de aprendizado; eles não foram testados quanto à significância estatística.

Aquisição de dados

Os conjuntos de dados FeederBW e 236-bus de distribuição em baixa tensão (BT) apoiaram a avaliação do framework proposto sob condições operacionais complementares. O conjunto de dados FeederBW forneceu informações em série temporal sobre alimentadores, incluindo tensão, geração distribuída renovável, demanda de carga, condições de congestionamento e comportamento de aceitação do alimentador. Ele foi utilizado para avaliar a operação dinâmica do alimentador, a intermitência de fontes renováveis, a variação da carga residencial, a propagação de congestionamento e as flutuações de tensão.

O conjunto de dados de distribuição em baixa tensão com 236 barramentos continha 236 barramentos interconectados e incluía topologias de alimentadores, regiões sensíveis à tensão, condições de penetração de energias renováveis, estados de fluxo de potência e cenários de propagação de congestionamento. Foi utilizado para avaliar a coordenação descentralizada, a orquestração adaptativa e a escalabilidade em uma rede de distribuição interconectada maior. Table 3 e Table 4 resumem as condições de validação experimental e o ambiente de simulação.

Parâmetro de Validação	Descrição
Conjuntos de Dados Utilizados	Conjunto de Dados FeederBW e Conjunto de Dados de Baixa Tensão com 236 barras
Ambiente da Rede	Sistema de distribuição dinâmico de baixa tensão com alta penetração de fontes renováveis
Fontes Renováveis	Geradores fotovoltaicos (PV) e renováveis distribuídos
Estrutura de Aprendizado	Aprendizado por Reforço Multiagente (MARL)
Estratégia de Coordenação	Orquestração descentralizada colaborativa
Cenários Operacionais	Intermitência de fontes renováveis, flutuação da carga, propagação de congestionamento
Número de Agentes Inteligentes	64 agentes colaborativos distribuídos no nível dos alimentadores
Objetivo da Validação	Otimização adaptativa da aceitação pelo alimentador
Processo de Avaliação	Orquestração em tempo real e coordenação com sensibilidade a variações
Análise Comparativa	Comparação com métodos convencionais de coordenação centralizada

Tabela 3: Parâmetros de validação ambiental. Parâmetros de validação utilizados para avaliar a orquestração adaptativa sob condições dinâmicas de operação com baixa tensão.

Componente da Simulação	Configuração
Ambiente do Processador	Sistema de processamento multi-core de alto desempenho
Estrutura de Programação	Python 3.11.9
Estrutura de Aprendizado	Aprendizado por Reforço Multiagente (MARL)
Algoritmo de Aprendizado	Aprendizado por Reforço Multiagente baseado em Q-learning
Arquitetura da Rede Neural	Rede neural totalmente conectada com duas camadas ocultas (128 e 64 neurônios, ativação ReLU)
Otimizador	Otimizador Adam
Taxa de Aprendizado (α)	0,001
Fator de Desconto (γ)	0,99
Mecanismo de Replay	Buffer de replay de experiências (capacidade: 100.000 transições)
Tamanho do Mini-batch	64
Política de Exploração	Exploração ε-gananciosa (ε decrescido de 1,0 para 0,01)
Episódios de Treinamento	500
Critério de Parada	Número máximo de episódios de treinamento atingido ou convergência da recompensa cumulativa
Modelagem de Rede	Simulação dinâmica de rede alimentadora de média tensão
Simulação de Renováveis	Perfis variáveis de geração renovável
Coordenação de Agentes	Comunicação colaborativa distribuída
Processamento de Dados	Processamento em tempo real e sincronizado do estado da alimentadora
Método de Otimização	Aprendizado adaptativo de política baseado em reforço
Plataforma Experimental	Simulação em larga escala utilizando o conjunto de dados FeederBW e o conjunto de dados da rede de distribuição de média tensão com 236 barras
Monitoramento de Desempenho	Taxa de Aceitação da Alimentadora (FAR), Índice de Conformidade de Tensão (VCI), Taxa de Redução de Congestionamento (CRR), Latência de Orquestração (OL), Velocidade de Convergência (CS) e Eficiência de Coordenação Descentralizada (DCE)
Peso da Recompensa (β)	0,3
Peso da Recompensa (δ)	0,25
Peso do Objetivo (ω₁)	0,30 (Aceitação da Alimentadora)
Peso do Objetivo (ω₂)	0,25 (Redução de Congestionamento)
Peso do Objetivo (ω₃)	0,25 (Conformidade de Tensão)
Peso do Objetivo (ω₄)	0,20 (Latência de Orquestração)
Taxa de Aprendizado da Política (η)	0,001
Parâmetro de Regularização / Balanceamento (λ)	0,1

Tabela 4: Ambiente de simulação. Configurações de simulação utilizadas para experimentos de orquestração de alimentadores baseados em reforço.

Pré-processamento de dados

Os dados sincronizados e normalizados permitiram uma comparação consistente entre o framework proposto e os métodos de referência. Os mesmos estados pré-processados dos alimentadores, perfis de geração renovável, condições de demanda de carga, condições de tensão e cenários de congestionamento foram utilizados em todas as avaliações. Essa estrutura comum de entrada reduziu as diferenças causadas pela preparação dos conjuntos de dados e permitiu que as diferenças de desempenho observadas fossem associadas aos métodos de orquestração avaliados.

Modelagem dinâmica de rede de baixa tensão

O modelo dinâmico da rede de BT representou a geração renovável variável, a demanda dos consumidores, as condições de tensão, a carga do alimentador e a propagação de congestionamento. Nessas condições, a estrutura proposta manteve a aceitação do alimentador enquanto respondia a estados operacionais sensíveis à tensão e ao congestionamento. O modelo permitiu a avaliação sob geração renovável flutuante, cargas variáveis dos consumidores e condições de rede propensas a congestionamento. Nessas condições, os agentes colaborativos realizaram a priorização de alimentadores, a coordenação dependente da tensão, a mitigação de congestionamento e a acomodação de renováveis sem controle centralizado.

Inicialização do ambiente multiagente

A configuração descentralizada de agentes permitiu observação local e tomada coordenada de decisões entre regiões alimentadoras e junções da rede. Os agentes trocaram informações sobre o estado dos alimentadores e medidas de sensibilidade com agentes vizinhos, ao mesmo tempo que selecionavam independentemente ações de orquestração. O comportamento coordenado observado mostrou que a configuração distribuída apoiou a priorização de alimentadores, coordenação de carga, gerenciamento de tensão e resposta à congestão. A configuração descentralizada também reduziu a dependência de um único controlador centralizado e permitiu operação coordenada em toda a rede maior de 236 barras.

Aprendizado de agente orientado por reforço

A política orientada por reforço melhorou ao longo do período de treinamento em relação à aceitação de alimentadores, conformidade com a tensão, redução de congestionamento, latência de orquestração e velocidade de convergência. Figura 3 compara a Taxa de Aceitação de Alimentadores (FAR) da estrutura proposta com CVC, CMAC, RLVR, DERC e SBCM. O CVC apresentou a menor FAR, aumentando de 62% para 70%. CMAC e DERC atingiram valores máximos de FAR de 75% e 78%, respectivamente. RLVR e SBCM atingiram 83% e 81%, respectivamente. A estrutura proposta aumentou a FAR de 72% durante a fase inicial de treinamento para 97% durante a fase posterior. Esse resultado demonstrou que o processo colaborativo de aprendizado por reforço apoiou a aceitação adaptativa de alimentadores sob incerteza renovável e condições operacionais variáveis no nível de baixa tensão.

Figura 3: Taxa de Aceitação do Alimentador (FAR). Comparação da FAR entre o framework proposto e os métodos de coordenação de alimentadores de referência. Os valores são apresentados como média ± DP, comparando-se o framework proposto com cada método de referência em cinco execuções independentes de simulação. A significância estatística foi avaliada em p < 0,001, com intervalos de confiança de 95%. Abreviações: FAR, Taxa de Aceitação do Alimentador; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Figura 4 apresenta o Índice de Conformidade de Tensão (VCI). O CVC aumentou de 70% para 77%, enquanto CMAC e DERC atingiram aproximadamente 81% e 84%, respectivamente. RLVR e SBCM atingiram 88% e 86%, respectivamente. O framework proposto aumentou de 78% durante o treinamento inicial para aproximadamente 98% na convergência. O VCI mais elevado indicou que a abordagem proposta manteve a conformidade de tensão de forma mais eficaz do que os métodos comparativos sob geração renovável intermitente e demanda de carga variável.

Figura 4: Índice de Conformidade de Tensão (VCI). Análise comparativa do VCI sob condições dinâmicas de operação em baixa tensão. Os valores são apresentados como média ± DP, comparando o framework proposto com cada método de referência em cinco execuções independentes de simulação, com intervalos de confiança de 95% e significância estatística avaliada em p < 0,001. Abreviaturas: VCI, Índice de Conformidade de Tensão; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gestão de Congestionamento Baseada em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

O mapa de calor VCI na Figura 5 mostrou a evolução da conformidade de tensão ao longo dos episódios de treinamento. O framework proposto alcançou valores entre 95% e 98% nas iterações finais. O CVC permaneceu entre 70% e 77%, enquanto RLVR e SBCM atingiram aproximadamente 88% e 86%, respectivamente. O mapa de calor, portanto, indicou que o framework proposto manteve o desempenho mais alto em termos de conformidade de tensão durante as fases finais de aprendizado.

Figura 5: Mapa de calor do Índice de Conformidade de Tensão (ICT). Mapa de calor mostrando o desempenho do ICT ao longo das iterações de treinamento e métodos de coordenação de alimentadores. A escala de cores representa a magnitude do Índice de Conformidade de Tensão, em que cores mais claras indicam valores menores de ICT e cores mais escuras indicam valores maiores de ICT. Abreviaturas: ICT, Índice de Conformidade de Tensão; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Tabela 5 apresenta a Taxa de Redução de Congestionamento (CRR). O CVC aumentou de 48% para 63%. O CMAC e o DERC atingiram aproximadamente 73% e 75%, respectivamente, enquanto o RLVR atingiu 80% e o SBCM atingiu 82%. A estrutura proposta aumentou de 64% no início do treinamento para aproximadamente 96% após a convergência. Em relação aos valores finais dos métodos de comparação, a estrutura proposta melhorou a CRR em aproximadamente 33% em relação ao CVC, 23% em relação ao CMAC, 16% em relação ao RLVR, 21% em relação ao DERC e 14% em relação ao SBCM. Essas observações mostraram que a política de orquestração colaborativa reduziu a propagação de congestionamento de forma mais eficaz do que os métodos de comparação centralizados, multiagente convencionais, de regulação de tensão, de recursos distribuídos e baseados em sensibilidade. Figura 6 compara a Latência de Orquestração (OL). A latência de orquestração relatada corresponde ao tempo de execução medido no relógio real necessário pelo algoritmo de orquestração proposto durante a simulação na plataforma de hardware informada. Ela não deve ser interpretada como o tempo de operação físico de uma rede de distribuição implantada. A estrutura proposta reduziu a OL de 220 ms para 98 ms. Na convergência, CVC, CMAC, RLVR, DERC e SBCM produziram latências de 283 ms, 253 ms, 215 ms, 242 ms e 205 ms, respectivamente. Portanto, a estrutura proposta reduziu a latência em aproximadamente 65%, 61%, 54%, 59% e 52% em relação ao CVC, CMAC, RLVR, DERC e SBCM, respectivamente. Uma latência menor indicou que a colaboração descentralizada permitiu decisões mais rápidas na orquestração de alimentadores.

Iteração de Treinamento	CVC (%)(Média ± DP)	CMAC (%)(Média ± DP)	RLVR (%)(Média ± DP)	DERC (%)(Média ± DP)	SBCM (%)(Média ± DP)	Método Proposto (%)(Média ± DP)
1	48,0 ± 0,5	52,0 ± 0,5	56,0 ± 0,4	54,0 ± 0,5	58,0 ± 0,4	64,0 ± 0,3
2	50,0 ± 0,5	54,0 ± 0,5	59,0 ± 0,4	56,0 ± 0,5	61,0 ± 0,4	68,0 ± 0,3
3	52,0 ± 0,5	57,0 ± 0,4	62,0 ± 0,4	59,0 ± 0,5	64,0 ± 0,4	72,0 ± 0,3
4	54,0 ± 0,4	60,0 ± 0,4	65,0 ± 0,4	62,0 ± 0,4	67,0 ± 0,4	76,0 ± 0,2
5	56,0 ± 0,4	62,0 ± 0,4	68,0 ± 0,3	64,0 ± 0,4	70,0 ± 0,3	80,0 ± 0,2
6	58,0 ± 0,4	65,0 ± 0,4	71,0 ± 0,3	67,0 ± 0,4	73,0 ± 0,3	84,0 ± 0,2
7	60,0 ± 0,4	67,0 ± 0,4	74,0 ± 0,3	69,0 ± 0,3	76,0 ± 0,3	87,0 ± 0,2
8	61,0 ± 0,4	69,0 ± 0,3	76,0 ± 0,3	71,0 ± 0,3	78,0 ± 0,3	90,0 ± 0,2
9	62,0 ± 0,4	71,0 ± 0,3	78,0 ± 0,3	73,0 ± 0,3	80,0 ± 0,3	93,0 ± 0,2
10	63,0 ± 0,4	73,0 ± 0,3	80,0 ± 0,3	75,0 ± 0,3	82,0 ± 0,3	96,0 ± 0,2

Tabela 5: Taxa de Redução de Congestionamento (CRR): Média ± DP da Taxa de Redução de Congestionamento (CRR) obtida a partir de cinco execuções independentes de simulação, comparando o framework proposto com os métodos convencionais de orquestração de alimentadores. Abreviações: CRR, Taxa de Redução de Congestionamento; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade.

Figura 6: Latência de Orquestração (OL). Análise comparativa da latência de orquestração durante a coordenação adaptativa descentralizada de alimentadores. Os valores são apresentados como média ± DP, comparando o framework proposto com cada método de referência ao longo de cinco execuções independentes de simulação, com intervalos de confiança de 95% e significância estatística avaliada em p < 0,001. Abreviações: OL, Latência de Orquestração; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gestão de Congestionamento Baseada em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Figura 7 apresenta a Velocidade de Convergência (VC). O CVC aumentou de 42% para 67% após 20 episódios de treinamento. O CMAC e o DERC atingiram aproximadamente 74% e 79%, respectivamente. O RLVR alcançou 87%, e o SBCM atingiu aproximadamente 90%. O framework proposto aumentou de 58% no primeiro episódio para 98,5% ao atingir a convergência, ultrapassando 93% já no décimo episódio. O framework proposto melhorou o desempenho final de convergência em 31,5% em relação ao CVC, 24,5% em relação ao CMAC, 11,5% em relação ao RLVR, 19,5% em relação ao DERC e 8,5% em relação ao SBCM. Esses resultados mostraram que a política proposta alcançou desempenho estável de orquestração mais rapidamente do que os métodos comparativos.

Figura 7: Velocidade de Convergência (CS). Curvas de convergência mostrando a eficiência de aprendizado adaptativo e a velocidade de convergência da orquestração entre os métodos avaliados. Abreviações: CS, Velocidade de Convergência; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gestão de Congestionamento Baseada em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Orcamentação colaborativa de aceitação e otimização adaptativa de decisão com baixa latência

Figura 8 apresenta a Eficiência de Coordenação Descentralizada (DCE). O CVC produziu a menor DCE, de 68%. O CMAC atingiu 75%, o DERC atingiu 79%, o RLVR atingiu 84% e o SBCM atingiu 88%. O framework proposto alcançou uma DCE de 97%. O framework proposto superou o CVC em 29 pontos percentuais, o CMAC em 22 pontos percentuais, o RLVR em 13 pontos percentuais, o DERC em 18 pontos percentuais e o SBCM em 9 pontos percentuais. Esse resultado mostrou que a troca de informações locais, a coordenação entre agentes vizinhos e a otimização de políticas descentralizadas permitiram uma coordenação mais eficaz do que os métodos comparativos.

Figura 8: Eficiência de Coordenação Descentralizada (DCE). Análise comparativa da DCE durante a colaboração entre agentes inteligentes. Os valores são apresentados como média ± DP pela comparação do quadro proposto com cada método de referência em cinco execuções independentes de simulação, com intervalos de confiança de 95% e significância estatística avaliada em p < 0,001. Abreviaturas: DCE, Eficiência de Coordenação Descentralizada; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Multiagente; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Figura 9 e Tabela 6 apresentam a Capacidade de Acomodação de Renováveis (RAC). A CVC aumentou de 52% para 63%. A CMAC e a DERC atingiram aproximadamente 72% e 76%, respectivamente. A RLVR atingiu cerca de 83%, e a SBCM alcançou 86%. O framework proposto aumentou de 70% no início do aprendizado para 97% na convergência. O framework proposto superou a CVC em 34 pontos percentuais, a CMAC em 25 pontos percentuais, a RLVR em 14 pontos percentuais, a DERC em 21 pontos percentuais e a SBCM em 11 pontos percentuais. Esses resultados mostraram que a abordagem de orquestração proposta acomodou uma proporção maior de geração renovável, mantendo ao mesmo tempo a operação do alimentador, o desempenho de tensão e a percepção de congestionamento.

Figura 9: Capacidade de Alocação de Renováveis (RAC). Análise comparativa da RAC em sistemas alimentadores ricos em fontes renováveis. Os valores são apresentados como média ± DP ao comparar o framework proposto com cada método de referência em cinco execuções independentes de simulação, com intervalos de confiança de 95% e significância estatística avaliada em p < 0,001. Abreviações: RAC, Capacidade de Alocação de Renováveis; CVC, Controle Centralizado de Tensão; CMAC, Controle Multiagente Convencional; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gestão de Congestionamento Baseada em Sensibilidade. Clique aqui para visualizar uma versão ampliada desta figura.

Iteração de Treinamento	CVC (%) (Média ± DP)	CMAC (%) (Média ± DP)	RLVR (%) (Média ± DP)	DERC (%) (Média ± DP)	SBCM (%) (Média ± DP)	Método Proposto (%) (Média ± DP)
1	52,0 ± 0,5	58,0 ± 0,5	64,0 ± 0,4	60,0 ± 0,5	66,0 ± 0,4	70,0 ± 0,3
2	54,0 ± 0,5	60,0 ± 0,5	67,0 ± 0,4	62,0 ± 0,5	69,0 ± 0,4	74,0 ± 0,3
3	55,0 ± 0,4	62,0 ± 0,4	70,0 ± 0,4	64,0 ± 0,4	72,0 ± 0,4	78,0 ± 0,3
4	57,0 ± 0,4	64,0 ± 0,4	73,0 ± 0,3	66,0 ± 0,4	75,0 ± 0,3	82,0 ± 0,2
5	58,0 ± 0,4	66,0 ± 0,4	75,0 ± 0,3	68,0 ± 0,4	77,0 ± 0,3	86,0 ± 0,2
6	59,0 ± 0,4	67,0 ± 0,4	77,0 ± 0,3	70,0 ± 0,3	79,0 ± 0,3	89,0 ± 0,2
7	60,0 ± 0,4	68,0 ± 0,3	79,0 ± 0,3	72,0 ± 0,3	81,0 ± 0,3	91,0 ± 0,2
8	61,0 ± 0,4	69,0 ± 0,3	80,0 ± 0,3	73,0 ± 0,3	83,0 ± 0,3	93,0 ± 0,2
9	62,0 ± 0,4	70,0 ± 0,3	81,0 ± 0,3	74,0 ± 0,3	84,0 ± 0,3	95,0 ± 0,2
10	63,0 ± 0,4	72,0 ± 0,3	83,0 ± 0,3	76,0 ± 0,3	86,0 ± 0,3	97,0 ± 0,2

Tabela 6: Capacidade de Acomodação de Renováveis (CAR): Média ± DP da Capacidade de Acomodação de Renováveis (CAR) obtida em cinco execuções independentes de simulação, comparando o framework proposto com os métodos convencionais de orquestração de alimentadores. Abreviações: CAR, Capacidade de Acomodação de Renováveis; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade.

Avaliação da sensibilidade à tensão e congestionamento

Figura 10 apresenta a Estabilidade da Sensibilidade à Tensão (VSS). A CVC aumentou de 60% para 69%. A CMAC e a DERC atingiram aproximadamente 76% e 78%, respectivamente, enquanto a RLVR alcançou 84%. O framework proposto aumentou de 74% durante o treinamento inicial para 98% após a convergência. O framework proposto superou a CVC em 29 pontos percentuais, a CMAC em 22 pontos percentuais, a RLVR em 14 pontos percentuais, a DERC em 20 pontos percentuais e a SBCM em 12 pontos percentuais. Esses resultados mostraram que o framework com sensibilidade mantém um desempenho mais robusto em alimentadores sensíveis à tensão sob intermitência de fontes renováveis, demanda de carga variável e congestionamento dinâmico.

Figura 10: Estabilidade da Sensibilidade à Tensão (VSS). Análise comparativa da estabilidade da sensibilidade à tensão durante a orquestração adaptativa de alimentadores com base na tensão. Os valores são apresentados como média ± DP ao comparar o framework proposto com cada método de referência em cinco execuções independentes de simulação, com intervalos de confiança de 95% e significância estatística avaliada em p < 0,001. Abreviações: VSS, Estabilidade da Sensibilidade à Tensão; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gestão de Congestionamento Baseada em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Figura 11 apresenta o Índice de Sensibilidade à Congestão (CSI). O CVC aumentou de 52% para 63%. O CMAC e o DERC atingiram 72% e 76%, respectivamente. O RLVR atingiu aproximadamente 83%, e o SBCM atingiu aproximadamente 86%. O framework proposto aumentou de 72% durante o treinamento inicial para aproximadamente 98% ao final do treinamento. O framework proposto superou o CVC em aproximadamente 35 pontos percentuais, o CMAC em 26 pontos percentuais, o RLVR em 15 pontos percentuais, o DERC em 22 pontos percentuais e o SBCM em 12 pontos percentuais. O mapa de calor mostrou que a abordagem proposta manteve o desempenho mais alto em sensibilidade à congestão durante os episódios finais de treinamento.

Figura 11: Mapa de calor do Índice de Sensibilidade à Congestão (CSI). Mapa de calor mostrando o desempenho da sensibilidade à congestão ao longo das etapas de treinamento e métodos de coordenação de alimentadores. A escala de cores representa a magnitude do Índice de Sensibilidade à Congestão, em que cores mais claras indicam valores menores de CSI e cores mais escuras indicam valores maiores de CSI. Abreviações: CSI, Índice de Sensibilidade à Congestão; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gestão de Congestão Baseada em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Validação em larga escala

Figura 12 e Tabela 7 apresentam o Índice de Estabilidade do Alimentador (FSI). O CVC produziu um FSI médio de 64,7%, enquanto CMAC e DERC produziram médias de 72,5% e 76,0%, respectivamente. O RLVR produziu um FSI médio de 81,5%. O framework proposto alcançou 97% de estabilidade de tensão, 96% de controle de congestionamento, 95% de capacidade de integração de renováveis, 94% de eficiência de balanceamento de carga, 98% de eficiência de coordenação e 97% de velocidade de resposta. Esses valores dos componentes resultaram em um FSI médio de aproximadamente 96,2%. O framework proposto melhorou o FSI médio em aproximadamente 31,5 pontos percentuais em relação ao CVC, 23,7 pontos percentuais em relação ao CMAC, 14,7 pontos percentuais em relação ao RLVR, 20,2 pontos percentuais em relação ao DERC e 11,7 pontos percentuais em relação ao SBCM. Os valores equilibrados dos componentes mostraram que o framework manteve o desempenho em estabilidade de tensão, gerenciamento de congestionamento, integração de fontes renováveis, balanceamento de carga, eficiência de coordenação e velocidade de resposta. Em cada execução da simulação, a média aritmética dos seis componentes de desempenho — Estabilidade de Tensão, Controle de Congestionamento, Integração de Renováveis, Balanceamento de Carga, Eficiência de Coordenação e Velocidade de Resposta — foi utilizada para determinar o FSI geral. As cinco execuções independentes da simulação foram utilizadas para calcular a média e o desvio padrão informados.

Figura 12: Índice de Estabilidade do Alimentador (FSI). Comparação em gráfico de radar do Índice de Estabilidade do Alimentador para o framework proposto e os métodos de referência ao longo de seis componentes de desempenho: Estabilidade de Tensão, Controle de Congestionamento, Integração de Fontes Renováveis, Balanceamento de Carga, Eficiência de Coordenação e Velocidade de Resposta. Valores mais altos indicam melhor desempenho para cada componente. Abreviações: FSI, Índice de Estabilidade do Alimentador; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Parâmetro de Avaliação	CVC (%) (Média ± DP)	CMAC (%) (Média ± DP)	RLVR (%) (Média ± DP)	DERC (%) (Média ± DP)	SBCM (%) (Média ± DP)	Método Proposto (%) (Média ± DP)
Estabilidade de Tensão	68,0 ± 0,6	74,0 ± 0,5	82,0 ± 0,4	77,0 ± 0,5	86,0 ± 0,3	97,0 ± 0,2
Controle de Congestionamento	64,0 ± 0,6	71,0 ± 0,5	79,0 ± 0,4	74,0 ± 0,5	84,0 ± 0,3	96,0 ± 0,2
Integração de Renováveis	62,0 ± 0,5	70,0 ± 0,5	81,0 ± 0,4	76,0 ± 0,4	83,0 ± 0,3	95,0 ± 0,2
Balanceamento de Carga	66,0 ± 0,5	73,0 ± 0,4	80,0 ± 0,4	75,0 ± 0,4	82,0 ± 0,3	94,0 ± 0,2
Eficiência de Coordenação	65,0 ± 0,5	75,0 ± 0,4	83,0 ± 0,3	78,0 ± 0,4	87,0 ± 0,3	98,0 ± 0,2
Velocidade de Resposta	63,0 ± 0,5	72,0 ± 0,4	84,0 ± 0,3	76,0 ± 0,4	85,0 ± 0,3	97,0 ± 0,2
Pontuação Média FSI	64,7 ± 0,5	72,5 ± 0,5	81,5 ± 0,4	76,0 ± 0,4	84,5 ± 0,3	96,2 ± 0,2

Tabela 7: Índice de Estabilidade do Alimentador (FSI): Média ± DP do Índice de Estabilidade do Alimentador (FSI) a partir de cinco execuções independentes de simulação com base na Estabilidade de Tensão, Controle de Congestionamento, Integração de Fontes Renováveis, Balanceamento de Carga, Eficiência de Coordenação e Velocidade de Resposta. Abreviações: FSI, Índice de Estabilidade do Alimentador; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade.

Figura 13 apresenta a Eficiência de Balanceamento de Carga (LBE). O CVC alcançou uma LBE geral de aproximadamente 68%, composta por 42% de distribuição equilibrada de carga, 18% de estabilidade moderada de carga e 8% de balanceamento adaptativo dinâmico. O CMAC e o DERC alcançaram valores gerais de aproximadamente 80% e 86%, respectivamente. O RLVR atingiu aproximadamente 92%, e o SBCM alcançou aproximadamente 96%. A estrutura proposta alcançou uma LBE geral de aproximadamente 98%, composta por 72% de distribuição equilibrada de carga, 20% de estabilidade moderada de carga e 6% de balanceamento adaptativo dinâmico. Esse resultado mostrou que a abordagem proposta manteve o desempenho mais alto de balanceamento de carga entre os métodos avaliados.

Figura 13: Eficiência de Balanceamento de Carga (LBE). Comparação em barras empilhadas da eficiência do balanceamento de carga para o framework proposto e os métodos de referência. Cada barra empilhada é composta por três componentes de desempenho: Distribuição Equilibrada da Carga, Estabilidade de Carga Moderada, e Equilíbrio Dinâmico Adaptativo, cujos valores combinados representam o LBE geral para cada método. Valores totais mais altos indicam um desempenho melhor no balanceamento de carga. Abreviações: LBE, Eficiência de Balanceamento de Carga; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Figura 14 apresenta a Eficiência de Aproveitamento de Renováveis (RUE). O CVC aumentou de 50% para 61%. O CMAC e o DERC atingiram 70% e 75%, respectivamente. O RLVR atingiu 82% e o SBCM atingiu 86%. O framework proposto aumentou de 72% durante o treinamento inicial para aproximadamente 98% na convergência. O framework proposto superou o CVC em aproximadamente 37 pontos percentuais, o CMAC em 28 pontos percentuais, o RLVR em 16 pontos percentuais, o DERC em 23 pontos percentuais e o SBCM em 12 pontos percentuais. A RUE mais elevada indicou que a política de orquestração proposta utilizou uma proporção maior da geração renovável disponível sob condições variáveis de carga e congestionamento.

Figura 14: Eficiência de Utilização de Renováveis (RUE). Análise comparativa da RUE durante a orquestração de alimentadores de baixa tensão. Os valores são apresentados como média ± DP ao comparar o framework proposto com cada método de referência em cinco execuções independentes de simulação, com intervalos de confiança de 95% e significância estatística avaliada em p < 0,001. Abreviaturas: RUE, Eficiência de Utilização de Renováveis; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Figura 15 e Tabela 8 apresentam a Acurácia de Decisão Adaptativa (ADA). O framework proposto aumentou de 78% para 99%. CVC, CMAC, RLVR, DERC e SBCM convergiram para 68%, 76%, 86%, 79% e 88%, respectivamente. O framework proposto superou o CVC em aproximadamente 31 pontos percentuais, o CMAC em 23 pontos percentuais, o RLVR em 13 pontos percentuais, o DERC em 20 pontos percentuais e o SBCM em 11 pontos percentuais. A ADA mais alta indicou que os agentes colaborativos selecionaram decisões de orquestração mais precisas sob condições operacionais de LV ricas em energias renováveis.

Figura 15: Precisão de Decisão Adaptativa (ADA). Análise comparativa da ADA para o framework de orquestração proposto e os métodos de referência. Os valores são apresentados como média ± DP, comparando o framework proposto com cada método de referência em cinco execuções independentes de simulação, com intervalos de confiança de 95% e significância estatística avaliada em p < 0,001. Abreviações: ADA, Precisão de Decisão Adaptativa; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Múltiplos Agentes; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade. Clique aqui para visualizar uma versão maior desta figura.

Época de Treinamento	CVC (%) (Média ± DP)	CMAC (%) (Média ± DP)	RLVR (%) (Média ± DP)	DERC (%) (Média ± DP)	SBCM (%) (Média ± DP)	Método Proposto (%) (Média ± DP)
1	58,0 ± 0,5	64,0 ± 0,5	70,0 ± 0,4	66,0 ± 0,5	72,0 ± 0,4	78,0 ± 0,3
2	60,0 ± 0,5	66,0 ± 0,5	73,0 ± 0,4	68,0 ± 0,5	75,0 ± 0,4	82,0 ± 0,3
3	61,0 ± 0,4	68,0 ± 0,4	76,0 ± 0,4	70,0 ± 0,4	78,0 ± 0,4	86,0 ± 0,2
4	62,0 ± 0,4	70,0 ± 0,4	78,0 ± 0,3	72,0 ± 0,4	80,0 ± 0,3	89,0 ± 0,2
5	63,0 ± 0,4	71,0 ± 0,4	80,0 ± 0,3	74,0 ± 0,4	82,0 ± 0,3	91,0 ± 0,2
6	64,0 ± 0,4	72,0 ± 0,4	82,0 ± 0,3	75,0 ± 0,3	84,0 ± 0,3	93,0 ± 0,2
7	65,0 ± 0,4	73,0 ± 0,3	83,0 ± 0,3	76,0 ± 0,3	85,0 ± 0,3	95,0 ± 0,2
8	66,0 ± 0,4	74,0 ± 0,3	84,0 ± 0,3	77,0 ± 0,3	86,0 ± 0,3	96,0 ± 0,2
9	67,0 ± 0,4	75,0 ± 0,3	85,0 ± 0,3	78,0 ± 0,3	87,0 ± 0,3	97,0 ± 0,2
10	68,0 ± 0,4	76,0 ± 0,3	86,0 ± 0,3	79,0 ± 0,3	88,0 ± 0,3	99,0 ± 0,2

Tabela 8: Precisão Adaptativa de Decisão (ADA): Média ± DP da Precisão Adaptativa de Decisão (ADA) a partir de cinco execuções independentes de simulação comparando o framework proposto de orquestração inteligente de alimentadores com os métodos de referência. Abreviações: ADA, Precisão Adaptativa de Decisão; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Agentes Múltiplos; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gerenciamento de Congestionamento Baseado em Sensibilidade.

Tabela 9 apresenta a Melhoria da Confiabilidade do Sistema (SRI). O CVC aumentou de 60% para 69%. O CMAC atingiu aproximadamente 78%, o DERC cerca de 81%, o RLVR cerca de 86% e o SBCM aproximadamente 88%. O framework proposto aumentou de 80% durante a fase inicial de aprendizado para aproximadamente 99% na convergência. O framework proposto superou o CVC em aproximadamente 30 pontos percentuais, o CMAC em 21 pontos percentuais, o RLVR em 13 pontos percentuais, o DERC em 18 pontos percentuais e o SBCM em 11 pontos percentuais. A maior SRI demonstrou que o framework proposto manteve a continuidade do alimentador, a estabilidade de tensão, o controle de congestionamento e a integração adaptativa de renováveis de forma mais eficaz do que os métodos comparativos.

Iteração de Treinamento	CVC (%) (Média ± DP)	CMAC (%) (Média ± DP)	RLVR (%) (Média ± DP)	DERC (%) (Média ± DP)	SBCM (%) (Média ± DP)	Método Proposto (%) (Média ± DP)
1	60,0 ± 0,5	66,0 ± 0,5	72,0 ± 0,4	68,0 ± 0,5	75,0 ± 0,4	80,0 ± 0,3
2	61,0 ± 0,5	68,0 ± 0,5	74,0 ± 0,4	70,0 ± 0,5	77,0 ± 0,4	84,0 ± 0,3
3	62,0 ± 0,4	70,0 ± 0,4	76,0 ± 0,4	72,0 ± 0,4	79,0 ± 0,4	87,0 ± 0,2
4	63,0 ± 0,4	72,0 ± 0,4	78,0 ± 0,3	74,0 ± 0,4	81,0 ± 0,3	90,0 ± 0,2
5	64,0 ± 0,4	73,0 ± 0,4	80,0 ± 0,3	76,0 ± 0,4	83,0 ± 0,3	92,0 ± 0,2
6	65,0 ± 0,4	74,0 ± 0,4	82,0 ± 0,3	77,0 ± 0,3	84,0 ± 0,3	94,0 ± 0,2
7	66,0 ± 0,4	75,0 ± 0,3	83,0 ± 0,3	78,0 ± 0,3	85,0 ± 0,3	95,0 ± 0,2
8	67,0 ± 0,4	76,0 ± 0,3	84,0 ± 0,3	79,0 ± 0,3	86,0 ± 0,3	96,0 ± 0,2
9	68,0 ± 0,4	77,0 ± 0,3	85,0 ± 0,3	80,0 ± 0,3	87,0 ± 0,3	97,0 ± 0,2
10	69,0 ± 0,4	78,0 ± 0,3	86,0 ± 0,3	81,0 ± 0,3	88,0 ± 0,3	99,0 ± 0,2

Tabela 9: Melhoria da Confiabilidade do Sistema (SRI): Média ± DP da Melhoria da Confiabilidade do Sistema (SRI) a partir de cinco execuções independentes de simulação em condições de distribuição de baixa tensão com alta penetração de fontes renováveis. Abreviações: SRI, Melhoria da Confiabilidade do Sistema; CVC, Controle Centralizado de Tensão; CMAC, Controle Convencional Baseado em Agentes Múltiplos; RLVR, Regulação de Tensão Baseada em Aprendizado por Reforço; DERC, Coordenação de Recursos Energéticos Distribuídos; SBCM, Gestão de Congestionamento Baseada em Sensibilidade.

A estrutura proposta foi avaliada sob diversas condições de geração renovável, demanda de carga, tensão e congestionamento, utilizando os conjuntos de dados FeederBW e 236-bus LV. Foram avaliados a aceitação do alimentador, conformidade de tensão, redução de congestionamento, latência de orquestração, velocidade de convergência, coordenação descentralizada, acomodação de renováveis, sensibilidade de tensão, sensibilidade ao congestionamento, estabilidade do alimentador, balanceamento de carga, utilização de energias renováveis, precisão das decisões e confiabilidade do sistema.

Em todas essas métricas, o framework proposto produziu os valores finais mais altos para FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA e SRI, e o menor valor para OL. Como os métodos de referência foram avaliados nos mesmos conjuntos de dados, cenários operacionais, ambiente de simulação, critérios de parada e métricas de avaliação, essas comparações corroboram a hipótese de que a aprendizagem por reforço colaborativa com múltiplos agentes, combinada com avaliação sensível à tensão e ao congestionamento, melhora a aceitação adaptativa do alimentador em relação aos métodos centralizados e distribuídos avaliados.

Os resultados mostraram que a Estratégia de Orlamentação Dinâmica melhorou a aceitação do alimentador, conformidade de tensão, redução de congestionamento, acomodação de energias renováveis, equilíbrio de carga, coordenação descentralizada, precisão das decisões e confiabilidade do sistema, ao mesmo tempo em que reduziu a latência de orquestração. O framework também convergiu mais rapidamente do que os métodos de comparação. Nas condições de simulação avaliadas, esses resultados apoiaram a hipótese proposta de que o aprendizado por reforço colaborativo, sensível às variações e descentralizado, poderia melhorar a orquestração de alimentadores de baixa tensão sob incerteza na geração renovável e em condições variáveis de carga e congestionamento.

DISPONIBILIDADE DE DADOS:

O conjunto de dados FeederBW está disponível publicamente em https://doi.org/10.5281/zenodo.17831177, e o conjunto de dados da rede de distribuição de baixa tensão com 236 barras está disponível publicamente em https://doi.org/10.5281/zenodo.8274780. A implementação em Python desenvolvida para este estudo, juntamente com o framework de simulação, módulos de pré-processamento, ambiente de aprendizado por reforço multiagente, scripts de treinamento e avaliação de modelos, arquivos de configuração e formatos de dados de entrada necessários para reproduzir a metodologia proposta, foi depositada no Zenodo e está disponível publicamente em https://doi.org/10.5281/zenodo.21423239. O repositório permite a reprodutibilidade da metodologia e dos experimentos relatados neste estudo.

Arquivo Suplementar 1. Derivações matemáticas, algoritmo e detalhes de implementação da Estratégia de Orlamentação Dinâmica proposta. Este arquivo suplementar fornece as formulações matemáticas que sustentam cada etapa do framework proposto, incluindo pré-processamento de dados, modelagem dinâmica de redes de baixa tensão, inicialização do ambiente multiagente, aprendizado de agentes orientado por reforço, avaliação de sensibilidade à tensão e à congestão, orquestração colaborativa de aceitação de alimentadores e métricas de avaliação de desempenho. Também inclui o Algoritmo 1, que descreve o procedimento de orquestração colaborativa de aceitação de alimentadores, juntamente com as definições matemáticas das métricas de avaliação utilizadas neste estudo.Clique aqui para baixar este arquivo.

Discussão

Os resultados experimentais mostraram que a Estratégia Proposta de Orquestração Dinâmica aprimorou a coordenação descentralizada de alimentadores, a integração de energia renovável, a estabilidade de tensão, o gerenciamento de congestionamento e a orquestração com baixa latência em comparação com o Controle Centralizado de Tensão (CVC)³³, Controle Convencional Baseado em Múltiplos Agentes (CMAC)²¹, Regulação de Tensão Baseada em Aprendizado por Reforço (RLVR)²⁰, Coordenação de Recursos Energéticos Distribuídos (DERC)²⁶ e Gerenciamento de Congestionamento Baseado em Sensibilidade (SBCM)³⁴. Em todos os indicadores avaliados — Taxa de Aceitação do Alimentador (FAR), Índice de Conformidade de Tensão (VCI), Taxa de Redução de Congestionamento (CRR), Eficiência de Coordenação Descentralizada (DCE), Eficiência de Utilização de Renováveis (RUE), Precisão de Decisão Adaptativa (ADA) e Melhoria da Confiabilidade do Sistema (SRI) — a estrutura proposta alcançou desempenho superior nas condições testadas. Os resultados obtidos com os conjuntos de dados FeederBW e 236-barras de baixa tensão (LV) indicaram que a combinação de aprendizado por reforço colaborativo com múltiplos agentes e avaliação de sensibilidade à tensão e ao congestionamento melhorou a eficiência e a velocidade da orquestração adaptativa de alimentadores.

A análise comparativa também mostrou que métodos centralizados e baseados em regras tinham respostas de orquestração mais lentas, menor capacidade de acomodação de renováveis, eficiência reduzida de coordenação adaptativa e escalabilidade mais limitada sob condições variáveis dos alimentadores^33,34. Embora RLVR e SBCM tenham apresentado desempenho superior aos demais métodos comparativos devido aos seus componentes de aprendizado por reforço e gestão de congestionamento com sensibilidade, eles não forneceram um mecanismo colaborativo e descentralizado de orquestração de aceitação de alimentadores. Em contraste, o framework proposto combinou agentes inteligentes colaborativos, priorização de alimentadores com sensibilidade, otimização adaptativa de orquestração e aprendizado descentralizado de políticas. Seus indicadores de convergência mais rápida e maior estabilidade sugeriram que essa estrutura combinada apoiou a operação dos alimentadores sob condições variáveis de geração renovável, carga, tensão e congestionamento.

A arquitetura descentralizada de aprendizado por reforço multiagente distribuiu a tomada de decisões entre agentes em nível de alimentador, em vez de depender de um único controlador centralizado. À medida que a rede de distribuição aumentava de tamanho, agentes individuais realizavam cálculos locais e trocavam apenas as informações de coordenação necessárias aos agentes vizinhos. Esse arranjo reduziu gargalos computacionais centralizados e a sobrecarga de comunicação, apoiando assim a escalabilidade³⁵. Portanto, a estrutura pode ser aplicável a redes maiores com maior penetração de renováveis, segmentos adicionais de alimentadores e maior complexidade operacional. No entanto, a implantação em escala muito maior exigiria otimização adicional dos recursos de computação distribuída e dos protocolos de comunicação.

O estudo também contribuiu com uma abordagem baseada em aprendizado descentralizado para o gerenciamento de alimentadores de baixa tensão. Diferentemente dos métodos convencionais de controle de tensão e gerenciamento de congestionamento, baseados principalmente em regras operacionais estáticas ou em otimização centralizada³³, a estratégia proposta integrou avaliação de sensibilidade de tensão, orquestração com conscientização de congestionamento, otimização de política orientada por reforço, classificação dinâmica de aceitação de alimentadores e comunicação entre agentes colaborativos. Essa integração ampliou o uso de aprendizado por reforço multiagente, estendendo-o do regulamento de tensão e coordenação de recursos para a orquestração adaptativa de aceitação de alimentadores em redes de distribuição de baixa tensão com alta penetração de fontes renováveis.

O método proposto pode apoiar a gestão da aceitação de alimentadores para concessionárias, operadores de redes inteligentes e sistemas de gerenciamento de energia renovável. No entanto, diversos desafios precisam ser enfrentados antes da implementação prática. Atrasos na comunicação podem afetar a velocidade de troca de informações e a coordenação entre agentes distribuídos, especialmente em redes de grande escala. Também serão necessárias comunicações seguras e medidas de cibersegurança para proteger as interações entre agentes e os dados operacionais contra acesso não autorizado e ciberataques. A integração com os Sistemas de Gerenciamento de Distribuição existentes exigirá interoperabilidade com protocolos de comunicação das concessionárias, arquiteturas de controle supervisório e procedimentos operacionais. Assim, a implementação prática dependerá de estruturas de comunicação com baixa latência, transmissão segura de dados, interfaces padronizadas e validação em campo^36,37.

O estudo foi limitado por sua dependência dos conjuntos de dados FeederBW e 236-bus LV e pela validação baseada em simulação sob condições operacionais e de comunicação predefinidas. Essas configurações podem não representar plenamente a topologia, distúrbios, falhas de comunicação ou eventos ciberfísicos encontrados em redes reais de distribuição. A complexidade computacional também pode tornar-se mais significativa sob condições operacionais de grande escala ou com alta penetração de fontes renováveis. Assim, trabalhos futuros devem avaliar a estrutura utilizando conjuntos de dados adicionais em escala de distribuidoras, redes de distribuição reais, plataformas de hardware em malha fechada e instalações piloto em campo. O foco será na validação da estrutura proposta usando plataformas de hardware em malha fechada, redes de distribuição reais e sistemas de distribuição maiores. Além disso, estudos futuros investigarão arquiteturas avançadas de aprendizado por reforço e estratégias aprimoradas de coordenação distribuída para aumentar ainda mais a escalabilidade e a robustez operacional. De modo geral, os resultados da simulação mostraram que o aprendizado por reforço colaborativo com múltiplos agentes combinado à avaliação da sensibilidade à tensão e ao congestionamento pode melhorar a aceitação do alimentador, conformidade de tensão, mitigação de congestionamento, integração de renováveis, coordenação descentralizada, convergência, latência e tomada de decisão adaptativa. Testes adicionais com dados reais de distribuidoras, atrasos de comunicação realistas, interrupções ciberfísicas e condições de teste em hardware em malha fechada ou em campo são necessários para confirmar a escalabilidade prática e a confiabilidade operacional.

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Conjunto de Dados da Rede de Distribuição de Baixa Tensão com 236 Barras	Canizes et al.	DOI: 10.5281/zenodo.8274780	Conjunto de dados de referência público utilizado para análise de escalabilidade e validação em larga escala do framework proposto
Unidade Central de Processamento (CPU)	Intel Corporation	Intel Core i9-12900K (16-Core)	Utilizada para gerenciamento de simulação e execução do ambiente
Módulo de Análise de Sensibilidade à Congestão	Módulo Desenvolvido sob Encomenda	Zenodo DOI: 10.5281/zenodo.21423239	Realiza o cálculo em tempo real da sensibilidade à congestão e a priorização de alimentadores
Kit de Ferramentas CUDA	NVIDIA Corporation	CUDA 12.1	Plataforma de computação GPU utilizada para treinamento acelerado de modelos PyTorch
Biblioteca cuDNN	NVIDIA Corporation	cuDNN 9.3.0	Biblioteca de aceleração de redes neurais profundas utilizada com CUDA
Simulador Dinâmico Personalizado de Rede de Baixa Tensão	Módulo Desenvolvido sob Encomenda	Versão 1.0	Plataforma de simulação desenvolvida pelo autor, implementada em Python e PyTorch, para experimentos de orquestração dinâmica de alimentadores. Os detalhes de implementação são fornecidos nas seções Métodos e Disponibilidade de Dados.
Biblioteca de Processamento de Dados	Equipe de Desenvolvimento do pandas	pandas 2.2.2	Utilizada para pré-processamento, extração de características, normalização e gerenciamento de dados em séries temporais
Framework de Aprendizado Profundo	PyTorch Foundation	PyTorch 2.3.1	Utilizado para implementação do modelo de aprendizado por reforço multiagente (MARL), treinamento de redes neurais e otimização de políticas
Módulo de Comunicação Distribuída entre Agentes	Framework Desenvolvido sob Encomenda	Zenodo DOI: 10.5281/zenodo.21423239	Permite comunicação descentralizada e troca colaborativa de políticas entre agentes inteligentes
Conjunto de Dados FeederBW	Treutlein et al.	DOI: 10.5281/zenodo.17831177	Conjunto de dados público contendo medições reais de alimentadores de baixa tensão, geração renovável e perfis operacionais
Unidade de Processamento Gráfico (GPU)	NVIDIA Corporation	GeForce RTX 3090, 24 GB GDDR6X	Acelerador de hardware utilizado para treinamento de redes neurais e computação paralela
Ambiente de Aprendizado por Reforço Multiagente	Farama Foundation	Gym 0.26.2	Ambiente personalizado de aprendizado por reforço para interação e treinamento colaborativo entre agentes inteligentes
Biblioteca de Computação Numérica	Desenvolvedores do NumPy	NumPy 1.26.4	Utilizada para cálculos numéricos, manipulação de tensores e operações matriciais
Sistema Operacional	Canonical Ltd.	Ubuntu 22.04.5 LTS (64-bit)	Sistema operacional utilizado em todas as simulações e experimentos de aprendizado por reforço
Linguagem de Programação Python	Python Software Foundation	Python 3.11.9	Linguagem de programação principal utilizada para implementação de algoritmos, simulações e desenvolvimento de modelos
Memória do Sistema	Lenovo	64 GB de RAM DDR5	Memória do sistema instalada, utilizada para simulação em larga escala MARL e processamento de dados.
Módulo de Monitoramento de Estabilidade de Tensão	Módulo Desenvolvido sob Encomenda	Zenodo DOI: 10.5281/zenodo.21423239	Avalia continuamente a estabilidade e conformidade de tensão durante a orquestração de alimentadores