No se utilizaron sujetos humanos, animales vertebrados, tejidos humanos ni tejidos animales en esta investigación. Únicamente se emplearon conjuntos de datos de acceso público (el conjunto de datos FeederBW y el conjunto de datos de red de distribución de baja tensión de 236 nodos) y simulaciones basadas en computadora en el estudio. Por lo tanto, este estudio no requirió aprobación del comité de revisión institucional (IRB), ética ni consentimiento informado.
La estrategia de orquestación dinámica para la aceptación de alimentadores de baja tensión basada en colaboración entre agentes se desarrolló utilizando aprendizaje por refuerzo multiagente (MARL) para condiciones operativas con alta penetración de energías renovables. Los conjuntos de datos del alimentador FeederBW y de la red de 236 nodos se preprocesaron, normalizaron y sincronizaron temporalmente para construir un modelo de red dinámico que represente los estados del alimentador, los recursos energéticos distribuidos, las zonas sensibles a la tensión y las condiciones de congestión. Se asignaron agentes inteligentes a secciones del alimentador y a nodos de la red para monitorear localmente la tensión, la congestión, la incertidumbre en la generación renovable y la capacidad de aceptación del alimentador, intercambiar información con agentes vecinos y actualizar las políticas de orquestación mediante aprendizaje por refuerzo descentralizado. La función de recompensa se diseñó para mejorar la aceptación del alimentador, limitando al mismo tiempo la congestión, la inestabilidad de tensión y los retrasos en la coordinación. Se consideraron restricciones de tensión, carga del alimentador, carga del transformador y congestión, mientras que no se modelaron explícitamente el funcionamiento desequilibrado trifásico, el control avanzado del inversor fotovoltaico ni la compensación de potencia reactiva. El marco general se muestra en Figura 1. Las herramientas de investigación utilizadas en este estudio se enumeran en la Tabla de Materiales.

Figura 1: Arquitectura del marco propuesto. Esquema del Marco de Orquestación Dinámica que incorpora agentes inteligentes, aprendizaje por refuerzo, análisis de congestión y coordinación adaptativa de alimentadores. Haga clic aquí para ver una versión más grande de esta figura.
1. Adquisición de datos
Los datos se obtuvieron del conjunto de datos FeederBW31 y del conjunto de datos de distribución de baja tensión de 236 nodos32. Se seleccionaron estos conjuntos de datos porque contenían información sobre la topología del alimentador, condiciones de voltaje, comportamiento de generación renovable, demanda de carga, congestión y perfiles operativos dinámicos necesarios para la orquestación descentralizada y el aprendizaje de agentes basado en refuerzo.
El conjunto de datos FeederBW se utilizó principalmente para modelar el funcionamiento del alimentador, la intermitencia de la energía renovable, la desviación de voltaje y la propagación de congestión en redes de baja tensión. Contenía datos de operación del alimentador, comportamiento de generación distribuida, mediciones de voltaje en nodos y fluctuaciones de carga que apoyaban el análisis de orquestación adaptativa. El conjunto de datos de 236 nodos se utilizó para evaluar la escalabilidad y la coordinación descentralizada. Incluía información sobre conexiones de nodos, condiciones de carga del alimentador, características de voltaje en nodos, penetración de energías renovables distribuidas y casos operativos sensibles a la congestión. Juntos, los dos conjuntos de datos permitieron análisis a nivel de alimentador y a gran escala bajo condiciones de alta penetración de energía renovable. Las características de los conjuntos de datos y sus propósitos dentro del marco se resumen en Tabla 1.
| Nombre del conjunto de datos | Tipo de conjunto de datos | Número de nodos/buses | Atributos de los datos | Propósito en el trabajo propuesto |
| Conjunto de datos FeederBW | Conjunto de datos operativos de alimentadores de baja tensión | Múltiples nodos de alimentador | Perfiles de voltaje, generación renovable, demanda de carga, estados de congestión, comportamiento operativo del alimentador | orquestación de alimentadores de baja latencia, análisis de congestión, priorización adaptativa de aceptación |
| Conjunto de datos LV de 236 buses | Conjunto de datos de distribución de baja tensión a gran escala | 236 buses | Topología del bus, carga del alimentador, sensibilidad de voltaje, penetración renovable, dinámica de congestión | Validación de escalabilidad, evaluación de coordinación descentralizada, análisis de orquestación a gran escala |
Tabla 1: Características del conjunto de datos. Descripción de los conjuntos de datos, atributos operativos y sus propósitos dentro del marco de orquestación de bajo voltaje propuesto.
2. Preprocesamiento de datos
Los conjuntos de datos adquiridos se preprocesaron para mejorar la consistencia, la alineación temporal y la estabilidad del aprendizaje por refuerzo. Se filtraron entradas faltantes, mediciones erróneas, registros duplicados y datos inconsistentes del alimentador mediante procedimientos estadísticos de preprocesamiento. Este paso se utilizó para mantener la consistencia entre los datos de operación del alimentador, los perfiles de generación renovable, las mediciones de voltaje y los datos del estado de congestión. Todas las variables operativas se normalizaron mediante la técnica min-máx para transformar las características de entrada a una escala común adecuada para el aprendizaje del agente. Las variables normalizadas incluyeron el voltaje del alimentador, la demanda de potencia activa, la generación renovable, el estado de congestión y la capacidad de aceptación del alimentador. La formulación matemática del procedimiento de preprocesamiento se proporciona en Archivo Suplementario 1 (Sección 1).
3. Modelado dinámico de redes de baja tensión
Después de la adquisición de datos y el preprocesamiento, se construyó un modelo dinámico de red de distribución para simular el comportamiento de un sistema de distribución con una alta proporción de generación renovable bajo condiciones variables de carga y generación. El modelo rastreó dinámicamente la topología del alimentador, el comportamiento de los recursos energéticos distribuidos, las regiones sensibles a la tensión y la propagación de congestión.
A diferencia de una representación estática de red, el modelo actualiza el comportamiento del alimentador según la intermitencia renovable, la demanda del consumidor y las condiciones de congestión. Se utilizaron los conjuntos de datos FeederBW y LV de 236 nodos para construir alimentadores interconectados en los que los nodos, transformadores, fuentes renovables distribuidas y cargas se representaron como nodos de red. Cada nodo del alimentador proporcionó información actualizada sobre la magnitud de voltaje, demanda de potencia activa, generación renovable, estado de carga del alimentador y estado de congestión. Estas variables fueron utilizadas por los agentes inteligentes para monitorear el comportamiento del alimentador y tomar decisiones descentralizadas de coordinación. El modelo de red también permitió la identificación de regiones sensibles y la priorización de la aceptación de alimentadores mediante un análisis continuo de sensibilidad.
La red de distribución de BT se representó como una red basada en grafos que contiene estaciones de buses, líneas alimentadoras, transformadores, fuentes renovables y nodos de carga para consumidores. En el Archivo Suplementario 1 (Sección 2) se proporcionan las derivaciones matemáticas detalladas del modelo de red. El estado dinámico de la red y el índice de congestión se monitorearon continuamente. El índice de congestión se normalizó al rango [0,1], y se inició la orquestación colaborativa de aceptación de alimentadores cuando el índice de congestión superó 0,80.
4. Inicialización del entorno multiagente
Después de haber construido el modelo dinámico de la red de BT, se inicializó el entorno multiagente para apoyar la aceptación descentralizada de alimentadores. Se asignaron agentes inteligentes a los segmentos de alimentadores, puntos de conexión de recursos energéticos distribuidos, ubicaciones de transformadores y nodos propensos a congestión dentro de la red de BT.
Cada agente actuó como una entidad independiente de toma de decisiones que supervisó la operación del alimentador local, intercambió información con los agentes vecinos y ejecutó acciones de orquestación adaptativa. A los agentes se les asignaron nodos clave del alimentador según la sensibilidad de voltaje, la penetración de energías renovables, el nivel de congestión y la importancia del alimentador. La red de baja tensión se configuró como un entorno basado en agentes en el cual los agentes monitorearon continuamente el voltaje del alimentador, la demanda de potencia activa, la variación de la generación renovable, el estado de congestión y la capacidad de aceptación del alimentador. La formulación matemática del entorno multiagente se proporciona en Archivo Suplementario 1 (Sección 3).
5. Aprendizaje del agente impulsado por refuerzo
Tras la inicialización del entorno multiagente, se implementó un aprendizaje basado en refuerzo para permitir que los agentes aprendieran políticas de orquestación de alimentadores mediante la interacción con condiciones operativas variables del sistema de baja tensión. Durante cada interacción, un agente observaba el estado actual del alimentador, seleccionaba una acción de orquestación y recibía una recompensa o penalización. El proceso de aprendizaje descentralizado permitió a los agentes adaptarse a la incertidumbre en la generación renovable, a las condiciones cambiantes de congestión, a las variaciones de voltaje y a los cambios en la capacidad de aceptación del alimentador. Cada agente seleccionaba una acción de orquestación de acuerdo con su política aprendida. Las derivaciones matemáticas asociadas se proporcionan en Archivo Suplementario 1 (Sección 4).
Se desplegó un total de 64 agentes inteligentes. Según la topología del alimentador, el nivel de penetración de energías renovables, la sensibilidad de voltaje y la gravedad de la congestión, cada agente se asignó a un segmento de alimentador, un sitio de transformador, un punto de conexión de recursos energéticos distribuidos o un nodo de red sensible a la congestión. Manteniendo una complejidad computacional razonable, el despliegue descentralizado permitió un monitoreo cooperativo y una aceptación adaptativa del alimentador en toda la red de distribución de baja tensión de 236 nodos. Cada agente observó un vector de estado de cinco dimensiones compuesto por la magnitud de voltaje, la demanda de carga del alimentador, la generación renovable, el estado de congestión y la capacidad de aceptación del alimentador. El espacio de acciones consistió en cinco acciones de orquestación: priorización de la aceptación del alimentador, mitigación de la congestión, coordinación de renovables, equilibrio de carga y control de voltaje. La toma de decisiones cooperativa se apoyó mediante una topología de comunicación vecinal descentralizada en la que cada agente intercambió índices de sensibilidad e información operativa local únicamente con los agentes de alimentadores vecinos.
Se implementó un método de aprendizaje por refuerzo multiagente basado en Q-learning utilizando una red neuronal completamente conectada con dos capas ocultas que contienen 128 y 64 neuronas. Se aplicó la activación de unidad lineal rectificada en las capas ocultas. Los parámetros de la red se optimizaron utilizando el optimizador Adam con una tasa de aprendizaje de 0,001 y un factor de descuento de 0,99. Se utilizó un tamaño de mini-lote de 64, y el búfer de reproducción de experiencias tenía una capacidad de 100 000 transiciones. Se consideró que el entrenamiento había convergido cuando el promedio móvil de la recompensa acumulada durante los últimos 20 episodios cambió menos del 0,1% durante 10 ventanas de evaluación consecutivas. Si no se cumplía este criterio, el entrenamiento continuaba hasta alcanzar un máximo de 500 episodios. El flujo de trabajo del aprendizaje por refuerzo se muestra en la Figura 2.

Figura 2: Diagrama de flujo del aprendizaje del agente guiado por refuerzo. Diagrama de flujo que ilustra el proceso de aprendizaje del agente basado en refuerzo para la orquestación descentralizada de alimentadores y la optimización de decisiones. Haga clic aquí para ver una versión más grande de esta figura.
El proceso de aprendizaje comenzó con la inicialización del entorno de distribución de BT, los estados de los agentes y los parámetros de aprendizaje. Los agentes inteligentes se colocaron en regiones de alimentadores, ubicaciones de recursos energéticos distribuidos y buses propensos a congestión. Luego se definieron el espacio de observación, la tasa de aprendizaje, la estrategia de exploración, los factores de recompensa y las funciones de política. En cada paso de interacción, cada agente observaba el estado actual de su región de alimentador asignada. El estado consistía en la magnitud del voltaje del nodo, la demanda de carga del alimentador, las características de generación renovable, el nivel de congestión y la capacidad de aceptación del alimentador. Estas observaciones conformaban el estado ambiental utilizado para la toma de decisiones de orquestación. Cada agente seleccionaba una acción de acuerdo con su política de aprendizaje por refuerzo. Las acciones disponibles incluían la priorización de aceptación del alimentador, la gestión de congestión, la coordinación de energía renovable, el equilibrio de carga y la gestión de voltaje. La acción seleccionada se aplicaba al entorno dinámico de BT, tras lo cual se actualizaba el estado del alimentador.
Se calculó una recompensa después de cada acción. Se asignó una recompensa positiva cuando la acción seleccionada mejoró la aceptación del alimentador, evitó la propagación de congestión, mantuvo el cumplimiento del voltaje o mejoró la estabilidad de la red. Se aplicó una penalización cuando la acción provocó, o no logró prevenir, sobrecarga del alimentador, violaciones de voltaje o retrasos en la orquestación. La recompensa calculada se utilizó para actualizar la función de valor y la política de decisión del agente mediante optimización por refuerzo. La secuencia de observación, selección de acción, transición del entorno, cálculo de recompensa y actualización de la política se repitió hasta que se cumplió el criterio de detención.
6. Evaluación de la sensibilidad al voltaje y a la congestión
Tras el aprendizaje basado en refuerzo, se evaluaron las sensibilidades al voltaje y a la congestión para identificar regiones vulnerables del alimentador y apoyar decisiones dinámicas de aceptación del alimentador bajo incertidumbre de energía renovable.
En cada intervalo de operación, se determinaron los efectos de los cambios en la potencia de alimentación, la generación renovable y la demanda de carga sobre el voltaje del nodo y la congestión de la red. Los índices de sensibilidad al voltaje y a la congestión se recalcularon en cada intervalo de operación simulado, en lugar de derivarse únicamente de condiciones estáticas de la red. Los índices de sensibilidad para cada nodo del alimentador se actualizaron según las condiciones actuales de la red, la variación de la generación renovable y el estado de carga del alimentador. Los valores resultantes se utilizaron para clasificar los nodos del alimentador según la aceptación del alimentador, la gestión de la congestión y las acciones de control de voltaje.
El índice de sensibilidad al voltaje cuantificó el cambio en el voltaje del nodo resultante de una variación en el flujo de potencia activa. Después de calcular los índices de sensibilidad al voltaje y a la congestión, se combinaron en una puntuación compuesta de sensibilidad para la priorización adaptativa de la aceptación del alimentador. El método de puntuación compuesta se describe en Archivo Suplementario 1 (Sección 5). A los nodos del alimentador con puntuaciones de sensibilidad más altas se les asignaron prioridades más altas de orquestación durante las operaciones de alivio de congestión, corrección de aceptación del alimentador y regulación de voltaje. Las puntuaciones de sensibilidad se recalculaban en cada intervalo de operación y se compartían con agentes vecinos a través del entorno colaborativo de comunicación.
7. Orquestación colaborativa de la aceptación y optimización adaptativa de decisiones en cada intervalo operativo simulado
Tras una evaluación de sensibilidad, se realizó una orquestación colaborativa de aceptación para permitir que agentes descentralizados tomaran decisiones coordinadas sobre la aceptación de alimentadores bajo incertidumbre de fuentes renovables y condiciones dinámicas de congestión. Los agentes intercambiaron estados locales de los alimentadores, índices de sensibilidad, alertas de congestión y prioridades operativas. Cada agente evaluó de forma independiente la condición de su alimentador local mientras coordinaba con agentes vecinos para apoyar la estabilidad general de la red.
La aceptación de alimentadores se priorizó según la sensibilidad al voltaje, la gravedad de la congestión, la variabilidad de la generación renovable y la capacidad disponible del alimentador. Las observaciones locales con sensibilidad espacial se agregaron entre los agentes, y se generaron acciones coordinadas de aceptación de alimentadores. La formulación matemática del proceso de orquestación colaborativa se proporciona en Archivo Suplementario 1 (Sección 6). El entorno dinámico de la red de baja tensión se implementó con agentes colaborativos ubicados en regiones de alimentadores, puntos de integración de energía renovable y barras propensas a congestión, como se describe en Archivo Suplementario 1 (Algoritmo 1). En cada intervalo de operación, cada agente observó los parámetros locales del alimentador, incluyendo la magnitud de voltaje, la variación de la generación renovable, la carga del alimentador, el nivel de congestión y la capacidad de aceptación del alimentador.
Luego se calcularon los índices de sensibilidad al voltaje y de sensibilidad a la congestión para identificar las regiones alimentadoras susceptibles a inestabilidad de voltaje o propagación de congestión. Estos índices se combinaron en una puntuación general de sensibilidad del alimentador que determinó la aceptación del alimentador y la prioridad de orquestación. Se intercambió información sobre el estado local, niveles de congestión, indicadores de inestabilidad de voltaje y prioridades de aceptación entre agentes vecinos. Basándose en las observaciones locales y la información compartida, cada agente seleccionó e implementó una acción de orquestación adaptativa. Tras cada acción, se obtuvo una retroalimentación de refuerzo del entorno dinámico de la red de baja tensión según la estabilidad del alimentador, la reducción de congestión, el cumplimiento del voltaje y la eficiencia de aceptación del alimentador. Esta retroalimentación se utilizó para actualizar la política de cada agente mediante una optimización basada en refuerzo. La función objetivo global de orquestación proporcionó simultáneamente retroalimentación coordinada para la optimización adaptativa en toda la población de agentes. Las actualizaciones de la política continuaron hasta que las políticas de los agentes convergieron hacia una estrategia óptima de orquestación descentralizada.
8. Validación a gran escala
La estrategia de orquestación dinámica fue validada utilizando el conjunto de datos FeederBW y el conjunto de datos de la red de distribución de baja tensión de 236 nodos, bajo escenarios operativos con alta penetración de energía renovable. La validación evaluó la capacidad del marco de orquestación descentralizada para gestionar la aceptación dinámica de alimentadores, la intermitencia de las energías renovables, la propagación de congestión y la inestabilidad de voltaje en sistemas interconectados de distribución en baja tensión. Los escenarios operativos evaluados incluyeron alta penetración de energías renovables, demanda de carga cambiante, propagación dinámica de congestión, condiciones sensibles al voltaje y capacidad variable de aceptación de alimentadores.
El rendimiento del marco se evaluó utilizando la tasa de aceptación del alimentador, el índice de cumplimiento de voltaje, la tasa de reducción de congestión, la latencia de orquestación, la velocidad de convergencia, la eficiencia de coordinación descentralizada y la capacidad de integración de energías renovables. Estas métricas se utilizaron para evaluar la escalabilidad, robustez, adaptabilidad y rendimiento de coordinación. El marco propuesto se comparó con enfoques tradicionales centralizados de orquestación de alimentadores bajo las mismas configuraciones de red. Se aplicaron a los métodos de comparación conjuntos de datos equivalentes, escenarios operativos, condiciones de evaluación y medidas de rendimiento.
Tabla 2 resume los conjuntos de datos, condiciones operativas, entornos de orquestación y variables de rendimiento utilizados para la validación experimental. El conjunto de datos FeederBW se utilizó para evaluar la dinámica operativa del alimentador, la intermitencia de las energías renovables, el desarrollo de congestión, la variación de la carga residencial y las fluctuaciones de voltaje bajo condiciones de alimentador de baja tensión. El conjunto de datos de 236 nodos de baja tensión se utilizó para evaluar la orquestación descentralizada en una red interconectada más grande. La arquitectura fue validada bajo condiciones variables de generación renovable, demanda de carga, voltaje y congestión. La coordinación descentralizada y la optimización de políticas basada en aprendizaje por refuerzo se evaluaron conjuntamente entre los agentes inteligentes.
Se utilizaron la tasa de aceptación de alimentadores, el índice de cumplimiento de voltaje, la tasa de reducción de congestión, la velocidad de convergencia y la latencia de orquestación para cuantificar el rendimiento bajo condiciones operativas dinámicas en sistemas de energía renovable.
| Parámetro Experimental | Conjunto de Datos FeederBW | Conjunto de Datos 236-bus LV | Propósito de Validación |
| Tipo de Red | Red de Alimentadores de Baja Tensión | Red de Distribución LV a Gran Escala | Evaluación de orquestación dinámica |
| Número de Nodos/Barrajes | Múltiples nodos de alimentador | 236 barrajes | Análisis de escalabilidad |
| Integración de Energías Renovables | Fuentes fotovoltaicas y renovables distribuidas | Barrajes con alta penetración de renovables | Validación de incertidumbre renovable |
| Comportamiento de la Demanda de Carga | Perfiles dinámicos de carga residencial | Variaciones de carga en alimentadores a gran escala | Orquestación adaptativa de carga |
| Escenarios de Congestión | Estados de sobrecarga y congestión del alimentador | Propagación de congestión en múltiples barrajes | Análisis de mitigación de congestión |
| Condiciones de Voltaje | Perfiles de fluctuación de voltaje | Condiciones de barrajes sensibles al voltaje | Evaluación de cumplimiento de voltaje |
| Agentes Inteligentes | Agentes distribuidos de alimentador | Agentes colaborativos a gran escala | Análisis de coordinación descentralizada |
| Entorno de Aprendizaje | Orquestación basada en refuerzo | Aprendizaje adaptativo multiagente | Validación de optimización de políticas |
| Condiciones de Simulación | Variabilidad dinámica de fuentes renovables | Operación dinámica a gran escala | Pruebas de orquestación de baja latencia |
| Métricas de Rendimiento | Tasa de aceptación, reducción de congestión | Cumplimiento de voltaje, velocidad de convergencia | Rendimiento general de la orquestación |
Tabla 2: Validación experimental a gran escala. Configuraciones experimentales utilizadas para evaluar la escalabilidad, la incertidumbre de la energía renovable y la coordinación descentralizada.