Динамическая оркестрация приемки фидеров на основе многоагентного обучения с подкреплением с использованием набора данных FeederBW и низковольтной распределительной сети с 236 шинами

Краткое содержание

В данном исследовании представлена стратегия динамической оркестровки для приемки фидеров низкого напряжения с использованием совместного многоагентного обучения с подкреплением. Интеллектуальные агенты координируют работу фидера, управление перегрузками, стабильность напряжения и интеграцию возобновляемых источников энергии в условиях неопределенности. Подход был оценен с помощью моделирования с использованием наборов данных FeederBW и 236-bus.

Аннотация

Широкое внедрение распределенных возобновляемых источников энергии и стремительное расширение низковольтных (НВ) фидеров создали эксплуатационные трудности, связанные с приемом фидеров и координацией при перегрузках. Существующие подходы к регулированию напряжения и управлению фидерами могут обладать ограниченной масштабируемостью и адаптивностью в условиях прерывистой генерации возобновляемой энергии и меняющихся сетевых условий. Для решения этих проблем в данной работе предлагается структура динамической оркестрации для приема низковольтных фидеров, основанная на взаимодействии интеллектуальных агентов в рамках многоагентного обучения с подкреплением. В отличие от стратегий регулирования напряжения, сосредоточенных преимущественно на стабилизации напряжения, предлагаемая структура поддерживает динамический прием фидеров за счет скоординированной работы агентов, отвечающих за мониторинг фидеров, управление перегрузками и приоритизацию на основе чувствительности напряжения. Агенты независимо наблюдали за состоянием фидеров, оценивали перегрузки и чувствительность напряжения, а затем совместно принимали решения о приеме фидеров. Структура была оценена с помощью моделирования с использованием набора данных FeederBW и набора данных низковольтной распределительной сети с 236 шинами при различных уровнях интеграции возобновляемых источников и условиях нагрузки. Предложенная структура обеспечила коэффициент приема фидеров 97%, индекс соответствия напряжения 98%, задержку оркестрации 98 ms (измеренную как время выполнения алгоритма оркестрации на указанном оборудовании) и скорость сходимости 98,5%, что превосходит показатели оцениваемых методов централизованной координации. Результаты также указали на улучшенную адаптивность, эксплуатационную устойчивость и эффективность децентрализованного принятия решений в смоделированных условиях низковольтной распределительной сети.

Введение

Современные энергосистемы сталкиваются со значительными эксплуатационными проблемами из-за растущего спроса на электроэнергию и расширения использования распределенной генерации. Дисбаланс между спросом и предложением электроэнергии или резкое увеличение объема распределенной генерации могут создать финансовую нагрузку на коммунальные службы и конечных потребителей, а также поставить под угрозу стабильность энергосети. Поэтому традиционная централизованная инфраструктура электроснабжения на базе ископаемого топлива переходит к распределенной архитектуре, основанной на возобновляемых источниках энергии. Этот переход расширил доступ к более доступным и экологически устойчивым источникам энергии. Однако прерывистый и непредсказуемый характер фотоэлектрической (PV) генерации вызывает опасения относительно надежности энергосистемы^1,2.

Глобальный энергетический переход ускоряет внедрение фотоэлектрических (PV) систем благодаря их экологическим преимуществам, масштабируемости и снижению стоимости. По данным Международного агентства по возобновляемым источникам энергии, ожидается, что к 2050 году доля PV-мощностей в мировом электроснабжении превысит 22%, а к 2030 году солнечные PV-системы станут основным источником электроэнергии в мире³. Столь широкая интеграция создает значительные трудности для традиционных энергосистем, особенно в отношении эксплуатационной стабильности и надежности. Колебания напряжения являются критической проблемой, так как PV-генерация носит прерывистый характер и не является диспетчеризируемой, и эти эффекты становятся более выраженными по мере роста доли таких систем в распределительных и передающих сетях⁴.

Колебания солнечной облученности напрямую влияют на выходную мощность фотоэлектрических (PV) систем и могут вызывать резкие изменения напряжения. Движение облаков, внезапные изменения облученности и переходные процессы нагрузки могут приводить к колебаниям напряжения, которые существующие архитектуры сетей не способны адекватно компенсировать⁵. Хотя традиционные технологии были эффективны в централизованных и относительно стабильных конфигурациях сетей, они менее пригодны для все более распределенных сетей. Быстрые двунаправленные изменения напряжения могут превышать возможности традиционных энергосистем, особенно при высокой степени проникновения PV-систем⁶. Неконтролируемые колебания могут привести к нарушению пределов напряжения, воздействию на чувствительные нагрузки и поставить под угрозу безопасность сети.

Интеграция «умных» нагрузок и распределенных ресурсов в распределительные сети, таким образом, стимулировала разработку более совершенных стратегий управления. Интеллектуальные системы управления, которые непрерывно контролируют и координируют распределенное оборудование, могут помочь преодолеть трудности в сетях низкого напряжения (НН) с высокой долей распределенной генерации⁷. Масштабное внедрение фотоэлектрических (ФЭ) систем также создает эксплуатационные сложности для тепловой генерации, особенно когда выработка ФЭ-систем снижается и тепловые установки должны оперативно реагировать, иногда превышая пределы скорости изменения мощности⁸. В то же время программы управления спросом (DR) должны обеспечивать баланс между долгосрочной устойчивостью и экономической целесообразностью⁹.

Программы управления спросом (DR) могут способствовать интеграции распределенной генерации, помогая сбалансировать спрос и предложение электроэнергии. Такие программы подразделяются на DR на основе ценообразования и DR на основе стимулирования (IBDR). DR на основе ценообразования побуждает потребителей изменять уровень потребления электроэнергии в ответ на меняющиеся во времени тарифы, тогда как IBDR предусматривает фиксированные или переменные финансовые стимулы для снижения потребления по запросу¹⁰. Однако DR на основе ценообразования подвергает потребителей риску колебаний оптовых цен и обеспечивает ограниченную оперативную гибкость с точки зрения энергоснабжающей организации, что может отпугнуть участников, стремящихся избежать рисков^11,12.

В нескольких исследованиях изучался IBDR в распределительных сетях с высокой долей PV. В одной из работ оценивались сложности и преимущества сочетания IBDR с высоким уровнем проникновения PV, однако основное внимание уделялось совокупному энергопотреблению, а не бытовым системам управления энергопотреблением на уровне отдельных домохозяйств¹³. В другом исследовании был предложен метод управления напряжением на основе стимулов, при котором ценовые сигналы косвенно контролировали работу аккумуляторов для поддержания пределов напряжения, хотя спрос домохозяйств не моделировался в явном виде¹⁴. Метод определения стимулирующих выплат на основе нечеткой логики учитывал удовлетворенность потребителей и затраты на интеграцию возобновляемых источников энергии, но не включал анализ на уровне фидеров¹⁵. Также изучалось долгосрочное планирование генерации, включающее DR как на основе цен, так и на основе стимулов, с учетом тепловой генерации и возобновляемых источников энергии, но без учета комфорта пользователей или спроса на уровне домохозяйств¹⁶.

Глубокое обучение с подкреплением (RL) также применялось к управлению спросом (DR) в жилом секторе. Были предложены методы глубокого RL для управления совокупной нагрузкой при тарифном плане с учетом времени суток, однако их обобщающая способность была ограничена малым количеством пользователей и отсутствием планирования на уровне отдельных электроприборов¹⁷. В рамках многоагентной системы обучения с подкреплением, объединяющей DR и регулирование напряжения, использовались сети долгой краткосрочной памяти для прогнозирования нагрузки, но это не позволило устранить недовольство потребителей, вызванное ограничением нагрузки¹⁸. Другие работы были сосредоточены на координации DR для систем кондиционирования воздуха в коммерческих зданиях с использованием марковского процесса принятия решений, без учета других жилых нагрузок¹⁹. Существующие исследования по регулированию напряжения с помощью глубокого RL, как правило, не включали одновременно DR и интеграцию фотоэлектрических (PV) систем^20,21.

Интеллектуальные инверторы способны быстро реагировать на резкие и нерегулярные изменения выходной мощности фотоэлектрических (PV) систем²². При возникновении нарушений уровня напряжения PV-инверторы могут сработать в течение миллисекунд, тогда как традиционным устройствам может потребоваться несколько секунд²³. В некоторых исследованиях были предложены модификации стандартных процедур управления устройствами, включая многоагентные подходы для координации регуляторов напряжения и изменение действий традиционных контроллеров напряжения²⁴. Тем не менее, автономная PV-генерация без сопутствующих систем хранения энергии может усилить колебания напряжения и не устраняет вечерние пики нагрузки, даже если она снижает чистый импорт электроэнергии в дневное время^24,25. Бытовые аккумуляторы также могут быть разряжены в периоды дневного избытка PV-генерации и оказаться недоступными для зарядки электромобилей в ночное время, если их использование не скоординировано с местным спросом и генерацией^26,27. Совокупное влияние стохастического спроса, прерывистой генерации и различного поведения систем хранения делает управление мощностью, долговечность активов и отказоустойчивость важными аспектами для операторов распределительных сетей²⁸. Системы управления энергопотреблением дома (Home Energy Management Systems) представляют собой один из потенциальных способов реализации автоматизированного управления на уровне потребителя. RL хорошо подходит для таких приложений, поскольку агенты могут изучать стратегии управления путем взаимодействия со средой, справляясь с неопределенностью и принимая решения с низкой задержкой.

Достижения в области маршрутизации электромобилей также демонстрируют, как глубокое обучение с подкреплением (RL) может управлять динамическими ограничениями энергопотребления. Задача маршрутизации электромобилей с учетом ограниченной грузоподъемности и неоднородного состава автопарка объединяет динамику вождения, характеристики дорог, кинетическое сопротивление и эффективность зарядки, минимизируя при этом максимальный расход энергии для всего разнообразного парка²⁹. Метод глубокого обучения с подкреплением, учитывающий динамику, представляет эту задачу в виде специализированного марковского процесса принятия решений и использует архитектуру «энкодер-апдейтер-декодер». В данной архитектуре энкодер формирует специфические для каждой роли представления вершин и транспортных средств, апдейтер уточняет токены транспортных средств по мере изменения контекстной информации, а декодер разделяет выбор транспортного средства и выбор конкретной для него вершины для обеспечения адаптивного принятия решений. Аналогично, задача энергооптимальной маршрутизации электромобилей с учетом сбора и доставки грузов, а также временных окон, использует модель энергопотребления высокого разрешения, которая включает поведение при зарядке, зависящую от времени динамику вождения и детальную информацию о маршруте³⁰. Фреймворк глубокого обучения с подкреплением на основе гетерогенного механизма внимания представляет задачу маршрутизации как марковский процесс принятия решений с энкодером, фиксирующим ролевые взаимодействия между депо, клиентами и зарядными станциями, и декодером, который отслеживает переходы между состояниями и временную допустимость.

Несмотря на эти достижения, в большинстве исследований по управлению распределением в сетях низкого напряжения (LV) основной акцент делается на стабилизации напряжения и оптимизации реактивной мощности, а не на динамической координации приема нагрузки фидерами в условиях неопределенности возобновляемых источников энергии. Методы распределенного управления напряжением на основе интеллектуальных инверторов и машинного обучения, как правило, сосредоточены на компенсации напряжения и оптимизации реактивной мощности, не затрагивая адаптивное управление приемом нагрузки фидером или координацию на основе перегрузок в сложных сетях LV. Аналогичным образом, подходы многоагентного обучения с подкреплением с ограничениями по напряжению для управления спросом (DR) не решают напрямую задачи совместного управления приемом нагрузки фидером, децентрализованной координации с учетом перегрузок или контроля допуска на уровне узлов в взаимосвязанных распределительных системах LV. Методы кооперативного регулирования напряжения, основанные на многоагентной координации, обычно минимизируют отклонения напряжения и количество переключений ответвлений трансформатора с использованием инверторов фотоэлектрических систем, но не учитывают адаптивный допуск на фидер, нестабильность приема, связанную с возобновляемыми источниками, или децентрализованную координацию в динамических условиях сети.

Современные распределенные и многоагентные методы координации ресурсов также имеют ограничения в области учета перегрузок, временной адаптивности и масштабируемости. В большинстве из них основной акцент сделан на анализе перегрузок, взаимодействии распределенных энергетических ресурсов или управлении энергопотреблением на основе тарифов, а не на адаптивном приеме на уровне фидера и оркестрации с учетом напряжения. Зависимость этих методов от частичной централизации и статических приоритетов может дополнительно ограничивать децентрализованное принятие решений, скорость реагирования на распространение перегрузок и адаптацию к изменчивости возобновляемых источников энергии. Таким образом, для адаптивного управления приемом на фидере с использованием крупномасштабных наборов данных, таких как FeederBW и распределительная сеть низкого напряжения с 236 шинами, необходима полностью децентрализованная структура на основе обучения с подкреплением, сочетающая кооперативную координацию агентов с анализом чувствительности к напряжению и перегрузкам.

В данном исследовании под приемом фидера (feeder acceptance) понимается адаптивный операционный процесс определения того, может ли фидер низкого напряжения (LV) принять дополнительные распределенные энергетические ресурсы или электрические нагрузки при сохранении безопасности сети, соблюдении норм напряжения, пределов тепловой нагрузки и эксплуатационной надежности. Операционная граница приема фидера включает оценку пропускной способности фидера, чувствительности напряжения, условий перегрузки и вариативности возобновляемых источников энергии перед тем, как новые подключения к фидеру будут приняты или приоритезированы. В отличие от традиционного регулирования напряжения, которое корректирует профили напряжения, координации распределенных энергетических ресурсов, управляющей работой ресурсов, или управления перегрузками, которое смягчает перегрузки сети, прием фидера объединяет эти функции в рамках совместного многоагентного обучения с подкреплением для обеспечения динамической, децентрализованной и адаптивной оркестрации в условиях высокого содержания возобновляемой энергии.

Целью данного исследования является разработка совместной стратегии динамической оркестрации на основе интеллектуальных агентов для приемки низковольтных питателей в условиях меняющихся режимов работы и неопределенности возобновляемых источников энергии. Предложенная структура осуществляет децентрализованную оркестрацию приемки питателей путем динамической оценки состояния питателей, чувствительности напряжения, чувствительности к перегрузкам и пропускной способности, что обеспечивает адаптивную приоритизацию и принятие решений, выходящее за рамки статических методов управления напряжением. Используя набор данных FeederBW и набор данных сети распределения низкого напряжения с 236 шинами, в исследовании также разрабатывается масштабируемая архитектура многоагентного обучения с подкреплением для крупномасштабных систем низкого напряжения. Благодаря обучению с подкреплением и совместной оптимизации с низкой задержкой, выполняемой в каждом симулированном рабочем интервале, данная структура предназначена для снижения распространения перегрузок, улучшения соответствия уровней напряжения, сокращения задержки оркестрации и повышения эффективности децентрализованной координации.

Предложенная концепция включает динамический подход к оркестрации приема фидеров НН, который заменяет статические стратегии управления фидерами на основе контроля напряжения; децентрализованную многоагентную архитектуру обучения с подкреплением для учета неопределенности возобновляемых источников энергии и переменных условий нагрузки; децентрализованное управление допуском на основе условий низкой задержки и динамической приоритезации фидеров; совместные индексы чувствительности к напряжению и перегрузкам для выявления критических фидеров и приоритезации решений о приеме; совместное взаимодействие между соседними агентами; непрерывную оптимизацию политики на основе обучения с подкреплением для повышения стабильности фидеров, снижения перегрузок, соблюдения норм напряжения и ускорения сходимости; а также валидацию на основе крупномасштабного моделирования с использованием наборов данных FeederBW и 236-узловых сетей НН. Сравнительные результаты указывают на улучшение показателей приема фидеров, снижение перегрузок, сокращение задержки оркестрации, увеличение скорости сходимости и более строгое соблюдение норм напряжения по сравнению с традиционными методами централизованной координации.

Протокол

В данном исследовании не использовались люди, позвоночные животные, ткани человека или ткани животных. В работе использовались только общедоступные наборы данных (набор данных FeederBW и набор данных сети распределения низкого напряжения с 236 шинами), а также компьютерное моделирование. Таким образом, данное исследование не требовало одобрения институционального наблюдательного совета (IRB), этического комитета или получения информированного согласия.

Стратегия динамической оркестровки для приемки низковольтных фидеров на основе взаимодействия агентов была разработана с использованием многоагентного обучения с подкреплением (MARL) для условий эксплуатации с высокой долей возобновляемых источников энергии. Наборы данных FeederBW и низковольтной сети из 236 узлов были предварительно обработаны, нормализованы и синхронизированы по времени для построения динамической сетевой модели, представляющей состояния фидеров, распределенные энергетические ресурсы, чувствительные к напряжению области и условия перегрузки. Интеллектуальные агенты были назначены на секции фидеров и узлы сети для мониторинга локального напряжения, перегрузок, неопределенности генерации возобновляемой энергии и пропускной способности фидеров, обмена информацией с соседними агентами и обновления политик оркестровки посредством децентрализованного обучения с подкреплением. Функция вознаграждения была разработана для повышения пропускной способности фидеров при одновременном ограничении перегрузок, нестабильности напряжения и задержек координации. Были учтены ограничения по напряжению, загрузке фидеров, загрузке трансформаторов и перегрузкам, в то время как трехфазный несбалансированный режим работы, усовершенствованное управление фотоэлектрическими инверторами и компенсация реактивной мощности не моделировались в явном виде. Общая схема представлена на Рисунке 1. Инструменты исследования, использованные в данной работе, перечислены в Таблице материалов.

Рисунок 1Архитектура предлагаемой структуры. Схема структуры динамической оркестровки, включающая интеллектуальных агентов, обучение с подкреплением, анализ перегрузок и адаптивную координацию фидеров. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

1. Сбор данных

Данные были получены из набора данных FeederBW³¹ и набора данных сети распределения низкого напряжения с 236 шинами³². Эти наборы данных были выбраны, так как они содержали информацию о топологии фидера, режиме напряжения, поведении возобновляемой генерации, спросе на нагрузку, перегрузках и динамических рабочих профилях, необходимых для децентрализованной оркестровки и обучения агентов на основе подкрепления.

Набор данных FeederBW использовался преимущественно для моделирования работы фидера, прерывистости возобновляемых источников энергии, отклонения напряжения и распространения перегрузок в сетях низкого напряжения (LV). Он включал данные о работе фидера, поведение распределенной генерации, измерения напряжения в узлах и колебания нагрузки, что позволило провести анализ адаптивной оркестрации. Набор данных LV с 236 шинами использовался для оценки масштабируемости и децентрализованной координации. Он содержал информацию о соединениях шин, условия нагрузки фидера, характеристики напряжения в узлах, степень проникновения распределенных возобновляемых источников энергии и рабочие сценарии, чувствительные к перегрузкам. Вместе эти два набора данных обеспечили возможность проведения анализа как на уровне отдельного фидера, так и в крупном масштабе в условиях высокого проникновения возобновляемых источников энергии. Характеристики наборов данных и их назначение в рамках данной структуры обобщены в Таблице 1.

Название набора данных	Тип набора данных	Количество узлов/шин	Атрибуты данных	Цель предлагаемой работы
Набор данных FeederBW	Операционный набор данных сети низковольтных питателей	Множественные узлы-фидеры	Профили напряжения, возобновляемая генерация, спрос на нагрузку, состояния перегрузки, эксплуатационное поведение фидеров	оркестрация фидерных узлов с низкой задержкой, анализ перегрузок, адаптивная приоритизация принятия данных
Набор данных сети низкого напряжения с 236 шинами	Масштабный набор данных распределительных сетей низкого напряжения	236 автобусов	Шинная топология, нагрузка фидера, чувствительность напряжения, проникновение возобновляемых источников энергии, динамика перегрузок	Валидация масштабируемости, оценка децентрализованной координации, анализ крупномасштабной оркестрации

Таблица 1: Характеристики наборов данных. Описание наборов данных, операционных атрибутов и их назначения в рамках предлагаемой структуры оркестрации низкого напряжения.

2. Предобработка данных

Полученные наборы данных прошли предварительную обработку для повышения согласованности, временного выравнивания и стабильности обучения с подкреплением. Пропущенные записи, ошибочные измерения, дубликаты и противоречивые данные по фидерам были отфильтрованы с использованием процедур статистической предобработки. Этот этап был необходим для обеспечения согласованности данных по эксплуатации фидеров, профилей генерации из возобновляемых источников, измерений напряжения и данных о состоянии перегрузки. Все эксплуатационные переменные были подвергнуты min–max нормализации, чтобы входные признаки были приведены к единому масштабу, подходящему для обучения агента. Нормализованные переменные включали напряжение на фидере, спрос на активную мощность, генерацию из возобновляемых источников, статус перегрузки и пропускную способность фидера. Математическое описание процедуры предварительной обработки приведено в Дополнительном файле 1 (Раздел 1).

3. Динамическое моделирование сетей низкого напряжения

После сбора и предварительной обработки данных была построена динамическая модель сети НН для имитации поведения распределительной системы с высокой долей возобновляемой генерации при различных условиях нагрузки и выработки. Модель динамически отслеживала топологию фидера, поведение распределенных энергетических ресурсов, области, чувствительные к напряжению, и распространение перегрузок.

В отличие от статического представления сети, данная модель обновляет поведение фидера в зависимости от прерывистости возобновляемых источников энергии, спроса потребителей и условий перегрузки. Наборы данных FeederBW и 236-bus LV использовались для построения взаимосвязанных фидеров, в которых шины, трансформаторы, распределенные возобновляемые источники и нагрузки были представлены в виде узлов сети. Каждый узел фидера предоставлял обновленную информацию о величине напряжения, спросе на активную мощность, генерации из возобновляемых источников, состоянии загрузки фидера и статусе перегрузки. Эти переменные использовались интеллектуальными агентами для мониторинга поведения фидера и принятия децентрализованных решений по оркестрации. Модель сети также поддерживала идентификацию чувствительных зон и приоритезацию принятия фидеров посредством непрерывного анализа чувствительности.

Сеть распределения низкого напряжения была представлена в виде графовой сети, состоящей из шинных станций, линий питания, трансформаторов, возобновляемых источников энергии и узлов потребительской нагрузки. Подробные математические выводы модели сети представлены в Дополнительном файле 1 (Раздел 2). Динамическое состояние сети и индекс перегрузки отслеживались непрерывно. Индекс перегрузки был нормализован в диапазоне [0,1], и совместная координация приема линий питания инициировалась, когда индекс перегрузки превышал 0.80.

4. Инициализация многоагентной среды

После построения динамической модели сети низкого напряжения (LV) была инициализирована многоагентная среда для обеспечения децентрализованного приема питающих линий. Интеллектуальные агенты были назначены сегментам питающих линий, точкам подключения распределенных энергетических ресурсов, местам расположения трансформаторов и узлам сети LV, подверженным перегрузкам.

Каждый агент функционировал как независимая единица принятия решений, которая контролировала работу локального фидера, обменивалась информацией с соседними агентами и выполняла действия по адаптивной оркестрации. Агенты были назначены на ключевые узлы фидера в соответствии с чувствительностью напряжения, уровнем проникновения возобновляемых источников энергии, уровнем перегрузки и значимостью фидера. Сеть низкого напряжения (Н) была сконфигурирована как агентная среда, в которой агенты непрерывно отслеживали напряжение на фидере, спрос на активную мощность, колебания генерации из возобновляемых источников, статус перегрузки и пропускную способность фидера. Математическая формулировка многоагентной среды представлена в Дополнительном файле 1 (Раздел 3).

5. Обучение агента на основе подкрепления

После инициализации мультиагентной среды было внедрено обучение с подкреплением, чтобы агенты могли освоить стратегии управления фидером посредством взаимодействия с меняющимися условиями эксплуатации сети низкого напряжения (LV). В ходе каждого взаимодействия агент анализировал текущее состояние фидера, выбирал действие по управлению и получал вознаграждение или штраф. Децентрализованный процесс обучения позволил агентам адаптироваться к неопределенности генерации из возобновляемых источников, изменяющимся условиям перегрузки, колебаниям напряжения и изменениям пропускной способности фидера. Каждый агент выбирал действие по управлению в соответствии со своей изученной стратегией. Соответствующие математические выводы представлены в Дополнительном файле 1 (раздел 4).

Всего было развернуто 64 интеллектуальных агента. Исходя из топологии фидера, уровня проникновения возобновляемых источников энергии, чувствительности напряжения и степени перегрузки, каждый агент был назначен на сегмент фидера, место установки трансформатора, точку подключения распределенного энергетического ресурса или узел сети, чувствительный к перегрузкам. При сохранении приемлемой вычислительной сложности децентрализованное развертывание обеспечило совместный мониторинг и адаптивную приемную способность фидера во всей низковольтной распределительной сети с 236 шинами. Каждый агент отслеживал пятимерный вектор состояния, состоящий из модуля напряжения, спроса на нагрузку фидера, выработки возобновляемой энергии, статуса перегрузки и приемной способности фидера. Пространство действий включало пять действий по оркестрации: приоритизация приемной способности фидера, смягчение перегрузок, координация возобновляемых источников, балансировка нагрузки и регулирование напряжения. Совместное принятие решений поддерживалось за счет децентрализованной топологии связи между соседями, при которой каждый агент обменивался индексами чувствительности и локальной эксплуатационной информацией только с соседними агентами фидера.

Метод MARL на основе Q-обучения был реализован с использованием полносвязной нейронной сети с двумя скрытыми слоями, содержащими 128 и 64 нейрона. В скрытых слоях применялась функция активации Rectified linear unit. Параметры сети оптимизировались с помощью оптимизатора Adam при скорости обучения 0.01 и коэффициенте дисконтирования 0.9. Использовался размер мини-батча 64, а емкость буфера воспроизведения опыта составляла 10,0 переходов. Обучение считалось сошедшимся, когда скользящее среднее кумулятивного вознаграждения за предыдущие 20 эпизодов изменялось менее чем на 0.1% в течение 10 последовательных окон оценки. Если этот критерий не был выполнен, обучение продолжалось до достижения максимума в 50 эпизодов. Рабочий процесс обучения с подкреплением показан на рисунке 2.

Рисунок 2Блок-схема обучения агента на основе подкрепления. Блок-схема, иллюстрирующая процесс обучения агента на основе подкрепления для децентрализованной оркестрации фидеров и оптимизации принятия решений. Пожалуйста, нажмите здесь, чтобы просмотреть эту иллюстрацию в более крупном размере.

Процесс обучения начался с инициализации среды распределения сети низкого напряжения (LV), состояний агентов и параметров обучения. Интеллектуальные агенты были размещены в зонах питания, местах расположения распределенных энергетических ресурсов и на шинах, подверженных перегрузкам. Затем были определены пространство наблюдений, скорость обучения, стратегия исследования, факторы вознаграждения и функции стратегии. На каждом шаге взаимодействия каждый агент наблюдал за текущим состоянием закрепленной за ним зоны питания. Состояние включало амплитуду напряжения в узлах, спрос на нагрузку фидера, характеристики возобновляемой генерации, уровень перегрузки и пропускную способность фидера. Эти наблюдения сформировали состояние среды, используемое для принятия решений по оркестрации. Каждый агент выбирал действие в соответствии со своей стратегией обучения с подкреплением. Доступные действия включали приоритезацию приема фидера, управление перегрузками, координацию возобновляемых источников энергии, балансировку нагрузки и регулирование напряжения. Выбранное действие применялось к динамической среде LV, после чего состояние фидера обновлялось.

После каждого действия рассчитывалось вознаграждение. Положительное вознаграждение назначалось в случаях, когда выбранное действие улучшало прием feeders, предотвращало распространение перегрузок, обеспечивало соблюдение допустимых уровней напряжения или повышало стабильность сети. Штраф применялся, если действие приводило к перегрузке feeders, нарушениям уровней напряжения или задержкам оркестрации, либо не позволяло их предотвратить. Рассчитанное вознаграждение использовалось для обновления функции ценности и стратегии принятия решений агента посредством оптимизации с подкреплением. Последовательность из наблюдения, выбора действия, перехода среды, расчета вознаграждения и обновления стратегии повторялась до выполнения критерия остановки.

6. Оценка чувствительности к напряжению и заторам

После обучения на основе подкрепления была проведена оценка чувствительности к напряжению и перегрузкам с целью выявления уязвимых участков питающих линий и обеспечения принятия динамических решений о допуске в сеть в условиях неопределенности возобновляемых источников энергии.

Для каждого рабочего интервала определялось влияние изменений мощности питающей линии, генерации из возобновляемых источников и спроса на нагрузку на напряжение в узлах и перегрузку сети. Индексы чувствительности к напряжению и перегрузке пересчитывались в каждом моделируемом рабочем интервале, а не выводились исключительно из статических условий сети. Индексы чувствительности для каждого узла питающей линии обновлялись на основе текущего состояния сети, вариаций генерации из возобновляемых источников и состояния загрузки питающей линии. Полученные значения использовались для ранжирования узлов питающих линий с целью принятия решений о подключении, управлении перегрузками и регулировании напряжения.

Индекс чувствительности к напряжению количественно определял изменение напряжения в узле, resulting from изменения потока активной мощности. После расчета индексов чувствительности к напряжению и перегрузкам они были объединены в совокупный показатель чувствительности для адаптивной приоритизации принятия фидеров. Метод совокупного оценивания описан в Дополнительном файле 1 (Раздел 5). Узлам фидеров с более высокими показателями чувствительности присваивался более высокий приоритет оркестровки при операциях по устранению перегрузок, корректировке принятия фидеров и регулированию напряжения. Показатели чувствительности пересчитывались в каждом рабочем интервале и передавались соседним агентам через среду совместной связи.

7. Совместная оркестрация принятия решений и адаптивная оптимизация выбора на каждом симулируемом рабочем интервале

После оценки чувствительности была проведена совместная оркестровка принятия решений, чтобы позволить децентрализованным агентам принимать скоординированные решения о приеме питания в условиях неопределенности возобновляемых источников энергии и динамического перегруза сети. Агенты обменивались данными о локальном состоянии фидеров, индексами чувствительности, оповещениями о перегрузках и приоритетами функционирования. Каждый агент независимо оценивал состояние своего локального фидера, координируя свои действия с соседними агентами для поддержания общей стабильности сети.

Приоритетность принятия фидеров определялась в соответствии с чувствительностью напряжения, степенью перегрузки, вариативностью генерации из возобновляемых источников и доступной пропускной способностью фидера. Локальные наблюдения с учетом чувствительности агрегировались между агентами, после чего формировались скоординированные действия по принятию фидеров. Математическая формулировка процесса совместной оркестровки представлена в Дополнительном файле 1 (Раздел 6). Динамическая среда сети НН была развернута с совместными агентами, расположенными в регионах фидеров, точках интеграции возобновляемых источников энергии и на шинах, склонных к перегрузкам, как описано в Дополнительном файле 1 (Алгоритм 1). В каждом рабочем интервале каждый агент отслеживал локальные параметры фидера, включая амплитуду напряжения, колебания генерации из возобновляемых источников, загрузку фидера, уровень перегрузки и пропускную способность фидера для принятия.

Затем были рассчитаны показатели чувствительности к напряжению и чувствительности к перегрузкам для выявления участков сети, подверженных нестабильности напряжения или распространению перегрузок. Эти показатели были объединены в общий балл чувствительности фидера, который определял приоритетность принятия и координации фидера. Информация о локальном состоянии, уровнях перегрузок, индикаторы нестабильности напряжения и приоритеты принятия передавались между соседними агентами. На основе локальных наблюдений и совместно используемой информации каждый агент выбирал и выполнял адаптивное действие по координации. После каждого действия из динамической среды сети низкого напряжения (LV) получалась подкрепляющая обратная связь в соответствии со стабильностью фидера, снижением перегрузок, соблюдением норм напряжения и эффективностью принятия фидера. Эта обратная связь использовалась для обновления стратегии каждого агента с помощью оптимизации на основе подкрепления. Глобальная целевая функция координации одновременно обеспечивала скоординированную обратную связь для адаптивной оптимизации всей популяции агентов. Обновление стратегий продолжалось до тех пор, пока стратегии агентов не сходились к оптимальной децентрализованной стратегии координации.

8. Крупномасштабная валидация

Стратегия динамической оркестрации была валидирована с использованием набора данных FeederBW и набора данных сети распределения низкого напряжения (LV) с 236 шинами в условиях сценариев эксплуатации с высокой долей проникновения возобновляемых источников энергии. В ходе валидации оценивалась способность децентрализованной структуры оркестрации управлять динамическим приемом фидеров, прерывистостью генерации возобновляемой энергии, распространением перегрузок и нестабильностью напряжения в взаимосвязанных распределительных системах LV. Оцениваемые сценарии эксплуатации включали высокую степень проникновения возобновляемых источников энергии, изменение спроса на нагрузку, динамическое распространение перегрузок, условия чувствительности к напряжению и варьирующуюся пропускную способность приема фидеров.

Эффективность системы оценивали по таким показателям, как коэффициент принятия фидера, индекс соответствия напряжения, скорость снижения перегрузок, задержка оркестрации, скорость сходимости, эффективность децентрализованной координации и способность к интеграции возобновляемых источников энергии. Эти показатели использовались для оценки масштабируемости, отказоустойчивости, адаптивности и эффективности координации. Предложенная система сравнивалась с традиционными централизованными подходами к оркестрации фидеров при одинаковых конфигурациях сети. К методам сравнения применялись эквивалентные наборы данных, сценарии работы, условия оценки и показатели эффективности.

В таблице 2 обобщены наборы данных, условия эксплуатации, среды оркестрации и переменные производительности, использованные для экспериментальной проверки. Набор данных FeederBW применялся для оценки динамики работы фидера, перемежаемости возобновляемых источников энергии, развития перегрузок, колебаний бытовой нагрузки и колебаний напряжения в условиях фидера низкого напряжения (LV). Набор данных LV на 236 шин использовался для оценки децентрализованной оркестрации в более крупной взаимосвязанной сети. Архитектура была проверена при различных условиях генерации возобновляемой энергии, спроса на нагрузку, напряжения и перегрузок. Децентрализованная координация и оптимизация стратегий на основе обучения с подкреплением оценивались совместно по всем интеллектуальным агентам.

Для количественной оценки производительности систем возобновляемой энергии в динамических условиях эксплуатации использовались такие показатели, как коэффициент приемлемости фидера, индекс соответствия напряжения, степень снижения перегрузки, скорость сходимости и задержка оркестрации.

Экспериментальный параметр	Набор данных FeederBW	Набор данных сети низкого напряжения с 236 шинами	Цель валидации
Тип сети	Сеть низковольтных питающих линий	Масштабная распределительная сеть низкого напряжения	Оценка динамической оркестрации
Количество узлов/шин	Множественные узлы-фидеры	236 шин	Анализ масштабируемости
Интеграция возобновляемых источников энергии	ФЭВ и распределенные возобновляемые источники энергии	Шины с высокой долей проникновения возобновляемых источников энергии	Валидация неопределенности возобновляемых источников энергии
Поведение спроса на нагрузку	Динамические профили бытовой нагрузки	Крупномасштабные колебания нагрузки на фидеры	Адаптивная оркестрация нагрузки
Сценарии заторов	Состояния перегрузки и затора в фидерных линиях	Распространение заторов в многошинных сетях	Анализ мер по снижению нагрузки сети
Условия подачи напряжения	Профили колебаний напряжения	Условия шины, чувствительные к напряжению	Оценка соответствия напряжения
Интеллектуальные агенты	Распределенные агенты-фидеры	Масштабируемые коллаборативные агенты	Анализ децентрализованной координации
Образовательная среда	Оркестрация на основе обучения с подкреплением	Многоагентное адаптивное обучение	Валидация оптимизации стратегии
Условия моделирования	Динамическая переменность возобновляемых источников энергии	Крупномасштабное динамическое функционирование	тестирование оркестрации с низкой задержкой
Показатели эффективности	Коэффициент принятия, снижение перегрузки	Диапазон соответствия напряжения, скорость сходимости	Общая эффективность оркестрации

Таблица 2: Крупномасштабная экспериментальная проверка. Экспериментальные условия, использованные для оценки масштабируемости, неопределенности возобновляемых источников энергии и децентрализованной координации.

Результаты

Все эксперименты проводились пять раз с использованием различных случайных начальных значений (seeds) для снижения влияния стохастического обучения. Средние значения рассчитывались по результатам пяти запусков. Для всех методов использовались одни и те же наборы данных, параметры симуляции, гиперпараметры, критерии остановки и процедуры оценки. В качестве методов для сравнения использовались централизованное управление напряжением (Centralized Voltage Control, CVC)³, традиционное многоагентное управление (Conventional Multi-Agent Control, CMAC)²¹, регулирование напряжения на основе обучения с подкреплением (Reinforcement Learning-Based Voltage Regulation, RLVR)²⁰, координация распределенных энергетических ресурсов (Distributed Energy Resource Coordination, DERC)²⁶ и управление перегрузками на основе анализа чувствительности (Sensitivity-Based Congestion Management, SBCM)³⁴.

С помощью однофакторного дисперсионного анализа (ANOVA) было проведено статистическое сравнение предлагаемой структуры с базовыми методами (CVC, CMAC, RLVR, DERC и SBCM) независимо по каждому показателю оценки. В случаях, когда ANOVA выявлял статистически значимые различия, для попарных сравнений применялся апостериорный критерий Тьюки (HSD). Порог статистической значимости был установлен на уровне p < 0.01. Весь статистический анализ выполнялся с использованием однофакторного дисперсионного анализа с последующим проведением апостериорного теста на значимость различий там, где это было уместно. Однофакторный ANOVA проводился с использованием модуля statsmodels.stats.anova. Для проверки статистической значимости использовались окончательные значения сходимости производительности по результатам пяти отдельных симуляционных запусков для каждого подхода. Промежуточные обучающие эпизоды предназначались для визуализации процесса обучения; они не подвергались проверке на статистическую значимость.

Сбор данных

Наборы данных FeederBW и 236-bus для распределительных сетей низкого напряжения (LV) использовались для оценки предлагаемой структуры в различных взаимодополняющих условиях эксплуатации. Набор данных FeederBW содержал временные ряды с информацией о фидерах, включая напряжение, распределенную возобновляемую генерацию, спрос на нагрузку, условия перегрузки и поведение фидера при приеме мощности. Он применялся для оценки динамической работы фидеров, прерывистости возобновляемых источников энергии, колебаний бытовой нагрузки, распространения перегрузок и колебаний напряжения.

Набор данных распределительной сети низкого напряжения (Н) с 236 шинами содержал 236 взаимосвязанных шин и включал топологии фидеров, чувствительные к напряжению области, условия проникновения возобновляемых источников энергии, состояния потокораспределения и сценарии распространения перегрузок. Он использовался для оценки децентрализованной координации, адаптивного оркестрирования и масштабируемости в более крупной взаимосвязанной распределительной сети. В таблице 3 и таблице 4 обобщены условия экспериментальной проверки и среда моделирования.

Параметр валидации	Описание
Используемые наборы данных	Набор данных FeederBW и набор данных НН сети с 236 узлами
Сетевая среда	Динамическая распределительная сеть низкого напряжения с высокой долей возобновляемых источников энергии
Возобновляемые источники	Распределенные фотоэлектрические (PV) и возобновляемые генераторы
Обучающая структура	Многоагентное обучение с подкреплением (MARL)
Стратегия координации	Коллаборативная децентрализованная оркестрация
Сценарии эксплуатации	Прерывистость возобновляемых источников энергии, колебания нагрузки, распространение перегрузок
Количество интеллектуальных агентов	64 распределенных коллаборативных агентов уровня фидера
Цель валидации	Оптимизация принятия адаптивного питателя
Процесс оценки	Оркестрация в реальном времени и координация с учетом чувствительности
Сравнительный анализ	По сравнению с традиционными методами централизованной координации

Таблица 3: Параметры экологической валидации.Параметры валидации, использованные для оценки адаптивной оркестровки в динамических условиях работы при низком напряжении.

Симуляционный компонент	Конфигурация
Среда процессора	Высокопроизводительная многоядерная процессорная система
Программная среда (фреймворк)	Python 3.1.9
Обучающая модель	Многоагентное обучение с подкреплением (MARL)
Алгоритм обучения	Многоагентное обучение с подкреплением на основе Q-обучения
Архитектура нейронной сети	Полносвязная нейронная сеть с двумя скрытыми слоями (128 и 64 нейрона, функция активации ReLU)
Оптимизатор	Оптимизатор Adam
Скорость обучения (α)	0.001
Коэффициент дисконтирования (γ)	0.99
Механизм воспроизведения	Буфер воспроизведения опыта (емкость: 10 0 переходов)
Размер мини-пакета	64
Политика исследования	ε-greedy исследование (затухание ε от 1,0 до 0,01)
Обучающие эпизоды	500
Критерий остановки	Достигнуто максимальное количество эпизодов обучения или сходимость совокупного вознаграждения
Сетевое моделирование	Динамическое моделирование сети распределения низкого напряжения
Моделирование возобновляемых источников энергии	Профили переменной генерации из возобновляемых источников энергии
Координация агентов	Распределенная совместная связь
Обработка данных	Обработка состояния податчика с синхронизацией в режиме реального времени
Метод оптимизации	Адаптивное обучение стратегии на основе подкрепления
Экспериментальная платформа	Масштабное моделирование с использованием набора данных FeederBW и набора данных сети распределения низкого напряжения с 236 шинами
Мониторинг производительности	коэффициент принятия фидеров (FAR), индекс соответствия напряжения (VCI), скорость снижения перегрузок (CRR), задержка оркестрации (OL), скорость сходимости (CS) и эффективность децентрализованной координации (DCE)
Вес вознаграждения (β)	0.3
Вес вознаграждения (δ)	0.25
Вес целевой функции (ω₁)	0.30 (Принятие фидерными клетками)
Вес критерия (ω₂)	0.25 (Снижение застойных явлений)
Вес целевой функции (ω₃)	0,25 (соответствие напряжения)
Вес критерия (ω₄)	0,20 (задержка оркестрации)
Скорость обучения стратегии (η)	0.001
Регуляризация / Параметр балансировки (λ)	0.1

Таблица 4: Среда моделирования. Настройки моделирования, использованные в экспериментах по оркестровке подачи корма на основе обучения с подкреплением.

Предобработка данных

Синхронизированные и нормализованные данные обеспечили возможность последовательного сравнения предлагаемой структуры и базовых методов. Во всех оценках использовались одни и те же предварительно обработанные состояния фидеров, профили возобновляемой генерации, условия спроса на нагрузку, условия напряжения и сценарии перегрузок. Такая общая структура входных данных позволила свести к миниму различия, вызванные подготовкой набора данных, и соотнести наблюдаемые различия в производительности с оцениваемыми методами оркестрации.

Динамическое моделирование сетей низкого напряжения

Динамическая модель сети низкого напряжения (LV) отражала изменения в генерации из возобновляемых источников, потребительском спросе, условиях напряжения, нагрузке на фидер и распространении заторов. В этих условиях предложенная структура обеспечивала приемлемую работу фидера, реагируя на рабочие состояния, чувствительные к напряжению и заторам. Модель позволяла проводить оценку в условиях колебаний генерации из возобновляемых источников, изменения потребительских нагрузок и состояний сети, склонных к заторам. Во всех этих условиях совместные агенты осуществляли приоритизацию фидеров, координацию в зависимости от напряжения, смягчение последствий заторов и интеграцию возобновляемых источников энергии без централизованного управления.

Инициализация многоагентной среды

Децентрализованная организация агентов обеспечивала локальное наблюдение и скоординированное принятие решений в районах питания и в узлах сети. Агенты обменивались информацией о состоянии питающих линий и показателями чувствительности с соседними агентами, независимо выбирая действия по оркестрации. Наблюдаемое координированное поведение показало, что распределенная организация обеспечивала приоритетность питания, координацию нагрузки, регулирование напряжения и реагирование на перегрузки. Децентрализованная конфигурация также снизила зависимость от единого центрального контроллера и обеспечила скоординированную работу во всей более крупной сети из 236 шин.

Обучение агента на основе подкрепления

В течение периода обучения стратегия, основанная на обучении с подкреплением, демонстрировала улучшение показателей принятия фидеров, соблюдения уровней напряжения, снижения перегрузок, задержки оркестрации и скорости сходимости. На рисунке 3 приведено сравнение коэффициента принятия фидеров (FAR) предложенной структуры с CVC, CMAC, RLVR, DERC и SBCM. Метод CVC показал самый низкий FAR, который увеличился с 62% до 70%. CMAC и DERC достигли максимальных значений FAR 75% и 78% соответственно. RLVR и SBCM достигли 83% и 81% соответственно. В предложенной структуре FAR увеличился с 72% на ранней стадии обучения до 97% на поздней стадии. Этот результат показал, что процесс совместного обучения с подкреплением обеспечил адаптивное принятие фидеров в условиях неопределенности возобновляемых источников энергии и изменяющихся условий работы сетей низкого напряжения (LV).

Рисунок 3: Коэффициент принятия кормовых клеток (FAR). Сравнение FAR между предлагаемой структурой и базовыми методами координации фидеров. Значения представлены в виде среднего значения ± SD путем сравнения предлагаемой структуры с каждым базовым методом в пяти независимых симуляциях. Статистическая значимость оценивалась при p < 0,01 с 95% доверительными интервалами. Сокращения: FAR — коэффициент принятия фидеров (Feeder Acceptance Rate); CVC — централизованное управление напряжением (Centralized Voltage Control); CMAC — традиционное многоагентное управление (Conventional Multi-Agent Control); RLVR — регулирование напряжения на основе обучения с подкреплением (Reinforcement Learning-Based Voltage Regulation); DERC — координация распределенных энергетических ресурсов (Distributed Energy Resource Coordination); SBCM — управление перегрузками на основе анализа чувствительности (Sensitivity-Based Congestion Management). Пожалуйста, нажмите здесь, чтобы просмотреть эту фигуру в большем размере.

Рисунок 4 демонстрирует индекс соответствия напряжения (VCI). Показатель CVC увеличился с 70% до 7%, в то время как CMAC и DERC достигли примерно 81% и 84% соответственно. RLVR и SBCM достигли 8% и 86% соответственно. Предложенная структура показала рост с 78% на ранних этапах обучения до примерно 98% при сходимости. Более высокий VCI указывает на то, что предложенный подход более эффективно поддерживал соответствие напряжения по сравнению с сопоставимыми методами в условиях прерывистой генерации из возобновляемых источников и меняющегося спроса на нагрузку.

Рисунок 4: Индекс соответствия напряжения (VCI). Сравнительный анализ VCI в динамических условиях работы при низком напряжении. Значения представлены как среднее ± SD при сравнении предлагаемой структуры с каждым базовым методом по результатам пяти независимых симуляционных прогонов; 95% доверительные интервалы и статистическая значимость оценивались при p < 0.001. Сокращения: VCI, индекс соответствия напряжения; CVC, централизованное управление напряжением; CMAC, традиционное многоагентное управление; RLVR, регулирование напряжения на основе обучения с подкреплением; DERC, координация распределенных энергетических ресурсов; SBCM, управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть эту фигуру в большем размере.

Тепловая карта VCI на Рисунке 5 демонстрирует динамику соблюдения допустимого напряжения в ходе эпизодов обучения. Предложенная структура позволила достичь значений от 95% до 98% на более поздних итерациях. Показатель CVC оставался в диапазоне от 70% до 7%, в то время как RLVR и SBCM достигли примерно 8% и 86% соответственно. Таким образом, тепловая карта показала, что предложенная структура обеспечила наилучшие показатели соблюдения допустимого напряжения на поздних этапах обучения.

Рисунок 5: Тепловая карта индекса соответствия напряжения (VCI). Тепловая карта, демонстрирующая эффективность VCI в зависимости от итераций обучения и методов координации питающих линий. Цветовая шкала отражает величину индекса соответствия напряжения (VCI), при этом более светлые тона соответствуют более низким значениям VCI, а более темные — более высоким значениям VCI. Сокращения: VCI — индекс соответствия напряжения; CVC — централизованное управление напряжением; CMAC — традиционное многоагентное управление; RLVR — регулирование напряжения на основе обучения с подкреплением; DERC — координация распределенных энергетических ресурсов; SBCM — управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Таблица 5 представляет показатели скорости снижения заторов (CRR). Значение CVC увеличилось с 48% до 63%. Показатели CMAC и DERC достигли примерно 73% и 75% соответственно, в то время как RLVR достиг 80%, а SBCM — 82%. Предложенная структура показала рост с 64% в начале обучения до примерно 96% после сходимости. Относительно конечных значений сравниваемых методов, предложенная структура улучшила CRR примерно на 3% по сравнению с CVC, на 23% — с CMAC, на 16% — с RLVR, на 21% — с DERC и на 14% — с SBCM. Эти наблюдения показали, что политика совместной оркестрации снижает распространение заторов более эффективно, чем централизованные, традиционные многоагентные, методы регулирования напряжения, распределения ресурсов и методы, основанные на чувствительности. Рисунок 6 сравнивает задержку оркестрации (OL). Сообщаемая задержка оркестрации соответствует измеренному реальному времени выполнения, которое потребовалось предложенному алгоритму оркестрации во время моделирования на указанной аппаратной платформе. Её не следует интерпретировать как физическое время работы развернутой распределительной сети. Предложенная структура сократила OL с 20 ms до 98 ms. При сходимости CVC, CMAC, RLVR, DERC и SBCM продемонстрировали задержки 283 ms, 253 ms, 215 ms, 242 ms и 205 ms соответственно. Таким образом, предложенная структура сократила задержку примерно на 65%, 61%, 54%, 59% и 52% относительно CVC, CMAC, RLVR, DERC и SBCM соответственно. Более низкая задержка указывает на то, что децентрализованное взаимодействие позволило быстрее принимать решения по оркестрации фидеров.

Итерация обучения	ЖЕЛ (%)(Среднее ± СО)	CMAC (%) (среднее значение ± SD)	RLVR (%)(Среднее ± SD)	DERC (%), (Среднее ± SD)	SBCM (%)(Среднее ± SD)	Предлагаемый метод (%) (Среднее ± SD)
1	48.0 ± 0.5	52.0 ± 0.5	56.0 ± 0.4	54.0 ± 0.5	58.0 ± 0.4	64.0 ± 0.3
2	50.0 ± 0.5	54.0 ± 0.5	59.0 ± 0.4	56.0 ± 0.5	61.0 ± 0.4	68.0 ± 0.3
3	52.0 ± 0.5	57.0 ± 0.4	62.0 ± 0.4	59.0 ± 0.5	64.0 ± 0.4	72.0 ± 0.3
4	54.0 ± 0.4	60.0 ± 0.4	65.0 ± 0.4	62.0 ± 0.4	67.0 ± 0.4	76.0 ± 0.2
5	56.0 ± 0.4	62.0 ± 0.4	68.0 ± 0.3	64.0 ± 0.4	70.0 ± 0.3	80.0 ± 0.2
6	58.0 ± 0.4	65.0 ± 0.4	71.0 ± 0.3	67.0 ± 0.4	73.0 ± 0.3	84.0 ± 0.2
7	60.0 ± 0.4	67.0 ± 0.4	74.0 ± 0.3	69.0 ± 0.3	76.0 ± 0.3	87.0 ± 0.2
8	61.0 ± 0.4	69.0 ± 0.3	76.0 ± 0.3	71.0 ± 0.3	78.0 ± 0.3	90.0 ± 0.2
9	62.0 ± 0.4	71.0 ± 0.3	78.0 ± 0.3	73.0 ± 0.3	80.0 ± 0.3	93.0 ± 0.2
10	63.0 ± 0.4	73.0 ± 0.3	80.0 ± 0.3	75.0 ± 0.3	82.0 ± 0.3	96.0 ± 0.2

Таблица 5: Коэффициент снижения перегрузки (CRR): Среднее значение ± SD коэффициента снижения перегрузки (CRR) по результатам пяти независимых симуляционных прогонов при сравнении предлагаемой структуры с базовыми методами оркестрации фидеров. Сокращения: CRR, коэффициент снижения перегрузки; CVC, централизованное управление напряжением; CMAC, традиционное многоагентное управление; RLVR, регулирование напряжения на основе обучения с подкреплением; DERC, координация распределенных энергетических ресурсов; SBCM, управление перегрузками на основе чувствительности.

Рисунок 6: Задержка оркестрации (OL). Сравнительный анализ задержки оркестрации при адаптивной децентрализованной координации фидеров. Значения представлены как среднее ± стандартное отклонение (SD) путем сравнения предлагаемой структуры с каждым базовым методом на основе пяти независимых симуляционных прогонов; 95-процентные доверительные интервалы и статистическая значимость оценивались при p < 0.001. Сокращения: OL — задержка оркестрации; CVC — централизованное управление напряжением; CMAC — традиционное многоагентное управление; RLVR — регулирование напряжения на основе обучения с подкреплением; DERC — координация распределенных энергетических ресурсов; SBCM — управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть эту фигуру в увеличенном размере.

Рисунок 7 демонстрирует скорость сходимости (CS). Показатель CVC увеличился с 42% до 67% после 20 эпизодов обучения. CMAC и DERC достигли примерно 74% и 79% соответственно. RLVR достиг 87%, а SBCM — примерно 90%. Предложенная структура показала рост с 58% в первом эпизоде до 98,5% при сходимости, превысив 93% к десятому эпизоду. Предложенная структура улучшила конечные показатели сходимости на 31,5% по сравнению с CVC, на 24,5% по сравнению с CMAC, на 1,5% по сравнению с RLVR, на 19,5% по сравнению с DERC и на 8,5% по сравнению с SBCM. Эти результаты показали, что предложенная стратегия достигла стабильной производительности оркестрации быстрее, чем методы сравнения.

Рисунок 7: Скорость сходимости (CS). Кривые сходимости, демонстрирующие эффективность адаптивного обучения и скорость сходимости оркестрации для оцениваемых методов. Сокращения: CS — скорость сходимости; CVC — централизованное управление напряжением; CMAC — традиционное многоагентное управление; RLVR — регулирование напряжения на основе обучения с подкреплением; DERC — координация распределенных энергетических ресурсов; SBCM — управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Коллаборативная оркестровка принятия решений и адаптивная оптимизация решений с низкой задержкой

Рисунок 8 представляет эффективность децентрализованной координации (DCE). CVC показал самый низкий уровень DCE — 68%. CMAC достиг 75%, DERC — 79%, RLVR — 84%, а SBCM — 8%. Предложенная структура достигла DCE 97%. Предложенная структура превзошла CVC на 29 процентных пунктов, CMAC — на 2 процентных пункта, RLVR — на 13 процентных пунктов, DERC — на 18 процентных пунктов и SBCM — на 9 процентных пунктов. Этот результат показал, что локальный обмен информацией, координация соседних агентов и децентрализованная оптимизация стратегии обеспечивают более эффективную координацию, чем методы сравнения.

Рисунок 8: Эффективность децентрализованной координации (DCE). Сравнительный анализ DCE в процессе взаимодействия интеллектуальных агентов. Значения представлены как среднее ± SD при сравнении предлагаемой структуры с каждым базовым методом в пяти независимых симуляционных запусках; 95%-ные доверительные интервалы и статистическая значимость оценивались при p < 0.001. Сокращения: DCE, эффективность децентрализованной координации; CVC, централизованное управление напряжением; CMAC, традиционное многоагентное управление; RLVR, регулирование напряжения на основе обучения с подкреплением; DERC, координация распределенных энергетических ресурсов; SBCM, управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть этот рисунок в более крупном масштабе.

Рисунок 9 и Таблица 6 представляют возможность размещения возобновляемых источников энергии (Renewable Accommodation Capability, RAC). Показатель CVC увеличился с 52% до 63%. CMAC и DERC достигли приблизительно 72% и 76% соответственно. RLVR достиг приблизительно 83%, а SBCM — 86%. Предложенная структура показала рост с 70% в начале обучения до 97% при сходимости. Предложенная структура превзошла CVC на 34 процентных пункта, CMAC — на 25 процентных пунктов, RLVR — на 14 процентных пунктов, DERC — на 21 процентный пункт и SBCM — на 1 процентных пунктов. Эти результаты показали, что предложенный подход к оркестрации обеспечил размещение большей доли возобновляемой генерации при сохранении работоспособности фидера, стабильности напряжения и контроля перегрузок.

Рисунок 9: Способность к восполнению жилья (Renewable Accommodation Capability, RAC). Сравнительный анализ RAC в фидерных системах с высокой долей возобновляемых источников энергии. Значения представлены как среднее ± SD путем сравнения предлагаемой структуры с каждым базовым методом в пяти независимых симуляционных запусках; 95-процентные доверительные интервалы и статистическая значимость оценивались при p < 0.001. Аббревиатуры: RAC, возможность возобновляемого размещения; CVC, централизованное управление напряжением; CMAC, традиционное многоагентное управление; RLVR, регулирование напряжения на основе обучения с подкреплением; DERC, координация распределенных энергетических ресурсов; SBCM, управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Итерация обучения	ЖЕЛ (%) (Среднее ± СО)	CMAC (%) (среднее ± SD)	RLVR (%) (Среднее ± SD)	DERC (%) (Среднее ± СКО)	SBCM (%) (Среднее ± СКО)	Предлагаемый метод (%) (Среднее значение ± СКО)
1	52.0 ± 0.5	58.0 ± 0.5	64.0 ± 0.4	60.0 ± 0.5	66.0 ± 0.4	70.0 ± 0.3
2	54.0 ± 0.5	60.0 ± 0.5	67.0 ± 0.4	62.0 ± 0.5	69.0 ± 0.4	74.0 ± 0.3
3	55.0 ± 0.4	62.0 ± 0.4	70.0 ± 0.4	64.0 ± 0.4	72.0 ± 0.4	78.0 ± 0.3
4	57.0 ± 0.4	64.0 ± 0.4	73.0 ± 0.3	66.0 ± 0.4	75.0 ± 0.3	82.0 ± 0.2
5	58.0 ± 0.4	66.0 ± 0.4	75.0 ± 0.3	68.0 ± 0.4	77.0 ± 0.3	86.0 ± 0.2
6	59.0 ± 0.4	67.0 ± 0.4	77.0 ± 0.3	70.0 ± 0.3	79.0 ± 0.3	89.0 ± 0.2
7	60.0 ± 0.4	68.0 ± 0.3	79.0 ± 0.3	72.0 ± 0.3	81.0 ± 0.3	91.0 ± 0.2
8	61.0 ± 0.4	69.0 ± 0.3	80.0 ± 0.3	73.0 ± 0.3	83.0 ± 0.3	93.0 ± 0.2
9	62.0 ± 0.4	70.0 ± 0.3	81.0 ± 0.3	74.0 ± 0.3	84.0 ± 0.3	95.0 ± 0.2
10	63.0 ± 0.4	72.0 ± 0.3	83.0 ± 0.3	76.0 ± 0.3	86.0 ± 0.3	97.0 ± 0.2

Таблица 6: Способность к интеграции возобновляемых источников энергии (RAC): Среднее значение ± SD способности к интеграции возобновляемых источников энергии (RAC) по результатам пяти независимых симуляционных прогонов при сравнении предлагаемой структуры с базовыми методами оркестрации фидеров. Сокращения: RAC, Renewable Accommodation Capability (способность к интеграции возобновляемых источников энергии); CVC, Centralized Voltage Control (централизованное управление напряжением); CMAC, Conventional Multi-Agent Control (традиционное многоагентное управление); RLVR, Reinforcement Learning-Based Voltage Regulation (регулирование напряжения на основе обучения с подкреплением); DERC, Distributed Energy Resource Coordination (координация распределенных энергетических ресурсов); SBCM, Sensitivity-Based Congestion Management (управление перегрузками на основе чувствительности).

Оценка чувствительности к напряжению и перегрузке

Рисунок 10 представляет стабильность чувствительности к напряжению (VSS). Показатель CVC увеличился с 60% до 69%. CMAC и DERC достигли примерно 76% и 78% соответственно, в то время как RLVR достиг 84%. Показатель предлагаемой структуры увеличился с 74% на ранних этапах обучения до 98% после сходимости. Предлагаемая структура превзошла CVC на 29 процентных пунктов, CMAC — на 2 процентных пункта, RLVR — на 14 процентных пунктов, DERC — на 20 процентных пунктов и SBCM — на 12 процентных пунктов. Эти результаты показали, что структура с учетом чувствительности обеспечила более высокую производительность фидера, чувствительного к напряжению, в условиях прерывистости возобновляемых источников энергии, переменного спроса на нагрузку и динамических заторов.

Рисунок 10: Стабильность вольтажной чувствительности (VSS). Сравнительный анализ стабильности чувствительности к напряжению в процессе адаптивной оркестровки фидеров с учетом напряжения. Значения представлены в виде среднего ± стандартного отклонения (SD) при сравнении предлагаемой структуры с каждым из базовых методов в пяти независимых сериях симуляций; 95% доверительные интервалы и статистическая значимость оценивались при p < 0.001. Аббревиатуры: VSS — стабильность чувствительности к напряжению; CVC — централизованное управление напряжением; CMAC — традиционное многоагентное управление; RLVR — регулирование напряжения на основе обучения с подкреплением; DERC — координация распределенных энергетических ресурсов; SBCM — управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 1 представляет индекс чувствительности к заторам (CSI). Показатель CVC увеличился с 52% до 63%. CMAC и DERC достигли 72% и 76% соответственно. RLVR достиг примерно 83%, а SBCM — примерно 86%. Эффективность предлагаемой структуры выросла с 72% на ранних этапах обучения до примерно 98% к концу обучения. Предлагаемая структура превзошла CVC примерно на 35 процентных пунктов, CMAC — на 26 процентных пунктов, RLVR — на 15 процентных пунктов, DERC — на 2 процентных пункта и SBCM — на 12 процентных пунктов. Тепловая карта показала, что предлагаемый подход обеспечивал наивысшую чувствительность к заторам на более поздних этапах обучения.

Рисунок 11: Тепловая карта индекса чувствительности к заторам (CSI). Тепловая карта, демонстрирующая показатели чувствительности к перегрузкам на различных этапах обучения и при использовании различных методов координации фидеров. Цветовая шкала отражает величину индекса чувствительности к заторам (CSI), где более светлые цвета соответствуют более низким значениям CSI, а более темные — более высоким. Сокращения: CSI, индекс чувствительности к перегрузкам; CVC, централизованное управление напряжением; CMAC, традиционное многоагентное управление; RLVR, регулирование напряжения на основе обучения с подкреплением; DERC, координация распределенных энергетических ресурсов; SBCM, управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Масштабная валидация

Рисунок 12 и Таблица 7 представлен индекс стабильности фидера (FSI). Среднее значение FSI для CVC составило 64,7%, тогда как для CMAC и DERC средние показатели составили 72,5% и 76,0% соответственно. RLVR обеспечил средний FSI на уровне 81,5%. Предложенная архитектура достигла показателей в 97% по стабильности напряжения, 96% по управлению перегрузками, 95% по потенциалу интеграции возобновляемых источников энергии, 94% по эффективности балансировки нагрузки, 98% по эффективности координации и 97% по скорости отклика. Эти значения отдельных компонентов обеспечили средний FSI примерно 96,2%. Предложенная архитектура улучшила средний FSI примерно на 31,5 процентного пункта по сравнению с CVC, на 23,7 процентного пункта по сравнению с CMAC, на 14,7 процентного пункта по сравнению с RLVR, на 20,2 процентного пункта по сравнению с DERC и на 1,7 процентного пункта по сравнению с SBCM. Сбалансированные значения компонентов показали, что архитектура сохраняет производительность по таким параметрам, как стабильность напряжения, управление перегрузками, интеграция возобновляемых источников энергии, балансировка нагрузки, эффективность координации и скорость отклика. Для каждого цикла моделирования общее значение FSI определялось как среднее арифметическое шести компонентов производительности: стабильности напряжения, управления перегрузками, интеграции возобновляемых источников энергии, балансировки нагрузки, эффективности координации и скорости отклика. Для расчета указанного среднего значения и стандартного отклонения использовались результаты пяти отдельных циклов моделирования.

Рисунок 12: Индекс стабильности фидерного слоя (FSI). Сравнение индекса стабильности фидера (Feeder Stability Index) для предлагаемой структуры и базовых методов на лепестковой диаграмме по шести показателям эффективности: стабильность напряжения, контроль перегрузок, интеграция возобновляемых источников энергии, балансировка нагрузки, эффективность координации и скорость отклика. Более высокие значения указывают на более высокую эффективность по каждому показателю. Сокращения: FSI, индекс стабильности фидерных линий; CVC, централизованное управление напряжением; CMAC, традиционное многоагентное управление; RLVR, регулирование напряжения на основе обучения с подкреплением; DERC, координация распределенных энергетических ресурсов; SBCM, управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Параметр оценки	ЖЕЛ (%), (Среднее ± СО)	CMAC (%) (Среднее ± SD)	RLVR (%) (среднее ± SD)	DERC (%) (Среднее ± СКО)	SBCM (%) (среднее ± SD)	Предлагаемый метод (%) (среднее значение ± стандартное отклонение)
Устойчивость напряжения	68.0 ± 0.6	74.0 ± 0.5	82.0 ± 0.4	77.0 ± 0.5	86.0 ± 0.3	97.0 ± 0.2
Управление перегрузками	64.0 ± 0.6	71.0 ± 0.5	79.0 ± 0.4	74.0 ± 0.5	84.0 ± 0.3	96.0 ± 0.2
Интеграция возобновляемых источников энергии	62.0 ± 0.5	70.0 ± 0.5	81.0 ± 0.4	76.0 ± 0.4	83.0 ± 0.3	95.0 ± 0.2
Балансировка нагрузки	66.0 ± 0.5	73.0 ± 0.4	80.0 ± 0.4	75.0 ± 0.4	82.0 ± 0.3	94.0 ± 0.2
Эффективность координации	65.0 ± 0.5	75.0 ± 0.4	83.0 ± 0.3	78.0 ± 0.4	87.0 ± 0.3	98.0 ± 0.2
Скорость отклика	63.0 ± 0.5	72.0 ± 0.4	84.0 ± 0.3	76.0 ± 0.4	85.0 ± 0.3	97.0 ± 0.2
Средний показатель FSI	64.7 ± 0.5	72.5 ± 0.5	81.5 ± 0.4	76.0 ± 0.4	84.5 ± 0.3	96.2 ± 0.2

Таблица 7: Индекс стабильности фидера (FSI): Среднее значение ± SD индекса стабильности фидера (FSI) по результатам пяти независимых симуляционных запусков на основе показателей стабильности напряжения, контроля перегрузок, интеграции возобновляемых источников энергии, балансировки нагрузки, эффективности координации и скорости отклика. Аббревиатуры: FSI — индекс стабильности фидера; CVC — централизованное управление напряжением; CMAC — традиционное многоагентное управление; RLVR — регулирование напряжения на основе обучения с подкреплением; DERC — координация распределенных энергетических ресурсов; SBCM — управление перегрузками на основе анализа чувствительности.

Рисунок 13 представляет эффективность балансировки нагрузки (LBE). CVC достиг общего показателя LBE приблизительно 68%, что включает 42% сбалансированного распределения нагрузки, 18% умеренной стабильности нагрузки и 8% динамической адаптивной балансировки. CMAC и DERC достигли общих значений примерно 80% и 86% соответственно. RLVR достиг приблизительно 92%, а SBCM — приблизительно 96%. Предложенная структура обеспечила общий показатель LBE приблизительно 98%, что включает 72% сбалансированного распределения нагрузки, 20% умеренной стабильности нагрузки и 6% динамической адаптивной балансировки. Этот результат показал, что предложенный подход обеспечил наивысшую общую производительность балансировки нагрузки среди оцениваемых методов.

Рисунок 13: Эффективность балансировки нагрузки (LBE). Сравнение эффективности балансировки нагрузки для предлагаемой структуры и базовых методов в виде гистограммы с накоплением. Каждый столбец состоит из трех компонентов производительности: Сбалансированное распределение нагрузки, Стабильность при умеренной нагрузке, и Динамическая адаптивная балансировка, суммарные значения которых представляют собой общий показатель LBE для каждого метода. Более высокие общие значения указывают на более эффективную балансировку нагрузки.. Сокращения: LBE, эффективность балансировки нагрузки; CVC, централизованное управление напряжением; CMAC, традиционное многоагентное управление; RLVR, регулирование напряжения на основе обучения с подкреплением; DERC, координация распределенных энергетических ресурсов; SBCM, управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть данное изображение в более крупном размере.

Рисунок 14 представлена эффективность использования возобновляемых источников энергии (RUE). Показатель CVC увеличился с 50% до 61%. Показатели CMAC и DERC достигли 70% и 75% соответственно. Показатель RLVR достиг 82%, а SBCM — 86%. Эффективность предлагаемой структуры увеличилась с 72% на ранних этапах обучения до приблизительно 98% при сходимости. Предлагаемая структура превзошла CVC примерно на 37 процентных пунктов, CMAC — на 28 процентных пунктов, RLVR — на 16 процентных пунктов, DERC — на 23 процентных пункта и SBCM — на 12 процентных пунктов. Более высокий показатель RUE продемонстрировал, что предлагаемая политика оркестрации использовала большую долю доступной генерации из возобновляемых источников в условиях изменяющейся нагрузки и перегрузок сети.

Рисунок 14: Эффективность использования возобновляемых ресурсов (RUE). Сравнительный анализ эффективности использования ресурсов (RUE) при оркестрации фидеров низкого напряжения. Значения представлены как среднее ± стандартное отклонение (SD) при сравнении предлагаемой структуры с каждым базовым методом в пяти независимых симуляционных запусках; 95-процентные доверительные интервалы и статистическая значимость оценивались при p < 0.001Сокращения: RUE — эффективность использования возобновляемых источников энергии; CVC — централизованное управление напряжением; CMAC — традиционное многоагентное управление; RLVR — регулирование напряжения на основе обучения с подкреплением; DERC — координация распределенных энергетических ресурсов; SBCM — управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть этот рисунок в большем размере.

Рисунок 15 и Таблица 8 представляют точность адаптивного принятия решений (Adaptive Decision Accuracy, ADA). Показатель предложенной структуры увеличился с 78% до 9%. CVC, CMAC, RLVR, DERC и SBCM сошлись к значениям 68%, 76%, 86%, 79% и 8% соответственно. Предложенная структура превзошла CVC примерно на 31 процентный пункт, CMAC — на 23 процентных пункта, RLVR — на 13 процентных пунктов, DERC — на 20 процентных пунктов и SBCM — на 1 процентных пунктов. Более высокая ADA указывает на то, что коллаборативные агенты принимали более точные решения по оркестрации в условиях эксплуатации LV с высоким содержанием возобновляемых источников энергии.

Рисунок 15: Точность адаптивного принятия решений (ADA). Сравнительный анализ ADA для предлагаемой структуры оркестрации и базовых методов. Значения представлены как среднее ± SD путем сравнения предлагаемой структуры с каждым базовым методом в пяти независимых симуляционных запусках; 95-процентные доверительные интервалы и статистическая значимость оценивались при p < 0.001. Сокращения: ADA — адаптивная точность принятия решений; CVC — централизованное управление напряжением; CMAC — традиционное многоагентное управление; RLVR — регулирование напряжения на основе обучения с подкреплением; DERC — координация распределенных энергетических ресурсов; SBCM — управление перегрузками на основе анализа чувствительности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Эпоха обучения	ЖЕЛ (%) (Среднее ± СКО)	CMAC (%) (Среднее ± SD)	RLVR (%) (Среднее ± SD)	DERC (%) (Среднее ± СКО)	SBCM (%) (Среднее ± СКО)	Предлагаемый метод (%) (среднее ± SD)
1	58.0 ± 0.5	64.0 ± 0.5	70.0 ± 0.4	66.0 ± 0.5	72.0 ± 0.4	78.0 ± 0.3
2	60.0 ± 0.5	66.0 ± 0.5	73.0 ± 0.4	68.0 ± 0.5	75.0 ± 0.4	82.0 ± 0.3
3	61.0 ± 0.4	68.0 ± 0.4	76.0 ± 0.4	70.0 ± 0.4	78.0 ± 0.4	86.0 ± 0.2
4	62.0 ± 0.4	70.0 ± 0.4	78.0 ± 0.3	72.0 ± 0.4	80.0 ± 0.3	89.0 ± 0.2
5	63.0 ± 0.4	71.0 ± 0.4	80.0 ± 0.3	74.0 ± 0.4	82.0 ± 0.3	91.0 ± 0.2
6	64.0 ± 0.4	72.0 ± 0.4	82.0 ± 0.3	75.0 ± 0.3	84.0 ± 0.3	93.0 ± 0.2
7	65.0 ± 0.4	73.0 ± 0.3	83.0 ± 0.3	76.0 ± 0.3	85.0 ± 0.3	95.0 ± 0.2
8	66.0 ± 0.4	74.0 ± 0.3	84.0 ± 0.3	77.0 ± 0.3	86.0 ± 0.3	96.0 ± 0.2
9	67.0 ± 0.4	75.0 ± 0.3	85.0 ± 0.3	78.0 ± 0.3	87.0 ± 0.3	97.0 ± 0.2
10	68.0 ± 0.4	76.0 ± 0.3	86.0 ± 0.3	79.0 ± 0.3	88.0 ± 0.3	99.0 ± 0.2

Таблица 8: Точность адаптивного принятия решений (ADA): Среднее значение ± SD точности адаптивного принятия решений (ADA) по результатам пяти независимых симуляционных запусков при сравнении предлагаемой структуры интеллектуальной оркестровки фидеров с базовыми методами. Сокращения: ADA, точность адаптивного принятия решений; CVC, централизованное регулирование напряжения; CMAC, традиционное многоагентное управление; RLVR, регулирование напряжения на основе обучения с подкреплением; DERC, координация распределенных энергетических ресурсов; SBCM, управление перегрузками на основе анализа чувствительности.

В таблице 9 представлены данные по повышению надежности системы (SRI). Показатель CVC увеличился с 60% до 69%. CMAC достиг примерно 78%, DERC — примерно 81%, RLVR — примерно 86%, а SBCM — примерно 8%. Показатель предлагаемой структуры увеличился с 80% на начальном этапе обучения до примерно 9% при сходимости. Предлагаемая структура превзошла CVC примерно на 30 процентных пунктов, CMAC — на 21 процентный пункт, RLVR — на 13 процентных пунктов, DERC — на 18 процентных пунктов и SBCM — на 1 процентных пунктов. Более высокий показатель SRI продемонстрировал, что предлагаемая структура более эффективно обеспечивает непрерывность питания фидеров, стабильность напряжения, контроль перегрузок и адаптивную интеграцию возобновляемых источников энергии по сравнению с методами сопоставления.

Итерация обучения	ЖЕЛ (%), (Среднее ± SD)	CMAC (%) (среднее ± SD)	RLVR (%) (Среднее ± SD)	DERC (%) (среднее ± SD)	СБСМ (%) (Среднее ± SD)	Предлагаемый метод (%) (Среднее ± SD)
1	60.0 ± 0.5	66.0 ± 0.5	72.0 ± 0.4	68.0 ± 0.5	75.0 ± 0.4	80.0 ± 0.3
2	61.0 ± 0.5	68.0 ± 0.5	74.0 ± 0.4	70.0 ± 0.5	77.0 ± 0.4	84.0 ± 0.3
3	62.0 ± 0.4	70.0 ± 0.4	76.0 ± 0.4	72.0 ± 0.4	79.0 ± 0.4	87.0 ± 0.2
4	63.0 ± 0.4	72.0 ± 0.4	78.0 ± 0.3	74.0 ± 0.4	81.0 ± 0.3	90.0 ± 0.2
5	64.0 ± 0.4	73.0 ± 0.4	80.0 ± 0.3	76.0 ± 0.4	83.0 ± 0.3	92.0 ± 0.2
6	65.0 ± 0.4	74.0 ± 0.4	82.0 ± 0.3	77.0 ± 0.3	84.0 ± 0.3	94.0 ± 0.2
7	66.0 ± 0.4	75.0 ± 0.3	83.0 ± 0.3	78.0 ± 0.3	85.0 ± 0.3	95.0 ± 0.2
8	67.0 ± 0.4	76.0 ± 0.3	84.0 ± 0.3	79.0 ± 0.3	86.0 ± 0.3	96.0 ± 0.2
9	68.0 ± 0.4	77.0 ± 0.3	85.0 ± 0.3	80.0 ± 0.3	87.0 ± 0.3	97.0 ± 0.2
10	69.0 ± 0.4	78.0 ± 0.3	86.0 ± 0.3	81.0 ± 0.3	88.0 ± 0.3	99.0 ± 0.2

Таблица 9: Повышение надежности системы (SRI): Среднее значение ± SD показателя повышения надежности системы (SRI) по результатам пяти независимых сеансов моделирования в условиях низковольтных распределительных сетей с высокой долей возобновляемых источников энергии. Сокращения: SRI — повышение надежности системы; CVC — централизованное управление напряжением; CMAC — традиционное многоагентное управление; RLVR — регулирование напряжения на основе обучения с подкреплением; DERC — координация распределенных энергетических ресурсов; SBCM — управление перегрузками на основе анализа чувствительности.

Предложенная структура была протестирована при различных условиях генерации возобновляемой энергии, спроса на нагрузку, напряжения и перегрузки с использованием наборов данных FeederBW и LV на 236 шин. Были оценены приемлемость фидера, соответствие напряжения, снижение перегрузки, задержка оркестрации, скорость сходимости, децентрализованная координация, адаптация возобновляемых источников, чувствительность напряжения, чувствительность к перегрузкам, стабильность фидера, балансировка нагрузки, использование возобновляемых источников, точность принятия решений и надежность системы.

По всем этим показателям предлагаемая структура обеспечила самые высокие конечные значения для FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA и SRI, и самое низкое значение OL. Поскольку базовые методы оценивались на одних и тех же наборах данных, рабочих сценариях, в одной среде моделирования, при одинаковых критериях остановки и метриках оценки, данные сравнения подтвердили гипотезу о том, что совместное многоагентное обучение с подкреплением в сочетании с оценкой чувствительности к напряжению и перегрузкам улучшает адаптивный прием фидеров по сравнению с рассмотренными централизованными и распределенными методами сравнения.

Результаты показали, что стратегия динамической оркестрации (Dynamic Orchestration Strategy) улучшила показатели принятия фидера, соответствия напряжения, снижения перегрузок, интеграции возобновляемых источников энергии, балансировки нагрузки, децентрализованной координации, точности принятия решений и надежности системы, одновременно сократив задержку оркестрации. Данная структура также сходилась быстрее, чем методы сравнения. В условиях оцениваемого моделирования эти результаты подтвердили выдвинутую гипотезу о том, что совместное, чувствительное к изменениям децентрализованное обучение с подкреплением может улучшить оркестрацию низковольтных фидеров в условиях неопределенности генерации из возобновляемых источников, а также изменяющихся условий нагрузки и перегрузок.

ДОСТУПНОСТЬ ДАННЫХ:

Набор данных FeederBW доступен в открытом доступе по адресу https://doi.org/10.5281/zenodo.1783177, а набор данных сети распределения низкого напряжения на 236 шин доступен в открытом доступе по адресу https://doi.org/10.5281/zenodo.8274780. Реализация на языке Python, разработанная для данного исследования, вместе с платформой для моделирования, модулями предварительной обработки, средой многоагентного обучения с подкреплением, скриптами обучения и оценки моделей, конфигурационными файлами и форматами входных данных, необходимыми для воспроизведения предложенной методологии, была размещена в Zenodo и доступна в открытом доступе по адресу https://doi.org/10.5281/zenodo.21423239. Репозиторий обеспечивает воспроизводимость методологии и экспериментов, описанных в данном исследовании.

Дополнительный файл 1. Математические выводы, алгоритм и детали реализации предлагаемой стратегии динамической оркестровки. В данном дополнительном файле представлены математические формулировки, обосновывающие каждый этап предлагаемой структуры, включая предварительную обработку данных, динамическое моделирование сети низкого напряжения, инициализацию мультиагентной среды, обучение агентов на основе подкрепления, оценку чувствительности к напряжению и перегрузкам, совместную оркестровку принятия фидеров и показатели оценки эффективности. Также в файл включен Алгоритм 1, описывающий процедуру совместной оркестровки принятия фидеров, а также математические определения показателей оценки, использованных в данном исследовании.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Обсуждение

Экспериментальные данные показали, что предложенная стратегия динамической оркестрации (Dynamic Orchestration Strategy) улучшила децентрализованную координацию фидеров, интеграцию возобновляемых источников энергии, стабильность напряжения, управление перегрузками и оркестрацию с низким временем задержки по сравнению с централизованным регулированием напряжения (Centralized Voltage Control, CVC)³³, традиционным многоагентным управлением (Conventional Multi-Agent Control, CMAC)²¹, регулированием напряжения на основе обучения с подкреплением (Reinforcement Learning-Based Voltage Regulation, RLVR)²⁰, координацией распределенных энергетических ресурсов (Distributed Energy Resource Coordination, DERC)²⁶ и управлением перегрузками на основе чувствительности (Sensitivity-Based Congestion Management, SBCM)³⁴. В рамках оценки коэффициента принятия фидеров (Feeder Acceptance Rate, FAR), индекса соответствия напряжения (Voltage Compliance Index, VCI), скорости снижения перегрузок (Congestion Reduction Rate, CRR), эффективности децентрализованной координации (Decentralized Coordination Efficiency, DCE), эффективности использования возобновляемых источников (Renewable Utilization Efficiency, RUE), точности адаптивного принятия решений (Adaptive Decision Accuracy, ADA) и улучшения надежности системы (System Reliability Improvement, SRI) предложенная структура продемонстрировала более высокие показатели в протестированных условиях. Результаты, полученные с использованием наборов данных FeederBW и сети низкого напряжения (LV) с 236 узлами, указали на то, что сочетание совместного многоагентного обучения с подкреплением с оценкой чувствительности к напряжению и перегрузкам повысило эффективность и скорость адаптивной оркестрации фидеров.

Сравнительный анализ также показал, что централизованные и основанные на правилах методы координации имели более медленный отклик оркестрации, более низкую способность к интеграции возобновляемых источников энергии, сниженную эффективность адаптивной координации и более ограниченную масштабируемость при изменяющихся условиях питающих линий^33,34. Хотя RLVR и SBCM показали лучшие результаты по сравнению с другими методами благодаря компонентам обучения с подкреплением и управления перегрузками с учетом чувствительности, они не обеспечивали совместный и децентрализованный механизм оркестрации принятия питающих линий. В отличие от них, предлагаемая структура объединяла совместных интеллектуальных агентов, приоритезацию питающих линий с учетом чувствительности, адаптивную оптимизацию оркестрации и децентрализованное обучение политике. Более быстрая сходимость и более высокие показатели стабильности свидетельствуют о том, что эта комбинированная структура поддерживала работу питающих линий в условиях переменной генерации из возобновляемых источников, нагрузки, напряжения и перегрузок.

Децентрализованная архитектура многоагентного обучения с подкреплением распределяла процесс принятия решений между агентами на уровне фидеров, а не полагалась на единый централизованный контроллер. По мере увеличения размера распределительной сети отдельные агенты выполняли локальные вычисления и обменивались только той координационной информацией, которая была необходима соседним агентам. Такая организация позволила сократить вычислительные «узкие места» в центре и снизить затраты на передачу данных, что обеспечило масштабируемость³⁵. Таким образом, данная структура может быть применима к более крупным сетям с более высокой долей возобновляемых источников энергии, дополнительными сегментами фидеров и повышенной эксплуатационной сложностью. Тем не менее, полномасштабное развертывание в очень крупных сетях потребует дальнейшей оптимизации распределенных вычислительных ресурсов и протоколов связи.

Данное исследование также предложило децентрализованный подход на основе обучения для управления низковольтными фидерами. В отличие от традиционных методов регулирования напряжения и управления перегрузками, основанных главным образом на статических эксплуатационных правилах или централизованной оптимизации³³, предлагаемая стратегия объединила в себе оценку чувствительности напряжения, оркестрацию с учетом перегрузок, оптимизацию стратегии на основе обучения с подкреплением, динамическое ранжирование приемлемости фидеров и взаимодействие между совместными агентами. Такая интеграция расширила применение многоагентного обучения с подкреплением, перенеся его с регулирования напряжения и координации ресурсов на адаптивную оркестрацию приемлемости фидеров в низковольтных распределительных сетях с высокой долей возобновляемых источников энергии.

Предлагаемый метод может быть использован для управления приемом нагрузки на фидеры электросетями, операторами интеллектуальных энергосистем (smart-grid) и системами управления возобновляемыми источниками энергии. Тем не менее, перед практической реализацией необходимо решить ряд проблем. Задержки связи могут повлиять на скорость обмена информацией и координации между распределенными агентами, особенно в крупномасштабных сетях. Также потребуются меры по обеспечению безопасности связи и кибербезопасности для защиты взаимодействий агентов и операционных данных от несанкционированного доступа и кибератак. Интеграция с существующими системами управления распределением электроэнергии потребует обеспечения функциональной совместимости с коммуникационными протоколами электросетей, архитектурами диспетчерского управления и операционными процедурами. Таким образом, практическая реализация будет зависеть от структур связи с низкой задержкой, безопасной передачи данных, стандартизированных интерфейсов и полевой валидации^36,37.

Данное исследование было ограничено использованием наборов данных FeederBW и 236-bus LV, а также валидацией на основе моделирования при заранее определенных условиях эксплуатации и связи. Эти настройки могут не в полной мере отражать топологию, возмущения, сбои связи или киберфизические события, встречающиеся в реальных электросетях коммунальных служб. Вычислительная сложность также может стать более значимой в условиях очень крупных сетей или при высокой доле возобновляемых источников энергии. Следовательно, в будущих работах следует оценить предложенную структуру, используя дополнительные наборы данных масштаба коммунальных сетей, реальные распределительные сети, платформы с аппаратным обеспечением в контуре (hardware-in-the-loop) и опытные установки полевого масштаба. Основное внимание будет уделено валидации предлагаемой структуры с использованием платформ hardware-in-the-loop, реальных сетей коммунальных служб и более крупных распределительных систем. Кроме того, в будущих исследованиях будут изучены передовые архитектуры обучения с подкреплением и улучшенные стратегии распределенной координации для дальнейшего повышения масштабируемости и эксплуатационной устойчивости. В целом, результаты моделирования показали, что совместное многоагентное обучение с подкреплением в сочетании с оценкой чувствительности напряжения и перегрузок может улучшить приемлемость фидера, соответствие уровней напряжения, снижение перегрузок, интеграцию возобновляемых источников энергии, децентрализованную координацию, сходимость, задержку и адаптивность принятия решений. Для подтверждения практической масштабируемости и эксплуатационной надежности требуются дополнительные испытания с использованием реальных данных коммунальных служб, реалистичных задержек связи, киберфизических сбоев, а также условий hardware-in-the-loop или полевых испытаний.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Набор данных сети распределения низкого напряжения 236-Bus	Canizes et al.	DOI: 10.5281/zenodo.8274780	Общедоступный эталонный набор данных, используемый для анализа масштабируемости и крупномасштабной валидации предлагаемой структуры
Центральный процессор (CPU)	Intel Corporation	Intel Core i9-12900K (16-Core)	Используется для управления симуляцией и выполнения среды
Модуль анализа чувствительности к перегрузкам	Собственный модуль	Zenodo DOI: 10.5281/zenodo.21423239	Выполняет расчет чувствительности к перегрузкам в реальном времени и приоритизацию фидеров
CUDA Toolkit	NVIDIA Corporation	CUDA 12.1	Платформа вычислений на GPU, используемая для ускоренного обучения моделей PyTorch
Библиотека cuDNN	NVIDIA Corporation	cuDNN 9.3.0	Библиотека ускорения глубоких нейронных сетей, используемая с CUDA
Собственный динамический симулятор сетей низкого напряжения	Собственный модуль	Version 1.0	Разработанная авторами платформа моделирования, реализованная с помощью Python и PyTorch для экспериментов по динамической оркестрации фидеров. Подробности реализации приведены в разделах «Методы» и «Доступность данных».
Библиотека обработки данных	pandas Development Team	pandas 2.2.2	Используется для предварительной обработки, извлечения признаков, нормализации и управления данными временных рядов
Фреймворк глубокого обучения	PyTorch Foundation	PyTorch 2.3.1	Используется для реализации модели многоагентного обучения с подкреплением (MARL), обучения нейронных сетей и оптимизации стратегий
Модуль распределенной связи агентов	Собственный фреймворк	Zenodo DOI: 10.5281/zenodo.21423239	Обеспечивает децентрализованную связь и совместный обмен стратегиями между интеллектуальными агентами
Набор данных FeederBW	Treutlein et al.	DOI: 10.5281/zenodo.17831177	Общедоступный набор данных, содержащий реальные измерения фидеров низкого напряжения, данные о возобновляемой генерации и рабочие профили
Графический процессор (GPU)	NVIDIA Corporation	GeForce RTX 3090, 24 GB GDDR6X	Аппаратный ускоритель, используемый для обучения нейронных сетей и параллельных вычислений
Среда многоагентного обучения с подкреплением	Farama Foundation	Gym 0.26.2	Специализированная среда обучения с подкреплением для взаимодействия и обучения совместных интеллектуальных агентов
Библиотека численных вычислений	NumPy Developers	NumPy 1.26.4	Используется для численных вычислений, манипулирования тензорами и матричных операций
Операционная система	Canonical Ltd.	Ubuntu 22.04.5 LTS (64-bit)	Операционная система, используемая для всех симуляций и экспериментов по обучению с подкреплением
Язык программирования Python	Python Software Foundation	Python 3.11.9	Основной язык программирования, используемый для реализации алгоритмов, моделирования и разработки моделей
Системная память	Lenovo	64 GB DDR5 RAM	Установленная системная память, используемая для крупномасштабного моделирования MARL и обработки данных.
Модуль мониторинга устойчивости напряжения	Собственный модуль	Zenodo DOI: 10.5281/zenodo.21423239	Непрерывно оценивает устойчивость напряжения и соблюдение норм в процессе оркестрации фидеров