В данном исследовании представлена стратегия динамической оркестровки для приемки фидеров низкого напряжения с использованием совместного многоагентного обучения с подкреплением. Интеллектуальные агенты координируют работу фидера, управление перегрузками, стабильность напряжения и интеграцию возобновляемых источников энергии в условиях неопределенности. Подход был оценен с помощью моделирования с использованием наборов данных FeederBW и 236-bus.
Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.
Исследовательская статья
Динамическая оркестрация приемки фидеров на основе многоагентного обучения с подкреплением с использованием набора данных FeederBW и низковольтной распределительной сети с 236 шинами
В этой статье
Краткое содержание
Аннотация
Широкое внедрение распределенных возобновляемых источников энергии и стремительное расширение низковольтных (НВ) фидеров создали эксплуатационные трудности, связанные с приемом фидеров и координацией при перегрузках. Существующие подходы к регулированию напряжения и управлению фидерами могут обладать ограниченной масштабируемостью и адаптивностью в условиях прерывистой генерации возобновляемой энергии и меняющихся сетевых условий. Для решения этих проблем в данной работе предлагается структура динамической оркестрации для приема низковольтных фидеров, основанная на взаимодействии интеллектуальных агентов в рамках многоагентного обучения с подкреплением. В отличие от стратегий регулирования напряжения, сосредоточенных преимущественно на стабилизации напряжения, предлагаемая структура поддерживает динамический прием фидеров за счет скоординированной работы агентов, отвечающих за мониторинг фидеров, управление перегрузками и приоритизацию на основе чувствительности напряжения. Агенты независимо наблюдали за состоянием фидеров, оценивали перегрузки и чувствительность напряжения, а затем совместно принимали решения о приеме фидеров. Структура была оценена с помощью моделирования с использованием набора данных FeederBW и набора данных низковольтной распределительной сети с 236 шинами при различных уровнях интеграции возобновляемых источников и условиях нагрузки. Предложенная структура обеспечила коэффициент приема фидеров 97%, индекс соответствия напряжения 98%, задержку оркестрации 98 ms (измеренную как время выполнения алгоритма оркестрации на указанном оборудовании) и скорость сходимости 98,5%, что превосходит показатели оцениваемых методов централизованной координации. Результаты также указали на улучшенную адаптивность, эксплуатационную устойчивость и эффективность децентрализованного принятия решений в смоделированных условиях низковольтной распределительной сети.
Введение
Современные энергосистемы сталкиваются со значительными эксплуатационными проблемами из-за растущего спроса на электроэнергию и расширения использования распределенной генерации. Дисбаланс между спросом и предложением электроэнергии или резкое увеличение объема распределенной генерации могут создать финансовую нагрузку на коммунальные службы и конечных потребителей, а также поставить под угрозу стабильность энергосети. Поэтому традиционная централизованная инфраструктура электроснабжения на базе ископаемого топлива переходит к распределенной архитектуре, основанной на возобновляемых источниках энергии. Этот переход расширил доступ к более доступным и экологически устойчивым источникам энергии. Однако прерывистый и непредсказуемый характер фотоэлектрической (PV) генерации вызывает опасения относительно надежности энергосистемы1,2.
Глобальный энергетический переход ускоряет внедрение фотоэлектрических (PV) систем благодаря их экологическим преимуществам, масштабируемости и снижению стоимости. По данным Международного агентства по возобновляемым источникам энергии, ожидается, что к 2050 году доля PV-мощностей в мировом электроснабжении превысит 22%, а к 2030 году солнечные PV-системы станут основным источником электроэнергии в мире3. Столь широкая интеграция создает значительные трудности для традиционных энергосистем, особенно в отношении эксплуатационной стабильности и надежности. Колебания напряжения являются критической проблемой, так как PV-генерация носит прерывистый характер и не является диспетчеризируемой, и эти эффекты становятся более выраженными по мере роста доли таких систем в распределительных и передающих сетях4.
Колебания солнечной облученности напрямую влияют на выходную мощность фотоэлектрических (PV) систем и могут вызывать резкие изменения напряжения. Движение облаков, внезапные изменения облученности и переходные процессы нагрузки могут приводить к колебаниям напряжения, которые существующие архитектуры сетей не способны адекватно компенсировать5. Хотя традиционные технологии были эффективны в централизованных и относительно стабильных конфигурациях сетей, они менее пригодны для все более распределенных сетей. Быстрые двунаправленные изменения напряжения могут превышать возможности традиционных энергосистем, особенно при высокой степени проникновения PV-систем6. Неконтролируемые колебания могут привести к нарушению пределов напряжения, воздействию на чувствительные нагрузки и поставить под угрозу безопасность сети.
Интеграция «умных» нагрузок и распределенных ресурсов в распределительные сети, таким образом, стимулировала разработку более совершенных стратегий управления. Интеллектуальные системы управления, которые непрерывно контролируют и координируют распределенное оборудование, могут помочь преодолеть трудности в сетях низкого напряжения (НН) с высокой долей распределенной генерации7. Масштабное внедрение фотоэлектрических (ФЭ) систем также создает эксплуатационные сложности для тепловой генерации, особенно когда выработка ФЭ-систем снижается и тепловые установки должны оперативно реагировать, иногда превышая пределы скорости изменения мощности8. В то же время программы управления спросом (DR) должны обеспечивать баланс между долгосрочной устойчивостью и экономической целесообразностью9.
Программы управления спросом (DR) могут способствовать интеграции распределенной генерации, помогая сбалансировать спрос и предложение электроэнергии. Такие программы подразделяются на DR на основе ценообразования и DR на основе стимулирования (IBDR). DR на основе ценообразования побуждает потребителей изменять уровень потребления электроэнергии в ответ на меняющиеся во времени тарифы, тогда как IBDR предусматривает фиксированные или переменные финансовые стимулы для снижения потребления по запросу10. Однако DR на основе ценообразования подвергает потребителей риску колебаний оптовых цен и обеспечивает ограниченную оперативную гибкость с точки зрения энергоснабжающей организации, что может отпугнуть участников, стремящихся избежать рисков11,12.
В нескольких исследованиях изучался IBDR в распределительных сетях с высокой долей PV. В одной из работ оценивались сложности и преимущества сочетания IBDR с высоким уровнем проникновения PV, однако основное внимание уделялось совокупному энергопотреблению, а не бытовым системам управления энергопотреблением на уровне отдельных домохозяйств13. В другом исследовании был предложен метод управления напряжением на основе стимулов, при котором ценовые сигналы косвенно контролировали работу аккумуляторов для поддержания пределов напряжения, хотя спрос домохозяйств не моделировался в явном виде14. Метод определения стимулирующих выплат на основе нечеткой логики учитывал удовлетворенность потребителей и затраты на интеграцию возобновляемых источников энергии, но не включал анализ на уровне фидеров15. Также изучалось долгосрочное планирование генерации, включающее DR как на основе цен, так и на основе стимулов, с учетом тепловой генерации и возобновляемых источников энергии, но без учета комфорта пользователей или спроса на уровне домохозяйств16.
Глубокое обучение с подкреплением (RL) также применялось к управлению спросом (DR) в жилом секторе. Были предложены методы глубокого RL для управления совокупной нагрузкой при тарифном плане с учетом времени суток, однако их обобщающая способность была ограничена малым количеством пользователей и отсутствием планирования на уровне отдельных электроприборов17. В рамках многоагентной системы обучения с подкреплением, объединяющей DR и регулирование напряжения, использовались сети долгой краткосрочной памяти для прогнозирования нагрузки, но это не позволило устранить недовольство потребителей, вызванное ограничением нагрузки18. Другие работы были сосредоточены на координации DR для систем кондиционирования воздуха в коммерческих зданиях с использованием марковского процесса принятия решений, без учета других жилых нагрузок19. Существующие исследования по регулированию напряжения с помощью глубокого RL, как правило, не включали одновременно DR и интеграцию фотоэлектрических (PV) систем20,21.
Интеллектуальные инверторы способны быстро реагировать на резкие и нерегулярные изменения выходной мощности фотоэлектрических (PV) систем22. При возникновении нарушений уровня напряжения PV-инверторы могут сработать в течение миллисекунд, тогда как традиционным устройствам может потребоваться несколько секунд23. В некоторых исследованиях были предложены модификации стандартных процедур управления устройствами, включая многоагентные подходы для координации регуляторов напряжения и изменение действий традиционных контроллеров напряжения24. Тем не менее, автономная PV-генерация без сопутствующих систем хранения энергии может усилить колебания напряжения и не устраняет вечерние пики нагрузки, даже если она снижает чистый импорт электроэнергии в дневное время24,25. Бытовые аккумуляторы также могут быть разряжены в периоды дневного избытка PV-генерации и оказаться недоступными для зарядки электромобилей в ночное время, если их использование не скоординировано с местным спросом и генерацией26,27. Совокупное влияние стохастического спроса, прерывистой генерации и различного поведения систем хранения делает управление мощностью, долговечность активов и отказоустойчивость важными аспектами для операторов распределительных сетей28. Системы управления энергопотреблением дома (Home Energy Management Systems) представляют собой один из потенциальных способов реализации автоматизированного управления на уровне потребителя. RL хорошо подходит для таких приложений, поскольку агенты могут изучать стратегии управления путем взаимодействия со средой, справляясь с неопределенностью и принимая решения с низкой задержкой.
Достижения в области маршрутизации электромобилей также демонстрируют, как глубокое обучение с подкреплением (RL) может управлять динамическими ограничениями энергопотребления. Задача маршрутизации электромобилей с учетом ограниченной грузоподъемности и неоднородного состава автопарка объединяет динамику вождения, характеристики дорог, кинетическое сопротивление и эффективность зарядки, минимизируя при этом максимальный расход энергии для всего разнообразного парка29. Метод глубокого обучения с подкреплением, учитывающий динамику, представляет эту задачу в виде специализированного марковского процесса принятия решений и использует архитектуру «энкодер-апдейтер-декодер». В данной архитектуре энкодер формирует специфические для каждой роли представления вершин и транспортных средств, апдейтер уточняет токены транспортных средств по мере изменения контекстной информации, а декодер разделяет выбор транспортного средства и выбор конкретной для него вершины для обеспечения адаптивного принятия решений. Аналогично, задача энергооптимальной маршрутизации электромобилей с учетом сбора и доставки грузов, а также временных окон, использует модель энергопотребления высокого разрешения, которая включает поведение при зарядке, зависящую от времени динамику вождения и детальную информацию о маршруте30. Фреймворк глубокого обучения с подкреплением на основе гетерогенного механизма внимания представляет задачу маршрутизации как марковский процесс принятия решений с энкодером, фиксирующим ролевые взаимодействия между депо, клиентами и зарядными станциями, и декодером, который отслеживает переходы между состояниями и временную допустимость.
Несмотря на эти достижения, в большинстве исследований по управлению распределением в сетях низкого напряжения (LV) основной акцент делается на стабилизации напряжения и оптимизации реактивной мощности, а не на динамической координации приема нагрузки фидерами в условиях неопределенности возобновляемых источников энергии. Методы распределенного управления напряжением на основе интеллектуальных инверторов и машинного обучения, как правило, сосредоточены на компенсации напряжения и оптимизации реактивной мощности, не затрагивая адаптивное управление приемом нагрузки фидером или координацию на основе перегрузок в сложных сетях LV. Аналогичным образом, подходы многоагентного обучения с подкреплением с ограничениями по напряжению для управления спросом (DR) не решают напрямую задачи совместного управления приемом нагрузки фидером, децентрализованной координации с учетом перегрузок или контроля допуска на уровне узлов в взаимосвязанных распределительных системах LV. Методы кооперативного регулирования напряжения, основанные на многоагентной координации, обычно минимизируют отклонения напряжения и количество переключений ответвлений трансформатора с использованием инверторов фотоэлектрических систем, но не учитывают адаптивный допуск на фидер, нестабильность приема, связанную с возобновляемыми источниками, или децентрализованную координацию в динамических условиях сети.
Современные распределенные и многоагентные методы координации ресурсов также имеют ограничения в области учета перегрузок, временной адаптивности и масштабируемости. В большинстве из них основной акцент сделан на анализе перегрузок, взаимодействии распределенных энергетических ресурсов или управлении энергопотреблением на основе тарифов, а не на адаптивном приеме на уровне фидера и оркестрации с учетом напряжения. Зависимость этих методов от частичной централизации и статических приоритетов может дополнительно ограничивать децентрализованное принятие решений, скорость реагирования на распространение перегрузок и адаптацию к изменчивости возобновляемых источников энергии. Таким образом, для адаптивного управления приемом на фидере с использованием крупномасштабных наборов данных, таких как FeederBW и распределительная сеть низкого напряжения с 236 шинами, необходима полностью децентрализованная структура на основе обучения с подкреплением, сочетающая кооперативную координацию агентов с анализом чувствительности к напряжению и перегрузкам.
В данном исследовании под приемом фидера (feeder acceptance) понимается адаптивный операционный процесс определения того, может ли фидер низкого напряжения (LV) принять дополнительные распределенные энергетические ресурсы или электрические нагрузки при сохранении безопасности сети, соблюдении норм напряжения, пределов тепловой нагрузки и эксплуатационной надежности. Операционная граница приема фидера включает оценку пропускной способности фидера, чувствительности напряжения, условий перегрузки и вариативности возобновляемых источников энергии перед тем, как новые подключения к фидеру будут приняты или приоритезированы. В отличие от традиционного регулирования напряжения, которое корректирует профили напряжения, координации распределенных энергетических ресурсов, управляющей работой ресурсов, или управления перегрузками, которое смягчает перегрузки сети, прием фидера объединяет эти функции в рамках совместного многоагентного обучения с подкреплением для обеспечения динамической, децентрализованной и адаптивной оркестрации в условиях высокого содержания возобновляемой энергии.
Целью данного исследования является разработка совместной стратегии динамической оркестрации на основе интеллектуальных агентов для приемки низковольтных питателей в условиях меняющихся режимов работы и неопределенности возобновляемых источников энергии. Предложенная структура осуществляет децентрализованную оркестрацию приемки питателей путем динамической оценки состояния питателей, чувствительности напряжения, чувствительности к перегрузкам и пропускной способности, что обеспечивает адаптивную приоритизацию и принятие решений, выходящее за рамки статических методов управления напряжением. Используя набор данных FeederBW и набор данных сети распределения низкого напряжения с 236 шинами, в исследовании также разрабатывается масштабируемая архитектура многоагентного обучения с подкреплением для крупномасштабных систем низкого напряжения. Благодаря обучению с подкреплением и совместной оптимизации с низкой задержкой, выполняемой в каждом симулированном рабочем интервале, данная структура предназначена для снижения распространения перегрузок, улучшения соответствия уровней напряжения, сокращения задержки оркестрации и повышения эффективности децентрализованной координации.
Предложенная концепция включает динамический подход к оркестрации приема фидеров НН, который заменяет статические стратегии управления фидерами на основе контроля напряжения; децентрализованную многоагентную архитектуру обучения с подкреплением для учета неопределенности возобновляемых источников энергии и переменных условий нагрузки; децентрализованное управление допуском на основе условий низкой задержки и динамической приоритезации фидеров; совместные индексы чувствительности к напряжению и перегрузкам для выявления критических фидеров и приоритезации решений о приеме; совместное взаимодействие между соседними агентами; непрерывную оптимизацию политики на основе обучения с подкреплением для повышения стабильности фидеров, снижения перегрузок, соблюдения норм напряжения и ускорения сходимости; а также валидацию на основе крупномасштабного моделирования с использованием наборов данных FeederBW и 236-узловых сетей НН. Сравнительные результаты указывают на улучшение показателей приема фидеров, снижение перегрузок, сокращение задержки оркестрации, увеличение скорости сходимости и более строгое соблюдение норм напряжения по сравнению с традиционными методами централизованной координации.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Протокол
В данном исследовании не использовались люди, позвоночные животные, ткани человека или ткани животных. В работе использовались только общедоступные наборы данных (набор данных FeederBW и набор данных сети распределения низкого напряжения с 236 шинами), а также компьютерное моделирование. Таким образом, данное исследование не требовало одобрения институционального наблюдательного совета (IRB), этического комитета или получения информированного согласия.
Стратегия динамической оркестровки для приемки низковольтных фидеров на основе взаимодействия агентов была разработана с использованием многоагентного обучения с подкреплением (MARL) для условий эксплуатации с высокой долей возобновляемых источников энергии. Наборы данных FeederBW и низковольтной сети из 236 узлов были предварительно обработаны, нормализованы и синхронизированы по времени для построения динамической сетевой модели, представляющей состояния фидеров, распределенные энергетические ресурсы, чувствительные к напряжению области и условия перегрузки. Интеллектуальные агенты были назначены на секции фидеров и узлы сети для мониторинга локального напряжения, перегрузок, неопределенности генерации возобновляемой энергии и пропускной способности фидеров, обмена информацией с соседними агентами и обновления политик оркестровки посредством децентрализованного обучения с подкреплением. Функция вознаграждения была разработана для повышения пропускной способности фидеров при одновременном ограничении перегрузок, нестабильности напряжения и задержек координации. Были учтены ограничения по напряжению, загрузке фидеров, загрузке трансформаторов и перегрузкам, в то время как трехфазный несбалансированный режим работы, усовершенствованное управление фотоэлектрическими инверторами и компенсация реактивной мощности не моделировались в явном виде. Общая схема представлена на Рисунке 1. Инструменты исследования, использованные в данной работе, перечислены в Таблице материалов.
Рисунок 1Архитектура предлагаемой структуры. Схема структуры динамической оркестровки, включающая интеллектуальных агентов, обучение с подкреплением, анализ перегрузок и адаптивную координацию фидеров. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
1. Сбор данных
Данные были получены из набора данных FeederBW31 и набора данных сети распределения низкого напряжения с 236 шинами32. Эти наборы данных были выбраны, так как они содержали информацию о топологии фидера, режиме напряжения, поведении возобновляемой генерации, спросе на нагрузку, перегрузках и динамических рабочих профилях, необходимых для децентрализованной оркестровки и обучения агентов на основе подкрепления.
Набор данных FeederBW использовался преимущественно для моделирования работы фидера, прерывистости возобновляемых источников энергии, отклонения напряжения и распространения перегрузок в сетях низкого напряжения (LV). Он включал данные о работе фидера, поведение распределенной генерации, измерения напряжения в узлах и колебания нагрузки, что позволило провести анализ адаптивной оркестрации. Набор данных LV с 236 шинами использовался для оценки масштабируемости и децентрализованной координации. Он содержал информацию о соединениях шин, условия нагрузки фидера, характеристики напряжения в узлах, степень проникновения распределенных возобновляемых источников энергии и рабочие сценарии, чувствительные к перегрузкам. Вместе эти два набора данных обеспечили возможность проведения анализа как на уровне отдельного фидера, так и в крупном масштабе в условиях высокого проникновения возобновляемых источников энергии. Характеристики наборов данных и их назначение в рамках данной структуры обобщены в Таблице 1.
| Название набора данных | Тип набора данных | Количество узлов/шин | Атрибуты данных | Цель предлагаемой работы |
| Набор данных FeederBW | Операционный набор данных сети низковольтных питателей | Множественные узлы-фидеры | Профили напряжения, возобновляемая генерация, спрос на нагрузку, состояния перегрузки, эксплуатационное поведение фидеров | оркестрация фидерных узлов с низкой задержкой, анализ перегрузок, адаптивная приоритизация принятия данных |
| Набор данных сети низкого напряжения с 236 шинами | Масштабный набор данных распределительных сетей низкого напряжения | 236 автобусов | Шинная топология, нагрузка фидера, чувствительность напряжения, проникновение возобновляемых источников энергии, динамика перегрузок | Валидация масштабируемости, оценка децентрализованной координации, анализ крупномасштабной оркестрации |
Таблица 1: Характеристики наборов данных. Описание наборов данных, операционных атрибутов и их назначения в рамках предлагаемой структуры оркестрации низкого напряжения.
2. Предобработка данных
Полученные наборы данных прошли предварительную обработку для повышения согласованности, временного выравнивания и стабильности обучения с подкреплением. Пропущенные записи, ошибочные измерения, дубликаты и противоречивые данные по фидерам были отфильтрованы с использованием процедур статистической предобработки. Этот этап был необходим для обеспечения согласованности данных по эксплуатации фидеров, профилей генерации из возобновляемых источников, измерений напряжения и данных о состоянии перегрузки. Все эксплуатационные переменные были подвергнуты min–max нормализации, чтобы входные признаки были приведены к единому масштабу, подходящему для обучения агента. Нормализованные переменные включали напряжение на фидере, спрос на активную мощность, генерацию из возобновляемых источников, статус перегрузки и пропускную способность фидера. Математическое описание процедуры предварительной обработки приведено в Дополнительном файле 1 (Раздел 1).
3. Динамическое моделирование сетей низкого напряжения
После сбора и предварительной обработки данных была построена динамическая модель сети НН для имитации поведения распределительной системы с высокой долей возобновляемой генерации при различных условиях нагрузки и выработки. Модель динамически отслеживала топологию фидера, поведение распределенных энергетических ресурсов, области, чувствительные к напряжению, и распространение перегрузок.
В отличие от статического представления сети, данная модель обновляет поведение фидера в зависимости от прерывистости возобновляемых источников энергии, спроса потребителей и условий перегрузки. Наборы данных FeederBW и 236-bus LV использовались для построения взаимосвязанных фидеров, в которых шины, трансформаторы, распределенные возобновляемые источники и нагрузки были представлены в виде узлов сети. Каждый узел фидера предоставлял обновленную информацию о величине напряжения, спросе на активную мощность, генерации из возобновляемых источников, состоянии загрузки фидера и статусе перегрузки. Эти переменные использовались интеллектуальными агентами для мониторинга поведения фидера и принятия децентрализованных решений по оркестрации. Модель сети также поддерживала идентификацию чувствительных зон и приоритезацию принятия фидеров посредством непрерывного анализа чувствительности.
Сеть распределения низкого напряжения была представлена в виде графовой сети, состоящей из шинных станций, линий питания, трансформаторов, возобновляемых источников энергии и узлов потребительской нагрузки. Подробные математические выводы модели сети представлены в Дополнительном файле 1 (Раздел 2). Динамическое состояние сети и индекс перегрузки отслеживались непрерывно. Индекс перегрузки был нормализован в диапазоне [0,1], и совместная координация приема линий питания инициировалась, когда индекс перегрузки превышал 0.80.
4. Инициализация многоагентной среды
После построения динамической модели сети низкого напряжения (LV) была инициализирована многоагентная среда для обеспечения децентрализованного приема питающих линий. Интеллектуальные агенты были назначены сегментам питающих линий, точкам подключения распределенных энергетических ресурсов, местам расположения трансформаторов и узлам сети LV, подверженным перегрузкам.
Каждый агент функционировал как независимая единица принятия решений, которая контролировала работу локального фидера, обменивалась информацией с соседними агентами и выполняла действия по адаптивной оркестрации. Агенты были назначены на ключевые узлы фидера в соответствии с чувствительностью напряжения, уровнем проникновения возобновляемых источников энергии, уровнем перегрузки и значимостью фидера. Сеть низкого напряжения (Н) была сконфигурирована как агентная среда, в которой агенты непрерывно отслеживали напряжение на фидере, спрос на активную мощность, колебания генерации из возобновляемых источников, статус перегрузки и пропускную способность фидера. Математическая формулировка многоагентной среды представлена в Дополнительном файле 1 (Раздел 3).
5. Обучение агента на основе подкрепления
После инициализации мультиагентной среды было внедрено обучение с подкреплением, чтобы агенты могли освоить стратегии управления фидером посредством взаимодействия с меняющимися условиями эксплуатации сети низкого напряжения (LV). В ходе каждого взаимодействия агент анализировал текущее состояние фидера, выбирал действие по управлению и получал вознаграждение или штраф. Децентрализованный процесс обучения позволил агентам адаптироваться к неопределенности генерации из возобновляемых источников, изменяющимся условиям перегрузки, колебаниям напряжения и изменениям пропускной способности фидера. Каждый агент выбирал действие по управлению в соответствии со своей изученной стратегией. Соответствующие математические выводы представлены в Дополнительном файле 1 (раздел 4).
Всего было развернуто 64 интеллектуальных агента. Исходя из топологии фидера, уровня проникновения возобновляемых источников энергии, чувствительности напряжения и степени перегрузки, каждый агент был назначен на сегмент фидера, место установки трансформатора, точку подключения распределенного энергетического ресурса или узел сети, чувствительный к перегрузкам. При сохранении приемлемой вычислительной сложности децентрализованное развертывание обеспечило совместный мониторинг и адаптивную приемную способность фидера во всей низковольтной распределительной сети с 236 шинами. Каждый агент отслеживал пятимерный вектор состояния, состоящий из модуля напряжения, спроса на нагрузку фидера, выработки возобновляемой энергии, статуса перегрузки и приемной способности фидера. Пространство действий включало пять действий по оркестрации: приоритизация приемной способности фидера, смягчение перегрузок, координация возобновляемых источников, балансировка нагрузки и регулирование напряжения. Совместное принятие решений поддерживалось за счет децентрализованной топологии связи между соседями, при которой каждый агент обменивался индексами чувствительности и локальной эксплуатационной информацией только с соседними агентами фидера.
Метод MARL на основе Q-обучения был реализован с использованием полносвязной нейронной сети с двумя скрытыми слоями, содержащими 128 и 64 нейрона. В скрытых слоях применялась функция активации Rectified linear unit. Параметры сети оптимизировались с помощью оптимизатора Adam при скорости обучения 0.01 и коэффициенте дисконтирования 0.9. Использовался размер мини-батча 64, а емкость буфера воспроизведения опыта составляла 10,0 переходов. Обучение считалось сошедшимся, когда скользящее среднее кумулятивного вознаграждения за предыдущие 20 эпизодов изменялось менее чем на 0.1% в течение 10 последовательных окон оценки. Если этот критерий не был выполнен, обучение продолжалось до достижения максимума в 50 эпизодов. Рабочий процесс обучения с подкреплением показан на рисунке 2.
Рисунок 2Блок-схема обучения агента на основе подкрепления. Блок-схема, иллюстрирующая процесс обучения агента на основе подкрепления для децентрализованной оркестрации фидеров и оптимизации принятия решений. Пожалуйста, нажмите здесь, чтобы просмотреть эту иллюстрацию в более крупном размере.
Процесс обучения начался с инициализации среды распределения сети низкого напряжения (LV), состояний агентов и параметров обучения. Интеллектуальные агенты были размещены в зонах питания, местах расположения распределенных энергетических ресурсов и на шинах, подверженных перегрузкам. Затем были определены пространство наблюдений, скорость обучения, стратегия исследования, факторы вознаграждения и функции стратегии. На каждом шаге взаимодействия каждый агент наблюдал за текущим состоянием закрепленной за ним зоны питания. Состояние включало амплитуду напряжения в узлах, спрос на нагрузку фидера, характеристики возобновляемой генерации, уровень перегрузки и пропускную способность фидера. Эти наблюдения сформировали состояние среды, используемое для принятия решений по оркестрации. Каждый агент выбирал действие в соответствии со своей стратегией обучения с подкреплением. Доступные действия включали приоритезацию приема фидера, управление перегрузками, координацию возобновляемых источников энергии, балансировку нагрузки и регулирование напряжения. Выбранное действие применялось к динамической среде LV, после чего состояние фидера обновлялось.
После каждого действия рассчитывалось вознаграждение. Положительное вознаграждение назначалось в случаях, когда выбранное действие улучшало прием feeders, предотвращало распространение перегрузок, обеспечивало соблюдение допустимых уровней напряжения или повышало стабильность сети. Штраф применялся, если действие приводило к перегрузке feeders, нарушениям уровней напряжения или задержкам оркестрации, либо не позволяло их предотвратить. Рассчитанное вознаграждение использовалось для обновления функции ценности и стратегии принятия решений агента посредством оптимизации с подкреплением. Последовательность из наблюдения, выбора действия, перехода среды, расчета вознаграждения и обновления стратегии повторялась до выполнения критерия остановки.
6. Оценка чувствительности к напряжению и заторам
После обучения на основе подкрепления была проведена оценка чувствительности к напряжению и перегрузкам с целью выявления уязвимых участков питающих линий и обеспечения принятия динамических решений о допуске в сеть в условиях неопределенности возобновляемых источников энергии.
Для каждого рабочего интервала определялось влияние изменений мощности питающей линии, генерации из возобновляемых источников и спроса на нагрузку на напряжение в узлах и перегрузку сети. Индексы чувствительности к напряжению и перегрузке пересчитывались в каждом моделируемом рабочем интервале, а не выводились исключительно из статических условий сети. Индексы чувствительности для каждого узла питающей линии обновлялись на основе текущего состояния сети, вариаций генерации из возобновляемых источников и состояния загрузки питающей линии. Полученные значения использовались для ранжирования узлов питающих линий с целью принятия решений о подключении, управлении перегрузками и регулировании напряжения.
Индекс чувствительности к напряжению количественно определял изменение напряжения в узле, resulting from изменения потока активной мощности. После расчета индексов чувствительности к напряжению и перегрузкам они были объединены в совокупный показатель чувствительности для адаптивной приоритизации принятия фидеров. Метод совокупного оценивания описан в Дополнительном файле 1 (Раздел 5). Узлам фидеров с более высокими показателями чувствительности присваивался более высокий приоритет оркестровки при операциях по устранению перегрузок, корректировке принятия фидеров и регулированию напряжения. Показатели чувствительности пересчитывались в каждом рабочем интервале и передавались соседним агентам через среду совместной связи.
7. Совместная оркестрация принятия решений и адаптивная оптимизация выбора на каждом симулируемом рабочем интервале
После оценки чувствительности была проведена совместная оркестровка принятия решений, чтобы позволить децентрализованным агентам принимать скоординированные решения о приеме питания в условиях неопределенности возобновляемых источников энергии и динамического перегруза сети. Агенты обменивались данными о локальном состоянии фидеров, индексами чувствительности, оповещениями о перегрузках и приоритетами функционирования. Каждый агент независимо оценивал состояние своего локального фидера, координируя свои действия с соседними агентами для поддержания общей стабильности сети.
Приоритетность принятия фидеров определялась в соответствии с чувствительностью напряжения, степенью перегрузки, вариативностью генерации из возобновляемых источников и доступной пропускной способностью фидера. Локальные наблюдения с учетом чувствительности агрегировались между агентами, после чего формировались скоординированные действия по принятию фидеров. Математическая формулировка процесса совместной оркестровки представлена в Дополнительном файле 1 (Раздел 6). Динамическая среда сети НН была развернута с совместными агентами, расположенными в регионах фидеров, точках интеграции возобновляемых источников энергии и на шинах, склонных к перегрузкам, как описано в Дополнительном файле 1 (Алгоритм 1). В каждом рабочем интервале каждый агент отслеживал локальные параметры фидера, включая амплитуду напряжения, колебания генерации из возобновляемых источников, загрузку фидера, уровень перегрузки и пропускную способность фидера для принятия.
Затем были рассчитаны показатели чувствительности к напряжению и чувствительности к перегрузкам для выявления участков сети, подверженных нестабильности напряжения или распространению перегрузок. Эти показатели были объединены в общий балл чувствительности фидера, который определял приоритетность принятия и координации фидера. Информация о локальном состоянии, уровнях перегрузок, индикаторы нестабильности напряжения и приоритеты принятия передавались между соседними агентами. На основе локальных наблюдений и совместно используемой информации каждый агент выбирал и выполнял адаптивное действие по координации. После каждого действия из динамической среды сети низкого напряжения (LV) получалась подкрепляющая обратная связь в соответствии со стабильностью фидера, снижением перегрузок, соблюдением норм напряжения и эффективностью принятия фидера. Эта обратная связь использовалась для обновления стратегии каждого агента с помощью оптимизации на основе подкрепления. Глобальная целевая функция координации одновременно обеспечивала скоординированную обратную связь для адаптивной оптимизации всей популяции агентов. Обновление стратегий продолжалось до тех пор, пока стратегии агентов не сходились к оптимальной децентрализованной стратегии координации.
8. Крупномасштабная валидация
Стратегия динамической оркестрации была валидирована с использованием набора данных FeederBW и набора данных сети распределения низкого напряжения (LV) с 236 шинами в условиях сценариев эксплуатации с высокой долей проникновения возобновляемых источников энергии. В ходе валидации оценивалась способность децентрализованной структуры оркестрации управлять динамическим приемом фидеров, прерывистостью генерации возобновляемой энергии, распространением перегрузок и нестабильностью напряжения в взаимосвязанных распределительных системах LV. Оцениваемые сценарии эксплуатации включали высокую степень проникновения возобновляемых источников энергии, изменение спроса на нагрузку, динамическое распространение перегрузок, условия чувствительности к напряжению и варьирующуюся пропускную способность приема фидеров.
Эффективность системы оценивали по таким показателям, как коэффициент принятия фидера, индекс соответствия напряжения, скорость снижения перегрузок, задержка оркестрации, скорость сходимости, эффективность децентрализованной координации и способность к интеграции возобновляемых источников энергии. Эти показатели использовались для оценки масштабируемости, отказоустойчивости, адаптивности и эффективности координации. Предложенная система сравнивалась с традиционными централизованными подходами к оркестрации фидеров при одинаковых конфигурациях сети. К методам сравнения применялись эквивалентные наборы данных, сценарии работы, условия оценки и показатели эффективности.
В таблице 2 обобщены наборы данных, условия эксплуатации, среды оркестрации и переменные производительности, использованные для экспериментальной проверки. Набор данных FeederBW применялся для оценки динамики работы фидера, перемежаемости возобновляемых источников энергии, развития перегрузок, колебаний бытовой нагрузки и колебаний напряжения в условиях фидера низкого напряжения (LV). Набор данных LV на 236 шин использовался для оценки децентрализованной оркестрации в более крупной взаимосвязанной сети. Архитектура была проверена при различных условиях генерации возобновляемой энергии, спроса на нагрузку, напряжения и перегрузок. Децентрализованная координация и оптимизация стратегий на основе обучения с подкреплением оценивались совместно по всем интеллектуальным агентам.
Для количественной оценки производительности систем возобновляемой энергии в динамических условиях эксплуатации использовались такие показатели, как коэффициент приемлемости фидера, индекс соответствия напряжения, степень снижения перегрузки, скорость сходимости и задержка оркестрации.
| Экспериментальный параметр | Набор данных FeederBW | Набор данных сети низкого напряжения с 236 шинами | Цель валидации |
| Тип сети | Сеть низковольтных питающих линий | Масштабная распределительная сеть низкого напряжения | Оценка динамической оркестрации |
| Количество узлов/шин | Множественные узлы-фидеры | 236 шин | Анализ масштабируемости |
| Интеграция возобновляемых источников энергии | ФЭВ и распределенные возобновляемые источники энергии | Шины с высокой долей проникновения возобновляемых источников энергии | Валидация неопределенности возобновляемых источников энергии |
| Поведение спроса на нагрузку | Динамические профили бытовой нагрузки | Крупномасштабные колебания нагрузки на фидеры | Адаптивная оркестрация нагрузки |
| Сценарии заторов | Состояния перегрузки и затора в фидерных линиях | Распространение заторов в многошинных сетях | Анализ мер по снижению нагрузки сети |
| Условия подачи напряжения | Профили колебаний напряжения | Условия шины, чувствительные к напряжению | Оценка соответствия напряжения |
| Интеллектуальные агенты | Распределенные агенты-фидеры | Масштабируемые коллаборативные агенты | Анализ децентрализованной координации |
| Образовательная среда | Оркестрация на основе обучения с подкреплением | Многоагентное адаптивное обучение | Валидация оптимизации стратегии |
| Условия моделирования | Динамическая переменность возобновляемых источников энергии | Крупномасштабное динамическое функционирование | тестирование оркестрации с низкой задержкой |
| Показатели эффективности | Коэффициент принятия, снижение перегрузки | Диапазон соответствия напряжения, скорость сходимости | Общая эффективность оркестрации |
Таблица 2: Крупномасштабная экспериментальная проверка. Экспериментальные условия, использованные для оценки масштабируемости, неопределенности возобновляемых источников энергии и децентрализованной координации.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Результаты
Все эксперименты проводились пять раз с использованием различных случайных начальных значений (seeds) для снижения влияния стохастического обучения. Средние значения рассчитывались по результатам пяти запусков. Для всех методов использовались одни и те же наборы данных, параметры симуляции, гиперпараметры, критерии остановки и процедуры оценки. В качестве методов для сравнения использовались централизованное управление напряжением (Centralized Voltage Control, CVC)3, традиционное многоагентное упр...
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Обсуждение
Экспериментальные данные показали, что предложенная стратегия динамической оркестрации (Dynamic Orchestration Strategy) улучшила децентрализованную координацию фидеров, интеграцию возобновляемых источников энергии, стабильность напряжения, управление перегрузками и оркестрацию с низким временем задержки по сравнению с централизованным регулированием напряжения (Centralized Voltage Control, CVC)33, традиционным многоагентным управлением (Conventional Multi-Agent Control, CMAC)21
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Раскрытие информации
Авторы заявляют об отсутствии конфликта интересов.
Благодарности
Данное исследование было поддержано Гуанчжоуским бюро электроснабжения энергетической компании провинции Гуандун в рамках проекта «Исследование технологии автоматизированной приемки низковольтного измерительного оборудования на основе промышленной автоматизации» (код проекта: 030100KC24120100).
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Материалы
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| Набор данных сети распределения низкого напряжения 236-Bus | Canizes et al. | DOI: 10.5281/zenodo.8274780 | Общедоступный эталонный набор данных, используемый для анализа масштабируемости и крупномасштабной валидации предлагаемой структуры |
| Центральный процессор (CPU) | Intel Corporation | Intel Core i9-12900K (16-Core) | Используется для управления симуляцией и выполнения среды |
| Модуль анализа чувствительности к перегрузкам | Собственный модуль | Zenodo DOI: 10.5281/zenodo.21423239 | Выполняет расчет чувствительности к перегрузкам в реальном времени и приоритизацию фидеров |
| CUDA Toolkit | NVIDIA Corporation | CUDA 12.1 | Платформа вычислений на GPU, используемая для ускоренного обучения моделей PyTorch |
| Библиотека cuDNN | NVIDIA Corporation | cuDNN 9.3.0 | Библиотека ускорения глубоких нейронных сетей, используемая с CUDA |
| Собственный динамический симулятор сетей низкого напряжения | Собственный модуль | Version 1.0 | Разработанная авторами платформа моделирования, реализованная с помощью Python и PyTorch для экспериментов по динамической оркестрации фидеров. Подробности реализации приведены в разделах «Методы» и «Доступность данных». |
| Библиотека обработки данных | pandas Development Team | pandas 2.2.2 | Используется для предварительной обработки, извлечения признаков, нормализации и управления данными временных рядов |
| Фреймворк глубокого обучения | PyTorch Foundation | PyTorch 2.3.1 | Используется для реализации модели многоагентного обучения с подкреплением (MARL), обучения нейронных сетей и оптимизации стратегий |
| Модуль распределенной связи агентов | Собственный фреймворк | Zenodo DOI: 10.5281/zenodo.21423239 | Обеспечивает децентрализованную связь и совместный обмен стратегиями между интеллектуальными агентами |
| Набор данных FeederBW | Treutlein et al. | DOI: 10.5281/zenodo.17831177 | Общедоступный набор данных, содержащий реальные измерения фидеров низкого напряжения, данные о возобновляемой генерации и рабочие профили |
| Графический процессор (GPU) | NVIDIA Corporation | GeForce RTX 3090, 24 GB GDDR6X | Аппаратный ускоритель, используемый для обучения нейронных сетей и параллельных вычислений |
| Среда многоагентного обучения с подкреплением | Farama Foundation | Gym 0.26.2 | Специализированная среда обучения с подкреплением для взаимодействия и обучения совместных интеллектуальных агентов |
| Библиотека численных вычислений | NumPy Developers | NumPy 1.26.4 | Используется для численных вычислений, манипулирования тензорами и матричных операций |
| Операционная система | Canonical Ltd. | Ubuntu 22.04.5 LTS (64-bit) | Операционная система, используемая для всех симуляций и экспериментов по обучению с подкреплением |
| Язык программирования Python | Python Software Foundation | Python 3.11.9 | Основной язык программирования, используемый для реализации алгоритмов, моделирования и разработки моделей |
| Системная память | Lenovo | 64 GB DDR5 RAM | Установленная системная память, используемая для крупномасштабного моделирования MARL и обработки данных. |
| Модуль мониторинга устойчивости напряжения | Собственный модуль | Zenodo DOI: 10.5281/zenodo.21423239 | Непрерывно оценивает устойчивость напряжения и соблюдение норм в процессе оркестрации фидеров |
Ссылки
- Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
- Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
- Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
- O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
- Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
- Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
- Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
- Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
- Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
- van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
- Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
- Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
- Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
- Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
- Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
- Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
- Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
- Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
- Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
- Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
- Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
- Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
- Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
- Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
- Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
- Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
- Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
- Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
- Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
- Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
- Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
- Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
- Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
- Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
- Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
- Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
- Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.