Исследовательская статья

К зелёному IoT: энергосбережение в основной сети IoT: с использованием сетевого кодирования и мягких актёров Критик

DOI:

10.3791/69634

3 апреля 2026 г.

В этой статье

Краткое содержание

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом исследовании интегрировано сетевое кодирование с мягким подкреплением актёр-критик для достижения энергоэффективной маршрутизации в основных IoT-сетях, демонстрируя снижение энергопотребления на 40% при коэффициенте доставки пакетов 97%.

Аннотация

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Быстрое расширение сетей интернета вещей (IoT) усугубило проблемы энергоэффективности в основных IoT-сетях, где маршрутизация данных требует высокой нагрузки на энергию узлов. В этой статье предлагается гибридная модель, интегрирующая сетевое кодирование (NC) с мягким актёр-критиком (SAC) подкреплением для решения этих задач. NC минимизирует избыточные передачи за счёт комбинирования пакетов, в то время как агенты SAC динамически выбирают маршрутизационные пути с учетом состояния узла, качества канала и остаточной энергии.

Система была реализована с использованием симулятора NS-3 с топологией сетки 5 × 5 узлов IoT (512-байтные пакеты, 100 секунд) при различных условиях трафика. Результаты показывают, что NC + SAC достигает снижения энергопотребления на 40%, коэффициента доставки пакетов на 97%, улучшения пропускной способности на 50% и увеличения срока службы сети по сравнению с традиционными маршрутизационными и автономными методами.

Ключевые вклады включают новую интеграцию NC-SAC, комплексную валидацию NS-3 по нескольким метрикам и демонстрацию коммуникации, основанной на обучении, для устойчивых инфраструктур IoT. Гибридный подход балансирует между надёжностью, энергосохранением и производительностью, предлагая масштабируемую структуру для зелёных IoT-сетей следующего поколения.

Введение

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Интернет вещей (IoT) стал одной из самых трансформирующих технологий XXI века, бесшовно соединяя миллиарды устройств для создания более умных домов, городов, промышленности и системздравоохранения. Однако вместе с этим беспрецедентным ростом возникает острая проблема: вопрос энергопотребления. IoT-устройства, особенно развернутые в центральной сети, часто питаются от батарей или ограничены по ресурсам. По мере роста плотности устройств и трафика данных энергоэффективность становится ключевым фактором для обеспечения долгосрочной устойчивости инфраструктуры IoT. В этом контексте разработка интеллектуальных коммуникационных и маршрутизационных стратегий, которые балансируют производительность с энергосбережением, имеет первостепенное значение.

Традиционные методы маршрутизации в IoT-сетях часто сосредоточены на самых коротких или надёжных подходах. Хотя эти методы эффективны в базовых ситуациях, они часто приводят к избыточным передачам и быстрому истощению энергии, особенно при динамических или масштабныхвнедрениях 2,3. Чтобы устранить эти недостатки, исследователи изучали такие методы, как сетевое кодирование (NC), которое сокращает количество передач путём объединения нескольких пакетов в один закодированный пакет. Северная Каролина доказала свою эффективность в повышении пропускной способности, снижении задержки и оптимизации использования пропускной способности. Однако, хотя сетевое кодирование эффективно снижает накладные расходы на связь, оно не учитывает уровни энергии узлов и не адаптируется к изменяющимся условиям сети 4,5.

Именно здесь принятие решений на основе машинного обучения играет важную роль. Обучение с подкреплением (RL) предоставляет особенно надёжную структуру, позволяющую узлам IoT принимать адаптивные решения через взаимодействие с окружающей средой и обучение на основе вознаграждений. Среди алгоритмов RL мягкий актор-критик (SAC) приобрёл популярность благодаря способности балансировать между исследованием и эксплуатацией через регуляризациюэнтропии 6. В отличие от традиционных моделей RL, SAC поощряет разнообразный выбор действий, предотвращая слишком быструю сходимость системы к неоптимальным стратегиям. Для энергозатрат IoT-сетей это означает более умный выбор маршрутизации, который адаптируется не только к качеству соединения и успеху доставки, но и к остаточным уровням энергии на каждом узле.

Недавние исследования всё больше сосредотачиваются на роли обучения с подкреплением в оптимизации коммуникации IoT и управления энергией. Например, Дев и др.7 использовали оптимизацию Харриса Хоукса для энергоэффективной IoT-коммуникации, а Туонг и др.8 исследовали глубокое подкрепляющее обучение для иерархического дуплексирования в беспроводных IoT-системах. Более современные работы 8,9 подчёркивают, как продвинутые методы обучения с подкреплением, такие как оптимизация проксимальных политик и распределённые мультиагентные фреймворки, могут дополнительно повысить адаптивность в масштабных IoT-средах.

В данном исследовании представлена новая гибридная модель коммуникации, которая совместно сочетает сетевое кодирование (NC) с алгоритмом мягкого актора-критика (SAC) для достижения энергосчётной интеллектуальной маршрутизации в основных IoT-сетях. В отличие от предыдущих подходов, использующих NC или обучение с подкреплением независимо или дискретные модели глубокого RL, это исследование использует формулировку непрерывного действия с энтропиейной регуляризацией SAC для динамической оптимизации решений маршрутизации на основе состояния сети, включая уровни энергии, стабильность канала и статус буфера пакетов. Интеграция NC позволяет снизить количество повторных передач и улучшить использование пропускной способности, а SAC обеспечивает адаптивный выбор пути для балансировки нагрузки на сеть и экономии энергии узлов. Этот двойной механизм вводит новую парадигму коммуникации с программированием на основе обучения, достигая измеримых приростов в энергоэффективности, пропускной способности, коэффициенте доставки пакетов и сроке службы сети по сравнению с существующими методами.

Мы реализовали и протестировали предлагаемый фреймворк с использованием среды симуляции NS-3, развернув сетку 5×5 узлов IoT при различных нагрузках на трафик. Размер пакета, дальность и энергетические модели передачи были тщательно определены с учётом реалистичных условий IoT. В ходе этих моделей мы оценили ключевые показатели, включая коэффициент доставки пакетов (PDR), пропускную способность, срок службы сети и энергоэффективность. Результаты следующие: по сравнению с традиционными моделями маршрутизации и автономными моделями, гибридная система NC + SAC снизила энергопотребление почти на 40%, увеличила пропускную способность на 50% и значительно продлила срок службы сети, при этом сохранив коэффициент доставки пакетов близко к 97%.

Помимо числовых улучшений, настоящая сила этой работы заключается в её масштабируемости и адаптивности. По мере роста и сложности IoT-сетей решения, динамически адаптирующиеся к изменяющимся условиям, будут иметь решающее значение. Эта гибридная концепция не только решает непосредственную проблему энергосбережения, но и создаёт основу для автономных, самооптимизирующихся IoT-систем, которые могут поддерживать себя в реальных условиях. Таблица 1 содержит журналы производительности для таких параметров, как энергопотребление, коэффициент доставки пакетов, срок службы сети и пропускная способность. В таблице 2 приведено краткое изложение результатов эксперимента. Кроме того, интеграция обучения с подкреплением в сети IoT демонстрирует потенциал протоколов, управляемых ИИ, для изменения взаимодействия устройств в условиях ограниченных ресурсов.

Недавние достижения в стратегиях интеллектуальной коммуникации ещё больше подчёркивают необходимость адаптивных и устойчивых IoT-фреймворков маршрутизации10, 11, 12. Традиционные протоколы маршрутизации на основе кластеризации или статической маршрутизации часто не справляются с динамическими сетевыми проблемами, такими как колебания качества канала, изменение уровня энергии узлов и помехи, что может привести к быстрому снижению производительности и ранним отказам узлов. Современные подходы на основе обучения с подкреплением демонстрируют значительный потенциал в решении этих проблем, позволяя устройствам IoT динамически осваивать оптимальные стратегии передачи через постоянное взаимодействие с окружающейсредой 10,11,12. В то же время сетевое кодирование продемонстрировало свою полезность в снижении резервных передач и повышении спектральной эффективности в ограниченных сетевыхсредах 5, 13 и 14. Однако большинство существующих исследований оценивают эти методы независимо, а не в комбинации. Таким образом, интеграция NC с методом непрерывного контроля и усилением обучения, таким как Soft Actor-Critic, представляет собой более надёжный и интеллектуальный механизм коммуникации, способный адаптироваться к изменениям в реальном времени при сохранении энергии15,16. Эта гибридная парадигма не только укрепляет устойчивость и автономию IoT-сетей, но и соответствует новым тенденциям исследований в области зелёных коммуникационных систем и беспроводных архитектур на основе машинного обучения для устойчивого масштабного внедрения.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Рабочий процесс передачи данных и обработки пакетов
Инициализация узла: каждый узел начинается с полной информации о топологии сети, максимальной энергетической ёмкости и предварительно обученного агента SAC, готового к принятию решений. Модуль сетевого кодирования активирует и готовится к операциям по комбинированию пакетов.

Процесс кодирования пакетов: При начале передачи исходные узлы собирают несколько пакетов данных с датчиков. Модуль сетевого кодирования объединяет эти пакеты в меньшее количество закодированных пакетов с помощью эффективных математических операций, что значительно снижает общее количество необходимых передач.

Выполнение решения по маршрутизации SAC: агент SAC анализирует текущее состояние сети, включая уровни энергопотребления соседей, качество канала, условия движения и расстояние до пункта назначения. Он выбирает оптимального соседа для следующего хопа на основе своей изученной политики, отдавая приоритет энергоэффективности и надёжности.

Многохоповая пересылка пакетов: Закодированные пакеты проходят по выбранному пути. Промежуточные узлы решают, объединять пакеты дальше или пересылать их напрямую, исходя из текущего статуса буфера и оставшегося уровня энергии.

Расчёт и хранение вознаграждения: после каждой передачи система рассчитывает балл вознаграждения на основе успеха доставки, потраченной энергии, задержки передачи и отброса пакетов. Эта информация о вознаграждении хранится для агента SAC, чтобы он мог на ней учиться.

Обновление по непрерывному обучению: агент SAC регулярно проверяет хранящийся опыт и обновляет стратегию принятия решений, чтобы лучше выбирать энергоэффективные маршруты при сохранении высокой эффективности доставки.

Архитектура системы
Типичный узел работает следующим образом: он обнаруживает и собирает данные, кодирует их с помощью сетевого кода, а затем пересылает закодированный пакет по выбранному агенту SAC маршрутизации. Агент SAC оценивает состояние узла, включая оставшуюся энергию, статус буфера и качество канала, чтобы определить следующий оптимальный переход. Этот процесс динамичен и развивается через опыт по мере изменения условий сети. Рисунок 1 иллюстрирует этот поток данных и взаимодействие между компонентами.

Уравнение сетевого кодирования
Сетевое кодирование применяется на промежуточных узлах следующим образом:

figure-protocol-1

Где Ci — закодированный пакет, αij — коэффициент кодирования (изучаемый через SAC), а Pj — исходные пакеты. Это позволяет сети сократить количество передач и повысить надёжность.

Целевая функция SAC
Агент SAC оптимизирует политику, используя следующую цель, регламентированную энтропией:

figure-protocol-2

Где r(s t, at) — награда, α — компромиссный параметр для исследования, а H — энтропийный термин.

Модель энергопотребления
Для моделирования реалистичного энергопотребления используется следующая модель:

figure-protocol-3

Где : eelec- — энергия на бит для работы передатчика/приёмника, - k — размер данных в битах, -figure-protocol-4 энергия, необходимая усилителю передатчика, - — расстояние между узлами, -d — показатель потерь пути.

Метрики оценки
В симуляциях этого исследования использовались следующие метрики производительности:

Коэффициент доставки пакетов (PDR):

figure-protocol-5

Пропускная способность:

figure-protocol-6

Срок службы сети: определяется как продолжительность до тех пор, пока 50% узлов сети не исчерпают свою энергию.

Энергоэффективность:

figure-protocol-7

Псевдокод
Инициализация узлов сети IoT
Эта функция настраивает все узлы IoT в сети до начала работы системы. Каждому узлу назначается максимальная энергия, пустой буфер для хранения пакетов, состояние, представляющее локальную среду, агент SAC для обучения оптимальным решениям и модуль NC, позволяющий интеллектуальное кодирование данных.

def initialize_nodes(сеть):
для узла в сети:
node.energy = MAX_ENERGY
node.buffer = []
node.state = sense_environment(узел)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()

Генерация пакетов и сетевое кодирование
Эта функция отвечает за сбор данных сенсора с исходного узла, их кодирование с помощью линейного или XOR-метода сетевого кодирования и подготовку к передаче. Он снижает накладные расходы связи, объединяя несколько пакетов в один закодированный пакет, готовый к пересылке по сети.

def generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)

def network_code(пакеты):
Возврат linear_combination(пакеты)

Решение о маршрутизации на основе SAC
Здесь текущий узел использует свой агент SAC для анализа состояния сети и выбора наиболее энергоэффективного и надёжного соседа для пересылки пакета. Решение основано на изученных политиках и текущих экологических условиях, таких как качество соединения или остаточная энергия.

def select_next_hop(current_node):
current_state = observe_network_state(current_node)
action = sac_agent_policy(current_node.agent, current_state)
next_hop = map_action_to_neighbor(действие)
Вернуться next_hop

Передача пакетов и обратная связь
Эта функция управляет непосредственной передачей закодированного пакета. После определения лучшего следующего перехода пакет отправляется, если ссылка действительна. Затем система рассчитывает вознаграждение на основе успеха передачи и энергопотребления, которое используется для обновления модели обучения агента SAC.

transmit_packet(current_node, пакет):
next_hop = select_next_hop(current_node)
если is_link_valid(current_node, next_hop):
send(packet, next_hop)
награда = compute_reward(current_node, пакет)
update_sac_agent(current_node, награда)
Еще:
recompute_next_hop(current_node)

Обновление агента SAC (фаза обучения)
После передачи пакета эта функция обновляет агент SAC. Он фиксирует изменение состояния, сохраняет опыт в памяти, и если накоплен достаточно опыта, используется выборочный пакет для улучшения стратегии принятия решений агентом. Это помогает узлу адаптироваться к изменениям сети со временем.

Def update_sac_agent(узел, награда):
new_state = observe_network_state(узел)
store_transition(node.agent.memory, node.state, node.action, reward, new_state)
если enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
node.state = new_state

Декодирование на приемнике
В пункте назначения эта функция принимает все полученные закодированные пакеты и декодирует их обратно в исходные данные с помощью методов, таких как Гауссова элиминация. Восстановленные данные затем передаются соответствующему уровню приложений или процессу.

def decode_packet(destination_node):
received_packets = destination_node.buffer
original_data = декодирование(received_packets)
deliver_data(original_data)

def декодирование(пакеты):
Возврат gaussian_elimination(пакеты)

Мониторинг энергии и логика сна узлов
Эта функция отслеживает уровни энергии каждого узла и определяет, должен ли узел продолжать работу или переключаться в режим сна для экономии энергии. Если энергии достаточно, узел вычитает расходы, связанные с передачей; Если нет, то он временно выключается, чтобы продлить общий срок службы сети.

def monitor_energy(узел):
если node.energy < ПОРОГ:
put_node_to_sleep(узел)
иначе: node.energy -= transmission_cost()

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы провели симуляции с четырьмя различными подходами: (i) традиционная модель без оптимизации, (ii) система, использующая только сетевое кодирование (NC), (iii) настройка, использующая только алгоритм soft actor-critic (SAC) для маршрутизации, и (iv) предлагаемая гибридная модель, объединяющая NC и SAC.

Энергопотребление
Самое значительное улучшение было зафиксировано в энергоэффективности. Традиционные сети IoT быстро потребляют энергию из...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Это исследование представляет новую стратегию коммуникации с учётом энергии для основных сетей IoT, которая интегрирует сетевое кодирование (NC) с алгоритмом подкрепления (soft actor-critic, SAC). Цель этого гибридного подхода — минимизировать энергопотребление при сохранении надёжной и эффективной передачи данных. NC снижает избыточные передачи за счёт кодирования пакетов данных, в то время как SAC динамически учится и выбирает энергоэффективные маршрутизации на основе наблюдаемых состо...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторам нечего раскрывать.

Благодарности

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы хотели бы выразить благодарность Оксфордскому колледжу инженерии и Университету Jain Deemed-to-be за их поддержку и ресурсы.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
6 ГБ NVIDIA GeForce RTX 3050 (компьютерная система)nVIDIAhttps://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/Для симуляции и обучения: оперативная память процессора: 16 ГБ, GPU
AMD Ryzen (компьютерная система)AMDRyzen 7Для моделирования и обучения: Процессор
Аппаратная тестовая платформа (опциональная будущая работа)Малиновый пи https://www.raspberrypi.com/products/raspberry-pi-4-model-b/Узлы Raspberry Pi 4 с беспроводными модулями для реального развертывания и валидации IoT
Intel Core i7 (компьютерная система)Intel CoreПроцессор i7-7700Для моделирования и обучения: Процессор
Блокнот JupyterJupyterhttps://jupyter.org/Среда для итеративной разработки, отладки и визуализации
MatplotlibPythonhttps://matplotlib.org/Библиотеки визуализации на Python для построения метрик производительности (энергия, пропускная способность, PDR, срок службы сети)
Модуль сетевого кодированияПользовательская интеграция Python/NS-3 для реализации линейного сетевого кодирования и кодирования пакетов
Симулятор NS-3NS-3nsnam.orgСимулятор сети с открытым исходным кодом, используемый для симуляции и оценки маршрутизации IoT-сети
NumPy NumPynumpy.orgPython-пакеты для работы журналов симуляции, статистического анализа и структурированных наборов данных
Пандыpandas.pydata.orgPython-пакеты для работы журналов симуляции, статистического анализа и структурированных наборов данных
Python 3.10PythonВерсия 3.10.0Язык программирования, используемый для обучения агентов SAC, оптимизации коэффициентов кодирования и обработки данных
PyTorchPyTorchhttps://pytorch.org/Библиотека глубокого обучения для реализации алгоритма Soft Actor-Critic и моделей обучения с подкреплением
СиборнPythonhttps://seaborn.pydata.org/Библиотеки визуализации на Python для построения метрик производительности (энергия, пропускная способность, PDR, срок службы сети)
Ubuntu 20.04 (компьютерная система)UbuntuВерсия 20.04Для симуляции и обучения: операционная система

Ссылки

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Leong, W. Internet of things for enhancing public safety, disaster response, and emergency management. Eng Proc. 92 (1), 61(2025).
  2. Ghermezcheshmeh, M., Razlighi, M. M., Shah-Mansouri, V., Zlatanov, N. Centralized dynamic-time division duplex utilizing interference alignment. IEEE Transactions on Wireless Communications. 20 (10), 68526866(2021).
  3. Baliga, J., Ayre, R. W. A., Hinton, K., Tucker, R. S. Green cloud computing: balancing energy in processing, storage, and transport. Proceedings of the IEEE. 99 (1), 149-167 (2011).
  4. Byzantine modification detection in multicast networks using randomized network coding. Ho, T., et al. International Symposium onInformation Theory, 2024. ISIT 2004. Proceedings, Chicago, IL, USA, , (2004).
  5. Towards effective intra-flow network coding in software-defined wireless mesh networks. Zhu, D., Yang, X., Zhao, P., Yu, W. 2015 24th International Conference on Computer Communication and Networks (ICCCN), Las Vegas, NV, USA, , (1109).
  6. Zhang, Y., et al. Deep actor-critic learning for wireless network routing optimization. IEEE Trans Mob Comput. 21 (10), 3502-3516 (2022).
  7. Dev, K., et al. Energy optimization for green communication in IoT using Harris hawks optimization. IEEE Trans Green Commun Network. 6 (4), 2135-2147 (2022).
  8. Tuong, V., et al. Deep reinforcement learning-based hierarchical time division duplexing control. IEEE Trans Wirel Commun. 21 (10), 8504-8518 (2022).
  9. Wang, Y., et al. Reinforcement learning for energy-efficient IoT: a survey of recent advances. IEEE Internet Things J. 10 (2), 1679-1693 (2023).
  10. Zhang, H., et al. Intelligent energy-efficient IoT networking using proximal policy optimization. Sensors. 24 (1), 115(2024).
  11. Raza, O. Energy-efficient IoT networks using AI-driven approaches. Smart Internet Things. 1 (3), 203212(2024).
  12. Yuan, J., Peng, J., Yan, Q., He, G., Xiang, H., Liu, Z. Deep reinforcement learning-based energy consumption optimization for peer-to-peer communication in wireless sensor networks. Sensors. 24 (5), 1632(2024).
  13. INCdeep: Intelligent network coding with deep reinforcement learning. Wang, Q., et al. IEEE INFOCOM 2021 - IEEE Conference on Computer Communications, Vancouver, BC, Canada, , (1109).
  14. Al-Dulaimi, A., et al. Network-coding-assisted IoT communication for high-throughput data delivery. Ad Hoc Networks. 137, 102901(2022).
  15. Eriş, Ç, Gül, ÖM., Bölük, P. S. A novel reinforcement learning based routing algorithm for energy management in networks. J Ind Manag Optim. 20 (12), 3678-3696 (2024).
  16. Arslan, S., Darterler, S., Aydemir, F. Reinforcement learning for energy optimization in IoT based landslide early warning systems. J Sci Rep A. 59 (1), 32-57 (2024).
  17. Green IoT: advancements and sustainability with environment by 2050. Sharma, N., Panwar, D. 8th International Conference on Reliability, Infocom Technologies and Optimization (Trends and Future Directions) (ICRITO), Noida, India, , (2020).
  18. Dynamic time division duplexing for green internet of things. Tuong, V., Dao, N., Noh, W., Cho, S. 2022 International Conference on Information Networking (ICOIN), Jeju-si, Republic of Korea, , (2022).
  19. Zhu, X., Wu, Q., Fan, Q., Fan, P., Wang, J., Li, Z. Deep reinforcement learning based power allocation for minimizing age-of-information and energy consumption in MIMO-NOMA IoT systems. arXiv. , (2023).
  20. Han, G., Liu, L., Jiang, J., Shu, L., Hancke, G. Analysis of energy efficient connected target coverage algorithms for industrial wireless sensor networks. IEEE Trans Industr Inform. 13 (2), 135-143 (2017).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

IoTNS 3

Похожие статьи