В этом исследовании интегрировано сетевое кодирование с мягким подкреплением актёр-критик для достижения энергоэффективной маршрутизации в основных IoT-сетях, демонстрируя снижение энергопотребления на 40% при коэффициенте доставки пакетов 97%.
Исследовательская статья
В этом исследовании интегрировано сетевое кодирование с мягким подкреплением актёр-критик для достижения энергоэффективной маршрутизации в основных IoT-сетях, демонстрируя снижение энергопотребления на 40% при коэффициенте доставки пакетов 97%.
Быстрое расширение сетей интернета вещей (IoT) усугубило проблемы энергоэффективности в основных IoT-сетях, где маршрутизация данных требует высокой нагрузки на энергию узлов. В этой статье предлагается гибридная модель, интегрирующая сетевое кодирование (NC) с мягким актёр-критиком (SAC) подкреплением для решения этих задач. NC минимизирует избыточные передачи за счёт комбинирования пакетов, в то время как агенты SAC динамически выбирают маршрутизационные пути с учетом состояния узла, качества канала и остаточной энергии.
Система была реализована с использованием симулятора NS-3 с топологией сетки 5 × 5 узлов IoT (512-байтные пакеты, 100 секунд) при различных условиях трафика. Результаты показывают, что NC + SAC достигает снижения энергопотребления на 40%, коэффициента доставки пакетов на 97%, улучшения пропускной способности на 50% и увеличения срока службы сети по сравнению с традиционными маршрутизационными и автономными методами.
Ключевые вклады включают новую интеграцию NC-SAC, комплексную валидацию NS-3 по нескольким метрикам и демонстрацию коммуникации, основанной на обучении, для устойчивых инфраструктур IoT. Гибридный подход балансирует между надёжностью, энергосохранением и производительностью, предлагая масштабируемую структуру для зелёных IoT-сетей следующего поколения.
Интернет вещей (IoT) стал одной из самых трансформирующих технологий XXI века, бесшовно соединяя миллиарды устройств для создания более умных домов, городов, промышленности и системздравоохранения. Однако вместе с этим беспрецедентным ростом возникает острая проблема: вопрос энергопотребления. IoT-устройства, особенно развернутые в центральной сети, часто питаются от батарей или ограничены по ресурсам. По мере роста плотности устройств и трафика данных энергоэффективность становится ключевым фактором для обеспечения долгосрочной устойчивости инфраструктуры IoT. В этом контексте разработка интеллектуальных коммуникационных и маршрутизационных стратегий, которые балансируют производительность с энергосбережением, имеет первостепенное значение.
Традиционные методы маршрутизации в IoT-сетях часто сосредоточены на самых коротких или надёжных подходах. Хотя эти методы эффективны в базовых ситуациях, они часто приводят к избыточным передачам и быстрому истощению энергии, особенно при динамических или масштабныхвнедрениях 2,3. Чтобы устранить эти недостатки, исследователи изучали такие методы, как сетевое кодирование (NC), которое сокращает количество передач путём объединения нескольких пакетов в один закодированный пакет. Северная Каролина доказала свою эффективность в повышении пропускной способности, снижении задержки и оптимизации использования пропускной способности. Однако, хотя сетевое кодирование эффективно снижает накладные расходы на связь, оно не учитывает уровни энергии узлов и не адаптируется к изменяющимся условиям сети 4,5.
Именно здесь принятие решений на основе машинного обучения играет важную роль. Обучение с подкреплением (RL) предоставляет особенно надёжную структуру, позволяющую узлам IoT принимать адаптивные решения через взаимодействие с окружающей средой и обучение на основе вознаграждений. Среди алгоритмов RL мягкий актор-критик (SAC) приобрёл популярность благодаря способности балансировать между исследованием и эксплуатацией через регуляризациюэнтропии 6. В отличие от традиционных моделей RL, SAC поощряет разнообразный выбор действий, предотвращая слишком быструю сходимость системы к неоптимальным стратегиям. Для энергозатрат IoT-сетей это означает более умный выбор маршрутизации, который адаптируется не только к качеству соединения и успеху доставки, но и к остаточным уровням энергии на каждом узле.
Недавние исследования всё больше сосредотачиваются на роли обучения с подкреплением в оптимизации коммуникации IoT и управления энергией. Например, Дев и др.7 использовали оптимизацию Харриса Хоукса для энергоэффективной IoT-коммуникации, а Туонг и др.8 исследовали глубокое подкрепляющее обучение для иерархического дуплексирования в беспроводных IoT-системах. Более современные работы 8,9 подчёркивают, как продвинутые методы обучения с подкреплением, такие как оптимизация проксимальных политик и распределённые мультиагентные фреймворки, могут дополнительно повысить адаптивность в масштабных IoT-средах.
В данном исследовании представлена новая гибридная модель коммуникации, которая совместно сочетает сетевое кодирование (NC) с алгоритмом мягкого актора-критика (SAC) для достижения энергосчётной интеллектуальной маршрутизации в основных IoT-сетях. В отличие от предыдущих подходов, использующих NC или обучение с подкреплением независимо или дискретные модели глубокого RL, это исследование использует формулировку непрерывного действия с энтропиейной регуляризацией SAC для динамической оптимизации решений маршрутизации на основе состояния сети, включая уровни энергии, стабильность канала и статус буфера пакетов. Интеграция NC позволяет снизить количество повторных передач и улучшить использование пропускной способности, а SAC обеспечивает адаптивный выбор пути для балансировки нагрузки на сеть и экономии энергии узлов. Этот двойной механизм вводит новую парадигму коммуникации с программированием на основе обучения, достигая измеримых приростов в энергоэффективности, пропускной способности, коэффициенте доставки пакетов и сроке службы сети по сравнению с существующими методами.
Мы реализовали и протестировали предлагаемый фреймворк с использованием среды симуляции NS-3, развернув сетку 5×5 узлов IoT при различных нагрузках на трафик. Размер пакета, дальность и энергетические модели передачи были тщательно определены с учётом реалистичных условий IoT. В ходе этих моделей мы оценили ключевые показатели, включая коэффициент доставки пакетов (PDR), пропускную способность, срок службы сети и энергоэффективность. Результаты следующие: по сравнению с традиционными моделями маршрутизации и автономными моделями, гибридная система NC + SAC снизила энергопотребление почти на 40%, увеличила пропускную способность на 50% и значительно продлила срок службы сети, при этом сохранив коэффициент доставки пакетов близко к 97%.
Помимо числовых улучшений, настоящая сила этой работы заключается в её масштабируемости и адаптивности. По мере роста и сложности IoT-сетей решения, динамически адаптирующиеся к изменяющимся условиям, будут иметь решающее значение. Эта гибридная концепция не только решает непосредственную проблему энергосбережения, но и создаёт основу для автономных, самооптимизирующихся IoT-систем, которые могут поддерживать себя в реальных условиях. Таблица 1 содержит журналы производительности для таких параметров, как энергопотребление, коэффициент доставки пакетов, срок службы сети и пропускная способность. В таблице 2 приведено краткое изложение результатов эксперимента. Кроме того, интеграция обучения с подкреплением в сети IoT демонстрирует потенциал протоколов, управляемых ИИ, для изменения взаимодействия устройств в условиях ограниченных ресурсов.
Недавние достижения в стратегиях интеллектуальной коммуникации ещё больше подчёркивают необходимость адаптивных и устойчивых IoT-фреймворков маршрутизации10, 11, 12. Традиционные протоколы маршрутизации на основе кластеризации или статической маршрутизации часто не справляются с динамическими сетевыми проблемами, такими как колебания качества канала, изменение уровня энергии узлов и помехи, что может привести к быстрому снижению производительности и ранним отказам узлов. Современные подходы на основе обучения с подкреплением демонстрируют значительный потенциал в решении этих проблем, позволяя устройствам IoT динамически осваивать оптимальные стратегии передачи через постоянное взаимодействие с окружающейсредой 10,11,12. В то же время сетевое кодирование продемонстрировало свою полезность в снижении резервных передач и повышении спектральной эффективности в ограниченных сетевыхсредах 5, 13 и 14. Однако большинство существующих исследований оценивают эти методы независимо, а не в комбинации. Таким образом, интеграция NC с методом непрерывного контроля и усилением обучения, таким как Soft Actor-Critic, представляет собой более надёжный и интеллектуальный механизм коммуникации, способный адаптироваться к изменениям в реальном времени при сохранении энергии15,16. Эта гибридная парадигма не только укрепляет устойчивость и автономию IoT-сетей, но и соответствует новым тенденциям исследований в области зелёных коммуникационных систем и беспроводных архитектур на основе машинного обучения для устойчивого масштабного внедрения.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Рабочий процесс передачи данных и обработки пакетов
Инициализация узла: каждый узел начинается с полной информации о топологии сети, максимальной энергетической ёмкости и предварительно обученного агента SAC, готового к принятию решений. Модуль сетевого кодирования активирует и готовится к операциям по комбинированию пакетов.
Процесс кодирования пакетов: При начале передачи исходные узлы собирают несколько пакетов данных с датчиков. Модуль сетевого кодирования объединяет эти пакеты в меньшее количество закодированных пакетов с помощью эффективных математических операций, что значительно снижает общее количество необходимых передач.
Выполнение решения по маршрутизации SAC: агент SAC анализирует текущее состояние сети, включая уровни энергопотребления соседей, качество канала, условия движения и расстояние до пункта назначения. Он выбирает оптимального соседа для следующего хопа на основе своей изученной политики, отдавая приоритет энергоэффективности и надёжности.
Многохоповая пересылка пакетов: Закодированные пакеты проходят по выбранному пути. Промежуточные узлы решают, объединять пакеты дальше или пересылать их напрямую, исходя из текущего статуса буфера и оставшегося уровня энергии.
Расчёт и хранение вознаграждения: после каждой передачи система рассчитывает балл вознаграждения на основе успеха доставки, потраченной энергии, задержки передачи и отброса пакетов. Эта информация о вознаграждении хранится для агента SAC, чтобы он мог на ней учиться.
Обновление по непрерывному обучению: агент SAC регулярно проверяет хранящийся опыт и обновляет стратегию принятия решений, чтобы лучше выбирать энергоэффективные маршруты при сохранении высокой эффективности доставки.
Архитектура системы
Типичный узел работает следующим образом: он обнаруживает и собирает данные, кодирует их с помощью сетевого кода, а затем пересылает закодированный пакет по выбранному агенту SAC маршрутизации. Агент SAC оценивает состояние узла, включая оставшуюся энергию, статус буфера и качество канала, чтобы определить следующий оптимальный переход. Этот процесс динамичен и развивается через опыт по мере изменения условий сети. Рисунок 1 иллюстрирует этот поток данных и взаимодействие между компонентами.
Уравнение сетевого кодирования
Сетевое кодирование применяется на промежуточных узлах следующим образом:

Где Ci — закодированный пакет, αij — коэффициент кодирования (изучаемый через SAC), а Pj — исходные пакеты. Это позволяет сети сократить количество передач и повысить надёжность.
Целевая функция SAC
Агент SAC оптимизирует политику, используя следующую цель, регламентированную энтропией:

Где r(s t, at) — награда, α — компромиссный параметр для исследования, а H — энтропийный термин.
Модель энергопотребления
Для моделирования реалистичного энергопотребления используется следующая модель:

Где : eelec- — энергия на бит для работы передатчика/приёмника, - k — размер данных в битах, -
энергия, необходимая усилителю передатчика, - — расстояние между узлами, -d — показатель потерь пути.
Метрики оценки
В симуляциях этого исследования использовались следующие метрики производительности:
Коэффициент доставки пакетов (PDR):

Пропускная способность:

Срок службы сети: определяется как продолжительность до тех пор, пока 50% узлов сети не исчерпают свою энергию.
Энергоэффективность:

Псевдокод
Инициализация узлов сети IoT
Эта функция настраивает все узлы IoT в сети до начала работы системы. Каждому узлу назначается максимальная энергия, пустой буфер для хранения пакетов, состояние, представляющее локальную среду, агент SAC для обучения оптимальным решениям и модуль NC, позволяющий интеллектуальное кодирование данных.
def initialize_nodes(сеть):
для узла в сети:
node.energy = MAX_ENERGY
node.buffer = []
node.state = sense_environment(узел)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()
Генерация пакетов и сетевое кодирование
Эта функция отвечает за сбор данных сенсора с исходного узла, их кодирование с помощью линейного или XOR-метода сетевого кодирования и подготовку к передаче. Он снижает накладные расходы связи, объединяя несколько пакетов в один закодированный пакет, готовый к пересылке по сети.
def generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)
def network_code(пакеты):
Возврат linear_combination(пакеты)
Решение о маршрутизации на основе SAC
Здесь текущий узел использует свой агент SAC для анализа состояния сети и выбора наиболее энергоэффективного и надёжного соседа для пересылки пакета. Решение основано на изученных политиках и текущих экологических условиях, таких как качество соединения или остаточная энергия.
def select_next_hop(current_node):
current_state = observe_network_state(current_node)
action = sac_agent_policy(current_node.agent, current_state)
next_hop = map_action_to_neighbor(действие)
Вернуться next_hop
Передача пакетов и обратная связь
Эта функция управляет непосредственной передачей закодированного пакета. После определения лучшего следующего перехода пакет отправляется, если ссылка действительна. Затем система рассчитывает вознаграждение на основе успеха передачи и энергопотребления, которое используется для обновления модели обучения агента SAC.
transmit_packet(current_node, пакет):
next_hop = select_next_hop(current_node)
если is_link_valid(current_node, next_hop):
send(packet, next_hop)
награда = compute_reward(current_node, пакет)
update_sac_agent(current_node, награда)
Еще:
recompute_next_hop(current_node)
Обновление агента SAC (фаза обучения)
После передачи пакета эта функция обновляет агент SAC. Он фиксирует изменение состояния, сохраняет опыт в памяти, и если накоплен достаточно опыта, используется выборочный пакет для улучшения стратегии принятия решений агентом. Это помогает узлу адаптироваться к изменениям сети со временем.
Def update_sac_agent(узел, награда):
new_state = observe_network_state(узел)
store_transition(node.agent.memory, node.state, node.action, reward, new_state)
если enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
node.state = new_state
Декодирование на приемнике
В пункте назначения эта функция принимает все полученные закодированные пакеты и декодирует их обратно в исходные данные с помощью методов, таких как Гауссова элиминация. Восстановленные данные затем передаются соответствующему уровню приложений или процессу.
def decode_packet(destination_node):
received_packets = destination_node.buffer
original_data = декодирование(received_packets)
deliver_data(original_data)
def декодирование(пакеты):
Возврат gaussian_elimination(пакеты)
Мониторинг энергии и логика сна узлов
Эта функция отслеживает уровни энергии каждого узла и определяет, должен ли узел продолжать работу или переключаться в режим сна для экономии энергии. Если энергии достаточно, узел вычитает расходы, связанные с передачей; Если нет, то он временно выключается, чтобы продлить общий срок службы сети.
def monitor_energy(узел):
если node.energy < ПОРОГ:
put_node_to_sleep(узел)
иначе: node.energy -= transmission_cost()
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Мы провели симуляции с четырьмя различными подходами: (i) традиционная модель без оптимизации, (ii) система, использующая только сетевое кодирование (NC), (iii) настройка, использующая только алгоритм soft actor-critic (SAC) для маршрутизации, и (iv) предлагаемая гибридная модель, объединяющая NC и SAC.
Энергопотребление
Самое значительное улучшение было зафиксировано в энергоэффективности. Традиционные сети IoT быстро потребляют энергию из...
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Это исследование представляет новую стратегию коммуникации с учётом энергии для основных сетей IoT, которая интегрирует сетевое кодирование (NC) с алгоритмом подкрепления (soft actor-critic, SAC). Цель этого гибридного подхода — минимизировать энергопотребление при сохранении надёжной и эффективной передачи данных. NC снижает избыточные передачи за счёт кодирования пакетов данных, в то время как SAC динамически учится и выбирает энергоэффективные маршрутизации на основе наблюдаемых состо...
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Авторам нечего раскрывать.
Мы хотели бы выразить благодарность Оксфордскому колледжу инженерии и Университету Jain Deemed-to-be за их поддержку и ресурсы.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| 6 ГБ NVIDIA GeForce RTX 3050 (компьютерная система) | nVIDIA | https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/ | Для симуляции и обучения: оперативная память процессора: 16 ГБ, GPU |
| AMD Ryzen (компьютерная система) | AMD | Ryzen 7 | Для моделирования и обучения: Процессор |
| Аппаратная тестовая платформа (опциональная будущая работа) | Малиновый пи | https://www.raspberrypi.com/products/raspberry-pi-4-model-b/ | Узлы Raspberry Pi 4 с беспроводными модулями для реального развертывания и валидации IoT |
| Intel Core i7 (компьютерная система) | Intel Core | Процессор i7-7700 | Для моделирования и обучения: Процессор |
| Блокнот Jupyter | Jupyter | https://jupyter.org/ | Среда для итеративной разработки, отладки и визуализации |
| Matplotlib | Python | https://matplotlib.org/ | Библиотеки визуализации на Python для построения метрик производительности (энергия, пропускная способность, PDR, срок службы сети) |
| Модуль сетевого кодирования | Пользовательская интеграция Python/NS-3 для реализации линейного сетевого кодирования и кодирования пакетов | ||
| Симулятор NS-3 | NS-3 | nsnam.org | Симулятор сети с открытым исходным кодом, используемый для симуляции и оценки маршрутизации IoT-сети |
| NumPy | NumPy | numpy.org | Python-пакеты для работы журналов симуляции, статистического анализа и структурированных наборов данных |
| Панды | pandas.pydata.org | Python-пакеты для работы журналов симуляции, статистического анализа и структурированных наборов данных | |
| Python 3.10 | Python | Версия 3.10.0 | Язык программирования, используемый для обучения агентов SAC, оптимизации коэффициентов кодирования и обработки данных |
| PyTorch | PyTorch | https://pytorch.org/ | Библиотека глубокого обучения для реализации алгоритма Soft Actor-Critic и моделей обучения с подкреплением |
| Сиборн | Python | https://seaborn.pydata.org/ | Библиотеки визуализации на Python для построения метрик производительности (энергия, пропускная способность, PDR, срок службы сети) |
| Ubuntu 20.04 (компьютерная система) | Ubuntu | Версия 20.04 | Для симуляции и обучения: операционная система |
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE
Запросить разрешение