В данной работе представлена адаптивная многосенсорная (LiDAR, камера, ИК-датчик, IMU) среда DWA с онлайн-обучением для инспекционных роботов. Многократные промышленные испытания демонстрируют точность позиционирования ±1.5 cm, распознавание препятствий на уровне 98.7%, повышение эффективности на 32% и снижение энергопотребления на 9.8% по сравнению с традиционными методами.
Исследовательская статья
Исследование по оптимизации и адаптации к динамической среде интеллектуальной системы инспекции роботов на основе слияния данных от нескольких датчиков
В этой статье
Краткое содержание
Аннотация
В данной работе предлагается структура оптимизации на основе глубокого слияния данных с нескольких датчиков и адаптивного принятия решений для интеллектуальных инспекционных роботов, предназначенная для решения проблем ограниченной надежности восприятия, низкой эффективности планирования пути и плохой адаптивности к окружающей среде в динамических сценариях. Робототехническая платформа оснащена LiDAR, видеокамерой, инфракрасным тепловизором и IMU для построения надежной модели восприятия для распознавания препятствий и оценки положения. Мы разработали алгоритм слияния dynamic weight-DWA для планирования пути и модуль онлайн-обучения для обновления характеристик окружающей среды. Было проведено множество испытаний на промышленных предприятиях и подстанциях при различных условиях освещения и в присутствии движущихся препятствий. По сравнению с базовыми методами, включая фильтр Калмана, DNN и A*+DWA, система обеспечивает погрешность позиционирования ±1.5 cm, точность распознавания препятствий 98.7% и задержку перепланирования менее 0.8 s, при этом эффективность инспекции выше на 32%, а энергопотребление ниже на 9.8% (p < 0.01). Система демонстрирует повышенную устойчивость в протестированных динамических промышленных условиях.
Введение
В связи с быстрым развитием интеллектуального производства и систем «умной» энергетики интеллектуальные инспекционные роботы, являясь основным оборудованием для замены ручных операций с высоким уровнем риска, нашли широкое применение в таких ключевых секторах инфраструктуры, как электроэнергетика, нефтехимия и железнодорожный транспорт. Традиционные системы инспекции в основном полагаются на один датчик для восприятия окружающей среды, и их эффективность в структурированных статических сценах является приемлемой. Однако в условиях реальных промышленных объектов они часто сталкиваются с высокодинамичными и неструктурированными факторами, такими как изменение освещения, временное перемещение оборудования, движение персонала, а также помехи в виде дождя и тумана, что может привести к сбоям в восприятии и ошибкам при принятии решений1,2,3. В последние годы достижения в области глубокого и подкрепляемого обучения позволили внедрить новые подходы к совместной обработке многоисточниковых данных, а усовершенствование аппаратного обеспечения для граничных вычислений обеспечило возможность выполнения сложных алгоритмов в режиме реального времени. В этом контексте создание системы многосенсорного синтеза для инспекции с высокой адаптивностью к окружающей среде является не только насущной потребностью для повышения уровня автоматизации технического обслуживания и эксплуатации, но и ключевым техническим условием обеспечения безопасной работы критически важных объектов.
Несмотря на теоретические преимущества технологии многосенсорного синтеза, существующие интеллектуальные системы инспекции по-прежнему сталкиваются со значительными трудностями при практическом применении в динамических средах. Во-первых, недостаточна точность пространственно-временной регистрации данных из гетерогенных датчиков. Искажения при синтезе облака точек лазерного сканирования и кадров изображения вызваны различиями в частоте дискретизации и координатных системах. Особенно при движении робота на высокой скорости искажения, вызванные движением, усугубляют ошибки сопоставления признаков и снижают надежность обнаружения препятствий. Во-вторых, традиционная стратегия синтеза обладает слабой адаптивностью к изменениям окружающей среды. Основные методы опираются на фиксированные параметры и не способны обрабатывать такие сценарии, как резкие изменения освещения, запыленность или внезапное появление препятствий, что приводит к резкому росту частоты ложных срабатываний. Например, при отказе системы машинного зрения в условиях сильного освещения система не может автоматически переключиться в режим с приоритетом лазерного сканирования, что приводит к прерыванию навигации. Кроме того, модули планирования пути и восприятия разделены. В большинстве систем используется последовательная архитектура: после того как слой восприятия формирует модель среды, слой планирования заново выстраивает маршрут. Такой режим характеризуется значительной задержкой отклика в динамических сценах. При появлении временных препятствий необходимо полностью выполнить процесс «обнаружение-моделирование-перепланирование», который занимает более 2 секунд, что не соответствует требованиям обхода препятствий в режиме реального времени. Наконец, системе не хватает возможностей онлайн-обучения. Существующие методы в основном основаны на предварительно обученных моделях, которые демонстрируют низкую точность распознавания неизвестных препятствий или аномальных состояний оборудования, требуют частого ручного вмешательства для сброса параметров и влекут за собой высокие эксплуатационные расходы и затраты на техническое обслуживание4,5,6,7. Эти проблемы серьезно ограничивают возможность надежного развертывания инспекционных роботов в сложных промышленных сценариях.
В данном исследовании предлагаются систематические инновационные решения для вышеупомянутых проблем: во-первых, разработана многослойная адаптивная архитектура слияния (LAFA). На уровне данных предлагается алгоритм компенсации пространственно-временной синхронизации, который обеспечивает выравнивание данных LiDAR, системы технического зрения и IMU на микросекундном уровне посредством компенсации движения IMU и двойной фильтрации Калмана. На уровне признаков разработан модуль выбора мультимодальных признаков на основе механизма внимания для динамической оценки достоверности каждого датчика и корректировки веса слияния, что позволяет смягчить деградацию восприятия при воздействии внешних помех. Во-вторых, предлагается механизм планирования пути с учетом взаимодействия с окружающей средой (EIPPM). Результаты восприятия в реальном времени напрямую интегрируются в улучшенную функцию стоимости для построения динамической карты рисков; одновременно с этим спроектирован интерфейс замкнутой связи «восприятие-планирование». Когда модуль локального обхода препятствий на основе метода динамического окна (DWA) обнаруживает внезапное препятствие, он немедленно запускает инкрементную оптимизацию глобального пути, сокращая задержку перепланирования до менее чем 1 секунды, а также внедряет модель прогнозирования транспортных затрат для активного избегания зон с высокой динамикой. В-третьих, создана облегченная структура онлайн-обучения. Перенос обучения используется для инициализации библиотеки признаков окружающей среды, через устройства граничных вычислений развернуты облегченные сверточные сети (LCNN, Lightweight Convolutional Neural Network) и сети долгой краткосрочной памяти (LSTM, Long Short-Term Memory network) для анализа потоковых данных с датчиков в реальном времени, автоматического предварительного выявления аномальных паттернов и обновления базы знаний об окружающей среде в протестированных сценариях. Кроме того, разработан модуль тонкой настройки стратегии на основе обучения с подкреплением, позволяющий системе автономно изучать адаптивные стратегии посредством непрерывного взаимодействия. Данное решение обеспечивает полностековую оптимизацию от восприятия и принятия решений до исполнения, значительно повышая робастность и автономность системы в неструктурированных динамических сценариях.
Протокол
Теоретические основы
Предлагаемая структура интеллектуального осмотра основана на общепринятых принципах робототехнического восприятия, многосенсорного объединения информации, оценивания состояния и автономного планирования траектории. Многосенсорный синтез объединяет дополняющие друг друга данные LiDAR, систем машинного зрения, инфракрасной визуализации и инерциальных измерений для повышения точности локализации, качества восприятия окружающей среды и устойчивости работы в сложных промышленных условиях. Оценивание состояния с помощью фильтрации Калмана обеспечивает пространственно-временную синхронизацию гетерогенных данных сенсоров, в то время как стратегии адаптивного взвешивания повышают надежность синтеза при изменяющихся условиях окружающей среды. Кроме того, методы динамического планирования траектории интегрируют восприятие среды в реальном времени, обход препятствий и принятие решений для обеспечения безопасной и эффективной навигации робота в динамических средах. Эти установленные концепции служат теоретическим фундаментом для предлагаемой структуры восприятия на базе LAFA и стратегии планирования траектории EIPPM, реализованных в данном исследовании8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Иерархическая адаптивная модель многосенсорного слияния
Для решения проблемы пространственно-временного несоответствия и «застывания» весов (weight solidification) в гетерогенных данных датчиков в динамической среде в данном разделе предлагается LAFA (Layered Adaptive Fusion Architecture — многослойная адаптивная архитектура слияния). Сначала мы единообразно калибруем временные метки LiDAR, видеокамеры и IMU, а затем применяем двойной фильтр Калмана в сочетании с прогнозированием позы робота на основе IMU для компенсации смещений движения между кадрами. Это позволяет достичь микросекундной пространственно-временной синхронизации трех датчиков и устранить искажения облака точек, вызванные высокоскоростным движением. Данная архитектура значительно повышает надежность восприятия в сложных сценариях, снижая погрешность позиционирования на 46% по сравнению с традиционными методами.
Рисунок 1. Архитектура динамического принятия решений интеллектуального инспекционного робота. Обзор фреймворка LAFA-EIPPM, демонстрирующий мультимодальное восприятие, генерацию задач под руководством языка, адаптивное слияние данных сенсоров и замкнутый контур управления роботом. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 1, данная архитектура объединяет систему многомодального восприятия с замкнутым контуром и динамического принятия решений: сначала инструкции на естественном языке поступают через модуль языкового взаимодействия ROSA (Robot Operating System Assistant), который интегрирует API GPT-4o для генерации структурированных запросов на выполнение задач31,32. Этот модуль использует фиксированные шаблоны промптов и настройки лимитов доступа к API. Он преобразует естественный язык в унифицированные форматы команд инспекции и оснащен фильтрацией по ключевым словам для обеспечения базового контроля безопасности во время работы; затем динамический кодировщик использует модель MDN-RNN (рекуррентная нейронная сеть с сетью смесей плотностей) для объединения данных из многоисточниковых датчиков, таких как LiDAR, системы машинного зрения и IMU, для вывода признаков скрытого состояния, включая семантику окружающей среды; эти признаки синхронно поступают в адаптивный контроллер, который в сочетании с предустановленным набором данных генерирует кроссплатформенную инструкцию по действиям. Наконец, через уровень исполнения в окружающей среде приводится в движение гетерогенный робот для выполнения задачи динамической инспекции, а состояние машины в реальном времени передается обратно кодировщику для формирования замкнутого цикла оптимизации, что реализует механизм динамической адаптации всего процесса — от многомодального восприятия до автономного принятия решений.
В данной работе используется стандартный API GPT-4o с фиксированным форматом промпта, что позволяет достичь средней задержки ответа менее 200 ms. Механизм повторных попыток снижает недетерминизм. Для обработки аномальных запросов и обеспечения безопасности работы развернуты модули перехвата ошибок и проверки безопасности контента. LAFA принимает на вход необработанные данные с нескольких датчиков и выводит объединенные признаки и динамические веса слияния. Веса внимания рассчитываются путем нормализации значения достоверности каждого датчика. Используется перекрестная энтропия (cross-entropy loss); скорость обучения составляет 1e-3, размер пакета — 32, общее количество эпох обучения — 50.
ROSA с использованием GPT-4o служит исключительно для обеспечения интерфейса «человек-машина», преобразуя естественный язык в задачи по инспекции; это не влияет на восприятие или планирование, поэтому задержка отклика не является ключевым KPI. Это повышает удобство использования без ущерба для позиционирования, распознавания или перепланирования.
Механизм динамического планирования пути с учетом взаимодействия с окружающей средой
Для устранения задержки отклика, вызванной разделением модулей восприятия и планирования, в данном разделе предлагается механизм интерактивного планирования пути с учетом окружающей среды (EIPPM). Основная инновация заключается в создании интерфейса с замкнутым контуром сопряжения между восприятием и принятием решений. Кроме того, внедрены сети долгосрочной и краткосрочной памяти для прогнозирования транспортных затрат в высокодинамичных зонах и активного направления робота в обход точек затора. Данный механизм сокращает задержку перепланирования до значения менее 0,8 seconds, одновременно повышая безопасность и эффективность траектории.
EIPPM оптимизирует функцию стоимости DWA путем объединения расстояния до препятствия и степени достоверности данных сенсора. Динамическая карта рисков строится на основе положения и состояния движения препятствия. Инкрементальное перепланирование инициируется, когда смещение препятствия превышает 0.5 m. Предиктор на базе LSTM вычисляет стоимость трафика в регионе. Локальный планировщик DWA и глобальный планировщик A* тесно связаны между собой, при этом порог времени перепланирования составляет 0.8 s для обеспечения работы в режиме реального времени. Пересмотренная стоимость DWA: EQUATION. зависит от расстояния до препятствия; использует степень достоверности сенсора LAFA; налагает штрафы для динамических зон, предсказанных LSTM. Нормализованный баланс безопасности, восприятия, достоверности и риска движения. Степень достоверности m-го сенсора рассчитывается с помощью . Вес слияния после нормализации. Модуль внимания обновляется покадрово; сенсорам с низкой достоверностью присваиваются минимальные веса для уменьшения искажений при слиянии в условиях плохого освещения или запыленности.
Рисунок 2. Рабочий процесс семантического восприятия и адаптивного управления на основе LiDAR. Иллюстрация рабочего процесса семантического восприятия, генерации ограничений и адаптивного планирования траектории для автономного осмотра на основе анализа окружающей среды с помощью LiDAR. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на Рисунке 2, весь рабочий процесс управляется датчиками LiDAR. Сначала необработанные данные LiDAR импортируются в модуль семантического анализа для извлечения информации об окружающей среде и целях. После обработки с помощью предложенного алгоритма многосенсорного слияния LAFA данные передаются в блок ограничений управления для оценки рабочих правил и пределов безопасности. В сочетании со стратегией планирования траектории EIPPM система выдает команды управления, чтобы робот мог выполнить задачи по инспекции. Обратная связь о состоянии окружающей среды в реальном времени передается в модуль фронтального восприятия для обеспечения работы по замкнутому циклу. На рисунке полностью представлена общая логика функционирования системы восприятия, слияния данных, контроля ограничений и исполнения робота.
Результаты
Оценка эффективности восприятия
Для проверки эффективности LAFA и EIPPM в динамических сценариях в данной главе развернуты тестовые платформы в двух типичных условиях инспекции: на промышленных предприятиях и подстанциях. Экспериментальные условия включают экстремальные факторы, такие как резкие изменения освещенности (2 000 → 80 000 lux), случайное перемещение препятствий (5–8/мин) и запыленность (видимость < 5 m). По сравнению с основными алгоритмами слияния (фильтр Калмана/DNN) и методами планирования траектории (A + DWA/RRT) проведена количественная оценка ключевых показателей, таких как точность позиционирования, скорость распознавания препятствий, задержка перепланирования и энергопотребление, а также доказаны преимущества предлагаемой схемы с помощью анализа статистической значимости (p < 0,01). Все данные собраны на реальных промышленных объектах и подстанциях, всего 28 000 образцов по 6 категориям препятствий. Все образцы размечены вручную. Соотношение обучающей и тестовой выборок составляет 8:2. Дополнительные 5 000 образцов в режиме реального времени используются для онлайн-обучения. Библиотека признаков окружающей среды представлена в виде 12-мерных мультимодальных векторов признаков. Модель онлайн-обучения обновляется инкрементально при накоплении аномальных образцов более чем в 10 последовательных кадрах с использованием фиксированной скорости обучения 0,001. Метки аномалий определены как внезапные препятствия и аномальные состояния оборудования. Для предотвращения катастрофического забывания к распределению данных применяется порог дрейфа 0,15; если сдвиг распределения превышает этот порог, обновление временно приостанавливается до стабилизации поступающих данных, что подавляет дрейф модели и поддерживает обобщающую способность. Легковесный модуль онлайн-обучения протестирован на 5 000 новых образцах. После обновления модели по 10 кадрам точность распознавания неизвестных препятствий увеличилась на 7,2%, что подтверждает способность системы к адаптивной оптимизации для новых объектов окружающей среды.
Робототехническая платформа: дифференциальный колесный привод, контроллер STM32 и бортовой компьютер Jetson Xavier NX. Платформа использует литиевые аккумуляторы, обеспечивающие 8 часов непрерывной работы, при скорости 0,2–1,2 m/s, максимальной грузоподъемности 8 kg и наличии двойной связи через Wi-Fi и 4G. Датчики: RPLIDAR A1M8, 10 Hz, FOV 360°; камера 1080P, 30 fps, FOV 120°; инфракрасный имиджер 320 x 240; IMU MPU6050, 200 Hz. Все датчики установлены спереди, равномерно откалиброваны и синхронизированы на микросекундном уровне. Программное обеспечение: Ubuntu 20.04, ROS Noetic, Python и C++, фреймворк PyTorch; система оснащена 8-ядерным CPU и GPU 16 GB для граничных вычислений.
Промышленный цех (45 m x 30 m, маршрут 120 m) и подстанция (50 m x 35 m, маршрут 150 m) включают стационарное оборудование и перемещающийся персонал. Каждое испытание проводится 30 раз с безопасным расстоянием 0,6 m. Освещенность варьируется от 2 000 до 80 000 lux, при этом количество движущихся препятствий составляет 5–8 в минуту. Пыль снижает видимость до уровня менее 5 m. Все условия воспроизводимы.
| Метод | Ошибка локализации (cm) | Доля обнаружения препятствий (%) | Доля ложных срабатываний (%) | Задержка обработки (ms) | Устойчивость (изменение освещения) | Устойчивость (влияние пыли) | p-значение |
| Только LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Низкая | Средняя | <0.01 |
| Зрение + IMU | ±5.1 | 78.3 | 15.2 | 40 | Очень низкая | Низкая | <0.01 |
| Слияние по фильтру Калмана | ±2.8 | 92.1 | 6.3 | 65 | Средняя | Средняя | <0.01 |
| Слияние на базе DNN | ±2.5 | 94.8 | 5.1 | 110 | Высокая | Низкая | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Высокая | Средняя | <0.01 |
| Предлагаемый LAFA | ±1.5 | 98.7 | 1.8 | 35 | Очень высокая | Очень высокая | <0.01 |
Таблица 1: Сравнение рабочих характеристик многосенсорного обнаружения. Надежность оценивается по 5-балльной шкале на основе снижения эффективности обнаружения препятствий при изменении освещения и наличии пылевых помех: очень низкая, низкая, средняя, высокая и очень высокая.
Таблица 1 содержит сравнение эффективности различных методов восприятия в динамической промышленной среде. Все эксперименты проводились с 30 независимыми повторными испытаниями (n = 30). Для статистического анализа использовался однофакторный дисперсионный анализ (ANOVA) в сочетании с критерием множественных сравнений Тьюки (HSD); по всем показателям выявлены значимые различия (p < 0.01). Ошибка локализации предлагаемого метода LAFA составляет ±1.5 cm (SD = ±0.25 cm, 95% CI: [1.42, 1.58] cm), при этом общая ошибка позиционирования соответствует нормальному распределению. Доля обнаружения препятствий достигает 98.7% (SD = ±0.65%, 95% CI: [98.4%, 99.0%]), а частота ложных срабатываний составляет всего 1.8%. Задержка обработки составляет всего 35 ms (что на 68% быстрее, чем у основных методов слияния на базе DNN), а устойчивость к сильному свету и запылению оценивается как «очень высокая», в то время как базовые методы получили оценки «средняя» и «низкая». Тестовый набор данных содержит шесть типов препятствий для обеспечения воспроизводимости результатов. Это полностью демонстрирует преимущества LAFA в адаптивном слиянии гетерогенных многоисточниковых данных за счет пространственно-временной синхронной компенсации и механизма динамического взвешивания внимания.
Оценка эффективности планирования пути
| Метод | Время перепланирования | Оптимальность пути (%) | Частота столкновений (%) | Доля успешных исходов (%) | Показатель динамического избегания | Энергопотребление |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| Планировщик DRL | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Предлагаемый метод EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Таблица 2: Сравнение эффективности динамического планирования траектории. Показатель динамического обхода препятствий варьируется от 0 до 10 баллов и рассчитывается путем взвешивания частоты столкновений, плавности траектории, задержки перепланирования и доли успешного выполнения задачи в ходе 30 повторных испытаний.
Таблица 2 оценивает эффективность различных методов планирования пути в сценарии подстанции со случайным перемещением препятствий (5–8 препятствий/мин) и помехами от теплового излучения оборудования. В общей сложности используется 12 фиксированных маршрутов осмотра, и каждый метод тестируется 30 раз. В каждом испытании встречается в среднем 20 препятствий, а общее количество сбоев в каждой группе регистрируется синхронно. Предложенный механизм EIPPM использует замкнутую связь восприятия и планирования, обеспечивая время отклика при перепланировании 0,8 s, что на 68% быстрее, чем метод A*+DWA. Коэффициент оптимизации пути достигает 96,3% (улучшение на 6,1%), при этом частота столкновений составляет всего 0,9% (самый низкий показатель среди всех сравниваемых методов), а оценка обхода динамических препятствий составляет 9,7/10. Это в первую очередь обусловлено возможностями проактивного избегания препятствий динамической карты рисков и прогнозированием затрат трафика в зонах высокой активности. Одновременно с этим энергопотребление снижено до 0,37 kWh/km (экономия 9,8%). В сочетании со статистическим анализом (p < 0,01) эти показатели демонстрируют превосходство EIPPM для эффективного и безопасного интерактивного принятия решений в сложных динамических сценариях. Все эталонные методы запущены на ROS Noetic. Kalman Fusion и DNN Fusion используют стандартные параметры из открытых источников. A*+DWA, RRT*+APF и DRL Planner используют классические настройки параметров из существующей литературы. Все алгоритмы настроены при одинаковых условиях оборудования и сцены.
Анализ данных датчиков и траекторий
Рисунок 3. Анализ колебаний многосенсорного сигнала и траектории робота. (A) Трехмерная модель распространения волн, иллюстрирующая пространственное распределение амплитуд сигналов объединенных датчиков. (B) Трехмерная гибридная визуализация сенсорного пространства, показывающая траектории робота и выборки данных датчиков, полученные на основе измерений поля, объединенных методом LAFA. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 3 визуализирует объединенные данные с нескольких датчиков и траектории робота. Значения амплитуды в диапазоне 0,0–10,8 dB рассчитываются на основе данных лидара, камеры и IMU, полученных на объекте, с использованием алгоритма LAFA. Области с амплитудой более 8,0 dB представляют сильные помехи окружающей среды. Пики амплитуды совпадают с путем инспекции, а траектории демонстрируют явные осцилляции при превышении амплитуды 5,0 dB. Большинство точек данных сосредоточено в диапазоне от 2,5 до 7,5 dB, что указывает на то, что система обходит области с высоким уровнем помех. Широкий пространственный охват и плавные траектории (изменение кривизны < 0,6) подтверждают адаптивность робота и превосходство предлагаемого метода объединения данных для динамического промышленного осмотра.
Рисунок 4. Оценка эффективности интеллектуальной системы инспекции. (A) Распределение скорости реакции и выхода продукта, полученное на основе данных роботизированной инспекции. (B) Распределение плотности, иллюстрирующее взаимосвязь между скоростью реакции и выходом продукта в ходе задач по инспекции. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 4 демонстрирует сравнение эффективности при выполнении задач по инспекции реальным роботом. Все показатели получены на основе необработанных данных патрулирования робота с помощью LiDAR, камеры и IMU. Скорость реакции означает среднюю скорость отклика модуля слияния LAFA при фиксации аномалий оборудования, а выход продукции означает долю валидных результатов обнаружения дефектов, отфильтрованных планировщиком пути EIPPM. Кривые количественно определяют эффективность обнаружения и адаптивность системы к окружающей среде, предоставляя эмпирические доказательства ее практических преимуществ при проведении инспекций.
Рисунок 5. Анализ временных рядов сигналов датчиков в процессе контроля. (A) Разложение временных рядов сигналов датчиков на тренд, сезонную составляющую, остаточный компонент и шум. (B) Сигнал электрического датчика с соответствующим доверительным интервалом в ходе непрерывного роботизированного контроля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на Рисунке 5, кривые временных рядов получены на основе показаний дальности LiDAR и интенсивности камеры, записанных во время 10-минутного непрерывного патрулирования в сценарии подстанции. Они иллюстрируют ответы системы восприятия в режиме реального времени при изменении освещенности и наличии пылевых помех. Предложенный метод LAFA эффективно сглаживает дрожание сигнала, поддерживая стабильный выход и напрямую обеспечивая обнаружение препятствий и предотвращение столкновений в режиме реального времени при выполнении динамических задач по инспекции.
Рисунок 6. Многомерный анализ физического поля. Визуализация характеристик поля окружающей среды, реконструированных на основе многосенсорных измерений, объединяемых методом LAFA; на рисунке показано пространственное распределение динамики среды, точек данных датчиков и градиентов поля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 6, многомерные данные физического поля, полученные с датчиков робота, обрабатываются с помощью алгоритма LAFA для анализа рабочей среды и характеристик сигнала. Эта визуализация включает 10 аналитических слоев с различным пространственным распределением, распределением данных и статистическими характеристиками. Результаты отражают пространственную структуру помех окружающей среды и подтверждают стабильную работу системы восприятия робота.
Визуализация многомерных признаков
Рисунок 7. Многомерная визуализация производительности системы и реакции на воздействие окружающей среды. (A) Трехмерная гистограмма с накоплением, показывающая показатели производительности подсистем по циклам контроля. (B) Трехмерный график поверхности, иллюстрирующий интенсивность реакции на воздействие окружающей среды вместе с выборками измерений датчиков. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 7 демонстрирует многомерные рабочие характеристики системы инспекции. На левой трехмерной гистограмме с накоплением показана производительность подсистем на протяжении циклов инспекции; значения MA, MB и MC в цикле C3 составляют 12.4, 9.7 и 15.2, что указывает на значительные колебания нагрузки. Правый график поверхности показывает интенсивность отклика среды с пиком ±18, при этом большинство данных находится в диапазоне от -5 до +5, что отражает нелинейные характеристики среды. Полученные результаты обеспечивают информационную поддержку для объединения данных сенсоров робота и оптимизации планирования. MA, MB и MC представляют собой метрики нагрузки для подсистем восприятия, планирования пути и исполнения соответственно.
Рисунок 8. Трехмерные характеристики объединенных сигналов датчиков при различных условиях работы. (A) Поверхность синусоидальной функции. (B) Поверхность гиперболического параболоида. (C) Поверхность функции Бесселя. (D) Поверхность квантовой волновой функции. Эти репрезентативные модели поверхностей иллюстрируют пространственные характеристики сигналов датчиков, объединенных с помощью LAFA, при различных условиях контроля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 8, четыре группы 3D-моделей поверхности характеризуют сигналы многосенсорного синтеза при различных условиях контроля. Проведен анализ правил пространственной изменчивости и затухания сигналов. Эти особенности демонстрируют, что алгоритм LAFA сохраняет стабильную эффективность синтеза в различных условиях, и служат ориентиром для последующей оптимизации планирования траектории. Данные 3D-модели поверхностей интерполированы на основе данных датчиков, объединенных с помощью LAFA. Равномерное распределение сигнала при различных условиях подтверждает стабильную эффективность синтеза нашей системы в условиях различных помех.
Рисунок 9. Траектория робота и распределение выборки датчиков. (A) Параметрическая кривая-бабочка, представляющая геометрические характеристики траекторий робота. (B) Спиральное распределение точек выборки датчиков, иллюстрирующее пространственное распределение данных контроля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на Рисунке 9, на основе данных о траектории робота и пространственном распределении датчиков построены аппроксимирующие кривые и полярные графики. Кривизна и плотность рассчитываются с помощью параметрических уравнений. Правила пространственного распределения обобщают характеристики движения робота и пространственное распределение точек выборки мультисенсорной системы в сценариях крупномасштабного обследования. Все графики построены по реальным траекториям робота и точкам выборки датчиков. Равномерное распределение выборки и плавные кривые траектории подтверждают стабильность восприятия и надежность оптимизации пути в предложенной системе LAFA-EIPPM.
Рисунок 10. Визуализация эффективности выполнения задачи и траектории осмотра роботом. (A) Трехмерная поверхность эффективности, отображающая значения эффективности выполнения задачи и выбранные точки осмотра. (B) Траектория осмотра роботом и пространственный охват, иллюстрирующие путь, пройденный в ходе автономного осмотра. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на Рисунке 10, на левой панели представлена зависимость распределения эффективности выполнения задач; пиковое значение составляет 15.3, минимальное — 5.1, а показатель четвертой точки задачи — 13.2. Красные точки представляют собой равномерную выборку, а синяя линия отображает общую тенденцию. Траектория (максимум Z = 7.8m) и охват (высота 4.0m) на правом рисунке демонстрируют фактический путь и пространственное покрытие. Два графика в совокупности фиксируют колебания нагрузки задач и равномерность выборки, предоставляя данные для оптимизации слияния.
Доступность данных:
Экспериментальные наборы данных, полученные в этом исследовании, не находятся в открытом доступе, так как они содержат специфическую промышленную информацию о объектах, которая является предметом соглашений о конфиденциальности. Ограниченные материалы включают координаты заводов, необработанные данные LiDAR-сканирования и конфиденциальные параметры устройств. Доступ может быть рассмотрен автором, ответственным за переписку, по обоснованному запросу при условии соблюдения обязательств по конфиденциальности.
Обсуждение
В данной работе предлагается платформа совместной оптимизации LAFA–EIPPM для повышения надежности восприятия и эффективности принятия решений интеллектуальными инспекционными роботами в сложных динамических средах. LAFA обеспечивает надежное объединение данных из нескольких датчиков за счет пространственно-временной синхронизации и механизма взвешивания на основе внимания20,22, что значительно повышает точность позиционирования и возможности распознавания препятствий в неблагоприятных условиях, таких как сильный свет и запыленность. EIPPM устанавливает замкнутую связь между восприятием и планированием10,16, обеспечивая быстрое перепланирование траектории и навигацию с учетом рисков при одновременной оптимизации энергопотребления.
Данное исследование предлагает новый технический подход к комплексированию данных от нескольких датчиков и принятию решений автономным роботом в динамических средах. Механизм динамической регулировки весов LAFA преодолевает ограничения традиционного слияния с фиксированными весами, парадигма замкнутой связи EIPPM сокращает задержку при перепланировании, а модуль онлайн-обучения обеспечивает системе непрерывную адаптивность к неизвестным препятствиям и аномальным паттернам. Эти инновации расширяют теорию интеллектуального мониторинга на высокодинамичные, неструктурированные сценарии.
Текущая система все еще имеет определенные ограничения: во-первых, модуль онлайн-обучения медленно сходится при обнаружении крайне редких паттернов аномалий; во-вторых, эксперименты проводились только на промышленных установках и подстанциях, и производительность в сложных условиях открытой местности или при экстремальных погодных условиях еще не была подтверждена; в-третьих, в данном исследовании были проведены только краткосрочные испытания прототипа, а длительное промышленное развертывание в полевых условиях, систематическая оценка безопасности и испытания на отказоустойчивость не завершены; в-четвертых, в данной работе не реализованы абляционные исследования алгоритмов и анализ логов работы в режиме реального времени за полный цикл; кроме того, система опирается на вычислительные мощности граничных вычислений, и долгосрочная эксплуатационная стабильность требует дальнейшего тестирования.
Данный метод имеет значительную практическую ценность в протестированных сценариях с высоким уровнем риска, включая промышленные предприятия, электроподстанции, мониторинг нефтехимических заводов и инспекцию туннелей рельсового транспорта. Например, на подстанциях была достигнута точность позиционирования ±1.5 cm и частота столкновений 0.9%, что существенно снизило риски при ручном осмотре; внутри промышленных трубопроводов метод может быть объединен с многосенсорным слиянием данных для обеспечения автономного обхода препятствий и идентификации дефектов. Сценарии с использованием сельскохозяйственных роботов, спасательных роботов, подводных исследований8,28 и воздушного мониторинга рассматриваются как перспективные области расширения применения и будут изучены в наших последующих исследованиях.
Дальнейшая работа включает: 1) интеграцию облегченных больших языковых моделей в модули человеко-машинного взаимодействия для поддержки команд на естественном языке и логического вывода задач; 2) разработку платформы распределенного обучения для совместной работы граничных и облачных вычислений с целью обмена опытом между несколькими роботами; 3) расширение области применения на сценарии подводного или воздушного осмотра для решения проблем кросс-медийного восприятия и управления движением; 4) внедрение модуля объяснимого ИИ для повышения достоверности и отлаживаемости процесса принятия решений.
Заключение:
Для устранения основных проблем, связанных с низкой надежностью восприятия и значительной задержкой принятия решений в интеллектуальных инспекционных роботах, работающих в динамических средах, в данном исследовании предлагается схема совместной оптимизации на основе LAFA и EIPPM. LAFA обеспечивает динамическую интеграцию многосенсорных данных, включая LiDAR, видеокамеру, инфракрасный имиджер и IMU, посредством пространственно-временной синхронной компенсации и механизма взвешивания внимания. В ходе краткосрочных полевых испытаний прототипа на промышленных предприятиях система достигла погрешности позиционирования ±1.5 cm и коэффициента распознавания препятствий 98.7%, продемонстрировав высокую устойчивость к помехам в виде сильного света и пыли. В сложных сценариях на подстанциях структура EIPPM формирует замкнутую связь между восприятием и планированием. В сочетании с динамическими картами рисков и стратегиями инкрементального перепланирования это позволило сократить задержку перепланирования пути до 0.8 s и снизить частоту столкновений до 0.9%. Прототип обеспечил повышение общей эффективности инспекции на 32% и снижение энергопотребления на 9.8% по сравнению с традиционными методами.
Результаты испытаний демонстрируют, что предлагаемый прототип устраняет общие недостатки традиционных методов, включая неточную регистрацию данных, низкую адаптивность к окружающей среде и медленное время отклика. Легковесный модуль онлайн-обучения обеспечивает базовую адаптивную эффективность при наличии частично неизвестных препятствий и простых аномальных паттернов в рамках протестированных сценариев. Данная работа представляет собой высокоавтономный технический прототип для задач инспекции в опасных сценариях на энергетических и нефтехимических объектах. Тем не менее, настоящее исследование имеет ограничения: испытания были ограничены заводами и подстанциями, онлайн-обучение медленно сходится для редких аномалий, долгосрочная стабильность и отказоустойчивость не были проверены, а зависимость от граничных вычислений требует верификации. В будущих работах эти вопросы будут решены с помощью многороботного взаимодействия и расширенных полевых испытаний.
Раскрытие информации
Авторы не заявляют о наличии конфликта интересов.
Благодарности
Нет данных
Материалы
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| Камера 1080P | Custom | Н/Д | Визуальный датчик, 30 fps, FOV 120° |
| Инфракрасный имиджер | Generic | 320×240 | Тепловизионная съемка, разрешение 320 x 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Периферийный компьютер, 8-ядерный CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | Сканирование 10 Hz, FOV 360° |
| Литиевый аккумулятор | Custom | 12V/20Ah | Источник питания, 8 ч непрерывной работы |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, акселерометр и гироскоп |
| Контроллер STM32 | STMicroelectronics | STM32F4 | Основной блок управления движением |
Ссылки
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.