В данной работе представлена адаптивная многосенсорная (LiDAR, камера, ИК-датчик, IMU) среда DWA с онлайн-обучением для инспекционных роботов. Многократные промышленные испытания демонстрируют точность позиционирования ±1.5 cm, распознавание препятствий на уровне 98.7%, повышение эффективности на 32% и снижение энергопотребления на 9.8% по сравнению с традиционными методами.
Исследовательская статья
Исследование по оптимизации и адаптации к динамической среде интеллектуальной системы инспекции роботов на основе слияния данных от нескольких датчиков
В этой статье
Краткое содержание
Аннотация
В данной работе предлагается структура оптимизации на основе глубокого слияния данных с нескольких датчиков и адаптивного принятия решений для интеллектуальных инспекционных роботов, предназначенная для решения проблем ограниченной надежности восприятия, низкой эффективности планирования пути и плохой адаптивности к окружающей среде в динамических сценариях. Робототехническая платформа оснащена LiDAR, видеокамерой, инфракрасным тепловизором и IMU для построения надежной модели восприятия для распознавания препятствий и оценки положения. Мы разработали алгоритм слияния dynamic weight-DWA для планирования пути и модуль онлайн-обучения для обновления характеристик окружающей среды. Было проведено множество испытаний на промышленных предприятиях и подстанциях при различных условиях освещения и в присутствии движущихся препятствий. По сравнению с базовыми методами, включая фильтр Калмана, DNN и A*+DWA, система обеспечивает погрешность позиционирования ±1.5 cm, точность распознавания препятствий 98.7% и задержку перепланирования менее 0.8 s, при этом эффективность инспекции выше на 32%, а энергопотребление ниже на 9.8% (p < 0.01). Система демонстрирует повышенную устойчивость в протестированных динамических промышленных условиях.
Введение
В связи с быстрым развитием интеллектуального производства и систем «умной» энергетики интеллектуальные инспекционные роботы, являясь основным оборудованием для замены ручных операций с высоким уровнем риска, нашли широкое применение в таких ключевых секторах инфраструктуры, как электроэнергетика, нефтехимия и железнодорожный транспорт. Традиционные системы инспекции в основном полагаются на один датчик для восприятия окружающей среды, и их эффективность в структурированных статических сценах является приемлемой. Однако в условиях реальных промышленных объектов они часто сталкиваются с высокодинамичными и неструктурированными факторами, такими как изменение освещения, временное перемещение оборудования, движение персонала, а также помехи в виде дождя и тумана, что может привести к сбоям в восприятии и ошибкам при принятии решений1,2,3. В последние годы достижения в области глубокого и подкрепляемого обучения позволили внедрить новые подходы к совместной обработке многоисточниковых данных, а усовершенствование аппаратного обеспечения для граничных вычислений обеспечило возможность выполнения сложных алгоритмов в режиме реального времени. В этом контексте создание системы многосенсорного синтеза для инспекции с высокой адаптивностью к окружающей среде является не только насущной потребностью для повышения уровня автоматизации технического обслуживания и эксплуатации, но и ключевым техническим условием обеспечения безопасной работы критически важных объектов.
Несмотря на теоретические преимущества технологии многосенсорного синтеза, существующие интеллектуальные системы инспекции по-прежнему сталкиваются со значительными трудностями при практическом применении в динамических средах. Во-первых, недостаточна точность пространственно-временной регистрации данных из гетерогенных датчиков. Искажения при синтезе облака точек лазерного сканирования и кадров изображения вызваны различиями в частоте дискретизации и координатных системах. Особенно при движении робота на высокой скорости искажения, вызванные движением, усугубляют ошибки сопоставления признаков и снижают надежность обнаружения препятствий. Во-вторых, традиционная стратегия синтеза обладает слабой адаптивностью к изменениям окружающей среды. Основные методы опираются на фиксированные параметры и не способны обрабатывать такие сценарии, как резкие изменения освещения, запыленность или внезапное появление препятствий, что приводит к резкому росту частоты ложных срабатываний. Например, при отказе системы машинного зрения в условиях сильного освещения система не может автоматически переключиться в режим с приоритетом лазерного сканирования, что приводит к прерыванию навигации. Кроме того, модули планирования пути и восприятия разделены. В большинстве систем используется последовательная архитектура: после того как слой восприятия формирует модель среды, слой планирования заново выстраивает маршрут. Такой режим характеризуется значительной задержкой отклика в динамических сценах. При появлении временных препятствий необходимо полностью выполнить процесс «обнаружение-моделирование-перепланирование», который занимает более 2 секунд, что не соответствует требованиям обхода препятствий в режиме реального времени. Наконец, системе не хватает возможностей онлайн-обучения. Существующие методы в основном основаны на предварительно обученных моделях, которые демонстрируют низкую точность распознавания неизвестных препятствий или аномальных состояний оборудования, требуют частого ручного вмешательства для сброса параметров и влекут за собой высокие эксплуатационные расходы и затраты на техническое обслуживание4,5,6,7. Эти проблемы серьезно ограничивают возможность надежного развертывания инспекционных роботов в сложных промышленных сценариях.
В данном исследовании предлагаются систематические инновационные решения для вышеупомянутых проблем: во-первых, разработана многослойная адаптивная архитектура слияния (LAFA). На уровне данных предлагается алгоритм компенсации пространственно-временной синхронизации, который обеспечивает выравнивание данных LiDAR, системы технического зрения и IMU на микросекундном уровне посредством компенсации движения IMU и двойной фильтрации Калмана. На уровне признаков разработан модуль выбора мультимодальных признаков на основе механизма внимания для динамической оценки достоверности каждого датчика и корректировки веса слияния, что позволяет смягчить деградацию восприятия при воздействии внешних помех. Во-вторых, предлагается механизм планирования пути с учетом взаимодействия с окружающей средой (EIPPM). Результаты восприятия в реальном времени напрямую интегрируются в улучшенную функцию стоимости для построения динамической карты рисков; одновременно с этим спроектирован интерфейс замкнутой связи «восприятие-планирование». Когда модуль локального обхода препятствий на основе метода динамического окна (DWA) обнаруживает внезапное препятствие, он немедленно запускает инкрементную оптимизацию глобального пути, сокращая задержку перепланирования до менее чем 1 секунды, а также внедряет модель прогнозирования транспортных затрат для активного избегания зон с высокой динамикой. В-третьих, создана облегченная структура онлайн-обучения. Перенос обучения используется для инициализации библиотеки признаков окружающей среды, через устройства граничных вычислений развернуты облегченные сверточные сети (LCNN, Lightweight Convolutional Neural Network) и сети долгой краткосрочной памяти (LSTM, Long Short-Term Memory network) для анализа потоковых данных с датчиков в реальном времени, автоматического предварительного выявления аномальных паттернов и обновления базы знаний об окружающей среде в протестированных сценариях. Кроме того, разработан модуль тонкой настройки стратегии на основе обучения с подкреплением, позволяющий системе автономно изучать адаптивные стратегии посредством непрерывного взаимодействия. Данное решение обеспечивает полностековую оптимизацию от восприятия и принятия решений до исполнения, значительно повышая робастность и автономность системы в неструктурированных динамических сценариях.
Протокол
Теоретические основы
Предлагаемая структура интеллектуального осмотра основана на установленных принципах роботехнического восприятия, комплексирования информации от нескольких датчиков, оценки состояния и автономного планирования траектории. Комплексирование данных от нескольких датчиков объединяет дополняющую друг друга информацию от LiDAR, систем машинного зрения, инфракрасной визуализации и инерциальных измерителей для повышения точности локализации, качества восприятия окружающей среды и надежности работы в сложных промышленных условиях. Оценка состояния с помощью фильтрации Калмана обеспечивает пространственно-временную синхронизацию гетерогенных данных датчиков, в то время как стратегии адаптивного взвешивания повышают надежность комплексирования при изменяющихся условиях окружающей среды. Кроме того, методы динамического планирования траектории интегрируют восприятие окружающей среды в реальном времени, обход препятствий и принятие решений для обеспечения безопасной и эффективной навигации робота в динамических средах. Эти общепринятые концепции служат теоретической основой для предложенной структуры восприятия на базе LAFA и стратегии планирования траектории EIPPM, реализованных в данном исследовании8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Иерархическая адаптивная модель слияния данных от нескольких датчиков
Для устранения пространственно-временного несоответствия и проблемы «застывания» весов в гетерогенных сенсорных данных в динамической среде в данном разделе предлагается LAFA (Layered Adaptive Fusion Architecture — многослойная адаптивная архитектура слияния). Сначала мы единообразно калибруем временные метки лидара, видеокамеры и IMU, а затем применяем двойной фильтр Калмана в сочетании с предсказанием позы робота на основе IMU для компенсации смещений движения между кадрами. Это позволяет достичь микросекундной пространственно-временной синхронизации трех датчиков и устранить искажения облака точек, вызванные высокоскоростным движением. Данная архитектура значительно повышает надежность восприятия в сложных сценариях, снижая ошибку позиционирования на 46% по сравнению с традиционными методами.
Рисунок 1. Архитектура динамического принятия решений интеллектуального инспекционного робота. Обзор структуры LAFA-EIPPM, включающий мультимодальное восприятие, генерацию задач под управлением языка, адаптивное слияние данных датчиков и замкнутый контур управления роботом. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 1, данная архитектура объединяет систему многомодального восприятия с замкнутым контуром и динамического принятия решений: сначала инструкции на естественном языке поступают через модуль языкового взаимодействия ROSA (Robot Operating System Assistant), который интегрирует API GPT-4o для генерации структурированных запросов к задачам31,32. Этот модуль использует фиксированные шаблоны промптов и настройки лимитов доступа к API. Он преобразует естественный язык в унифицированные форматы команд осмотра и оснащен фильтрацией по ключевым словам для обеспечения базового контроля безопасности во время работы; затем динамический кодировщик использует модель MDN-RNN (рекуррентная нейронная сеть с сетью смеси плотностей) для объединения данных из нескольких источников сенсоров, таких как LiDAR, системы машинного зрения и IMU, для вывода признаков скрытого состояния, включая семантику окружающей среды; эти признаки синхронно подаются в адаптивный контроллер, который в сочетании с предварительно заданным набором данных генерирует кроссплатформенную инструкцию к действию. Наконец, гетерогенный робот приводится в движение для выполнения задачи динамического осмотра через слой исполнения в окружающей среде, а состояние машины в режиме реального времени передается обратно кодировщику для создания замкнутого цикла оптимизации, что реализует механизм динамической адаптации всего процесса — от многомодального восприятия до автономного принятия решений.
В данной работе используется стандартный API GPT-4o с фиксированным форматом промптов, что позволяет достичь средней задержки ответа менее 200 ms. Механизм повторных попыток снижает недетерминированность. Для обработки аномальных запросов и обеспечения эксплуатационной безопасности развернуты модули перехвата ошибок и верификации безопасности контента. LAFA принимает на вход необработанные данные с нескольких датчиков и выводит объединенные признаки и динамические веса слияния. Веса внимания рассчитываются путем нормализации значения достоверности каждого датчика. Используется перекрестная энтропия; скорость обучения составляет 1e-3, размер пакета — 32, общее количество эпох обучения — 50.
ROSA с использованием GPT-4o служит исключительно для поддержки человеко-машинного интерфейса, преобразуя естественный язык в задачи по осмотру; эта система не влияет на восприятие или планирование, поэтому ее задержка не является ключевым KPI. Она повышает удобство использования, не нарушая точность позиционирования, распознавания или перепланирования.
Механизм динамического планирования пути с учетом взаимодействия с окружающей средой
Для устранения задержки отклика, вызванной разделением модулей восприятия и планирования, в данном разделе предлагается механизм интерактивного планирования пути с учетом окружающей среды (EIPPM). Основная инновация заключается в создании интерфейса с замкнутым контуром сопряжения между восприятием и принятием решений. Кроме того, внедрены сети долгосрочной и краткосрочной памяти для прогнозирования транспортных затрат в высокодинамичных зонах и управления роботом для активного избегания точек затора. Данный механизм сокращает задержку перепланирования до значения менее 0.8 seconds, одновременно повышая безопасность и эффективность пути.
EIPPM оптимизирует функцию стоимости DWA путем объединения расстояния до препятствия и достоверности датчиков. Динамическая карта рисков строится на основе положения препятствия и его состояния движения. Инкрементальное перепланирование запускается, когда смещение препятствия превышает 0.5 m. Предиктор на базе LSTM вычисляет региональную стоимость трафика. Локальный планировщик DWA и глобальный планировщик A* тесно связаны между собой, при этом порог времени перепланирования составляет 0.8 s для обеспечения работы в режиме реального времени. Пересмотренная стоимость DWA: EQUATION. зависит от расстояния до препятствия; использует достоверность датчиков LAFA; накладывает штрафы для динамических зон, предсказанных LSTM. Нормализованный баланс безопасности, восприятия, достоверности и риска движения. Достоверность m-го датчика рассчитывается с помощью . Вес слияния после нормализации. Модуль внимания обновляется покадрово; датчикам с низкой достоверностью присваиваются минимальные веса для уменьшения искажений слияния при плохом освещении или запыленности.
Рисунок 2. Рабочий процесс семантического восприятия и адаптивного управления на основе LiDAR. Иллюстрация рабочего процесса семантического восприятия, генерации ограничений и адаптивного планирования траектории для автономного осмотра на основе анализа окружающей среды с помощью LiDAR. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на Рисунке 2, весь рабочий процесс управляется датчиками LiDAR. Сначала необработанные данные LiDAR импортируются в модуль семантического анализа для извлечения информации об окружающей среде и целях. После обработки предложенным алгоритмом многосенсорного слияния LAFA данные передаются в блок ограничений управления для оценки рабочих правил и пределов безопасности. В сочетании со стратегией планирования траектории EIPPM система выдает команды управления для перемещения робота с целью выполнения задач по инспекции. Обратная связь о состоянии окружающей среды в реальном времени поступает в модуль восприятия переднего плана для обеспечения работы по замкнутому циклу. На рисунке полностью представлена общая логика работы системы восприятия, слияния данных, ограничительного управления и исполнения робота.
Результаты
Оценка эффективности восприятия
Для проверки эффективности LAFA и EIPPM в динамических сценариях в данной главе развернуты тестовые платформы в двух типичных средах инспекции: на промышленных предприятиях и подстанциях. Экспериментальная установка включает экстремальные условия, такие как резкие изменения освещенности (2,000 → 80,000 lux), случайное движение препятствий (5–8/мин) и воздействие пыли (видимость < 5 m). По сравнению с основными алгоритмами слияния (фильтр Калмана/DNN) и методами планирования пути (A + DWA/RRT) проводится количественная оценка ключевых показателей, таких как точность позиционирования, частота распознавания препятствий, задержка перепланирования и энергопотребление, а также доказываются преимущества предлагаемой схемы с помощью анализа статистической значимости (p < 0.01). Все данные собраны на реальных промышленных объектах и подстанциях; всего получено 28,000 образцов, разделенных на 6 категорий препятствий. Все образцы аннотированы вручную. Соотношение обучающей и тестовой выборок составляет 8:2. Дополнительно 5,000 образцов в реальном времени используются для онлайн-обучения. Библиотека признаков среды представлена в виде 12-мерных мультимодальных векторов признаков. Модель онлайн-обучения обновляется инкрементально, когда аномальные образцы накапливаются более чем в 10 последовательных кадрах, с использованием фиксированной скорости обучения 0.001. Метки аномалий определены как внезапные препятствия и аномальные состояния оборудования. Для предотвращения катастрофического забывания к распределению данных применяется порог дрейфа 0.15; если сдвиг распределения превышает этот порог, обновление временно приостанавливается до стабилизации входящих данных, что подавляет дрейф модели и поддерживает обобщающую способность. Легковесный модуль онлайн-обучения протестирован на 5,000 новых образцах. После обновления модели по 10 кадрам точность распознавания неизвестных препятствий увеличивается на 7.2%, что подтверждает ее способность к адаптивной оптимизации для новых объектов окружающей среды.
Платформа робота: дифференциальный колесный привод, контроллер STM32 и бортовой компьютер Jetson Xavier NX. Используются литиевые аккумуляторы, обеспечивающие 8 часов непрерывной работы; скорость составляет 0,2–1,2 m/s, максимальная грузоподъемность — 8 kg, поддерживается связь через Wi-Fi и 4G. Датчики: RPLIDAR A1M8, 10 Hz, поле зрения (FOV) 360°; камера 1080P, 30 fps, FOV 120°; инфракрасный имиджер 320 x 240; инерциальный измерительный модуль (IMU) MPU6050, 200 Hz. Все датчики установлены спереди, равномерно откалиброваны и синхронизированы с микросекундной точностью. Программное обеспечение: Ubuntu 20.04, ROS Noetic, Python и C++, фреймворк PyTorch; платформа оснащена 8-ядерным CPU и GPU объемом 16 GB для граничных вычислений.
Промышленный завод (45 m x 30 m, маршрут 120 m) и подстанция (50 m x 35 m, маршрут 150 m) включают стационарное оборудование и перемещающийся персонал. Каждое испытание проводится 30 раз с безопасным расстоянием 0.6 m. Освещенность варьируется от 2 000 до 80 000 lux, при этом количество движущихся препятствий составляет 5–8 в минуту. Пыль снижает видимость до уровня менее 5 m. Все условия являются воспроизводимыми.
| Метод | Ошибка локализации (см) | Частота обнаружения препятствий (%) | Частота ложных тревог (%) | Задержка обработки (мс) | Робастность (изменение освещения) | Робастность (влияние пыли) | pp-значение |
| Только LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Низкий | Среда | <0.01 |
| Зрение + IMU (инерциальный измерительный модуль) | ±5.1 | 78.3 | 15.2 | 40 | Очень низкий | Низкий | <0.01 |
| Слияние данных методом Калмана | ±2.8 | 92.1 | 6.3 | 65 | Среда | Среда | <0.01 |
| Слияние глубоких нейронных сетей (DNN Fusion) | ±2.5 | 94.8 | 5.1 | 110 | Высокий | Низкий | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Высокий | Среда | <0.01 |
| Предлагаемый метод LAFA | ±1.5 | 98.7 | 1.8 | 35 | Очень высокий | Очень высокий | <0.01 |
Таблица 1: Сравнение характеристик многосенсорного обнаружения. Надежность оценивается по 5-балльной шкале на основе снижения эффективности обнаружения препятствий при изменении освещения и воздействии пыли: очень низкая, низкая, средняя, высокая и очень высокая.
Таблица 1 представляет сравнение эффективности различных методов восприятия в динамической промышленной среде. Все эксперименты проводились с 30 независимыми повторными испытаниями (n = 30). Для статистического анализа использовался однофакторный дисперсионный анализ (ANOVA) в сочетании с апостериорным тестом Тьюки (HSD); по всем показателям были выявлены значимые различия (p < 0.01). Ошибка локализации предлагаемого метода LAFA составляет ±1.5 cm (SD = ±0.25 cm, 95% CI: [1.42, 1.58] cm), при этом общая ошибка позиционирования соответствует нормальному распределению. Доля обнаружения препятствий достигает 98.7% (SD = ±0.65%, 95% CI: [98.4%, 99.0%]), а уровень ложных срабатываний составляет всего 1.8%. Задержка обработки составляет всего 35 ms (что на 68% быстрее, чем у основных методов слияния на базе DNN), а робастность при сильном освещении и запылении соответствует рейтингу «Очень высокая», в то время как эталонные методы получили оценки «Средняя» и «Низкая». Тестовый набор данных содержит шесть типов препятствий для обеспечения воспроизводимости результатов. Это полностью демонстрирует преимущества LAFA в адаптивном слиянии гетерогенных многоисточниковых данных за счет пространственно-временной синхронизационной компенсации и механизма динамического взвешивания внимания.
Оценка эффективности планирования пути
| Метод | Время перепланирования | Оптимальность пути (%) | Частота столкновений (%) | Процент успеха (%) | Показатель динамического избегания | Энергопотребление |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| Планировщик DRL | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Предлагаемый EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Таблица 2: Сравнение эффективности динамического планирования траекторий. Балл динамического обхода препятствий варьируется от 0 до 10 и рассчитывается путем взвешивания частоты столкновений, плавности траектории, задержки перепланирования и доли успешного выполнения задач в 30 повторяющихся испытаниях.
Таблица 2 содержит оценку эффективности различных методов планирования траектории в сценарии подстанции с randomly перемещающимися препятствиями (5-8 препятствий/мин) и помехами от теплового излучения оборудования. Было использовано в общей сложности 12 фиксированных маршрутов осмотра, при этом каждый метод тестировался 30 раз. В ходе каждого испытания встречается в среднем 20 препятствий, а общее количество сбоев для каждой группы регистрируется синхронно. Предложенный механизм EIPPM использует замкнутую связь между восприятием и планированием, обеспечивая время отклика при перепланировании 0.8 s, что на 68% быстрее, чем у метода A*+DWA. Коэффициент оптимизации пути достигает 96.3% (улучшение на 6.1%), при этом частота столкновений составляет всего 0.9% (самый низкий показатель среди всех сравниваемых методов), а оценка динамического обхода препятствий составляет 9.7/10. Это в основном обусловлено возможностями проактивного избегания препятствий динамической карты рисков и прогнозированием затрат на перемещение в зонах с высокой активностью. Одновременно с этим энергопотребление снижено до 0.37 kWh/km (экономия 9.8%). В сочетании со статистическим анализом (p < 0.01) эти показатели демонстрируют превосходство EIPPM в обеспечении эффективного и безопасного интерактивного принятия решений в сложных динамических сценариях. Все эталонные методы запущены на ROS Noetic. Kalman Fusion и DNN Fusion используют стандартные параметры из открытых источников. A*+DWA, RRT*+APF и DRL Planner используют классические настройки параметров из существующей литературы. Все алгоритмы настроены при одинаковых аппаратных условиях и условиях окружающей среды.
Анализ траекторий и данных сенсоров
Рисунок 3. Анализ флуктуаций сигналов нескольких сенсоров и траектории робота. (A) Трехмерная модель распространения волн, иллюстрирующая пространственное распределение амплитуд сигналов объединенных сенсоров. (B) Трехмерная гибридная визуализация пространства сенсоров, отображающая траектории робота и данные с сенсоров, полученные на основе измерений поля с использованием метода LAFA-fusion. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 3 визуализирует объединенные данные от нескольких датчиков и траектории робота. Значения амплитуды в диапазоне 0,0–10,8 dB рассчитаны на основе данных LiDAR, камеры и IMU, полученных на объекте, с использованием алгоритма LAFA. Области с амплитудой более 8,0 dB соответствуют сильным внешним помехам. Пики амплитуды совпадают с путем осмотра, а траектории демонстрируют выраженные колебания при превышении амплитуды порога 5,0 dB. Большинство точек данных сосредоточено в диапазоне от 2,5 до 7,5 dB, что указывает на обход системой зон с высоким уровнем помех. Широкий пространственный охват и плавные траектории (изменение кривизны <; 0,6) подтверждают адаптивность робота и превосходство предложенного метода объединения данных для динамического промышленного осмотра.
Рисунок 4. Оценка эффективности интеллектуальной системы контроля. (A) Распределение скорости реакции и выхода продукта, полученное на основе данных роботизированного контроля. (B>) Распределение плотности, иллюстрирующее взаимосвязь между скоростью реакции и выходом продукта в ходе задач по контролю. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 4 демонстрирует сравнение эффективности при выполнении задач инспекции реальным роботом. Все метрики получены из необработанных данных патрулирования LiDAR, камеры и IMU робота. Скорость реакции означает среднюю скорость отклика модуля слияния LAFA при фиксации аномалий оборудования, в то время как выход продукции означает долю валидных результатов обнаружения дефектов, отсеянных с помощью планирования пути EIPPM. Кривые количественно определяют эффективность обнаружения и адаптивность системы к окружающей среде, предоставляя эмпирические доказательства ее практических преимуществ при проведении инспекции.
Рисунок 5. Анализ временных рядов сигналов датчика во время контроля. (A) Разложение временных рядов сигналов датчика на компоненты тренда, сезонности, остатка и шума. (B) Электрический сигнал датчика с соответствующим доверительным интервалом во время непрерывного контроля роботом. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 5, кривые временных рядов получены на основе данных о расстоянии с LiDAR и интенсивности с камеры, записанных во время 10-минутного непрерывного патрулирования в сценарии подстанции. Они иллюстрируют ответы системы восприятия в режиме реального времени при изменении освещенности и наличии пылевых помех. Предложенный метод LAFA эффективно сглаживает джиттер сигнала, обеспечивая стабильный выход и напрямую поддерживая обнаружение препятствий и предотвращение столкновений в режиме реального времени в ходе динамических миссий по инспекции.
Рисунок 6. Многомерный анализ физического поля. Визуализация характеристик параметров среды, реконструированных на основе многосенсорных измерений с использованием слияния данных LAFA, иллюстрирующая пространственное распределение динамики среды, точек данных датчиков и градиентов поля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 6, многомерные данные физического поля, полученные с датчиков робота, обрабатываются с помощью алгоритма LAFA для анализа рабочей среды и эффективности сигнала. Данная визуализация включает 10 аналитических слоев с различным пространственным распределением, распределением данных и статистическими характеристиками. Результаты отражают пространственную структуру помех окружающей среды и подтверждают стабильную работу системы восприятия робота.
Визуализация многомерных признаков
Рисунок 7. Многомерная визуализация производительности системы и реакции на воздействие окружающей среды. (A) Трехмерная стековая столбчатая диаграмма, показывающая метрики производительности подсистем по циклам проверки. (B) Трехмерный график поверхности, иллюстрирующий интенсивность реакции на воздействие окружающей среды вместе с выборочными измерениями датчиков. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 7 иллюстрирует многомерные эксплуатационные характеристики системы контроля. На левой трехмерной гистограмме с накоплением показана производительность подсистем по циклам контроля; значения MA, MB и MC в цикле C3 составляют 12,4, 9,7 и 15,2, что указывает на значительные колебания нагрузки. Правый график поверхности отображает интенсивность отклика среды с пиком ±18, при этом большинство данных находится в диапазоне от -5 до +5, что отражает нелинейные характеристики окружающей среды. Результаты обеспечивают информационную поддержку для слияния данных сенсоров робота и оптимизации планирования. MA, MB и MC представляют собой метрики нагрузки для подсистем восприятия, планирования траектории и исполнения соответственно.
Рисунок 8. Трехмерные характеристики объединенных сигналов датчиков при различных условиях работы. (A) Поверхность синус-функции. (B) Поверхность гиперболического параболоида. (C) Поверхность функции Бесселя. (D) Поверхность квантовой волновой функции. Эти репрезентативные модели поверхностей иллюстрируют пространственные характеристики сигналов датчиков, объединенных методом LAFA, при различных условиях контроля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 8, четыре группы 3D-моделей поверхностей характеризуют сигналы многосенсорного слияния при различных условиях контроля. Проведен анализ правил пространственного изменения и затухания сигналов. Эти особенности демонстрируют, что алгоритм LAFA обеспечивает стабильную эффективность слияния в различных средах и служит основой для последующей оптимизации планирования траектории. Данные 3D-модели поверхностей интерполированы на основе данных сенсоров, объединенных с помощью LAFA. Равномерное распределение сигналов при различных условиях подтверждает стабильную работу нашей системы слияния при наличии различных помех.
Рисунок 9Траектория робота и распределение выборки датчиков. (A) Параметрическая кривая-бабочка, представляющая геометрические характеристики траекторий робота. (B) Спиральное распределение точек отбора проб датчиков, иллюстрирующее пространственное распределение данных инспекции. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 9, на основе данных о траектории робота и пространственном распределении датчиков построены аппроксимирующие кривые и полярные графики. Кривизна и плотность рассчитываются с помощью параметрических уравнений. Правила пространственного распределения обобщают характеристики движения робота и пространственное распределение точек отбора проб многосенсорной системы в сценариях крупномасштабного контроля. Все графики построены по реальным траекториям робота и точкам дискретизации датчиков. Равномерное распределение выборок и плавные кривые траектории подтверждают стабильность восприятия и надежность оптимизации пути в предлагаемой системе LAFA-EIPPM.
Рисунок 10. Визуализация эффективности выполнения задачи и траектории контроля роботом. (A) Трехмерная поверхность эффективности, отображающая значения эффективности выполнения задачи и выбранные точки контроля. (B) Траектория контроля роботом и пространственный охват, иллюстрирующие путь, пройденный во время автономного контроля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Как показано на рисунке 10, на левой панели представлено распределение показателей выполнения задач; пиковое значение составляет 15.3, минимальное — 5.1, а значение в четвертой точке задачи — 13.2. Красные точки представляют равномерно отобранные пробы, а синяя линия отображает тенденцию. Путь (максимальный Z = 7.8m) и охват (высота 4.0m) на правом рисунке демонстрируют фактическую траекторию и пространственный охват. Эти два графика в совокупности фиксируют колебания нагрузки задач и равномерность выборки, предоставляя данные для обоснования оптимизации слияния.
Доступность данных:
Экспериментальные наборы данных, полученные в ходе данного исследования, не находятся в открытом доступе, так как они содержат специфическую промышленную информацию об объектах, которая регулируется соглашениями о конфиденциальности. Ограниченный доступ распространяется на координаты заводов, необработанные данные LiDAR-сканирования и конфиденциальные параметры устройств. Доступ может быть рассмотрен автором, с которым ведется переписка, по обоснованному запросу при условии соблюдения обязательств по конфиденциальности.
Обсуждение
В данной работе предлагается платформа совместной оптимизации LAFA–EIPPM для повышения надежности восприятия и эффективности принятия решений интеллектуальными инспекционными роботами в сложных динамических средах. LAFA обеспечивает надежное объединение данных из нескольких датчиков за счет пространственно-временной синхронизации и механизма взвешивания на основе внимания20,22, что значительно повышает точность позиционирования и возможности распознавания препятствий в неблагоприятных условиях, таких как сильный свет и запыленность. EIPPM устанавливает замкнутую связь между восприятием и планированием10,16, обеспечивая быстрое перепланирование траектории и навигацию с учетом рисков при одновременной оптимизации энергопотребления.
Данное исследование предлагает новый технический подход к комплексированию данных от нескольких датчиков и принятию решений автономным роботом в динамических средах. Механизм динамической регулировки весов LAFA преодолевает ограничения традиционного слияния с фиксированными весами, парадигма замкнутой связи EIPPM сокращает задержку при перепланировании, а модуль онлайн-обучения обеспечивает системе непрерывную адаптивность к неизвестным препятствиям и аномальным паттернам. Эти инновации расширяют теорию интеллектуального мониторинга на высокодинамичные, неструктурированные сценарии.
Текущая система все еще имеет определенные ограничения: во-первых, модуль онлайн-обучения медленно сходится при обнаружении крайне редких паттернов аномалий; во-вторых, эксперименты проводились только на промышленных установках и подстанциях, и производительность в сложных условиях открытой местности или при экстремальных погодных условиях еще не была подтверждена; в-третьих, в данном исследовании были проведены только краткосрочные испытания прототипа, а длительное промышленное развертывание в полевых условиях, систематическая оценка безопасности и испытания на отказоустойчивость не завершены; в-четвертых, в данной работе не реализованы абляционные исследования алгоритмов и анализ логов работы в режиме реального времени за полный цикл; кроме того, система опирается на вычислительные мощности граничных вычислений, и долгосрочная эксплуатационная стабильность требует дальнейшего тестирования.
Данный метод имеет значительную практическую ценность в протестированных сценариях с высоким уровнем риска, включая промышленные предприятия, электроподстанции, мониторинг нефтехимических заводов и инспекцию туннелей рельсового транспорта. Например, на подстанциях была достигнута точность позиционирования ±1.5 cm и частота столкновений 0.9%, что существенно снизило риски при ручном осмотре; внутри промышленных трубопроводов метод может быть объединен с многосенсорным слиянием данных для обеспечения автономного обхода препятствий и идентификации дефектов. Сценарии с использованием сельскохозяйственных роботов, спасательных роботов, подводных исследований8,28 и воздушного мониторинга рассматриваются как перспективные области расширения применения и будут изучены в наших последующих исследованиях.
Дальнейшая работа включает: 1) интеграцию облегченных больших языковых моделей в модули человеко-машинного взаимодействия для поддержки команд на естественном языке и логического вывода задач; 2) разработку платформы распределенного обучения для совместной работы граничных и облачных вычислений с целью обмена опытом между несколькими роботами; 3) расширение области применения на сценарии подводного или воздушного осмотра для решения проблем кросс-медийного восприятия и управления движением; 4) внедрение модуля объяснимого ИИ для повышения достоверности и отлаживаемости процесса принятия решений.
Заключение:
Для устранения основных проблем, связанных с низкой надежностью восприятия и значительной задержкой принятия решений в интеллектуальных инспекционных роботах, работающих в динамических средах, в данном исследовании предлагается схема совместной оптимизации на основе LAFA и EIPPM. LAFA обеспечивает динамическую интеграцию многосенсорных данных, включая LiDAR, видеокамеру, инфракрасный имиджер и IMU, посредством пространственно-временной синхронной компенсации и механизма взвешивания внимания. В ходе краткосрочных полевых испытаний прототипа на промышленных предприятиях система достигла погрешности позиционирования ±1.5 cm и коэффициента распознавания препятствий 98.7%, продемонстрировав высокую устойчивость к помехам в виде сильного света и пыли. В сложных сценариях на подстанциях структура EIPPM формирует замкнутую связь между восприятием и планированием. В сочетании с динамическими картами рисков и стратегиями инкрементального перепланирования это позволило сократить задержку перепланирования пути до 0.8 s и снизить частоту столкновений до 0.9%. Прототип обеспечил повышение общей эффективности инспекции на 32% и снижение энергопотребления на 9.8% по сравнению с традиционными методами.
Результаты испытаний демонстрируют, что предлагаемый прототип устраняет общие недостатки традиционных методов, включая неточную регистрацию данных, низкую адаптивность к окружающей среде и медленное время отклика. Легковесный модуль онлайн-обучения обеспечивает базовую адаптивную эффективность при наличии частично неизвестных препятствий и простых аномальных паттернов в рамках протестированных сценариев. Данная работа представляет собой высокоавтономный технический прототип для задач инспекции в опасных сценариях на энергетических и нефтехимических объектах. Тем не менее, настоящее исследование имеет ограничения: испытания были ограничены заводами и подстанциями, онлайн-обучение медленно сходится для редких аномалий, долгосрочная стабильность и отказоустойчивость не были проверены, а зависимость от граничных вычислений требует верификации. В будущих работах эти вопросы будут решены с помощью многороботного взаимодействия и расширенных полевых испытаний.
Раскрытие информации
Авторы не заявляют о наличии конфликта интересов.
Благодарности
Нет данных
Материалы
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| Камера 1080P | Custom | Н/Д | Визуальный датчик, 30 fps, FOV 120° |
| Инфракрасный имиджер | Generic | 320×240 | Тепловизионная съемка, разрешение 320 x 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Периферийный компьютер, 8-ядерный CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | Сканирование 10 Hz, FOV 360° |
| Литиевый аккумулятор | Custom | 12V/20Ah | Источник питания, 8 ч непрерывной работы |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, акселерометр и гироскоп |
| Контроллер STM32 | STMicroelectronics | STM32F4 | Основной блок управления движением |
Ссылки
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.