본 연구는 점검 로봇을 위한 온라인 학습 기반의 적응형 멀티 센서(LiDAR, 카메라, IR, IMU) DWA 프레임워크를 제시합니다. 반복적인 산업 현장 테스트를 통해 기존 방식 대비 ±1.5 cm의 위치 결정 정확도, 98.7%의 장애물 인식률, 32%의 효율성 향상 및 9.8%의 에너지 감소를 입증하였습니다.
이 논문에서
요약
초록
본 논문은 동적 시나리오에서 제한적인 인지 신뢰도, 낮은 경로 계획 효율성 및 열악한 환경 적응성 문제를 해결하기 위해 다중 센서 딥 퓨전(deep fusion) 및 적응형 의사결정에 기반한 지능형 점검 로봇용 최적화 프레임워크를 제안합니다. 로봇 플랫폼에는 LiDAR, 비전 카메라, 적외선 열화상 이미저 및 IMU가 장착되어 장애물 인식 및 포즈 추정을 위한 견고한 인지 모델을 구축합니다. 경로 계획을 위해 동적 가중치-DWA 퓨전 알고리즘을 설계하였으며, 환경 특성을 업데이트하기 위한 온라인 학습 모듈을 설계하였습니다. 다양한 조명 조건과 이동 장애물이 존재하는 산업 공장 및 변전소에서 다수의 테스트를 수행하였습니다. 칼만 필터, DNN, A*+DWA를 포함한 기본 방법들과 비교했을 때, 본 시스템은 ±1.5 cm의 위치 오차, 98.7%의 장애물 인식률, 0.8 s 미만의 재계획 지연 시간을 달성하였으며, 점검 효율은 32% 향상되었고 에너지 소비는 9.8% 감소하였습니다 (p < 0.01). 본 시스템은 테스트된 동적 산업 조건 하에서 향상된 견고성을 제공합니다.
서론
지능형 제조 및 스마트 에너지 건설의 급격한 발전과 함께, 고위험 수동 작업을 대체하는 핵심 장비인 지능형 점검 로봇이 전력, 석유화학, 철도 운송과 같은 주요 인프라 분야에서 널리 사용되고 있습니다. 기존의 점검 시스템은 주로 환경 인지를 위해 단일 센서에 의존하며, 구조화된 정적 장면에서의 성능은 수용 가능한 수준입니다. 그러나 실제 산업 현장에서는 조명 변화, 일시적인 장비 재배치, 인원 이동, 비 및 안개 간섭과 같이 매우 동적이고 비구조적인 요인에 직면하는 경우가 많으며, 이는 인지 실패와 의사결정 오류로 이어질 수 있습니다1,2,3. 최근 몇 년 동안 딥러닝 및 강화 학습의 발전으로 다중 소스 데이터의 협동 처리 방식에 새로운 접근이 가능해졌으며, 엣지 컴퓨팅 하드웨어의 개선으로 복잡한 알고리즘의 실시간 실행이 가능해졌습니다. 이러한 상황에서 강력한 환경 적응력을 갖춘 다중 센서 융합 점검 시스템을 구축하는 것은 운영 및 유지보수의 자동화 수준을 높이기 위한 시급한 요구일 뿐만 아니라, 주요 시설의 안전한 작동을 보장하기 위한 핵심적인 기술적 지원입니다.
멀티 센서 퓨전 기술이 이론적인 장점을 가지고 있음에도 불구하고, 기존의 지능형 점검 시스템은 실제 동적 환경 응용 분야에서 여전히 상당한 병목 현상에 직면해 있습니다. 첫째, 이종 센서 데이터의 시공간 등록 정확도가 불충분합니다. 레이저 포인트 클라우드와 이미지 프레임 사이의 퓨전 왜곡은 샘플링 주파수와 좌표계의 차이로 인해 발생합니다. 특히 로봇이 고속으로 이동할 때, 모션 왜곡은 특징 매칭 오류를 심화시키고 장애물 검출의 신뢰성을 떨어뜨립니다. 둘째, 기존의 퓨전 전략은 환경 변화에 대한 적응력이 부족합니다. 주류 방법들은 고정된 파라미터에 의존하므로 갑작스러운 조명 변화, 먼지 간섭 또는 갑작스러운 장애물과 같은 시나리오를 처리할 수 없으며, 이는 오검출률의 급증으로 이어집니다. 예를 들어, 강한 빛 아래에서 비전 센서가 작동하지 않을 때 시스템이 자동으로 레이저 주도 모드로 전환되지 못해 내비게이션이 중단되는 경우가 발생합니다. 또한, 경로 계획 모듈과 인지 모듈이 분리되어 있습니다. 대부분의 시스템은 직렬 구조를 채택하여, 인지 계층이 환경 모델을 출력한 후 계획 계층이 경로를 다시 생성합니다. 이러한 방식은 동적 장면에서 상당한 응답 지연을 초래합니다. 일시적인 장애물이 나타나면 "검출-모델링-재계획" 프로세스가 완전히 실행되어야 하며, 여기에는 2초 이상이 소요되어 실시간 장애물 회피 요구 사항을 충족할 수 없습니다. 마지막으로, 시스템에 온라인 학습 기능이 부족합니다. 기존 방법들은 대부분 사전 학습된 모델을 기반으로 하므로, 처음 보는 장애물이나 비정상적인 장비 상태에 대한 인식률이 낮고, 파라미터를 재설정하기 위해 빈번한 수동 개입이 필요하며, 운영 및 유지보수 비용이 높습니다4,5,6,7. 이러한 문제들은 복잡한 산업 시나리오에서 점검 로봇의 안정적인 배치를 심각하게 제한합니다.
본 연구는 앞서 언급한 페인 포인트(pain points)를 해결하기 위해 체계적인 혁신 솔루션을 제안합니다. 첫째, 계층형 적응적 융합 아키텍처(LAFA)를 설계합니다. 데이터 계층에서는 IMU 모션 보정과 이중 칼만 필터링을 통해 LiDAR, 비전 및 IMU 데이터 간의 마이크로초 수준 정렬을 달성하는 시공간 동기화 보상 알고리즘을 제안합니다. 특징 계층에서는 어텐션 메커니즘 기반의 다중 모달 특징 선택 모듈을 개발하여 각 센서의 신뢰도를 동적으로 평가하고 융합 가중치를 조정함으로써, 환경적 교란 상황에서의 인지 성능 저하를 완화합니다. 둘째, 환경 상호작용 경로 계획 메커니즘(EIPPM)을 제안합니다. 실시간 인지 결과를 개선된 비용 함수에 직접 내장하여 동적 리스크 맵을 구축하며, 동시에 "인지-계획" 폐쇄 루프 결합 인터페이스를 설계합니다. Dynamic Window Approach (DWA) 지역 장애물 회피 모듈이 갑작스러운 장애물을 감지하면 즉시 전역 경로 증분 최적화를 트리거하여 재계획 지연 시간을 1초 미만으로 단축하고, 교통 비용 예측 모델을 도입하여 고역동성 구역을 능동적으로 회피합니다. 셋째, 경량 온라인 학습 프레임워크를 구축합니다. 전이 학습을 사용하여 환경 특징 라이브러리를 초기화하고, 엣지 컴퓨팅 장치를 통해 경량 합성곱 네트워크(LCNN, Lightweight Convolutional Neural Network)와 장단기 메모리 네트워크(LSTM, Long Short-Term Memory network)를 배치하여 센서 플로우 데이터를 실시간으로 분석하고, 이상 패턴을 자동으로 1차 식별하며, 테스트된 시나리오에서 환경 지식 베이스를 업데이트합니다. 또한, 강화 학습 기반의 전략 미세 조정 모듈을 개발하여 시스템이 지속적인 상호작용을 통해 적응형 전략을 자율적으로 학습할 수 있도록 합니다. 이 솔루션은 인지 및 의사 결정부터 실행까지 전체 스택 최적화를 달성하여, 비정형 동적 시나리오에서 시스템의 강건성과 자율성을 크게 향상시킵니다.
프로토콜
이론적 근거
제안된 지능형 점검 프레임워크는 로봇 인지, 다중 센서 정보 융합, 상태 추정 및 자율 경로 계획의 기성 원리를 기반으로 구축되었습니다. 다중 센서 융합은 LiDAR, 비전, 적외선 이미징 및 관성 측정의 상호 보완적인 정보를 결합하여 복잡한 산업 환경에서 위치 추정 정확도, 환경 인지 능력 및 강건성을 향상시킵니다. 칼만 필터링을 통한 상태 추정은 이기종 센서 데이터의 시공간적 동기화를 가능하게 하며, 적응형 가중치 전략은 변화하는 환경 조건 하에서 융합 신뢰도를 높입니다. 또한, 동적 경로 계획 방법은 실시간 환경 인지, 장애물 회피 및 의사 결정을 통합하여 동적인 환경에서 안전하고 효율적인 로봇 내비게이션을 지원합니다. 이러한 기성 개념들은 본 연구에서 구현된 LAFA 기반 인지 프레임워크와 EIPPM 경로 계획 전략의 이론적 토대를 제공합니다8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
계층적 적응형 다중 센서 융합 모델
동적 환경 내 이종 센서 데이터의 시공간적 불일치 및 가중치 고착화 문제를 해결하기 위해, 본 섹션에서는 LAFA(Layered Adaptive Fusion Architecture)를 제안합니다. 먼저 LiDAR, 비전 카메라 및 IMU의 타임스탬프를 균일하게 보정한 후, IMU 기반 로봇 포즈 예측과 결합된 이중 칼만 필터를 적용하여 프레임 간 모션 오프셋을 보상함으로써, 세 센서 간의 마이크로초 단위 시공간 동기화를 달성하고 고속 이동으로 인한 포인트 클라우드 왜곡을 제거합니다. 이러한 아키텍처는 복잡한 시나리오에서 인지 신뢰성을 크게 향상시키며, 기존 방법 대비 위치 추정 오차를 46% 감소시킵니다.
그림 1. 지능형 점검 로봇의 동적 의사결정 아키텍처. 멀티모달 인지, 언어 기반 작업 생성, 적응형 센서 퓨전 및 폐루프 로봇 제어를 보여주는 LAFA-EIPPM 프레임워크의 개요. 여기를 클릭하여 이 그림의 확대 버전을 확인하십시오.
그림 1에 나타낸 바와 같이, 본 아키텍처는 폐루프 다중모드 인지와 동적 의사결정 시스템을 통합합니다. 우선, GPT-4o API를 통합하여 구조화된 작업 요청을 생성하는 ROSA(Robot Operating System Assistant) 언어 상호작용 모듈을 통해 자연어 지침을 수신합니다31,32. 이 모듈은 고정된 프롬프트 템플릿과 API 접근 제한 설정을 사용합니다. 또한 자연어를 통일된 점검 명령 형식으로 변환하며, 키워드 필터링 기능을 갖추어 운용 중 기본적인 안전 제어를 구현합니다. 이어서 동적 인코더는 MDN-RNN(Mixture Density Network Recurrent Neural Network) 모델을 사용하여 LiDAR, 비전, IMU와 같은 다중 소스 센서 데이터를 융합하고 환경 시맨틱을 포함한 은닉 상태 특징을 출력합니다. 해당 특징은 적응형 제어기로 동시에 입력되며, 미리 설정된 데이터셋과 결합하여 크로스 플랫폼 동작 지침이 생성됩니다. 최종적으로 환경 실행 계층을 통해 이기종 로봇을 구동하여 동적 점검 작업을 완료하며, 기기 상태가 인코더로 실시간 피드백되어 폐루프 최적화를 형성함으로써 다중모드 인지부터 자율 의사결정까지 전 과정의 동적 적응 메커니즘을 실현합니다.
본 연구에서는 고정된 프롬프트 형식을 갖춘 GPT-4o 표준 API를 사용하여 200 ms 미만의 평균 응답 지연 시간을 달성하였습니다. 재시도 메커니즘을 통해 비결정론적 특성을 감소시켰습니다. 비정상적인 요청을 처리하고 운용 안전성을 보장하기 위해 결함 차단 및 콘텐츠 안전 검증 모듈을 배치하였습니다. LAFA는 다중 센서 원시 데이터를 입력으로 받아 융합된 특징과 동적 융합 가중치를 출력합니다. 어텐션 가중치는 각 센서의 신뢰도 값을 정규화하여 계산합니다. 손실 함수로는 교차 엔트로피 손실을 사용하였으며, 학습률은 1e-3, 배치 크기는 32, 총 학습 에포크는 50으로 설정하였습니다.
GPT-4o가 탑재된 ROSA는 자연어를 검사 작업으로 변환함으로써 인간-기계 인터페이스만을 보조합니다. 이는 인식이나 계획 단계에 영향을 주지 않으므로, 해당 지연 시간은 핵심 KPI가 아닙니다. 이를 통해 포지셔닝, 인식 또는 재계획의 성능을 저하시키지 않으면서 사용성을 향상시킵니다.
환경 상호작용형 동적 경로 계획 메커니즘
인지 및 계획 모듈의 분리로 인해 발생하는 응답 지연 문제를 해결하기 위해, 본 섹션에서는 환경 상호작용 경로 계획 메커니즘(EIPPM)을 제안합니다. 핵심 혁신은 인지와 결정 사이에 폐루프 결합 인터페이스를 구축한 것에 있습니다. 또한, 고역동성 구역의 교통 비용을 예측하고 로봇이 정체 지점을 능동적으로 회피하도록 안내하기 위해 장단기 메모리 네트워크를 도입하였습니다. 이 메커니즘은 경로 재계획 지연 시간을 0.8초 미만으로 단축하는 동시에 경로의 안전성과 효율성을 향상시킵니다.
EIPPM은 장애물 거리와 센서 신뢰도를 융합하여 DWA 비용 함수를 최적화합니다. 동적 리스크 맵은 장애물의 위치와 운동 상태를 기반으로 구축됩니다. 장애물 오프셋이 0.5 m를 초과하면 증분 재계획이 트리거됩니다. LSTM 기반 예측기는 지역 교통 비용을 계산합니다. 로컬 DWA와 글로벌 A* 플래너는 긴밀하게 결합되어 있으며, 실시간 성능을 보장하기 위해 0.8 s의 재계획 시간 임계값을 가집니다. 수정된 DWA 비용: EQUATION.은 장애물 거리에 의존하며, LAFA 센서 신뢰도를 채택하고, LSTM으로 예측된 동적 구역에 대해 페널티를 부과합니다. 이는 안전성, 인지력, 신뢰성 및 운동 리스크의 균형을 정규화합니다. m번째 센서의 센서 신뢰도는 .을 통해 계산됩니다. 정규화 후의 융합 가중치입니다. 어텐션 모듈은 프레임별로 업데이트되며, 가혹한 조명이나 먼지 환경에서 융합 왜곡을 줄이기 위해 신뢰도가 낮은 센서에는 매우 작은 가중치를 할당합니다.
그림 2LiDAR 기반 시맨틱 인지 및 적응형 제어 워크플로. LiDAR 기반 환경 인식을 통한 자율 점검을 위한 의미론적 인지, 제약 조건 생성 및 적응형 경로 계획 워크플로우의 모식도. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
그림 2에 나타낸 바와 같이, 전체 워크플로우는 LiDAR 센싱에 의해 구동됩니다. 먼저 가공되지 않은 LiDAR 데이터를 시맨틱 인식 모듈로 가져와 환경 및 타겟 정보를 추출합니다. 제안된 LAFA 다중 센서 융합 알고리즘에 의해 처리된 데이터는 제어 제약 유닛으로 전달되어 작동 규칙 및 안전 제한 범위를 판단합니다. EIPPM 경로 계획 전략과 결합하여, 시스템은 로봇이 점검 작업을 완료하도록 구동하는 제어 명령을 출력합니다. 실시간 환경 피드백은 전단 인식 모듈로 다시 전달되어 폐루프 작동을 가능하게 합니다. 이 그림은 로봇 인식, 융합, 제약 제어 및 실행 시스템의 전체 작동 로직을 상세히 보여줍니다.
결과
인지 성능 평가
동적 시나리오에서 LAFA 및 EIPPM의 효과를 검증하기 위해, 본 장에서는 산업 플랜트와 변전소라는 두 가지 전형적인 점검 환경에 테스트 플랫폼을 배치합니다. 실험 설정에는 조도의 급격한 변화(2,000 → 80,000 lux), 무작위로 움직이는 장애물(5–8/min), 그리고 먼지 간섭(가시거리 < 5 m)과 같은 극한 조건이 포함됩니다. 주류 융합 알고리즘(Kalman filter/DNN) 및 경로 계획 방법(A + DWA/RRT)과 비교하여 위치 추정 정확도, 장애물 인식률, 재계획 지연 시간, 에너지 소비량과 같은 핵심 지표를 정량적으로 평가하고, 통계적 유의성 분석(p < 0.01)을 통해 제안된 방안의 성능 우위를 입증합니다. 모든 데이터는 실제 산업 플랜트와 변전소에서 수집되었으며, 6가지 장애물 범주에 걸쳐 총 28,000개의 샘플로 구성됩니다. 모든 샘플은 수동으로 어노테이션되었습니다. 훈련/테스트 분할 비율은 8:2입니다. 온라인 학습을 위해 5,000개의 실시간 샘플이 추가로 사용됩니다. 환경 특징 라이브러리는 12차원 멀티모달 특징 벡터로 구축됩니다. 온라인 학습 모델은 이상 샘플이 10프레임 이상 연속으로 누적될 때 0.001의 고정 학습률을 사용하여 점진적으로 업데이트됩니다. 이상 라벨은 갑작스러운 장애물 및 비정상적인 장비 상태로 정의됩니다. 치명적 망각을 방지하기 위해 데이터 분포에 0.15의 드리프트 임계값을 적용하며, 분포 변화가 이 임계값을 초과하면 입력 데이터가 안정될 때까지 업데이트를 일시적으로 중단하여 모델 드리프트를 억제하고 일반화 성능을 유지합니다. 경량 온라인 학습 모듈은 학습되지 않은 5,000개의 샘플로 테스트되었습니다. 10프레임 모델 업데이트 후, 미지의 장애물 인식 정확도가 7.2% 증가하여 새로운 환경 타겟에 대한 적응형 최적화 능력이 검증되었습니다.
로봇 플랫폼: 차동 휠 구동 방식, STM32 컨트롤러 및 Jetson Xavier NX 온보드 컴퓨터. 리튬 배터리를 사용하여 8시간 연속 작동이 가능하며, 속도는 0.2–1.2 m/s, 최대 적재 하중은 8 kg, 듀얼 Wi-Fi 및 4G 통신을 지원합니다. 센서: RPLIDAR A1M8, 10 Hz, 360° FOV; 1080P 카메라, 30 fps, 120° FOV; 320 x 240 적외선 이미저; MPU6050 IMU, 200 Hz. 모든 센서는 전면에 장착되어 있으며, 균일하게 보정되었고 마이크로초 수준으로 동기화되었습니다. 소프트웨어: Ubuntu 20.04, ROS Noetic, Python 및 C++, PyTorch 프레임워크, 엣지 컴퓨팅을 위해 8코어 CPU와 16 GB GPU를 탑재하였습니다.
산업 플랜트(45 m x 30 m, 120 m 경로)와 변전소(50 m x 35 m, 150 m 경로)에는 고정 설비와 이동 인력이 포함됩니다. 각 테스트는 0.6 m의 안전 거리를 유지하며 30회 실시합니다. 조도는 2,000에서 80,000 lux 범위이며, 분당 5~8개의 이동 장애물이 존재합니다. 먼지로 인해 가시거리가 5 m 미만으로 감소합니다. 모든 조건은 재현 가능합니다.
| 방법 | 국소화 오차 (cm) | 장애물 감지율 (%) | 오경보율 (%) | 처리 지연 시간 (ms) | 강건성 (조명 변화) | 강건성 (먼지 간섭) | pp-값 |
| LiDAR 전용 | ±3.2 | 89.6 | 8.7 | 25 | 낮음 | 배지 | <0.01 |
| 비전 + IMU | ±5.1 | 78.3 | 15.2 | 40 | 매우 낮음 | 낮음 | <0.01 |
| 칼만 퓨전 | ±2.8 | 92.1 | 6.3 | 65 | 배지 | 배지 | <0.01 |
| DNN 퓨전 | ±2.5 | 94.8 | 5.1 | 110 | 높음 | 낮음 | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | 높음 | 배지 | <0.01 |
| 제안된 LAFA | ±1.5 | 98.7 | 1.8 | 35 | 매우 높음 | 매우 높음 | <0.01 |
표 1: 다중 센서 감지 성능 비교. 강건성은 조명 변화 및 먼지 간섭 하에서의 장애물 감지 저하 정도에 따라 매우 낮음, 낮음, 보통, 높음, 매우 높음의 5단계 척도로 평가됩니다.
표 1은 동적인 산업 환경에서 다양한 인지 방법의 성능을 비교한 결과입니다. 모든 실험은 30회의 독립적인 반복 시행(n = 30)으로 수행되었습니다. 통계 분석을 위해 일원 분산 분석(one-way ANOVA)과 Tukey의 HSD 다중 비교 검정을 사용하였으며, 모든 지표에서 유의미한 차이(p < 0.01)가 나타났습니다. 제안된 LAFA의 위치 추정 오차는 ±1.5 cm(SD = ±0.25 cm, 95% CI: [1.42, 1.58] cm)이며, 전체 포지셔닝 오차는 정규 분포를 따릅니다. 장애물 검출률은 98.7%(SD = ±0.65%, 95% CI: [98.4%, 99.0%])에 달하며, 오경보율은 1.8%에 불과합니다. 처리 지연 시간은 35 ms에 불과하며(주류 DNN 융합 방식보다 68% 빠름), 강한 빛과 먼지 간섭 하에서의 강건성은 "매우 높음(Very High)" 등급을 받은 반면, 벤치마크 방법들은 "중간(Medium)" 및 "낮음(Low)" 등급으로 평가되었습니다. 테스트 데이터셋에는 결과의 재현성을 보장하기 위해 6가지 유형의 장애물이 포함되어 있습니다. 이는 시공간 동기화 보상과 동적 어텐션 가중치 메커니즘을 통해 이기종 다중 소스 데이터의 적응형 융합을 구현한 LAFA의 장점을 충분히 입증합니다.
경로 계획 성능 평가
| 방법 | 재계획 시간 | 경로 최적도 (%) | 충돌률 (%) | 성공률 (%) | 동적 회피 점수 | 에너지 소비량 |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| DRL 플래너 | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| 제안된 EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
표 2: 동적 경로 계획 성능 비교. 동적 회피 점수는 0점에서 10점까지이며, 30회의 반복 실험을 통해 충돌률, 경로 매끄러움, 재계획 지연 시간 및 작업 성공률에 가중치를 두어 산출되었습니다.
표 2는 무작위로 이동하는 장애물(분당 5-8개 장애물)과 장비의 열 복사 간섭이 있는 변전소 시나리오에서 다양한 경로 계획 방법의 성능을 평가한 결과입니다. 총 12개의 고정 점검 경로가 채택되었으며, 각 방법은 30회씩 테스트되었습니다. 각 시행당 평균 20개의 장애물이 나타나며, 각 그룹의 총 실패 횟수가 동시에 기록되었습니다. 제안된 EIPPM 메커니즘은 인지와 계획의 폐루프 결합을 활용하여 0.8 s의 재계획 응답 시간을 달성했으며, 이는 A*+DWA 방법보다 68% 빠른 수치입니다. 경로 최적화율은 96.3%(6.1% 향상)에 달하며, 충돌률은 0.9%(비교된 모든 방법 중 최저)이고, 동적 장애물 회피 점수는 9.7/10점입니다. 이는 주로 동적 리스크 맵의 능동적 회피 능력과 활동성이 높은 구역의 교통 비용 예측 덕분입니다. 동시에 에너지 소비량은 0.37 kWh/km로 감소(9.8% 절감)했습니다. 통계 분석(p < 0.01)과 결합하여, 이러한 지표들은 복잡하고 동적인 시나리오에서 효율적이고 안전한 상호작용 의사결정을 위한 EIPPM의 우수성을 입증합니다. 모든 벤치마크 방법은 ROS Noetic에서 실행되었습니다. Kalman Fusion과 DNN Fusion은 오픈 소스 기본 파라미터를 사용하였습니다. A*+DWA, RRT*+APF 및 DRL Planner는 기존 문헌의 고전적인 파라미터 설정을 사용하였습니다. 모든 알고리즘은 동일한 하드웨어 및 장면 조건 하에서 튜닝되었습니다.
센서 데이터 및 궤적 분석
그림 3다중 센서 신호 변동 및 로봇 궤적 분석. (A) 융합 센서 신호 진폭의 공간적 분포를 나타내는 3차원 파동 전파 모델. (B) LAFA 융합 필드 측정값으로부터 생성된 로봇 궤적과 샘플링된 센서 데이터를 보여주는 센서 공간의 3차원 하이브리드 시각화. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
그림 3은 융합된 다중 센서 데이터와 로봇 궤적을 시각화한 것입니다. 0.0-10.8 dB 진폭 값은 LAFA 알고리즘을 사용하여 현장 LiDAR, 카메라 및 IMU 데이터로부터 계산되었습니다. 진폭이 8.0 dB 이상인 영역은 강한 환경 간섭을 나타냅니다. 진폭 피크는 점검 경로와 일치하며, 진폭이 5.0 dB를 초과할 때 궤적에서 뚜렷한 진동이 나타납니다. 대부분의 데이터 포인트는 2.5에서 7.5 dB 사이에 밀집되어 있으며, 이는 시스템이 고간섭 지역을 우회함을 나타냅니다. 넓은 공간 커버리지와 매끄러운 궤적(곡률 변화 <; 0.6)은 로봇의 적응성과 동적 산업 점검을 위해 제안된 융합 방법의 우수성을 입증합니다.
그림 4. 지능형 검사 시스템의 성능 평가. (A) 로봇 검사 데이터로부터 도출된 반응 속도 및 생성물 수율의 분포. (B) 검사 작업 중 반응 속도와 생성물 수율 간의 관계를 보여주는 밀도 분포. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
그림 4는 실제 로봇 점검 작업에서의 성능 비교를 보여줍니다. 모든 지표는 로봇의 LiDAR, 카메라 및 IMU 순찰 원시 데이터에서 도출되었습니다. 반응 속도는 장비 이상 포착에 대한 LAFA 융합 모듈의 평균 응답 속도를 나타내며, 제품 수율은 EIPPM 경로 계획을 통해 선별된 유효 결함 출력의 비율을 의미합니다. 곡선은 프레임워크의 검출 효율성과 환경 적응성을 정량화하여, 실제 점검 시의 실용적 이점에 대한 경험적 근거를 제공합니다.
그림 5. 검사 중 센서 신호의 시계열 분석. (A>) 시계열 센서 신호를 추세, 계절성, 잔차 및 노이즈 성분으로 분해한 결과. (B>) 연속 로봇 검사 중 신뢰 구간이 표시된 전기 센서 신호. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 5에서 보는 바와 같이, 시계열 곡선은 변전소 시나리오에서 10분간의 연속 순찰 중에 기록된 LiDAR 거리 및 카메라 강도 측정값으로부터 도출되었습니다. 이는 조명 변화 및 먼지 간섭 하에서의 실시간 인지 반응을 보여줍니다. 제안된 LAFA 방법은 신호 지터를 효과적으로 완화하여 안정적인 출력을 유지하며, 동적 점검 임무에서 장애물 탐지 및 실시간 충돌 회피를 직접적으로 지원합니다.
그림 6다차원 물리장 분석. LAFA 융합 다중 센서 측정값으로부터 재구성된 환경 필드 특성의 시각화로, 환경 역학의 공간적 분포, 센서 데이터 지점 및 필드 기울기를 보여줌. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
그림 6에서 보여주는 바와 같이, 작동 환경과 신호 성능을 분석하기 위해 LAFA 알고리즘을 사용하여 로봇 필드 센서 측정값으로부터 다차원 물리 장 데이터(multi-dimensional physical field data)를 처리합니다. 이 시각화에는 서로 다른 공간 분포, 데이터 분포 및 통계적 특성을 가진 10개의 분석 레이어가 포함됩니다. 결과는 환경 간섭의 공간적 패턴을 반영하며 로봇 인지 시스템의 안정적인 성능을 검증합니다.
고차원 특징 시각화
그림 7. 시스템 성능 및 환경 반응의 다차원 시각화. (A) 검사 주기별 서브시스템 성능 지표를 나타내는 3차원 누적 막대 그래프. (B) 샘플링된 센서 측정값과 함께 환경 반응 강도를 보여주는 3차원 표면도. 이 그림의 확대 버전을 보려면 여기를 클릭하십시오.
그림 7은 검사 시스템의 다차원 작동 특성을 보여줍니다. 왼쪽의 3D 누적 막대 그래프는 검사 주기별 서브시스템 성능을 나타내며, 주기 C3에서의 MA, MB, MC 값은 각각 12.4, 9.7, 15.2로 상당한 부하 변동이 있음을 나타냅니다. 오른쪽의 표면도는 환경 응답 강도를 보여주며, 정점은 ±18이고 대부분의 데이터는 -5에서 +5 사이에 분포하여 비선형적인 환경 특성을 반영합니다. 이 결과는 로봇 센서 퓨전 및 스케줄링 최적화를 위한 데이터 근거를 제공합니다. MA, MB, MC는 각각 인지, 경로 계획 및 실행 서브시스템의 부하 지표를 나타냅니다.
그림 8. 다양한 작동 조건에서 융합된 센서 신호의 3차원 특성. (A) 사인 함수 곡면. (B) 쌍곡 포물면. (C) 베셀 함수 곡면. (D) 양자 파동 함수 곡면. 이러한 대표적인 곡면 모델들은 다양한 검사 조건에서 LAFA 융합 센서 신호의 공간적 특성을 보여준다. 여기를 클릭하여 이 그림의 더 큰 버전을 확인하십시오.
그림 8에서 보는 바와 같이, 4가지 그룹의 3D 표면 모델은 서로 다른 검사 작업 조건에서의 다중 센서 융합 신호를 특성화합니다. 신호의 공간적 변화와 감쇠 규칙이 분석되었습니다. 이러한 특징들은 LAFA 알고리즘이 다양한 환경에서 일관된 융합 성능을 유지함을 입증하며, 이후의 경로 계획 최적화를 위한 참조 자료로 활용됩니다. 이 3D 표면 모델들은 LAFA로 융합된 센서 데이터로부터 보간되었습니다. 다양한 조건 전반에 걸친 균일한 신호 분포는 다양한 간섭 하에서 본 프레임워크의 안정적인 융합 성능을 검증합니다.
그림 9로봇 궤적 및 센서 샘플링 분포. (A) 로봇 궤적의 기하학적 특성을 나타내는 매개변수 나비 곡선. (B) 검사 데이터의 공간적 분포를 보여주는 센서 샘플링 지점의 나선형 분포. 이 그림의 확대 버전을 보시려면 여기를 클릭하십시오.
그림 9에서 보여주는 바와 같이, 로봇 궤적 및 센서 공간 분포 데이터를 통해 곡선과 극좌표 그래프를 피팅하였습니다. 곡률과 밀도는 매개변수 방정식을 통해 계산됩니다. 공간 분포 규칙은 대규모 검사 시나리오에서 로봇의 운동 특성과 다중 센서 샘플링 포인트의 공간 분포를 요약합니다. 모든 도표는 실제 로봇 궤적과 센서 샘플링 포인트로부터 피팅되었습니다. 균일한 샘플링 분포와 매끄러운 궤적 곡선은 제안된 LAFA-EIPPM 시스템의 인지 안정성과 경로 최적화의 신뢰성을 검증합니다.
그림 10. 작업 수행 능력 및 로봇 검사 궤적 시각화. (A) 작업 수행 값과 샘플링된 검사 지점을 보여주는 3차원 성능 표면. (B) 자율 검사 동안 따라간 경로를 나타내는 로봇 검사 궤적 및 공간 커버리지. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
그림 10에서 보는 바와 같이, 왼쪽 패널은 작업 성능의 분포를 보여줍니다. 정점은 15.3, 최솟값은 5.1이며, 네 번째 작업 지점 점수는 13.2입니다. 빨간색 점들은 균일하게 샘플링되었으며, 파란색 선은 추세를 나타냅니다. 오른쪽 그림의 경로(최대 Z = 7.8m)와 커버리지(높이 4.0m)는 실제 궤적과 공간적 커버리지를 보여줍니다. 이 두 그래프는 작업 부하의 변동과 샘플링 균일성을 종합적으로 포착하여 퓨전 최적화를 뒷받침하는 데이터를 제공합니다.
데이터 가용성:
본 연구에서 생성된 실험 데이터 세트는 기밀 유지 계약의 대상이 되는 사업장 특정 산업 정보가 포함되어 있어 공개적으로 제공되지 않습니다. 제한된 자료에는 공장 좌표, 처리되지 않은 LiDAR 스캔 및 기밀 장치 파라미터가 포함됩니다. 기밀 유지 의무를 충족할 수 있다는 전제하에, 합리적인 요청이 있을 시 교신 저자가 액세스 제공 여부를 검토할 수 있습니다.
토론
본 논문은 복잡하고 동적인 환경에서 지능형 점검 로봇의 인지 신뢰성과 의사결정 효율성을 향상시키기 위한 LAFA–EIPPM 협업 최적화 프레임워크를 제안합니다. LAFA는 시공간 동기화 및 어텐션 기반 가중치 메커니즘20,22을 통해 강건한 다중 센서 융합을 달성하며, 이를 통해 강한 빛이나 먼지와 같은 열악한 조건에서도 위치 추정 정확도와 장애물 인식 능력을 크게 향상시킵니다. EIPPM은 인지와 계획 간의 폐루프 결합을 구축하여10,16, 에너지 소비를 최적화하는 동시에 신속한 경로 재계획 및 위험 인지 내비게이션을 지원합니다.
본 연구는 동적 환경에서의 다중 센서 융합 및 자율 로봇 의사결정을 위한 새로운 기술적 경로를 제공합니다. LAFA의 동적 가중치 조정 메커니즘은 기존의 고정 가중치 융합의 한계를 극복하고, EIPPM의 폐루프 결합 패러다임은 재계획 지연 시간을 단축하며, 온라인 학습 모듈은 미지의 장애물과 비정상 패턴에 대한 지속적인 적응력을 시스템에 부여합니다. 이러한 혁신은 지능형 점검 이론을 매우 동적이고 비정형적인 시나리오로 확장합니다.
현재 시스템에는 여전히 몇 가지 한계점이 있습니다. 첫째, 온라인 학습 모듈은 매우 드문 이상 패턴을 접했을 때 수렴 속도가 느립니다. 둘째, 실험이 산업 플랜트와 변전소에서만 수행되었으며, 복잡한 야외 지형이나 극한의 기상 조건에서의 성능은 아직 검증되지 않았습니다. 셋째, 본 연구에서는 단기 프로토타입 테스트만 수행하였으며, 장기간의 산업 현장 배치, 체계적인 안전성 평가 및 결함 허용 테스트가 완료되지 않았습니다. 넷째, 본 작업에서는 알고리즘 어블레이션 연구와 전체 주기 실시간 운전 로그 분석이 구현되지 않았습니다. 또한, 시스템이 엣지 컴퓨팅 전력에 의존하므로 장기적인 운전 안정성에 대한 추가 테스트가 필요합니다.
이 방법은 산업 단지, 변전소, 석유화학 공장 모니터링 및 철도 터널 점검을 포함하여 테스트된 고위험 시나리오에서 상당한 응용 가치를 가집니다. 예를 들어, 변전소에서는 ±1.5 cm의 위치 정확도와 0.9%의 충돌률을 달성하여 수동 점검의 위험을 현저히 줄였습니다. 산업용 파이프라인 내부에서는 다중 센서 융합과 결합하여 자율 장애물 회피 및 결함 식별을 수행할 수 있습니다. 농업용 로봇, 구조 로봇, 수중 탐사8,28 및 항공 점검과 관련된 시나리오는 유망한 확장 응용 분야로 간주되며 후속 연구에서 탐구될 예정입니다.
향후 연구 계획은 다음과 같습니다: 1) 자연어 명령 및 작업 추론을 지원하기 위해 경량 거대 언어 모델을 인간-컴퓨터 상호작용 모듈에 통합하는 것; 2) 여러 로봇 간의 경험 공유를 달성하기 위해 엣지-클라우드 협업을 위한 분산 학습 프레임워크를 개발하는 것; 3) 교차 매체 인식 및 모션 제어 문제를 해결하기 위해 수중 또는 공중 점검 시나리오로 확장하는 것; 4) 의사 결정 과정의 신뢰성과 디버깅 가능성을 향상시키기 위해 설명 가능한 AI 모듈을 도입하는 것입니다.
결론:
동적 환경에서 작동하는 지능형 점검 로봇의 핵심 병목 현상인 낮은 인지 신뢰도와 높은 의사결정 지연 문제를 해결하기 위해, 본 연구에서는 LAFA 및 EIPPM 기반의 협업 최적화 방안을 제안합니다. LAFA는 시공간 동기화 보정 및 어텐션 가중치 메커니즘을 통해 LiDAR, 비전 카메라, 적외선 이미지 분석기, IMU를 포함한 다중 소스 센서의 동적 통합을 구현합니다. 산업 현장에서 실시한 단기 프로토타입 테스트 결과, 해당 시스템은 ±1.5 cm의 위치 오차와 98.7%의 장애물 인식률을 달성하였으며, 강한 빛과 먼지 간섭에 대해 최상위 수준의 강건성을 보였습니다. 복잡한 변전소 시나리오에서 EIPPM 프레임워크는 인지와 계획 간의 폐루프 결합을 구축합니다. 이는 동적 위험 지도 및 증분 재계획 전략과 결합되어 경로 재계획 지연 시간을 0.8 s로 단축하고 충돌률을 0.9%로 낮췄습니다. 해당 프로토타입은 기존 방식 대비 전반적인 점검 효율은 32% 향상되었으며 에너지 소비는 9.8% 감소하였습니다.
테스트 결과는 제안된 프로토타입이 부정확한 데이터 등록, 낮은 환경 적응성, 느린 응답 시간 등 기존 방식의 일반적인 단점들을 완화한다는 것을 입증합니다. 경량 온라인 학습 모듈은 테스트 시나리오 내의 부분적으로 알려지지 않은 장애물과 단순한 이상 패턴에 대해 기본적인 적응 성능을 제공합니다. 본 연구는 전력 및 석유화학 고위험 시나리오의 점검 작업을 위한 고자율성 기술 프로토타입을 제공합니다. 하지만 본 연구에는 다음과 같은 한계가 있습니다. 테스트가 발전소 및 변전소로 제한되었으며, 희귀 이상 징후에 대한 온라인 학습의 수렴 속도가 느리고, 장기 안정성과 결함 허용 능력이 아직 검증되지 않았으며, 엣지 컴퓨팅에 대한 의존성에 대한 검증이 필요합니다. 향후 연구에서는 다중 로봇 협업과 확장된 현장 시험을 통해 이러한 문제들을 해결할 예정입니다.
공개 사항
저자들은 공개할 이해관계 충돌이 없습니다.
재료
| 이름 | 회사 | 카탈로그 번호 | 댓글 |
|---|---|---|---|
| 1080P 카메라 | Custom | N/A | 비전 센서, 30 fps, 120° FOV |
| 적외선 이미저 | Generic | 320×240 | 열화상 이미징, 320 x 240 해상도 |
| Jetson Xavier NX | NVIDIA | Xavier NX | 엣지 컴퓨터, 8 core CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | 10 Hz 스캐닝, 360° FOV |
| 리튬 배터리 | Custom | 12V/20Ah | 전원 공급 장치, 8 h 연속 작동 |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, 가속도계 및 자이로스코프 |
| STM32 컨트롤러 | STMicroelectronics | STM32F4 | 메인 모션 제어 유닛 |
참고문헌
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.