Robot do pracy na żywo na linii dystrybucyjnej sterowany zdalnie na podstawie współpracy człowiek-robot

Podsumowanie

Zbudowano telesterowanego robota do pracy na żywej linii dystrybucyjnej opartego na współdzieleniu kontroli pomiędzy człowiekiem a robotem. Eksperymenty laboratoryjne wykazały, że współdzielenie kontroli poprawiło efektywność trajektorii, jednocześnie zmniejszając czas zakończenia zadania i podruchów. Nagły algorytm wykrywania zachowania telesterowania zmniejszył nagłe ruchy operatora i został pomyślnie zweryfikowany w operacjach polegających na stukaniu na terenie.

Streszczenie

Tradycyjne prace na żywo na liniach rozdzielczych opierają się na pracy ręcznej, charakteryzującej się wysokim ryzykiem, dużą intensywnością pracy i wysokimi kosztami szkoleń; dlatego opracowywanie robotów do pracy na żywo na liniach rozdzielczych jest istotną drogą do zastąpienia ręcznych operacji. Jednak środowisko pracy jest bardzo niesformalizowane i dynamiczne, z wyzwaniami takimi jak złożone oświetlenie na zewnątrz i nieprzewidywalne warunki wietrzne. Istniejące roboty stosują głównie telesterowanie typu master-slave lub tryb pełnej automatyzacji, które nakładają duże obciążenie psychiczne na operatorów, są bardzo podatne na błędne działania i wykazują ograniczoną przystosowańczość do środowiska.

Aby rozwiązać te problemy, w niniejszym badaniu przedstawiono robota do pracy na żywo na liniach rozdzielczych sterowany zdalnie na podstawie współdzielenia kontroli przez człowieka i robota. Końcowa trajektoria manipulatora jest uzyskiwaną poprzez liniową kombinację ważoną dwóch referencyjnych trajektorii dostarczanych osobno przez operatora i automatycznego modułu planowania robota. Takie podejście zmniejsza zależność robota od operatora, łagodzi psychiczne obciążenie operatora, poprawia efektywność i zapobiega nagłym błędnym operacjom ze strony operatora. Na koniec, w artykule przedstawiono projekt systemu i zweryfikowano jego skuteczność poprzez zastosowanie w prawdziwych operacjach na żywo.

Wprowadzenie

Praca na czynnych liniach jest krytyczną metodą inspekcji, testowania i konserwacji sprzętu wysokiego napięcia. W Chinach objętość prac na czynnych liniach rośnie szybko. Z perspektywy zapotrzebowania branży, rozwiązanie problemu bezpieczeństwa personelu podczas pracy na czynnych liniach jest długotrwałym i trudnym zadaniem. Nadal potrzebne są innowacje i ulepszenia w metodach, technologiach, sprzęcie i koncepcjach.

Praca na czynnych liniach dystrybucyjnych jest jednym z najczęstszych rodzajów pracy na czynnych liniach, która dotyczy konserwacji czynnych linii dystrybucyjnych. Ze względu na złożone warunki oświetleniowe, gęstą rozmieszczenie sprzętu oraz małe odległości między fazami i od fazy do masy w liniach dystrybucyjnych, operacje te w dużej mierze opierały się na tradycyjnych metodach manualnych. Jednak ten tradycyjny podejście napotyka na problemy takie jak wysokie ryzyko, duża intensywność pracy i wysokie koszty szkoleń¹. Dlatego rozwój robotów zdolnych do pracy na czynnych liniach, aby zastąpić pracę manualną, stał się nieuniknionym trendem dla przyszłych operacji i konserwacji sieci dystrybucyjnych.

Od lat 80. XX wieku kraje takie jak Japonia i Stany Zjednoczone prowadziły badania i testy w tej dziedzinie (jak pokazano na Rysunku 1). Najwcześniejsze systemy były robotami teleoperowanymi z śledzeniem master-slave. Na przykład japoński robot do pracy na czynnych liniach fazowych II fazy² zainstalował na platformie trzykierunkowy manipulator pomocniczy (DOF) oprócz dwukierunkowego manipulatora elektrycznego. Operator sterował nim za pomocą drążka sterującego z bliska.

Model TOMCAT³ z USA wykorzystywał hydrauliczny manipulator sterowany przez operatora w obrębie kosza roboczego. Podobnie, Shandong Power Grid⁴ w Chinach zastosował hydrauliczne manipulatory sterowane przez operatorów stojących w koszu roboczym. Ponadto, aby zwiększyć dopuszczalną odległość między końcami master i slave, hiszpański ROBTET^5,6 wykorzystywał kable światłowodowe do komunikacji zdalnej, umożliwiając operatorom teleoperację z ziemi. Te tryby teleoperacji robotów mogą być podsumowane jako tryb śledzenia master-slave. Mają one niewystarczającą inteligencję autonomiczną, wymagają od personelu obserwacji środowiska i sterowania robotem z bliska oraz niesioną znaczną obciążeniem umysłowym, tym samym nie zastępując ludzi w wysokonapięciowych, niebezpiecznych środowiskach.

Aby zapobiec brakowi inteligencji robotycznej, wymagane są badania nad inteligentnymi technologiami takimi jak wizja komputerowa, planowanie trajektorii i zdalna interakcja człowiek-robot, aby zwiększyć autonomiczne zdolności robota.

W pracy na czynnych liniach dystrybucyjnych, zadanie podłączania stanowi około 20%⁷ całkowitego obciążenia pracy (linie dystrybucyjne są pokazana na Rysunku 2). Dlatego korzystanie z czujników wizualnych do identyfikacji i lokalizacji przewodu i jego regionu ściągniętego, czyli regionu usuniętej izolacji, do prowadzenia robota jest kluczowe. W 2020 roku State Grid Ruijia⁸ opracował robota do pracy na czynnych liniach dystrybucyjnych zdolny do interakcji zdalnej, łącząc informacje z LiDAR i kamery binokularnej dla rozpoznawania i pozycjonowania celu. Ponadto, algorytmy łączące operacje morfologiczne i transformację Hougha są używane do ułatwienia ekstrakcji linii zasilających^9,10. Transformacja Hougha jest używana do wykrywania linii zasilających, po czym algorytmy widzenia stereo służą do konwersji wykrytych danych pikseli 2D na współrzędne przestrzenne 3D¹¹. Hubei Electric Power Research Institute¹² zaproponowało filtr oparty na fuzji mapy kolor-głębokość. Ta metoda eliminuje złożone tła otaczające linie zasilające, a następnie ekstrahuje jasne kontury linii zasilających poprzez analizę różnic wartości pikseli w sąsiedztwie. Dodatkowo, University of Science and Technology of China¹³ zaproponowało algorytm rozpoznawania linii zasilających oparty na głębokiej nauce, osiągając szybkie identyfikowanie i lokalizowanie wielu linii zasilających.

Mimo szybkiego rozwoju algorytmów wizji komputerowej, operacje na zewnątrz pozostają wyzwaniem. Złożone warunki oświetleniowe i odbijające powierzchnie przewodów często prowadzą do utraty informacji o głębokości, co skutkuje niskimi wskaźnikami rozpoznawania i dużymi błędami pozycjonowania dla metod silnie opierających się na danych głębokości¹³. Jednocześnie, ze względu na różne nieregularne odkształcenia istniejące w przewodach dystrybucyjnych, szereg metod wykrywania prostych linii nie jest już stosowanych, jak pokazano na Rysunku 3. Co więcej, zmiany kierunku wiatru na wyższych wysokościach powodują pionowy ruch linii, prowadząc do błędów na poziomie centymetrów w wynikach istniejących algorytmów offline.

W tak bardzo niebezpiecznych, niesprecyzowanych i dynamicznych środowiskach, które można

Protokół

Wszystkie eksperymenty z udziałem operatorów przeprowadzono zgodnie z wytycznymi bezpieczeństwa. Eksperymenty z teleoperacji przeprowadzili trzej przeszkoleni operatorzy (wszyscy praworęczni, z co najmniej 1 godziny szkolenia), którzy są członkami zespołu badawczego. Nie zaangażowano żadnych zewnętrznych uczestników ludzkich, a to badanie nie wymagało instytucjonalnej recenzji etycznej. Wolontariusze zostali poinformowani o procedurach eksperymentalnych, a podczas badania nie zebrano żadnych danych osobowych ani poufnych.

Ramowy system sterowania współdzielonego

W scenariuszach pracy na linii napowietrznej czynniki takie jak nieregularne gięcie linii energetycznych, utrata informacji o głębokości spowodowanej złożonym oświetleniem na zewnątrz oraz losowy ruch linii energetycznych tworzą bardzo nieskonstruowane i dynamiczne środowisko. Czynniki te utrudniają robotowi dokładne rozpoznanie i zlokalizowanie linii energetycznych w środowisku. W rezultacie całkowite poleganie na autonomicznej pracy robota prowadziłoby do niepowodzenia zadania.

Aby zapobiec ograniczonym możliwościom adaptacji w pełni autonomicznej pracy robota, operatorzy ludzcy interweniują w proces decyzyjny robota poprzez teleoperację, wykorzystując ludzkie doświadczenie, aby pomóc robotowi zaadaptować się do środowiska. Ponadto, aby zapobiec problemowi nadmiernej częstotliwości wprowadzania trajektorii referencyjnej przez operatora ludzkiego podczas teleoperacji, przestudiowano metodę współdzielenia sterowania pomiędzy człowiekiem i robotem. Metoda ta zmniejsza zależność rzeczywistej trajektorii od operatora ludzkiego, co z kolei zmniejsza obciążenie umysłowe operatora i osiąga skuteczne połączenie zdolności ludzkiego inteligentnego decydowania i zdolności do precyzyjnego sterowania robota.

Struktura telesterowanego robota do pracy na linii napowietrznej opartego na współdzieleniu sterowania, zaproponowana w niniejszym artykule, przedstawiona jest na Rysunku 4. Gdzie x_h to punkt trajektorii wyjściowej urządzenia teleoperacyjnego, r_h to punkt referencyjny trajektorii dostarczony przez operatora ludzkiego (przemapowany na przestrzeń kartezjańską manipulatora), r_r to punkt referencyjny trajektorii zaplanowanej autonomicznie przez robota, spełniający rolę pomocniczą. r to zintegrowany punkt referencyjny trajektorii wysłany do manipulatora niewolniczego (który w dalszej części tekstu jest nazywany współdzielonym torem), f_o to surowe dane zebrane przez czujnik siły na końcówce manipulatora, f_e to siła kontaktu między zestawem narzędzi na końcówce manipulatora a środowiskiem po kompensacji grawitacji i x to aktualna pozycja manipulatora.

Telesterowany robot do pracy na linii napowietrznej jest podzielony na dwie części: stronę główną i stronę niewolniczą. Strona główna znajduje się na ziemi, gdzie operator ludzki kontroluje ruch urządzenia teleoperacyjnego. Odbierając zwrot siły z urządzenia skierowanej na dłoń operatora oraz informacje zwrotne od systemu wizji, operator osiąga zanurzenie w operacji. Strona niewolnicza to robot znajdujący się na wysokości. Po otrzymaniu pozycji x_h ze strony głównej, robot przeprowadza mapowanie przestrzenne, aby uzyskać r_h, i przesyła zebrane dane wizualne i dotykowe z powrotem do strony głównej.

Ze względu na niekompletne dopasowanie percepcji między robotem a operatorem w odniesieniu do sił kontaktowych, celów i przeszkód w rzeczywistym środowisku, operator musi utrzymywać intensywne skupienie, aby zminimalizować ryzyko r_h. Aby zmniejszyć zależność r od r_h i zmniejszyć obciążenie umysłowe operatora podczas operacji trwających długi czas, robot musi autonomicznie zaplanować pomocniczą trajektorię r_r, która jest w przybliżeniu najkrótszą drogą i bezpieczna na podstawie informacji percepcyjnych zawierających błędy rzeczywiste. Ta r_r jest następnie liniowo ważona z r_h w celu uzyskania r, która jest nadawana manipulatorowi jako docelowa pozycja.

Mapowanie przestrzenne ruchu

Metoda różnicowa została wykorzystana do obliczenia przyrostu trajektorii Δx_h podanej przez operatora ludzkiego:

Δx_h = x_h - x^′_h      (1)
gdzie x^′_h to pozycja na początku teleoperacji. Dla robotów do pracy na linii napowietrznej, gdzie przestrzenie ruchu strony głównej i strony niewolniczej mają znaczne różnice, mapowanie różnicowe pozwala operatorowi arbitralnie wybrać wygodną pozycję i ustawić ją jako początkową pozycję teleoperacji.

Przyrost trajektorii, Δx_h został następ

Wyniki

Wykrywanie nagłych zachowań operacyjnych
Rysunek 12 przedstawia analizę szeregową reprezentatywnego eksperymentu na platformie laboratoryjnej, która obejmuje dwa celowe nagłe ruchy.
Obie nagłe ruchy zostały wykryte (TPR = 100%) odpowiednio o 1,81 s i 5,72 s, bez żadnych fałszywych alarmów (FPR = 0%) w trakcie 13,2 s normalnej pracy. Czas reakcji na zamrożenie: 1 klatka (20 ms), zmierzony za pomocą czasowania pętli sterowania.

Wydajność współdzielenia sterowania
Rysunek 13 przedstawia porównanie 45 eksperymentów (3 operatorzy × 5 powtórzeń × 3 warunki) na platformie laboratoryjnej, szczegółowe dane są przedstawione w Tabeli 3.
Wyniki pokazują, że odpowiednia waga współdzielenia sterowania może znacząco poprawić wydajność teleoperacji. W trybie współdzielenia sterowania dominującego robota (α=0,3) czas ukończenia zadania zmniejszył się o 31,4%, a liczba podruchów zmniejszyła się o 37,9% w porównaniu z czystą teleoperacją (α=1,0), co spowodowało zmniejszenie obciążenia umysłowego operatora poprzez wymaganie mniejszego zakresu poprawek i decyzji. Jednocześnie wydajność trajektorii poprawiła się o 57,8%, co wskazuje, że autonomiczne planowanie trajektorii przez robota skutecznie eliminuje zbędne ścieżki i prowadzi operatora do bardziej bezpośrednich, wydajnych ruchów. Te trendy były spójne dla wszystkich trzech niezależnych operatorów. 

Wdrożenie w terenie na robocie pracującym na żywo
Zweryfikowany algorytm współdzielenia sterowania (α = 0,3) z wykrywaniem nagłych zachowań został wdrożony na robocie pracującym na żywo wyposażonym w 6-stopniowy przemysłowy manipulator. Robot z powodzeniem ukończył operację podłączania na żywo w sieci rozdzielczej 10 kV, co wykazało przenośność zwerykfikowanego w laboratorium algorytmu na rzeczywisty system terenowy. Rysunek 14A przedstawia robota wykonującego operację podłączania na żywo na podwyższonej wysokości, podczas gdy Rysunek 14B pokazuje operatora wykonującego teleoperację ze stacji naziemnej.

DOSTEPNOSC DANYCH:
Wszystkie surowe dane wspierające wyniki tego badania są udostępnione publicznie w https://github.com/huchenyu778797-lgtm/piper_shared_control/issues oraz Pliku uzupełniającym 1.

Rysunek 1: Wczesne systemy telerobotyczne do konserwacji na żywo. (A) Robot fazy II opracowany w Japonii. (B) System TOMCAT opracowany w Stanach Zjednoczonych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2: Typowe przewody rozdzielcze 10 kV. Zewnętrzna warstwa to izolacyjna skorupa, podczas gdy wewnętrzna warstwa jest metalowa. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Wyzwania wizualne w środowiskach zewnętrznych. Obraz podkreśla nieregularne gięcie kabli oraz utratę informacji o głębi spowodowaną złożonym oświetleniem. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Struktura systemu współdzielenia sterowania. Diagram ilustruje integrację wejścia operatora z boku master oraz autonomicznego planowania robota na boku slave w celu wygenerowania zintegrowanej trajektorii. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Dyskusja

To badanie proponuje system robota teleoperowanego do pracy na żywo w sieci dystrybucyjnej oparty na wspólnej kontroli człowiek-robot. W przeciwieństwie do w pełni autonomicznych systemów, które mają problem z dynamicznym oświetleniem na zewnątrz i niesprecyzowanymi tłami¹², oraz tradycyjnej teleoperacji master-slave, która narzuca duże obciążenie kognitywne i fizyczne operatorom^14,15,16, nasze podejście łączy intencje człowieka z autonomicznym planowaniem robota. Dodatkowo, to badanie rozwiązuje potencjalne błędy operatorów proponując algorytm wykrywania gwałtownych ruchów, aby zapewnić bezpieczeństwo operacyjne. Ta praca posuwa naprzód pole fizycznej interakcji człowiek-robot (pHRI) w ekstremalnych środowiskach poprzez zapewnienie sprawdzonej w terenie integracji współdzielenia kontroli dla konserwacji wysokiego napięcia, nadrabiając lukę między teoretycznymi ramami współdzielenia kontroli^17,18 a praktycznymi zastosowaniami przemysłowymi.

Eksperymenty laboratoryjne wykazują, że odpowiednia waga współdzielenia kontroli może znacząco zmniejszyć czas zakończenia zadania przez operatora i wysiłek manualnej kontroli (mniejsza liczba podruchów), poprawiając jednocześnie efektywność trajektorii. Szczegółowo, pod wspóldzieleniem kontroli dominującym przez robota (α = 0,3), czas zakończenia zmniejszył się o 31,4%, efektywność trajektorii poprawiła się o 57,8%, a liczba podruchów zmniejszyła się o 37,9% w porównaniu z teleoperacją śledzącą. Ponadto, mechanizm wykrywania gwałtownych ruchów osiągnął 100% prawdziwie dodatnich wyników z czasem reakcji 20 ms. Zaproponowana metoda ma znaczące znaczenie dla unowocześnienia konserwacji sieci elektroenergetycznej poprzez obiektywne zmniejszenie zmęczenia związanego z niebezpiecznymi operacjami. Poza sieciami dystrybucji energii, ta struktura współdzielenia kontroli ma potencjalne zastosowania w innych specjalistycznych robotach działających w mocno niesprecyzowanych i niebezpiecznych środowiskach, takich jak roboty wspierające ratownictwo pożarowe czy eksplorację geologiczną, gdzie ludzka adaptacyjność poznawcza musi być połączona z precyzją robota.

Mimo że te wyniki wykazują wykonalność w kontrolowanych scenariuszach, ograniczenia obejmują pojedynczy typ zadania (dotykanie) i brak analizy wpływu na różne doświadczenia operatorów. Potrzebna jest dalsza walidacja na różnorodnych zadaniach, operatorach i warunkach środowiskowych. Przyszłe prace skoncentrują się na adaptacyjnej regulacji α i rozszerzonych próbach terenowych, w których α będzie aktualizowane na podstawie ryzyka na bieżącej pozycji kartezjańskiej oraz budowie pola ryzyka do obliczenia ryzyka.

Mimo udanych demonstracji, to badanie ma kilka ograniczeń. Po pierwsze, eksperymentalna walidacja była głównie skupiona na pojedynczym typie zadania (dotykanie na żywo). Po drugie, waga współdzielenia kontroli była stała przed każdym zadaniem, bez adaptacyjności w czasie rzeczywistym do zmieniających się niepewności. Wreszcie, badanie oceniło ograniczoną liczbę wyszkolonych operatorów, a wpływ różnych poziomów doświadczenia operatorów nie został przeanalizowany. Przyszłe kierunki pracy skoncentrują się na opracowaniu adaptacyjnego systemu współdzielenia kontroli, który dynamicznie dostosowuje wagę arbitrażu na podstawie kontekstu zadania w czasie rzeczywistym i stanu operatora¹⁷. Ponadto planujemy przeprowadzić rozszerzone testy terenowe obejmujące różne zadania konserwacyjne, doświadczenie różnych operatorów i zmieniające się warunki pogodowe, aby dodatkowo zweryfikować odporność systemu.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Hikvision DS-2DC2D20IW-DE3	Hikvision	https://www.hikvision.com/cn/products/pdplist/161056/	kamera monitoringu pan-tilt-zoom (PTZ)
KUNWEI KWR75	KUNWEItech	https://www.kunweitech.com/products/866.html	czujnik siły
LivoxAVIA	Livox(DJI)	https://www.livoxtech.com/cn/avia	laserowy LiDAR
Piper	AGILEX	https://www.agilex.ai/page/690abe7b5e78cfa260412c92?mi=1&rn=PIPER+%E6%A0%87%E5%87%86%E7%89%88	manipulator master/slave do walidacji eksperymentów na platformie laboratoryjnej
Python	Python Software Foundation	https://www.python.org/	język programowania
RealSenseD435	Intel	https://store.realsenseai.com/buy-intel-realsense-depth-camera-d435.html	kamera binokularna
Touch	3D Systems	https://cn.3dsystems.com/haptics-devices/touch	urządzenie haptyczne
Ubuntu 24.04	Canonical Ubuntu	https://ubuntu.cn/	system operacyjny
UR10	Universal Robots	https://www.universal-robots.cn/	manipulator robota do pracy na żywo