Wszystkie eksperymenty z udziałem operatorów przeprowadzono zgodnie z wytycznymi dotyczącymi bezpieczeństwa. Eksperymenty z zakresu teleoperacji przeprowadzili trzej przeszkoleni operatorzy (wszyscy praworęczni, z co najmniej 1 h szkolenia), będący członkami zespołu badawczego. Nie rekrutowano zewnętrznych uczestników, a badanie to nie wymagało instytucjonalnej oceny etycznej. Wolontariusze zostali poinformowani o procedurach eksperymentalnych; w trakcie badania nie gromadzono żadnych danych osobowych ani wrażliwych.
Wspólne ramy sterowania
W scenariuszach pracy pod napięciem takie czynniki, jak nieregularne wygięcia linii energetycznych, utrata informacji o głębi spowodowana złożonym oświetleniem zewnętrznym oraz przypadkowe ruchy linii, tworzą wysoce niestrukturalne i dynamiczne środowisko. Czynniki te utrudniają robotowi dokładne rozpoznawanie i lokalizowanie linii energetycznych w otoczeniu. W konsekwencji, poleganie wyłącznie na autonomicznym działaniu robota prowadziłoby do niepowodzenia zadania.
Aby rozwiązać problem ograniczonej adaptacyjności w pełni autonomicznych operacji robotycznych, operatorzy interweniują w proces podejmowania decyzji przez robota poprzez teleoperację, wykorzystując ludzkie doświadczenie, aby pomóc robotowi dostosować się do środowiska. Ponadto, w celu wyeliminowania problemu zbyt częstego wprowadzania trajektorii referencyjnej przez operatora podczas teleoperacji, zbadano metodę współdzielonego sterowania człowiek-robot. Metoda ta zmniejsza zależność rzeczywistej trajektorii od operatora, co tym samym redukuje obciążenie psychiczne operatora i pozwala na efektywne połączenie ludzkich zdolności inteligentnego podejmowania decyzji z wysoką precyzją sterowania robota.
Struktura zaprezentowanego w niniejszej pracy teleoperacyjnego robota do prac na liniach napowietrznych oparta na sterowaniu współdzielonym przedstawiona jest na Rysunku 4. Gdzie xh to punkt trajektorii wyjściowej z urządzenia do teleoperacji, rh to punkt trajektorii referencyjnej dostarczony przez operatora (zmapowany na przestrzeń kartezjańską manipulatora), rr to punkt trajektorii referencyjnej planowany autonomicznie przez robota, pełniący rolę pomocniczą. r to zintegrowany punkt trajektorii referencyjnej przesyłany do manipulatora slave (określany w dalszej części tekstu jako Trajektoria Współdzielona), fo to surowe dane zebrane przez czujnik siły na końcówce manipulatora, fe to siła kontaktu między zestawem narzędzi na końcówce manipulatora a otoczeniem po kompensacji grawitacyjnej, a x to aktualna poza manipulatora.
Teleoperowany robot do prac pod napięciem w sieciach dystrybucyjnych dzieli się na dwie części: stronę główną (master) oraz stronę wykonawczą (slave). Strona główna znajduje się na ziemi, gdzie operator steruje ruchem urządzenia do teleoperacji. Dzięki odbieraniu sprzężenia zwrotnego w postaci siły przekazywanej na dłoń operatora oraz informacji zwrotnych z systemu wizyjnego, operator uzyskuje efekt imersyjnego sterowania. Strona wykonawcza to robot umieszczony na wysokości. Po otrzymaniu pozy xh ze strony głównej, robot wykonuje mapowanie przestrzenne w celu uzyskania rh, a następnie przesyła zebrane dane wizualne i haptyczne z powrotem do strony głównej.
Z powodu niepełnej zgodności percepcji robota i operatora w zakresie sił kontaktu, celów oraz przeszkód w rzeczywistym środowisku, operator musi zachować intensywną koncentrację, aby zminimalizować ryzyko wystąpienia rh. Aby zmniejszyć zależność r od rh oraz odciążyć psychicznie operatora podczas długotrwałych operacji, robot musi autonomicznie planować pomocniczą trajektorię rr, która jest w przybliżeniu najkrótszą i bezpieczną ścieżką, opartą na informacjach percepcyjnych zawierających błędy świata rzeczywistego. Następnie ta trajektoria rr jest liniowo ważona z rh w celu uzyskania r, która jest przesyłana do manipulatora jako docelowa poza.
Przestrzenne mapowanie ruchu
Do obliczenia przyrostu trajektorii Δxh podanego przez operatora ludzkiego wykorzystano metodę przyrostową:
Δxh = xh - x′h (1)
gdzie x′h jest pozą w punkcie startowym teleoperacji. W przypadku robotów do prac pod napięciem, gdzie przestrzenie ruchu strony nadrzędnej (master) i podrzędnej (slave) znacznie się różnią, mapowanie inkrementalne pozwala operatorowi na dowolny wybór dogodnej pozy i ustawienie jej jako początkowej pozy teleoperacji.
Przyrost trajektorii, Δxh , został następnie odwzorowany w przestrzeni kartezjańskiej robota po stronie slave, aby ostatecznie otrzymać rh. Wyrażenie matematyczne dla tego odwzorowania jest następujące:
Δrh = Δxh * k, rh = x′ + Δrh (2)
gdzie k jest parametrem mapowania liniowego, a x' to poza manipulatora w punkcie początkowym teleoperacji.
Autonomiczne planowanie trajektorii
Proces autonomicznego planowania trajektorii wykorzystuje interpolację liniową do obliczenia najkrótszej trajektorii rr z aktualnej pozy do pozy docelowej P. Proces obliczeniowy przebiega następująco:
(3)
gdzie P to punkt docelowy obliczany przez system wizyjny, który obejmuje kamerę binokularną i stereoskopowy laserowy LiDAR. Obliczenie można przeprowadzić poprzez wybór punktów za pomocą myszy i przekształcenie współrzędnych przy użyciu macierzy kalibracji oko-ręka. N to liczba punktów interpolacji, a i to numer sekwencyjny punktu interpolacji. Należy zauważyć, że w trudnych warunkach oświetleniowych punkt P obliczony przez system wizyjny zawiera błędy, co uniemożliwia rr samodzielne wykonanie zadania.
Wspólna metoda kontrolna
Aby połączyć zdolność rh do adaptacji do środowiska z efektywnością rr, konieczne jest zaprojektowanie wspólnego kontrolera integrującego dwie trajektorie. Wspólny kontroler wykorzystuje stałe parametry wag arbitrażu α, a proces implementacji przebiega w następujący sposób:
r = (1 - α) * rr + α * rh (4)
Metoda wykrywania gwałtownych zmian w zachowaniu operacyjnym
Podczas procesu zdalnego teleoperowania mogą wystąpić błędy spowodowane przez operatora, prowadzące do gwałtownych zmian trajektorii, co może nawet spowodować kolizję z otoczeniem. Aby zapewnić bezpieczny i płynny ruch manipulatora po stronie wykonawczej (slave), konieczne jest wykrywanie i obsługa takich nadmiarowych zachowań teleoperacyjnych po stronie sterującej (master). Schemat algorytmu sterowania współdzielonego, w tym wykrywanie gwałtownych zachowań, przedstawiono na Rysunku 5.
Budowa systemu teleoperacyjnego
Środowisko pracy na liniach pod napięciem charakteryzuje się wysokim stopniem nieustrukturyzowania i dynamiki. W konsekwencji roboty nie mogą polegać wyłącznie na swoich autonomicznych możliwościach percepcji i podejmowania decyzji w celu wykonania zadań; muszą one być wspierane przez inteligencję ludzką. Teleoperacja stanowi skuteczną technikę integrowania interwencji człowieka w proces planowania trajektorii robota. W takim systemie strona nadrzędna (master) obejmuje operatora sterującego urządzeniem do teleoperacji na ziemi, natomiast strona podrzędna (slave) znajdująca się na wysokości składa się z wielu podsystemów.
Niniejsze badanie szczegółowo opisuje opracowanie systemu robotycznego do teleoperacji, zaprojektowanego specjalnie do obsługi sieci dystrybucyjnych, w celu wykonywania zadań związanych z podłączeniem do linii pod napięciem.
Wprowadzenie do teleoperacyjnego systemu robotycznego
System teleoperacyjny obejmuje podsystem percepcji, podsystem sterowania, podsystem manipulatora, podsystem narzędzi, podsystem nośnika izolacji oraz urządzenia do interakcji człowiek-robot po stronie nadrzędnej. Szczegółowe zastosowanie każdego podsystemu przenoszonego przez robota w systemie przedstawiono w Tabeli 1, a system sprzętowy ukazano na Rysunku 6.
Podsystem percepcji: Podsystem ten odpowiada za dostarczanie obrazów 2D RGB oraz informacji o głębokości przestrzennej w celu sterowania ruchem robota i zapewnienia bezpieczeństwa operacyjnego. W tym celu wyposażono go w laserowy LiDAR do wielkoskalowego modelowania środowiska na dużych dystansach; kamerę binokularną do wysokoprecyzyjnego rozpoznawania i lokalizacji celów z bliskiej odległości; oraz kamerę monitorującą typu pan-tilt-zoom (PTZ), która zapewnia podgląd operacyjny i przesyła go do operatora przez cały proces. Ponadto zintegrowano czujnik siły, aby wykrywać siły zewnętrzne i zapewniać sprzężenie zwrotne siły dla operatora, co pomaga zapobiegać wyłączaniu systemu spowodowanemu nadmiernymi siłami nacisku między końcówką robota a otoczeniem.
Podsystem manipulatorów: Jako główny wykonawca zadań, podsystem ten składa się z dwóch manipulatorów ułożonych w jednorodnej konfiguracji dwuręcznej.
Podsystem sterowania: Jako główny podsystem robota do prac pod napięciem, pełni on funkcję centrum obliczeniowego, sterującego i energetycznego platformy, odpowiedzialnego za wysyłanie poleceń operacyjnych do wszystkich pozostałych podsystemów. Aby zapewnić izolację i bezpieczeństwo względem strony uziomowanej, moduł zasilania wykorzystuje niezależne źródło zasilania na platformie podnośnej. Stosowane jest zasilanie 48V DC zarówno dla mocy, jak i sterowania napędem, co ogranicza straty inwersyjne i w konsekwencji minimalizuje objętość oraz masę systemu zasilania.
Podsystem efektora końcowego: Specjalistyczne efektory końcowe (narzędzia) są montowane na końcu manipulatora w celu wykonywania określonych operacji. Dla różnych zadań opracowano szereg specjalistycznych narzędzi ze standardowymi interfejsami. W przypadku operacji w sieciach dystrybucyjnych obejmują one narzędzie do ściągania izolacji oraz narzędzie do zaciskania (jak pokazano na Rysunku 7), przy czym narzędzie do ściągania izolacji wykorzystuje trzy generatory laserowe o mocy 80 W i długości fali 450 nm z rozmiarem plamki ogniskowej 130 × 180 µm, modulowane za pomocą sygnału PWM 5 V. Średni czas ściągania izolacji z odcinka o długości 120 mm w kablu dystrybucyjnym o średnicy 18–24 mm wynosi około 2 min przy pełnej mocy znamionowej w warunkach temperatury otoczenia. Narzędzie do zaciskania odpowiada za bezpieczne przymocowanie przewodu odprowadzającego do głównego przewodu zasilającego za pomocą zacisku, zapewniając tym samym ciągłość elektryczną.
Podsystem izolowanego nośnika: Ten podsystem służy do transportu robota do podwyższonej pozycji roboczej. Zazwyczaj składa się on z izolowanej podnośnika koszowego typu gąsienicowego lub kołowego (znanego również jako samochód z koszem). Aby umożliwić zintegrowane sterowanie całym systemem robotycznym, posiada on funkcje sterowania cyfrowego (jak pokazano na Rysunku 8).
Podsystem interakcji człowiek-robot po stronie nadrzędnej: Podczas pracy operator wydaje polecenia systemowi robotycznemu za pomocą przenośnego tabletu, komputera PC, uchwytu do teleoperacji oraz innych urządzeń obliczeniowych. Urządzenia te odwzorowują dane z czujników, obejmujące obraz oraz siłę kontaktu przesyłane zwrotnie z robota, co pozwala operatorowi monitorować stan robota w czasie rzeczywistym, a także mapować ruchy dłoni operatora na koniec manipulatora. Połączenia komunikacyjne między podsystemami przedstawiono na Rysunku 9.
Urządzenia do teleoperacji
W tym systemie urządzeniem głównym i podrzędnym do teleoperacji są odpowiednio urządzenie haptyczne oraz manipulator. Przedstawione zostaną parametry Denavita-Hartenberga (DH) dla każdego z nich.
Jak pokazano na Rysunkach 10A,B, są to układy współrzędnych ogniw manipulatora. Dla sześciu przegubów obrotowych manipulatora (L1,L2,L3,L4,L5,L6) dla każdego przegubu ustanowiono układ współrzędnych zgodnie z regułą prawej dłoni oraz zasadami konwencji Denavita-Hartenberga (DH).
Na Rysunku 10B x1∼x6, y1∼y6, z1∼z6 reprezentują odpowiednio osie x,y,z układu współrzędnych każdego przegubu. Na podstawie tych ustalonych układów współrzędnych ogniw można stworzyć model kinematyki prostej manipulatora. Notacja DH wykorzystuje cztery parametry: ai, αi, di oraz θi.
Parametry te zdefiniowano w następujący sposób: ai: reprezentuje odległość przemieszczenia osi z i-tego pręta wzdłuż jego osi x do osi z (i+1)-tego pręta; αi: oznacza kąt obrotu osi z i-tego pręta wokół jego osi x do osi z (i+1)-tego pręta; di: reprezentuje odległość przemieszczenia osi x i-tego pręta do jego własnej osi x wzdłuż osi z i-tego pręta; θi: oznacza kąt obrotu osi x i-tego pręta do jego własnej osi x wokół osi z i-tego pręta.
Model kinematyczny opracowano z wykorzystaniem metody parametrów DH, a parametry DH dla manipulatora przedstawiono w poniższej Tabeli 2.
Uchwyt do teleoperacji to urządzenie haptyczne wykorzystywane jako manipulator główny, którego przeguby są skonfigurowane w łańcuchu szeregowym. Układy współrzędnych przegubów przedstawiono na Ryc. 10C; metoda modelowania jest taka sama jak w przypadku manipulatora pomocniczego.
Projekt eksperymentów
Aby ilościowo zweryfikować zaproponowany algorytm sterowania współdzielonego przed wdrożeniem w terenie, przeprowadzono dwa eksperymenty laboratoryjne na platformie teleoperacyjnej z manipulatorem 6-DOF pracującym z częstotliwością 50 Hz, co osiągnięto za pomocą skryptu Python uruchomionego na standardowym komputerze PC. W każdym cyklu sterowania skrypt odczytuje pozę strony nadrzędnej, oblicza wspólną trajektorię i wysyła docelową pozę kartezjańską do manipulatora. Pomiędzy kolejnymi poleceniami wymuszono stały odstęp 20 ms, co daje częstotliwość aktualizacji 50 Hz, zgodną z platformą laboratoryjną. Platforma laboratoryjna posiada taką samą architekturę sterowania i algorytm sterowania współdzielonego (Equation. 4), jak robot pracujący w linii energetycznej opisany w sekcji konstrukcji systemu teleoperacyjnego, różniąc się jedynie kinematyką manipulatora i skalą obszaru roboczego. Wykorzystano symulowane zadanie opukiwania: w obecności przeszkód (butelki z wodą i aluminiowej kolumny) operator steruje efektorem końcowym manipulatora z pozycji startowej A do pozycji docelowej B, naśladując operację opukiwania przewodów, co przedstawiono na Rysunku 1. Aby zapewnić dokładną powtarzalność eksperymentów laboratoryjnych, fizyczne przeszkody oraz punkt docelowy zostały precyzyjnie rozmieszczone w układzie współrzędnych bazy manipulatora podrzędnego. W obszarze roboczym zainstalowano dwie główne przeszkody: plastikową butelkę z wodą (wymiary podstawy: 8 cm × 8 cm, wysokość: 25 cm) umieszczoną środkiem podstawy w współrzędnych (X = 5 cm, Y = 5 cm) oraz profil aluminiowy (wymiary podstawy: 2 cm × 2 cm, wysokość > 50 cm) umieszczony środkiem podstawy w współrzędnych (X = 35 cm, Y = -30 cm). Punkt docelowy dla zadania teleoperacyjnego wyznaczono w współrzędnych (X = 50 cm, Y = -17 cm, Z = 26 cm). Następnie zweryfikowany algorytm wdrożono na robocie pracującym w linii energetycznej w celu demonstracji polowej.
Procedura eksperymentalna jest przeprowadzana w ramach ciągłego, zintegrowanego procesu roboczego. Najpierw, podczas inicjalizacji systemu, uruchamiane są zarówno manipulator slave, jak i master, a następnie uruchamiane jest oprogramowanie sterujące w celu weryfikacji stabilnej komunikacji dwustronnej przy częstotliwości 50 Hz. Aby zapobiec gwałtownym skokom sterowania na początku teleoperacji, przed aktywnym sterowaniem zdalnym przeprowadza się fazę wyrównania master-slave. W tej fazie operator ręcznie prowadzi manipulator master, aż jego efektor końcowy znajdzie się w odległości mniejszej niż 30 mm od aktualnej pozycji kartezjańskiej efektora końcowego manipulatora slave (definiowanej w układzie współrzędnych podstawy manipulatora slave). Pozycje kartezjańskie te są pobierane bezpośrednio z wbudowanego sprzężenia zwrotnego sterownika każdego manipulatora, podczas gdy oprogramowanie sterujące monitoruje ich odległość euklidesową w czasie rzeczywistym. Po pomyślnym wyrównaniu aktualna pozycja manipulatora slave jest zapisywana jako pozycja początkowa, oznaczona jako pozycja A. Następnie operator ręcznie prowadzi efektor końcowy manipulatora slave do pożądanego miejsca docelowego, aby zarejestrować jego współrzędne kartezjańskie, które zostają wyznaczone jako pozycja docelowa B. Planner autonomiczny generuje następnie liniową trajektorię referencyjną prowadzącą od pozycji początkowej w stronę pozycji B. Po tym kroku operator inicjuje zadanie teleoperacji w trybie sterowania współdzielonego. Podczas aktywnego wykonywania zadania system pracuje w cyklu sterowania 20 ms, stale odczytując pozycję manipulatora master jako wejście, wykonując w czasie rzeczywistym kontrolę w celu wykrycia wszelkich gwałtownych zachowań operatora, obliczając trajektorię sterowania współdzielonego jako wyjście (zgodnie z formułą w Equation 4) i przesyłając odpowiednie polecenia do manipulatora slave. Jako środek bezpieczeństwa, w przypadku wykrycia gwałtownego ruchu, manipulator slave natychmiast zamiera i utrzymuje ostatnią prawidłową pozycję w dedykowanym trybie utrzymania pozycji; aby wyjść z tego stanu i automatycznie wznowić teleoperację w trybie sterowania współdzielonego, operator musi ręcznie przesunąć manipulator master, aż euklidesowa odległość między efektorami końcowymi master a slave spadnie poniżej progu powrotu wynoszącego 20 mm. Próba zostaje zakończona i uznana za udaną, gdy efektor końcowy manipulatora slave dotrze do pozycji docelowej B i pozostanie w odległości mniejszej niż 5 mm od niej.
Eksperyment 1: Wykrywanie gwałtownych zachowań podczas operacji
Niniejszy eksperyment weryfikuje mechanizm detekcji na platformie laboratoryjnej. Podczas teleoperacji przy częstotliwości 50 Hz monitorowane jest przemieszczenie efektora głównego w każdej klatce obrazu. Gdy wartość ta przekroczy Dth = 6 mm/klatkę (prędkość chwilowa 30 mm/s), system przechodzi w stan ZAMROŻENIA (FROZEN): manipulator pomocniczy przestaje śledzić ruch i utrzymuje swoją ostatnią poprawną konfigurację. Manipulator pomocniczy pozostaje zamrożony do momentu, aż operator przesunie urządzenie główne na odległość mniejszą niż 20 mm od pozycji zamrożenia.
Eksperyment 2: Porównanie wydajności sterowania współdzielonego
Na platformie laboratoryjnej porównano trzy wagi arbitrażu α=0.3, α=0.8, α=1.0, co zostało udokumentowane w Supplementary Video 1, Supplementary Video 2 oraz Supplementary Video 3. Przeprowadzono łącznie 45 prób eksperymentalnych, w których trzech operatorów wykonało po pięć powtórzeń dla każdego z trzech warunków arbitrażu. Wydajność systemu oceniono za pomocą trzech kluczowych wskaźników ewaluacyjnych. Po pierwsze, czas wykonania T: całkowity czas od pierwszego sygnału wejściowego operatora do momentu osiągnięcia przez efektor końcowy urządzenia slave pozycji docelowej B; krótszy czas wskazuje na wyższą efektywność operacyjną. Po drugie, efektywność trajektorii η=Lstraight/Lactual, gdzie Lstraight to odległość euklidesowa od pozycji początkowej A do pozycji docelowej B, a Lactual to całkowita długość ścieżki przebytej przez efektor końcowy urządzenia slave podczas próby; wartość η=1 oznacza idealnie efektywną, bezpośrednią ścieżkę, natomiast niższe wartości wskazują na ruch bardziej redundantny, z licznymi odchyleniami. Po trzecie, liczba podruchów Nsub reprezentuje liczbę odrębnych segmentów ruchu, obliczaną poprzez zliczanie przejść przez zero w wygładzonym profilu prędkości efektora końcowego urządzenia master; mniejsza liczba wskazuje na bardziej ciągłe i pewne działanie przy niższym obciążeniu poznawczym operatora. Na koniec, istotność statystyczną pomiędzy trzema warunkami arbitrażu oceniono za pomocą testu H Kruskala-Wallisa, natomiast do porównań post-hoc zastosowano parzyste testy U Manna-Whitneya.
Eksperyment 3: Wdrożenie w terenie
Po walidacji laboratoryjnej, wspólny algorytm sterowania (α=0.3) oraz system wykrywania gwałtownych zachowań zostają wdrożone w robocie pracującym pod napięciem, opisanym w sekcji dotyczącej budowy systemu teleoperacyjnego.