Ramy obliczeniowe zostały opracowane do automatycznej rekonstrukcji wirtualnych scen zawierających 3D awatary żołnierzy przy użyciu danych graficznych i/lub wideo. Wirtualne sceny pomagają oszacować narażenie na nadciśnienie wybuchu podczas treningu z bronią. Narzędzie ułatwia realistyczne odwzorowanie postawy człowieka w symulacjach narażenia na wybuchy w różnych scenariuszach.
Artykuł metodologiczny
Generowanie awatarów wojowników na podstawie obrazów scen treningu z bronią do symulacji ekspozycji na wybuchy
W tym artykule
Podsumowanie
Streszczenie
Personel wojskowy zaangażowany w szkolenie z bronią jest poddawany powtarzającym się wybuchom na niskim poziomie. Dominującą metodą szacowania obciążeń wybuchowych są mierniki wybuchu do noszenia. Jednak korzystając z danych z czujników do noszenia, nie można dokładnie oszacować ładunków wybuchowych w głowę lub inne organy bez wiedzy o postawie ciała członka służby. Stworzono uzupełniającą platformę eksperymentalno-obliczeniową wzbogaconą obrazem/wideo do prowadzenia bezpieczniejszego szkolenia z użyciem broni. W tym badaniu opisano protokół automatycznego generowania scen treningu broni na podstawie danych wideo do symulacji narażenia na wybuch. Scena wybuchu wyodrębniona z danych wideo w momencie wystrzału z broni obejmuje awatary ciała członków służby, broń, ziemię i inne struktury. Protokół obliczeniowy służy do rekonstrukcji pozycji i postaw członków służby przy użyciu tych danych. Dane obrazowe lub wideo pozyskane z sylwetek ciała członków służby są wykorzystywane do wygenerowania szkieletu anatomicznego i kluczowych danych antropometrycznych. Dane te są wykorzystywane do generowania awatarów 3D powierzchni ciała podzielonych na poszczególne części ciała i geometrycznie przekształconych w celu dopasowania do wyodrębnionych pozycji członków usługi. Końcowa wirtualna scena treningu z bronią jest wykorzystywana do symulacji obliczeniowych 3D ładowania fali uderzeniowej broni na członków służby. Generator scen treningu z bronią został wykorzystany do konstruowania anatomicznych awatarów 3D ciał poszczególnych członków służby na podstawie obrazów lub filmów w różnych orientacjach i pozycjach. Przedstawiono wyniki generowania sceny treningowej na podstawie danych obrazowych systemu broni szturmowej montowanego na ramieniu oraz systemu uzbrojenia moździerzowego. Narzędzie Blast Overpressure (BOP) wykorzystuje wirtualną scenę treningu z bronią do symulacji 3D ładowania fali uderzeniowej na ciała awatarów członków służby. W artykule przedstawiono symulacje obliczeniowe 3D propagacji fali uderzeniowej od wystrzału z broni i odpowiadających jej obciążeń wybuchowych na szkolących się żołnierzach.
Wprowadzenie
Podczas szkolenia wojskowego członkowie służby oraz instruktorzy są często narażeni na podziałań fal uderzeniowych o niskiej energii pochodzących z broni ciężkiej i lekkiej. Niedawne badania wykazały, że ekspozycja na fale uderzeniowe może prowadzić do spadku sprawności neuropoznawczej1,2 oraz zmian w biomarkerach krwi3,4,5,6. Powtarzająca się ekspozycja na fale uderzeniowe o niskiej energii stwarza trudności w utrzymaniu optymalnej wydajności i minimalizacji ryzyka urazów7,8. Tradycyjne podejście wykorzystujące noszone czujniki ciśnienia ma swoje wady, szczególnie w zakresie precyzyjnego określania ciśnienia fali uderzeniowej w obrębie głowy9. Problem ten potęgują znane niekorzystne skutki powtarzającej się ekspozycji na niskie poziomy fal uderzeniowych dla funkcjonowania człowieka (np. podczas szkolenia i pełnienia ról operacyjnych). Mandaty kongresowe (sekcje 734 i 717) określiły wymóg monitorowania ekspozycji na fale uderzeniowe podczas szkolenia i walki oraz włączenia tych danych do dokumentacji medycznej członka służby10.
Czujniki ubieralne mogą być wykorzystywane do monitorowania nadciśnienia wybuchowego podczas tych operacji szkolenia bojowego. Jednakże czujniki te są podatne na wpływ zmiennych takich jak postawa ciała, orientacja i odległość od źródła wybuchu, ze względu na złożony charakter oddziaływań fali uderzeniowej z ludzkim ciałem9. Na rozkład ciśnienia oraz pomiary z czujników wpływają następujące czynniki9:
Odległość od źródła wybuchu: Intensywność ciśnienia zmienia się wraz z odległością w miarę rozpraszania się i tłumienia fali uderzeniowej. Czujniki znajdujące się bliżej wybuchu rejestrują wyższe ciśnienia, co wpływa na dokładność i spójność danych.
Pozycja ciała: Różne pozycje ciała sprawiają, że różne jego powierzchnie są wystawione na działanie fali uderzeniowej, co zmienia rozkład ciśnienia. Na przykład pozycja stojąca w porównaniu z kucającą skutkuje różnymi odczytami ciśnienia9,11.
Orientacja: Kąt ustawienia ciała względem źródła wybuchu wpływa na to, w jaki sposób fala ciśnienia oddziałuje z organizmem, co prowadzi do rozbieżności w odczytach9. Symulacje numeryczne oparte na prawach fizyki zapewniają dokładniejsze oceny dzięki systematycznemu uwzględnianiu tych zmiennych, oferując kontrolowaną i kompleksową analizę w porównaniu z czujnikami noszanymi, które są z natury podatne na wpływ tych czynników.
W odpowiedzi na te wyzwania podjęto skoordynowane wysiłki w celu opracowania bardziej zaawansowanych narzędzi. W tym kierunku stworzono narzędzie Blast Overpressure (BOP). Narzędzie to służy do szacowania ekspozycji na nadciśnienie przy różnych postawach i pozycjach członków służby wokół systemów uzbrojenia. W ramach narzędzia BOP istnieją dwa różne moduły11: (a) moduł BOP SCENE oraz (b) moduł BOP SITE. Moduły te są wykorzystywane do szacowania nadciśnienia wybuchu podczas oddawania strzałów z broni12. Moduł BOP SCENE został opracowany w celu oszacowania nadciśnień wybuchu, których doświadczają poszczególni członkowie służby lub instruktorzy uczestniczący w scenariuszu szkoleniowym, natomiast moduł BOP SITE rekonstruuje widok z lotu ptaka na poligon szkoleniowy, przedstawiając strefy nadciśnienia wybuchu generowane przez wiele stanowisk ogniowych. Rysunek 1 przedstawia zrzuty ekranu z obu modułów. Obecnie moduły narzędzia BOP obejmują charakterystyki nadciśnienia wybuchu broni (ekwiwalentny termin źródła wybuchu) dla czterech zdefiniowanych przez DoD systemów uzbrojenia Tier-1, w tym karabinu snajperskiego specjalnego zastosowania M107 .50 cal (SASR), naramiennej broni szturmowej M136, moździerza ognia pośredniego M120 oraz ładunków breachingowych. Termin weapon blast kernel odnosi się do ekwiwalentnego terminu źródła wybuchu opracowanego w celu odtworzenia takiego samego pola wybuchu wokół systemu uzbrojenia, jakie generuje rzeczywista broń. Bardziej szczegółowy opis ramy obliczeniowej wykorzystanej do opracowania narzędzia BOP jest dostępny w literaturze11. Symulacje nadciśnienia są uruchamiane przy użyciu silnika rozwiązującego CoBi-Blast. Jest to wieloskalowe narzędzie wielofizyczne do symulowania nadciśnień wybuchu. Możliwości modelowania wybuchów tego silnika zostały zwalidowane na podstawie danych eksperymentalnych z literatury12. Narzędzie BOP jest obecnie integrowane z Range Managers Toolkit (RMTK) do użytku na różnych poligonach szkoleniowych z bronią. RMTK to wielooddziałowy zestaw narzędzi desktopowych zaprojektowany w celu zaspokojenia potrzeb zarządców poligonów w Armii, Korpusie Piechoty Morskiej, Siłach Powietrznych i Marynarce Wojennej poprzez automatyzację operacji poligonowych, kwestii bezpieczeństwa oraz procesów modernizacji.
Rycina 1: Graficzny interfejs użytkownika (GUI) dla modułu SCENE narzędzia BOP oraz modułu SITE narzędzia BOP. Moduł BOP SCENE służy do szacowania nadciśnień wybuchowych na modelach ciała żołnierzy i instruktorów, natomiast moduł BOP SITE ma na celu dostarczenie szacunkowych konturów nadciśnienia na płaszczyźnie reprezentującej poligon szkoleniowy. Użytkownik ma możliwość wyboru wysokości, na której znajduje się płaszczyzna względem ziemi. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jednym z ograniczeń istniejącego modułu SCENE narzędzia BOP jest wykorzystanie danych szacowanych ręcznie do budowania wirtualnych modeli ciał członków służby, w tym ich antropometrii, postawy i pozycji. Ręczne generowanie wirtualnych członków służby w odpowiedniej posturze jest pracochłonne i czasochłonne11,12. Starsza wersja narzędzia BOP (podejście dziedziczne) wykorzystuje bazę danych wcześniej skonfigurowanych postur do budowy sceny szkolenia z uzbrojenia na podstawie danych obrazowych (jeśli są dostępne). Ponadto, ponieważ postury są przybliżane ręcznie poprzez ocenę wizualną, w przypadku złożonych ustawień postawy może nie udać się uchwycić ich poprawnie. W rezultacie podejście to wprowadza nieścisłości w szacowaniu ekspozycji na nadciśnienie dla poszczególnych członków służby (ponieważ zmiana postury może zmodyfikować ekspozycję na nadciśnienie w bardziej wrażliwych obszarach). Niniejszy artykuł przedstawia ulepszenia wprowadzone do istniejącego frameworku obliczeniowego, aby umożliwić szybkie i automatyczne generowanie modeli członków służby przy użyciu najnowocześniejszych narzędzi do estymacji pozy. Praca ta omawia usprawnienie narzędzia BOP, kładąc szczególny nacisk na opracowanie nowego i szybkiego potoku obliczeniowego do rekonstrukcji scen wybuchów przy użyciu danych wideo i obrazowych. Ulepszone narzędzie pozwala również na rekonstrukcję szczegółowych modeli ciał członków służby i instruktorów w momencie wystrzału z broni, wykorzystując dane wideo do tworzenia spersonalizowanych awatarów w porównaniu do podejścia dziedzicznego. Awatary te dokładnie odzwierciedlają posturę członków służby. Praca ta usprawnia proces generowania scen wybuchów i ułatwia szybsze włączanie scen wybuchów dla dodatkowych systemów uzbrojenia, znacząco redukując czas i wysiłek wymagany do tworzenia scen szkolenia z uzbrojenia. Rysunek 2 przedstawia schemat ulepszonego frameworka obliczeniowego omówionego w niniejszej pracy.
Rysunek 2: Schemat przedstawiający ogólny przebieg procesu w ramach struktury obliczeniowej. Poszczególne etapy obejmują przetwarzanie danych obrazu/wideo, generowanie wirtualnego kombatanta, rekonstrukcję sceny wybuchu oraz symulacje nadciśnienia wybuchowego. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
W pracy przedstawiono zautomatyzowane podejście wdrażane do narzędzia BOP Tool, które stanowi istotną poprawę w dostępnych narzędziach obliczeniowych służących do szacowania ekspozycji na nadciśnienie podczas szkoleń i operacji. Narzędzie to wyróżnia się szybkim generowaniem spersonalizowanych awatarów oraz scenariuszy szkoleniowych, co umożliwia imersyjne symulacje nadciśnienia wywołanego wybuchem. Oznacza to znaczące odejście od tradycyjnego polegania na uśrednionych dla populacji modelach ludzkiego ciała, oferując bardziej precyzyjne i zindywidualizowane podejście.
Narzędzia obliczeniowe wykorzystywane w procesie automatyzacji
Automatyzacja generowania wirtualnego modelu członka służby jest wieloetapowym procesem, który wykorzystuje zaawansowane narzędzia obliczeniowe do przekształcania surowych danych obrazowych lub wideo w szczegółowe reprezentacje 3D. Cały proces jest zautomatyzowany, ale można go dostosować, aby umożliwić ręczne wprowadzenie znanych pomiarów w razie potrzeby.
Narzędzia do estymacji pozy 3D: Sercem potoku automatyzacji są narzędzia do estymacji pozy 3D. Narzędzia te analizują dane obrazowe w celu zidentyfikowania pozycji i orientacji każdego stawu w ciele członka służby, tworząc w efekcie cyfrowy szkielet. Potok obecnie obsługuje Mediapipe oraz MMPose, które oferują interfejsy API w języku Python. System został jednak zaprojektowany z myślą o elastyczności, co pozwala na włączenie innych narzędzi, takich jak kamery głębi, pod warunkiem, że mogą one generować niezbędne dane dotyczące stawów i kości w 3D.
Generator modelu antropometrycznego (AMG): Po oszacowaniu pozy 3D do działania przystępuje AMG. Narzędzie to wykorzystuje dane o pozie do stworzenia modelu powierzchni skóry w 3D, który odpowiada unikalnym wymiarom ciała członka służby. Narzędzie AMG umożliwia automatyczne lub ręczne wprowadzanie pomiarów antropometrycznych, które są następnie powiązane z głównymi komponentami wewnątrz programu, aby odpowiednio zmodyfikować siatkę ciała 3D.
Modelowanie szkieletowe w OpenSim: Kolejny krok obejmuje wykorzystanie platformy open-source OpenSim13, w której model szkieletowy jest dopasowywany tak, aby odpowiadał danym o pozie 3D. Narzędzia do estymacji pozy nie wymuszają spójnej długości kości w szkielecie, co może prowadzić do nierealistycznej asymetrii ciała. Zastosowanie anatomicznie poprawnego szkieletu OpenSim pozwala na uzyskanie bardziej realistycznej struktury kostnej. Na szkielet OpenSim nanosi się markery odpowiadające centrom stawów zidentyfikowanym przez narzędzie do estymacji pozy. Następnie model szkieletowy zostaje powiązany (rigging) z siatką skóry 3D przy użyciu standardowych technik animacji.
Kinematyka odwrotna i skryptowanie w języku Python: Aby sfinalizować pozę wirtualnego członka służby, zastosowano algorytm kinematyki odwrotnej. Algorytm ten dostosowuje model szkieletu OpenSim w taki sposób, aby jak najlepiej odpowiadał on oszacowanej pozie 3D. Cały proces ustawiania pozy jest w pełni zautomatyzowany i zaimplementowany w języku Python 3. Dzięki integracji tych narzędzi proces generowania modeli wirtualnych członków służby został znacząco przyspieszony, a czas wymagany do ich stworzenia został zredukowany z dni do sekund lub minut. Postęp ten stanowi istotny krok naprzód w symulacji i analizie scenariuszy szkolenia z użyciem broni, umożliwiając szybką rekonstrukcję konkretnych scenariuszy udokumentowanych za pomocą obrazów lub wideo.
Protokół
Obrazy i filmy wykorzystane w niniejszej pracy nie zostały pozyskane bezpośrednio przez autorów od osób badanych. Jeden obraz pochodzi z wolnych zasobów Wikimedia Commons i jest dostępny na podstawie licencji domeny publicznej. Pozostały obraz został udostępniony przez współpracowników z Walter Reed Army Institute of Research (WRAIR). Dane otrzymane z WRAIR były zanonimizowane i udostępnione zgodnie z wytycznymi tej instytucji. W przypadku obrazów dostarczonych przez WRAIR, protokół był zgodny z wytycznymi komisji etyki badań na ludziach WRAIR, w tym z uzyskaniem wszystkich niezbędnych zgód i pozwoleń.
1. Uzyskiwanie dostępu do modułu SCENE narzędzia BOP
- Otwórz moduł BOP Tool SCENE z interfejsu BOP Tool, klikając przycisk BOP Tool SCENE Module.
- Kliknij Scenario Definition, a następnie przejdź do karty Scenario Detail.
2. Odczytywanie i przetwarzanie danych obrazowych
- Kliknij przycisk POSETOOL IMPORT w module SCENE narzędzia BOP. Otworzy się okno pop-up z prośbą o wybranie odpowiedniego obrazu lub filmu.
- Przejdź do folderu i wybierz odpowiedni obraz/film za pomocą myszy.
- Po wybraniu obrazu kliknij Open w oknie pop-up.
UWAGA: Operacja ta odczytuje plik obrazu lub filmu, generuje obraz w przypadku wyboru filmu, uruchamia w tle algorytm estymacji pozy, generuje modele wirtualnych żołnierzy biorących udział w scenie szkolenia z broni i ładuje ich do modułu SCENE narzędzia BOP w odpowiednich pozycjach.
3. Konfiguracja broni i strzelca
- Wybierz nazwę scenariusza, korzystając z pola tekstowego pod etykietą Scenario Name. Jest to wybór użytkownika. W przypadku omawianego tutaj scenariusza programiści wybrali nazwę BlastDemo1.
- Wybierz niestandardową nazwę w polu Name w sekcji Weapon Definition. To również jest wybór użytkownika. Dla omawianego tutaj scenariusza programiści wybrali nazwę broni 120Mortar.
- Wybierz odpowiednią klasę broni, np. HEAVY MORTAR, z listy opcji w menu rozwijalnym.
- Wybierz broń (w tym przypadku M120) z listy dostępnych opcji w menu rozwijalnym. Po wybraniu systemu broni odpowiadające mu jądro wybuchu zostanie automatycznie załadowane do GUI w podzakładce Charges.
UWAGA: Menu rozwijalne będzie zawierać różne możliwe systemy broni specyficzne dla wybranej powyżej klasy broni. - Wybierz Ammunition Shell (Full Range Training Round) dla wybranego systemu broni, korzystając z opcji w menu rozwijalnym.
- Wybierz opcję No Shooter w polach Anthropometry, Posture, Helmet oraz Protective armor w sekcji Shooter Definition z menu rozwijalnego. Skonfigurowanego strzelca oraz członków służby przedstawiono na Rysunku 3.
UWAGA: Ponieważ strzelec zostanie uwzględniony w scenie zaimportowanej w kroku 4, w sekcji Shooter Definition nie wybrano żadnego strzelca.
Rycina 3: Zaimportowana scena wybuchu z danych obrazowych. Scena wybuchu jest widoczna w oknie wizualizacji po prawej stronie interfejsu graficznego użytkownika. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
4. Konfigurowanie członków serwisu
- Kliknij kartę Service Members. Karta ta służy do kontrolowania pozycji i orientacji członków obsługi zaimportowanych z danych obrazu; w tym celu należy użyć opcji X, Y, Z oraz rotacji. Dla awatara odpowiadającego pomocnikowi strzelca autorzy skorygowali pozycję Y z 2,456 na 2, aby uzyskać bardziej realistyczne położenie pomocnika strzelca.
- Za pomocą pola Name w karcie Service Members nadaj własne nazwy wszystkim wirtualnym modelom członków obsługi zaimportowanym do interfejsu GUI. W tym przypadku dla wszystkich automatycznie zaimportowanych modeli członków obsługi wybrano nazwy S1, S2, S3, S4 i S5.
UWAGA: W omawianym tutaj scenariuszu nazwano ich S1 i S2. Pozostałe pola są wypełniane automatycznie. Użytkownicy mogą je modyfikować, aby doprecyzować automatycznie oszacowane pozycje/postawy. - Użyj przycisku Delete, aby usunąć S2, S4 i S5. W prezentowanym tutaj scenariuszu w momencie oddawania strzału obecni są tylko strzelec i pomocnik strzelca.
UWAGA: Operację tę wykonano, aby zademonstrować opcje użytkownika pozwalające na usuwanie lub dodawanie modeli członków obsługi do istniejącej sceny zgodnie z potrzebami.
5. Konfiguracja czujników wirtualnych
- Przejdź do karty Sensors. Dodaj nowy czujnik wirtualny, klikając Add Sensor.
- W polu Name wprowadź własną nazwę. W celu demonstracji w niniejszej pracy twórcy wybrali nazwę V1.
- W polu Sensor Type wybierz typ Virtual, korzystając z listy rozwijalnej.
- Ustaw lokalizację czujnika na (-0.5, 2, 0.545), edytując pola tekstowe X, Y oraz Z. W omawianym scenariuszu twórcy utworzyli cztery różne czujniki w czterech różnych lokalizacjach w celach demonstracyjnych. Jako nazwy dodatkowych czujników wybrano V2, V3 oraz V4.
- Powtórz kroki od 5.1 do 5.4, aby utworzyć dodatkowe czujniki w punktach (-0.5, 1, 0.545), (-0.5, 0.5, 0.545) oraz (-0.5, 0, 0.545). Pozostaw wartość Rotation ustawioną na zero.
UWAGA: Użytkownik może również wybrać czujniki płaskie, w przypadku których można wykorzystać rotację do dostosowania orientacji czujnika względem ładunku wybuchowego.
6. Zapisywanie i uruchamianie programu
- Zapisz scenę treningu z bronią, klikając przycisk Save Scenario w interfejsie graficznym u góry.
- Uruchom symulację nadciśnienia wybuchowego dla sceny treningu z bronią M120, klikając przycisk Run Scenario na dole. Postęp symulacji jest wyświetlany za pomocą paska postępu u dołu ekranu.
7. Wizualizacja wyników
- Przejdź do karty Model View, aby przeanalizować symulację ekspozycji na nadciśnienie wybuchowe.
- Kliknij przycisk Current, aby załadować zakończoną symulację do okna wizualizacji.
- Po załadowaniu symulacji uruchom jej wizualizację, używając przycisku Play znajdującego się na dole ekranu.
- Użytkownik może wybrać różne opcje na pasku nawigacyjnym, aby odtwarzać i wstrzymywać symulację z różną prędkością. Poniższy zrzut ekranu elementów sterowania odtwarzaniem pokazuje więcej opcji. Użytkownik może sterować interaktywnym oknem za pomocą myszy: prawy przycisk i przeciąganie służą do obracania modelu, lewy przycisk do przesuwania modelu, a środkowy przycisk do przybliżania i oddalania widoku.
- Po przeanalizowaniu symulacji przejdź do karty Blast Load Metrics, klikając na nią.
- Kliknij przycisk Current, aby załadować wykresy nadciśnienia w miejscach rozmieszczenia wirtualnych czujników.
UWAGA: Spowoduje to załadowanie informacji o nadciśnieniu w różnych lokalizacjach czujników na oddzielnych wykresach. - Przejdź do rozwijanej listy Series to Display i dokonaj wyboru, zaznaczając pole odpowiadającego czujnika, aby wyświetlić wykres nadciśnienia zarejestrowanego przez ten wirtualny czujnik (patrz Rycina 4).
Rysunek 4: Wykresy kontrolne nadciśnienia w różnych wirtualnych czujnikach w funkcji czasu. Użytkownicy mogą wybrać serie do wyświetlenia, zaznaczając lub odznaczając poszczególne czujniki. Prosimy kliknąć tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Wyniki
Zautomatyzowana rekonstrukcja wirtualnych członków służby i scen wybuchów
Zautomatyzowane generowanie modelu ciała wirtualnego członka służby oraz modelu sceny szkolenia z użyciem broni zostało osiągnięte dzięki możliwościom automatyzacji narzędzia BOP Tool. Rycina 5 przedstawia wirtualną scenę szkoleniową wygenerowaną z danych obrazowych. Jak można zauważyć, powstała scena stanowiła dobre odwzorowanie danych obrazowych. Obraz wykorzystany do demonstracji na Rycinie 5 pochodzi z Wikimedia Commons.
Rysunek 5: Scena wirtualnego szkolenia z użycia broni na podstawie danych obrazowych. Obraz po lewej stronie przedstawia dane obrazowe odpowiadające wystrzałowi z broni AT4, a po prawej stronie wirtualną, automatycznie wygenerowaną scenę szkolenia z użycia broni. Rysunek ten pochodzi z Wikimedia Commons. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Dodatkowo podejście to zastosowano do rekonstrukcji sceny oddania strzału z broni M120. Obraz został zebrany przez WRAIR w ramach wysiłków związanych z gromadzeniem danych o ciśnieniu dla moździerza M120. Rysunek 6 poniżej przedstawia zrekonstruowaną wirtualną scenę oddania strzału z broni obok obrazu oryginalnego. W wirtualnej rekonstrukcji zaobserwowano rozbieżność w pozycji pomocnika strzelca. Można ją skorygować, dostosowując pozycję pomocnika strzelca za pomocą opcji użytkownika w interfejsie GUI BOP. Ponadto postawa miedniczna instruktora wydawała się niedokładna, co prawdopodobnie wynikało z przesłonięcia przez paliki na obrazach. Integracja tego podejścia z innymi metodami obrazowania głębi byłaby korzystna w celu wyeliminowania tych rozbieżności.
Rysunek 6: Wirtualna scena szkolenia z broni opracowana na podstawie danych obrazowych. Zdjęcie po lewej stronie przedstawia dane obrazowe odpowiadające strzałowi z broni M120, a po prawej stronie znajduje się automatycznie wygenerowana wirtualna scena szkolenia z broni. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Walidacja zautomatyzowanego podejścia do generowania scen
Generator modelu ludzkiego ciała zastosowany w niniejszym badaniu został poddany walidacji z wykorzystaniem bazy skanów ludzkiego ciała ANSUR II14, która zawierała pomiary antropometryczne pochodzące z danych obrazowania medycznego. Zautomatyzowana metoda rekonstrukcji, wykorzystująca ten generator modelu ludzkiego ciała, została poddana walidacji jakościowej z wykorzystaniem dostępnych danych. Proces ten polegał na porównaniu zrekonstruowanych modeli z danymi eksperymentalnymi (obrazami) poprzez ich nałożenie na siebie. Rycina 7 przedstawia porównanie modeli awatarów 3D z danymi eksperymentalnymi. Niezbędna jest jednak dokładniejsza walidacja tej metody, co wymagałoby dodatkowych danych eksperymentalnych z aktualnej sceny, w tym precyzyjnych pozycji, postaw i orientacji poszczególnych członków służby biorących udział w scenie szkoleniowej.
Rysunek 7: Jakościowe porównanie wirtualnego modelu ludzkiego ciała wygenerowanego z obrazu. Panel lewy pokazuje obraz oryginalny, panel środkowy przedstawia wygenerowany wirtualny model ciała, a panel prawy pokazuje model wirtualny nałożony na obraz oryginalny. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Reprezentatywne symulacje nadciśnienia wybuchowego
Po przygotowaniu sceny wybuchu autorzy mogli przejść do krytycznej fazy przeprowadzania symulacji nadciśnienia wybuchowego (BOP). Pozwoli to na zrozumienie rozkładu obciążeń wybuchowych na różnych członków służby biorących udział w scenie oddawania strzałów z broni. Rysunek 8 przedstawia wyniki tych symulacji BOP podczas zdarzenia związanego ze strzelaniem z broni AT4. Symulacje zapewniają szczególną wizualizację obciążeń nadciśnieniowych na wirtualnym członku służby w scenie w różnych momentach w czasie. Podsumowując, wyniki wykazują nie tylko wykonalność, ale także skuteczność protokołu w tworzeniu dokładnych i analitycznie użytecznych rekonstrukcji scenariuszy szkolenia z użyciem broni, co utoruje drogę do bardziej zaawansowanych badań nad bezpieczeństwem i wydajnością szkolenia wojskowego.
Rysunek 8: Narażenie strzelca na nadciśnienie wybuchowe. (A, B, C i D) Cztery panele przedstawiają przewidywane przez model nadciśnienie wybuchowe u wirtualnych członków służby biorących udział w oddawaniu strzałów z moździerza M120 w różnych chwilach czasowych. Panele (C) i (D) pokazują propagację nadciśnienia wynikającą z odbicia od podłoża. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Dyskusja
Ramy obliczeniowe przedstawione w tym artykule znacznie przyspieszają generowanie scen treningowych z użyciem broni wybuchowej w porównaniu z dotychczas stosowanymi metodami manualnymi wykorzystującymi ocenę wizualną. Takie podejście demonstruje zdolność systemu do szybkiego uchwycenia i zrekonstruowania różnych pozycji wojskowych.
Zalety obecnego podejścia
Tworzenie wirtualnych modeli ludzkiego ciała w określonych pozycjach i pozycjach jest trudnym zadaniem, przy ograniczonych dostępnych do tego celu narzędziach. Konwencjonalna metoda zastosowana w starszym podejściu, w szczególności w przypadku narzędzia BOP, wykorzystywała CoBi-DYN 14,15,16,17. Metoda ta polegała na ręcznym tworzeniu wirtualnych modeli ludzkiego ciała z odzieżą, hełmami, zbrojami ochronnymi i butami. Modele zostały wygenerowane za pomocą przybliżonej aproksymacji wizualnej, bez systematycznego podejścia. W starszym narzędziu BOP CoBi-DYN został wykorzystany do stworzenia bazy danych modeli ludzkiego ciała, która była dostępna na etapie konfiguracji scenariusza. Użytkownicy ręcznie wybierali przybliżoną konfigurację postawy i ustawiali je w przybliżeniu dla konkretnego systemu uzbrojenia, aby uruchomić scenariusz BOP. Chociaż rekonstrukcja sceny wybuchu z istniejącej bazy danych członków służby (dostępnej z listy rozwijanej w narzędziu BOP) była stosunkowo szybka, początkowe tworzenie wirtualnej bazy danych modeli członków służby było czasochłonne, zajmując około 16-24 godzin na scenę ze względu na ręczny i przybliżony charakter procesu. W przeciwieństwie do tego, nowe podejście wykorzystuje dobrze znane narzędzia do szacowania pozycji do bardziej zautomatyzowanego i szybszego tworzenia wirtualnych modeli ludzkiego ciała. Narzędzia te automatycznie wykorzystują dane wideo i obrazy do szybkiej rekonstrukcji scen wybuchu za pomocą wirtualnych awatarów członków służby. To znacznie skraca czas potrzebny na stworzenie bazy danych ciała ludzkiego. Nowatorskie podejście polega na wygenerowaniu lub zrekonstruowaniu pełnej wirtualnej sceny na podstawie danych obrazowych za pomocą jednego kliknięcia przycisku bez konieczności korzystania z dodatkowego oprogramowania. Cały proces trwa teraz około 5-6 s na scenę (po odczytaniu danych obrazu, co zostanie pokazane na filmie), co świadczy o znacznej poprawie wydajności w porównaniu ze starszą metodą. Metoda ta nie ma na celu zastąpienia pierwotnego podejścia, ale raczej jego uzupełnienie poprzez przyspieszenie generowania modeli wirtualnych elementów członkowskich usługi (które w przyszłości mogą zostać dodane do bazy danych modelu treści elementu usługi). Upraszcza dodawanie nowych konfiguracji o różnym stopniu złożoności i ułatwia integrację nowych systemów uzbrojenia w przyszłości, zwiększając w ten sposób rozszerzalność narzędzia BOP. W porównaniu ze starszym podejściem oczywiste jest, że prezentowana metoda oferuje bardziej usprawnione i zautomatyzowane rozwiązanie, zmniejszając wysiłek ręczny i czas, jednocześnie poprawiając dokładność i systematyczny charakter tworzenia wirtualnych modeli ludzkiego ciała. Podkreśla to siłę i innowacyjność opisywanej metody w tej dziedzinie.
Walidacja automatycznego generowania scen
Jakościową walidację tego podejścia przeprowadzono poprzez nałożenie zrekonstruowanych scenariuszy na dane obrazowe. Walidacja ilościowa nie była jednak możliwa ze względu na brak dostępnych danych na temat pozycjonowania i postawy tych obrazów. Autorzy zdają sobie sprawę z tego, jak ważna jest dokładniejsza walidacja i planują zająć się tym problemem w przyszłych pracach. Aby to osiągnąć, autorzy przewidują kompleksowe gromadzenie danych w celu uzyskania precyzyjnych informacji o pozycji i postawie. Umożliwi nam to przeprowadzenie szczegółowej walidacji ilościowej, co ostatecznie zwiększy solidność i dokładność podejścia.
Walidacja symulacji ekspozycji na wybuch
Jądra wybuchu broni zostały opracowane i zweryfikowane przy użyciu danych z sondy ołówkowej zebranych podczas strzelania z broni. Więcej szczegółów na temat jądra wybuchu broni i związanych z nim ekspozycji zostanie zawartych w nadchodzącej publikacji. Niektóre informacje na ten temat są również dostępne w wcześniejszych publikacjach11,12. Nieustanne wysiłki przyczynią się do poprawy precyzji i skuteczności symulacji nadciśnienia podczas wybuchu, wzmacniając tym samym wiarygodność tego narzędzia.
Przedstawione tutaj podejście można również wykorzystać do generowania wirtualnych awatarów członków służby, które można następnie włączyć do bazy danych w celu wyboru za pomocą narzędzia BOP. Chociaż obecny proces nie zapisuje automatycznie modeli w bazie danych, autorzy planują uwzględnić tę funkcję w przyszłych wersjach narzędzia BOP. Dodatkowo autorzy dysponują własnymi narzędziami, które pozwalają na ręczną modyfikację postawy po wygenerowaniu zautomatyzowanej postawy i modelu 3D na podstawie danych obrazowych. Obecnie ta funkcja istnieje niezależnie i nie jest zintegrowana z narzędziem BOP, ponieważ wymagany jest dalszy rozwój interfejsu użytkownika. Niemniej jednak jest to praca w toku, a autorzy zamierzają włączyć ją do przyszłych wersji narzędzia BOP.
Dane dotyczące obciążenia wybuchem mogą być również eksportowane w postaci pliku tekstowego ASCII, a dalsze kroki przetwarzania końcowego mogą być stosowane w celu bardziej szczegółowego zbadania wzorców dawek wybuchu dla różnych systemów uzbrojenia. Obecnie trwają prace nad opracowaniem zaawansowanych narzędzi do przetwarzania końcowego dla wskaźników wyjściowych, takich jak impuls, intensywność i inne, które mogłyby pomóc użytkownikom zrozumieć i zbadać bardziej złożone, powtarzające się ładowanie wybuchem podczas tych scenariuszy. Co więcej, narzędzia zostały opracowane z myślą o wydajności obliczeniowej i umożliwiają szybkie symulacje. W związku z tym narzędzia te pozwalają nam na prowadzenie badań optymalizacji odwrotnej w celu określenia optymalnej postawy i pozycji podczas scenariusza strzelania z broni. Takie ulepszenia zwiększają możliwości zastosowania narzędzia do optymalizacji protokołów treningowych na różnych poligonach szkolenia z bronią. Oszacowania dawki wybuchu mogą być również wykorzystane do opracowania bardziej wyrafinowanych modeli obliczeniowych w makroskali o wysokiej rozdzielczości dla różnych wrażliwych obszarów anatomicznych, takich jak mózg, płuca i inne 18,19,20 oraz modeli urazów w mikroskali20,21. W tym przypadku hełm i zbroja wbudowane w modele służą wyłącznie do wizualnej reprezentacji i nie wpływają na dawkę wybuchu w tych symulacjach. Wynika to z faktu, że modele są uważane za struktury sztywne, co oznacza, że ich uwzględnienie nie modyfikuje ani nie wpływa na wyniki symulacji nadciśnienia wybuchu.
W tym artykule wykorzystano istniejące narzędzie do szacowania pozycji człowieka o otwartym kodzie źródłowym do szacowania pozycji człowieka w scenariuszach treningu z bronią. Należy pamiętać, że opracowany i omówiony tutaj framework jest niezależny od narzędzia, tj. autorzy mogą zastąpić istniejące narzędzie nowym narzędziem w miarę dokonywania kolejnych postępów. Ogólnie rzecz biorąc, testy wykazały, że chociaż nowoczesne narzędzia programowe są niezwykle wydajne, wykrywanie póz na podstawie obrazu jest trudnym zadaniem. Istnieje jednak kilka zaleceń, które można wykorzystać do zwiększenia wydajności wykrywania póz. Narzędzia te działają najlepiej, gdy osoba zainteresowana jest w dobrym polu widzenia kamery. Chociaż nie zawsze jest to możliwe podczas ćwiczeń z bronią, uwzględnienie tego podczas umieszczania kamery może poprawić wyniki wykrywania póz. Co więcej, żołnierze wykonujący ćwiczenia często noszą zakamuflowane mundury, które wtapiają się w otoczenie. Utrudnia to ich wykrycie zarówno przez ludzkie oko, jak i algorytmy uczenia maszynowego (ML). Istnieją metody zwiększające zdolność algorytmów ML do wykrywania ludzi noszących kamuflaż23, ale nie są one trywialne do wdrożenia. Tam, gdzie to możliwe, zbieranie zdjęć treningu z bronią w miejscu o wysokim kontraście tła może poprawić wykrywanie póz.
Ponadto konwencjonalnym podejściem do szacowania wielkości 3D na podstawie obrazów jest stosowanie technik fotogrametrii z wieloma kątami kamery. Nagrywanie zdjęć/filmów pod różnymi kątami może być również wykorzystane do poprawy oceny pozy. Łączenie oszacowań póz z wielu kamer jest stosunkowo proste24. Inną techniką fotogrametryczną, która może poprawić wyniki, jest użycie szachownicy lub innego obiektu o znanych wymiarach jako wspólnego punktu odniesienia dla każdej kamery. Wyzwaniem związanym z używaniem wielu kamer jest ich synchronizacja czasowa. Można by opracować specjalnie wytrenowane modele uczenia maszynowego w celu wykrywania cech, takich jak kask zamiast twarzy, lub w celu wykrywania osób noszących odzież i sprzęt wojskowy (np. buty, kamizelki, kamizelki kuloodporne). Istniejące narzędzia do szacowania pozy można rozszerzyć za pomocą niestandardowych wytrenowanych modeli uczenia maszynowego. Chociaż jest to czasochłonne i żmudne, może znacznie poprawić wydajność modelu szacowania pozy.
Podsumowując, w niniejszym artykule skutecznie przedstawiono różne elementy struktury wzmocnionego nadciśnienia strumieniowego. W tym miejscu autorzy dostrzegają również potencjał zwiększenia jego możliwości zastosowania i skuteczności poprzez bardziej płynną integrację i pełną automatyzację rurociągu. Elementy takie jak generowanie skalowanej siatki 3D bryły za pomocą narzędzia AMG są w trakcie automatyzacji w celu ograniczenia ręcznego wprowadzania danych przez użytkownika. Obecnie trwają prace nad integracją tych możliwości z modułem BOP tool SCENE. Wraz z rozwojem tej technologii będzie ona udostępniana wszystkim interesariuszom i laboratoriom Departamentu Obrony. Ponadto trwające prace obejmują charakterystykę i walidację jądra broni dla dodatkowych systemów uzbrojenia. Nieustanne wysiłki zmierzające do udoskonalenia i walidacji metodologii gwarantują, że narzędzia opracowywane przez autorów pozostają w czołówce postępu technologicznego, znacząco przyczyniając się do bezpieczeństwa i skuteczności ćwiczeń wojskowych. Przyszłe publikacje dostarczą więcej szczegółów na temat tych zmian, przyczyniając się do rozwoju szerszej dziedziny szkolenia wojskowego i bezpieczeństwa.
Oświadczenia
Autorzy nie mają nic do ujawnienia.
Podziękowania
Badania są finansowane przez Biuro Koordynacyjne Badań nad Obrażeniami Wybuchowymi Departamentu Obrony w ramach projektu MTEC o nazwie MTEC-22-02-MPAI-082. Autorzy doceniają również wkład Hamida Gharahiego w badania jądra wybuchu broni i Zhijiana J. Chena w rozwój możliwości modelowania symulacji nadciśnienia podczas strzelania z broni. Poglądy, opinie i/lub ustalenia wyrażone w tej prezentacji są poglądami autorów i nie odzwierciedlają oficjalnej polityki ani stanowiska Departamentu Armii lub Departamentu Obrony.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Generator modeli antropometrycznych (AMG) | CFD Research | N/A | Do generowania modeli 3D ludzkiego ciała o różnych cechach antropometrycznych. Narzędzie jest DoD Open Source. |
| BOP Tool | CFD Research | N/A | Do ustawiania scen wybuchowych i symulacji nadciśnienia. Narzędzie jest DoD open source. |
| BOP Tool SCENE Module | CFD Research | N/A | Do ustawiania scen wybuchowych i symulacji nadciśnienia. Narzędzie jest DoD open source. |
| Mediapipe | Version 0.9 | Biblioteka szacowania póz o otwartym kodzie źródłowym. | |
| MMPose | OpenMMLab | Version 1.2 | Biblioteka szacowania pozy typu open source. |
| OpenSim | Stanford University | Version 4.4 | Platforma do modelowania i symulacji układu mięśniowo-szkieletowego o otwartym kodzie źródłowym. |
| Python 3 | Anaconda Inc | Version 3.8 | Wersja Individual Edition o otwartym kodzie źródłowym zawierająca Python 3.8 i preinstalowane pakiety do przetwarzania wideo i łączenia narzędzi do szacowania pozy. |
Bibliografia
- LaValle, C. R., et al. Neurocognitive performance deficits related to immediate and acute blast overpressure exposure. Front Neurol. 10, (2019).
- Kamimori, G. H., et al. Longitudinal investigation of neurotrauma serum biomarkers, behavioral characterization, and brain imaging in soldiers following repeated low-level blast exposure (New Zealand Breacher Study). Military Med. 183 (suppl_1), 28-33 (2018).
- Wang, Z., et al. Acute and chronic molecular signatures and associated symptoms of blast exposure in military breachers. J Neurotrauma. 37 (10), 1221-1232 (2020).
- Gill, J., et al. Moderate blast exposure results in increased IL-6 and TNFα in peripheral blood. Brain Behavior Immunity. 65, 90-94 (2017).
- Carr, W., et al. Ubiquitin carboxy-terminal hydrolase-L1 as a serum neurotrauma biomarker for exposure to occupational low-Level blast. Front Neurol. 6, (2015).
- Boutté, A. M., et al. Brain-related proteins as serum biomarkers of acute, subconcussive blast overpressure exposure: A cohort study of military personnel. PLoS One. 14 (8), e0221036(2019).
- Skotak, M., et al. Occupational blast wave exposure during multiday 0.50 caliber rifle course. Front Neurol. 10, (2019).
- Kamimori, G. H., Reilly, L. A., LaValle, C. R., Silva, U. B. O. D. Occupational overpressure exposure of breachers and military personnel. Shock Waves. 27 (6), 837-847 (2017).
- Misistia, A., et al. Sensor orientation and other factors which increase the blast overpressure reporting errors. PLoS One. 15 (10), e0240262(2020).
- National Defense Authorization Act for Fiscal Year 2020. Wikipedia. , https://en.wikipedia.org/w/index.php?title=National_Defense_Authorization_Act_for_Fiscal_Year_2020&oldid=1183832580 (2023).
- Przekwas, A., et al. Fast-running tools for personalized monitoring of blast exposure in military training and operations. Military Med. 186 (Supplement_1), 529-536 (2021).
- Spencer, R. W., et al. Fiscal year 2018 National Defense Authorization Act, Section 734, Weapon systems line of inquiry: Overview and blast overpressure tool-A module for human body blast wave exposure for safer weapons training. Military Med. 188 (Supplement_6), 536-544 (2023).
- Delp, S. L., et al. OpenSim: open-source software to create and analyze dynamic simulations of movement. IEEE Trans Biomed Eng. 54 (11), 1940-1950 (2007).
- Zhou, X., Sun, K., Roos, P. E., Li, P., Corner, B. Anthropometry model generation based on ANSUR II database. Int J Digital Human. 1 (4), 321(2016).
- Zhou, X., Przekwas, A. A fast and robust whole-body control algorithm for running. Int J Human Factors Modell Simulat. 2 (1-2), 127-148 (2011).
- Zhou, X., Whitley, P., Przekwas, A. A musculoskeletal fatigue model for prediction of aviator neck manoeuvring loadings. Int J Human Factors Modell Simulat. 4 (3-4), 191-219 (2014).
- Roos, P. E., Vasavada, A., Zheng, L., Zhou, X. Neck musculoskeletal model generation through anthropometric scaling. PLoS One. 15 (1), e0219954(2020).
- Garimella, H. T., Kraft, R. H. Modeling the mechanics of axonal fiber tracts using the embedded finite element method. Int J Numer Method Biomed Eng. 33 (5), (2017).
- Garimella, H. T., Kraft, R. H., Przekwas, A. J. Do blast induced skull flexures result in axonal deformation. PLoS One. 13 (3), e0190881(2018).
- Przekwas, A., et al. Biomechanics of blast TBI with time-resolved consecutive primary, secondary, and tertiary loads. Military Med. 184 (Suppl 1), 195-205 (2019).
- Gharahi, H., Garimella, H. T., Chen, Z. J., Gupta, R. K., Przekwas, A. Mathematical model of mechanobiology of acute and repeated synaptic injury and systemic biomarker kinetics. Front Cell Neurosci. 17, 1007062(2023).
- Przekwas, A., Somayaji, M. R., Gupta, R. K. Synaptic mechanisms of blast-induced brain injury. Front Neurol. 7, 2(2016).
- Liu, Y., Wang, C., Zhou, Y. Camouflaged people detection based on a semi-supervised search identification network. Def Technol. 21, 176-183 (2023).
- Batpurev, T. Real time 3D body pose estimation using MediaPipe. , Available from: https://temugeb.github.io/python/computer_vision/2021/09/14/bodypose3d.html (2021).
Przedruki i uprawnienia
