Er werd een computational framework ontwikkeld om virtuele scènes bestaande uit 3D-avatars van soldaten automatisch te reconstrueren met behulp van beeld- en/of videogegevens. De virtuele scènes helpen bij het inschatten van de blootstelling aan overdruk tijdens wapentraining. De tool maakt een realistische weergave van de menselijke houding mogelijk in simulaties van blootstelling aan ontploffingen in verschillende scenario's.
Methodenartikel
Generatie van Warfighter-avatars van Weapon Training Scene-afbeeldingen voor simulaties van ontploffingsblootstelling
In dit artikel
Samenvatting
Samenvatting
Militair personeel dat betrokken is bij wapentraining wordt blootgesteld aan herhaalde ontploffingen op lage hoogte. De gangbare methode voor het schatten van explosiebelastingen omvat draagbare straalmeters. Met behulp van draagbare sensorgegevens kan de ontploffingsbelasting op het hoofd of andere organen echter niet nauwkeurig worden geschat zonder kennis van de lichaamshouding van het servicelid. Er werd een beeld-/video-versterkt aanvullend experimenteel-computationeel platform ontwikkeld voor het uitvoeren van veiligere wapentraining. Deze studie beschrijft het protocol voor het geautomatiseerd genereren van wapentrainingsscènes op basis van videogegevens voor simulaties van blootstelling aan ontploffingen. De ontploffingsscène die op het moment van het afvuren van het wapen uit de videogegevens wordt geëxtraheerd, omvat de avatars van het lichaam van het servicelid, wapens, grond en andere structuren. Het computationele protocol wordt gebruikt om de posities en houdingen van servicemedewerkers te reconstrueren met behulp van deze gegevens. Beeld- of videogegevens die zijn geëxtraheerd uit lichaamssilhouetten van servicemedewerkers worden gebruikt om een anatomisch skelet en de belangrijkste antropometrische gegevens te genereren. Deze gegevens worden gebruikt om de 3D-avatars van het lichaamsoppervlak te genereren, gesegmenteerd in individuele lichaamsdelen en geometrisch getransformeerd om overeen te komen met de geëxtraheerde houdingen van serviceleden. De laatste virtuele wapentrainingsscène wordt gebruikt voor 3D-computersimulaties van het laden van wapenontploffingsgolven op serviceleden. De generator voor wapentrainingsscènes is gebruikt om 3D-anatomische avatars van lichamen van individuele militairen te construeren op basis van afbeeldingen of video's in verschillende oriëntaties en houdingen. Resultaten van het genereren van een trainingsscène op basis van het op de schouder gemonteerde aanvalswapensysteem en het mortierwapensysteem worden beeldgegevens gepresenteerd. De Blast Overpressure (BOP)-tool maakt gebruik van de virtuele wapentrainingsscène voor 3D-simulaties van het laden van ontploffingsgolven op de avatarlichamen van de servicelid. Dit artikel presenteert 3D-computationele simulaties van de voortplanting van ontploffingsgolven door het afvuren van wapens en de bijbehorende ontploffingsbelastingen op servicemedewerkers in opleiding.
Inleiding
Tijdens militaire training worden militairen en instructeurs vaak blootgesteld aan ontploffingen van lage hoogte met zware en lichte wapens. Recente studies hebben aangetoond dat blootstelling aan blasten kan leiden tot verminderde neurocognitieve prestaties 1,2 en veranderingen in bloedbiomarkers 3,4,5,6. Herhaalde blootstelling aan lage ontploffingen leidt tot uitdagingen bij het handhaven van optimale prestaties en het minimaliseren van het risico op letsel 7,8. De conventionele aanpak met draagbare druksensoren heeft nadelen, vooral als het gaat om het nauwkeurig bepalen van de straaldruk op de kop9. De bekende nadelige effecten van herhaalde blootstelling aan lage ontploffingen op menselijke prestaties (bijv. tijdens training en in operationele rollen) verergeren dit probleem. Congresmandaten (secties 734 en 717) hebben de vereiste bepaald voor het monitoren van blootstelling aan ontploffingen tijdens training en gevechten en de opname ervan in het medisch dossier van het servicelid10.
Draagbare sensoren kunnen worden gebruikt om de overdruk van de ontploffing tijdens deze gevechtstrainingsoperaties te bewaken. Deze sensoren worden echter beïnvloed door variabelen zoals lichaamshouding, oriëntatie en afstand tot de ontploffingsbron vanwege de complexe aard van de interacties van ontploffingsgolven met het menselijk lichaam9. De volgende factoren zijn van invloed op de drukverdeling en sensormetingen9:
Afstand tot de ontploffingsbron: De drukintensiteit varieert met de afstand naarmate de ontploffingsgolf zich verspreidt en verzwakt. Sensoren die zich dichter bij de explosie bevinden, registreren hogere drukken, wat van invloed is op de nauwkeurigheid en consistentie van de gegevens.
Lichaamshouding: Verschillende houdingen stellen verschillende lichaamsoppervlakken bloot aan de ontploffing, waardoor de drukverdeling verandert. Staan versus hurken resulteert bijvoorbeeld in verschillende drukmetingen 9,11.
Oriëntatie: De hoek van het lichaam ten opzichte van de ontploffingsbron beïnvloedt hoe de drukgolf interageert met het lichaam, wat leidt tot discrepanties in metingen9. Op fysica gebaseerde numerieke simulaties bieden nauwkeurigere beoordelingen door systematisch rekening te houden met deze variabelen, waardoor een gecontroleerde en uitgebreide analyse wordt geboden in vergelijking met draagbare sensoren, die inherent door deze factoren worden beïnvloed.
Als reactie op deze uitdagingen is er een gezamenlijke inspanning geleverd om meer geavanceerde tools te ontwikkelen. In deze richting wordt de Blast Overpressure (BOP) tool ontwikkeld. Deze tool is ontwikkeld om de blootstelling aan overdruk te schatten onder verschillende houdingen en posities van militairen rond de wapensystemen. Er zijn twee verschillende modules onder de BOP-tool11. Dit zijn (a) de BOP-tool SCENE-module en (b) de BOP-tool SITE-module. Deze modules worden gebruikt om de overdruk van de ontploffing tijdens het afvuren van wapenste schatten 12. De BOP SCENE-module is ontwikkeld om een schatting te maken van de overdruk die wordt ervaren door individuele servicemedewerkers of instructeurs die deelnemen aan een trainingsscenario, terwijl de BOP SITE-module een vogelperspectief van de trainingscursus reconstrueert en de overdrukzones van de explosie weergeeft die worden gegenereerd door meerdere vuurstations. Figuur 1 toont een momentopname van beide modules. Momenteel omvatten de BOP Tool-modules overdrukkarakteristieken voor wapenontploffingen (equivalente term voor ontploffingsbron) voor vier door het DoD gedefinieerde Tier-1-wapensystemen, waaronder het M107 .50 cal Special Application Sniper Rifle (SASR), M136 Shoulder-Mounted Assault Weapon, M120 Indirect Fire Mortar en Breach-ladingen. De term weapon blast kernel verwijst naar een equivalente blast source term die is ontwikkeld om hetzelfde blast veld rond een wapensysteem te repliceren als dat van het eigenlijke wapen. Een meer gedetailleerde beschrijving van het computationele raamwerk dat is gebruikt voor de ontwikkeling van de BOP-tool is beschikbaar als referentie11. De overdruksimulaties worden uitgevoerd met behulp van de CoBi-Blast-oplosser. Dit is een multiscale multifysisch hulpmiddel voor het simuleren van overdruk bij ontploffing. De mogelijkheden van de motor om explosies te modelleren zijn gevalideerd aan de hand van experimentele gegevens uit de literatuur12. Deze BOP-tool wordt momenteel geïntegreerd in de Range Managers Toolkit (RMTK) voor gebruik op verschillende wapentrainingsreeksen. RMTK is een multi-service suite van desktoptools die zijn ontworpen om te voldoen aan de behoeften van bereikmanagers in het leger, het Korps Mariniers, de luchtmacht en de marine door bereikoperaties, veiligheid en moderniseringsprocessen te automatiseren.
Figuur 1: Grafische gebruikersinterface (GUI) voor BOP-tool SCENE-module en BOP-tool SITE-module. De BOP SCENE-module is ontworpen om de overdruk van de ontploffing op lichaamsmodellen van serviceleden en instructeurs te schatten, terwijl de BOP SITE-module bedoeld is om een schatting te geven van de overdrukcontouren op een vlak dat het trainingsveld vertegenwoordigt. De gebruiker heeft de mogelijkheid om de hoogte te kiezen waarop het vliegtuig zich bevindt ten opzichte van de grond. Klik hier om een grotere versie van deze figuur te bekijken.
Een beperking van de bestaande BOP-tool SCENE-module is het gebruik van handmatig geschatte gegevens voor het bouwen van lichaamsmodellen van virtuele serviceleden, inclusief hun antropometrie, houding en positie. Het handmatig genereren van de virtuele serviceleden in de juiste houding is arbeidsintensief en tijdrovend11,12. De verouderde BOP-tool (legacy-benadering) maakt gebruik van een database met vooraf geconfigureerde houdingen om de wapentrainingsscène te bouwen op basis van de afbeeldingsgegevens (indien beschikbaar). Bovendien, aangezien de houdingen handmatig worden benaderd door middel van visuele beoordeling, is het mogelijk dat de juiste houdingen niet worden vastgelegd voor een complexe houdingsinstelling. Als gevolg hiervan introduceert deze benadering onnauwkeurigheden in de geschatte blootstelling aan overdruk voor individuele servicemedewerkers (aangezien een verandering in houding de blootstelling aan overdruk op meer kwetsbare regio's kan wijzigen). De paper presenteert verbeteringen die zijn aangebracht in het bestaande computationele raamwerk om het snel en automatisch genereren van modellen van serviceleden mogelijk te maken met behulp van bestaande state-of-the-art pose-schattingstools. Dit artikel bespreekt de verbetering van de BOP-tool, met name de nadruk op de ontwikkeling van een nieuwe en snelle rekenpijplijn voor het reconstrueren van ontploffingsscènes met behulp van video- en beeldgegevens. De verbeterde tool kan ook gedetailleerde lichaamsmodellen van militairen en instructeurs reconstrueren op het moment van het afvuren van wapens, waarbij videogegevens worden gebruikt om gepersonaliseerde avatars te maken in vergelijking met de legacy-aanpak. Deze avatars geven nauwkeurig de houding van de serviceleden weer. Dit werk stroomlijnt het proces van het genereren van ontploffingsscènes en vergemakkelijkt een snellere opname van ontploffingsscènes voor extra wapensystemen, waardoor de tijd en moeite die nodig is voor het maken van wapentrainingsscènes aanzienlijk wordt verminderd. Figuur 2 toont een schema van het verbeterde computationele raamwerk dat in dit artikel wordt besproken.
Figuur 2: Schema met het algemene processtroomdiagram in het rekenraamwerk. De verschillende stappen omvatten de verwerking van beeld-/videogegevens, het genereren van virtuele oorlogsjagers, reconstructie van de ontploffingsscène en simulaties van overdruk van de ontploffing. Klik hier om een grotere versie van deze figuur te bekijken.
De paper presenteert de geautomatiseerde aanpak die wordt geïmplementeerd in de BOP-tool, wat een aanzienlijke verbetering betekent in de rekentools die beschikbaar zijn voor het schatten van de blootstelling aan overdruk tijdens training en operaties. Deze tool onderscheidt zich door het snel genereren van gepersonaliseerde avatars en trainingsscenario's, waardoor meeslepende simulaties van ontploffingsoverdruk mogelijk zijn. Dit markeert een belangrijke afwijking van de traditionele afhankelijkheid van populatiegemiddelde modellen van het menselijk lichaam, en biedt een meer nauwkeurige en geïndividualiseerde benadering.
Computationele tools die worden gebruikt in het automatiseringsproces
De automatisering van het genereren van virtuele servicemodellen is een proces in meerdere stappen dat gebruikmaakt van geavanceerde rekentools om onbewerkte beeld- of videogegevens om te zetten in gedetailleerde 3D-representaties. Het hele proces is geautomatiseerd, maar kan indien nodig worden aangepast om handmatige invoer van bekende metingen mogelijk te maken.
Hulpmiddelen voor het schatten van 3D-poses: De kern van de automatiseringspijplijn wordt gevormd door de tools voor het schatten van 3D-poses. Deze tools analyseren de beeldgegevens om de positie en oriëntatie van elk gewricht in het lichaam van het servicelid te identificeren, waardoor in feite een digitaal skelet wordt gecreëerd. De pijplijn ondersteunt momenteel Mediapipe en MMPose, die Python-API's aanbieden. Het systeem is echter ontworpen met flexibiliteit in het achterhoofd, waardoor de integratie van andere hulpmiddelen mogelijk is, zoals dieptecamera's, op voorwaarde dat ze de benodigde 3D-gewrichts- en botgegevens kunnen uitvoeren.
Generator voor antropometrisch model (AMG): Zodra de 3D-pose is ingeschat, komt de AMG in het spel. Deze tool maakt gebruik van posegegevens om een 3D-huidoppervlakmodel te maken dat overeenkomt met de unieke lichaamsafmetingen van het servicelid. De AMG-tool maakt geautomatiseerde of handmatige invoer van antropometrische metingen mogelijk, die vervolgens worden gekoppeld aan de belangrijkste componenten binnen de tool om het 3D-carrosserienet dienovereenkomstig te morphen.
OpenSim skelet modellering: De volgende stap betreft het open-source OpenSim-platform13, waar een skeletmodel wordt aangepast om uit te lijnen met de 3D-posegegevens. Hulpmiddelen voor het schatten van houdingen dwingen geen consistente botlengtes in het skelet af, wat kan leiden tot onrealistische asymmetrie in het lichaam. Het gebruik van een anatomisch correct OpenSim skelet zorgt voor een meer realistische botstructuur. Markeringen worden op het OpenSim-skelet geplaatst om overeen te komen met de gewrichtscentra die zijn geïdentificeerd door de pose-schattingstool. Dit skeletmodel wordt vervolgens met behulp van standaard animatietechnieken aan het 3D-huidgaas bevestigd.
Inverse kinematica en Python-scripting: Om de pose van het virtuele servicelid af te ronden, wordt een omgekeerd kinematica-algoritme gebruikt. Dit algoritme past het OpenSim-skeletmodel aan om zo goed mogelijk overeen te komen met de geschatte 3D-houding. De gehele posing pipeline is volledig geautomatiseerd en geïmplementeerd in Python 3. Door de integratie van deze tools is het proces van het genereren van virtuele modellen voor serviceleden aanzienlijk versneld, waardoor de benodigde tijd is teruggebracht van dagen naar seconden of minuten. Deze vooruitgang betekent een sprong voorwaarts in de simulatie en analyse van wapentrainingsscenario's, en biedt snelle reconstructies van specifieke scenario's die zijn gedocumenteerd met behulp van afbeeldingen of video.
Protocol
De afbeeldingen en video's die in dit onderzoek zijn gebruikt, zijn niet rechtstreeks door de auteurs verkregen van menselijke proefpersonen. Eén afbeelding is afkomstig van gratis bronnen op Wikimedia Commons, die beschikbaar is onder een licentie voor het publieke domein. De andere afbeelding werd geleverd door medewerkers van het Walter Reed Army Institute of Research (WRAIR). De gegevens die van WRAIR werden verkregen, waren niet geïdentificeerd en werden gedeeld in overeenstemming met hun institutionele richtlijnen. Voor de beelden die door WRAIR werden verstrekt, volgde het protocol de richtlijnen van de ethische commissie voor menselijk onderzoek van WRAIR, inclusief het verkrijgen van alle benodigde goedkeuringen en toestemmingen.
1. Toegang tot de BOP Tool SCENE-module
- Open de BOP Tool SCENE Module vanuit de BOP Tool Interface door op de BOP Tool SCENE Module knop te klikken.
- Klik op Scenariodefinitie en klik vervolgens op het tabblad Scenariodetails .
2. Uitlezen en verwerken van de beeldgegevens
- Klik op de knop POSETOOL IMPORT in de BOP tool SCENE module. Er wordt een pop-upvenster geopend waarin de gebruiker wordt gevraagd de relevante afbeelding of video te selecteren.
- Navigeer naar de map en selecteer de relevante afbeelding/video met behulp van muisbewegingen.
- Klik op Openen in het pop-upvenster zodra een afbeelding is geselecteerd.
OPMERKING: Deze bewerking leest het afbeeldings- of videobestand, genereert een afbeelding als een video is geselecteerd, voert het algoritme voor het schatten van de pose op de achtergrond uit, genereert de modellen van virtuele serviceleden die betrokken zijn bij de wapentrainingsscène en laadt ze in de BOP Tool SCENE-module in hun respectievelijke posities.
3. Het wapen en de schutter configureren
- Kies een naam voor het scenario met behulp van het tekstvak onder Scenarionaam. Dit is een keuze van de gebruiker. Voor het hier besproken scenario hebben de ontwikkelaars gekozen voor de scenarionaam BlastDemo1.
- Kies een aangepaste naam onder het veld Naam onder de Wapendefinitie. Dit is, nogmaals, een keuze van de gebruiker. Voor het hier besproken scenario hebben de ontwikkelaars gekozen voor de wapennaam 120Mortar.
- Selecteer de juiste wapenklasse, bijvoorbeeld HEAVY MORTAR, uit de lijst met opties in het vervolgkeuzemenu.
- Selecteer het wapen (M120 in dit geval) uit de lijst met keuzes in de vervolgkeuzelijst. Bij het selecteren van het wapensysteem wordt de bijbehorende blast kernel automatisch in de GUI geladen onder het subtabblad Charges.
OPMERKING: De vervolgkeuzelijst bevat de verschillende mogelijke wapensystemen die specifiek zijn voor de hierboven gekozen wapenklasse. - Selecteer de munitiehuls (volledige trainingsronde) voor het gekozen wapensysteem met behulp van de vervolgkeuzelijsten.
- Selecteer Geen schutter onder de velden Antropometrie, Houding, Helm en Beschermende bepantsering onder de definitie van schutter in de vervolgkeuzelijst. Zie afbeelding 3 voor geconfigureerde schutters en serviceleden.
OPMERKING: Aangezien de shooter wordt opgenomen in de scène die via stap 4 is geïmporteerd, is er geen shooter geselecteerd onder de Shooter Definition.
Afbeelding 3: Geïmporteerde ontploffingsscène uit de beeldgegevens. De ontploffingsscène is zichtbaar in het visualisatievenster aan de rechterkant van de GUI-tool. Klik hier om een grotere versie van deze figuur te bekijken.
4. Configureren van de serviceleden
- Klik op het tabblad Serviceleden . Dit tabblad bepaalt de positie en oriëntatie van de serviceleden die zijn geïmporteerd uit de afbeeldingsgegevens; gebruik hiervoor de opties X, Y, Z en rotatie. Voor de avatar die overeenkomt met de assistent-schutter, hebben de auteurs de Y-positie aangepast van 2.456 naar 2 voor een redelijkere assistent-schutterpositie.
- Kies aangepaste namen voor alle virtuele servicelidmodellen die in de GUI zijn geïmporteerd met behulp van het veld Naam onder het tabblad Serviceleden. S1, S2, S3, S4 en S5 worden hier gekozen voor alle automatisch geïmporteerde servicelidmodellen.
OPMERKING: Voor het hier besproken scenario werden ze S1 en S2 genoemd. De overige velden worden automatisch ingevuld. Gebruikers kunnen ze aanpassen om de automatisch geschatte positie/houdingen te verfijnen. - Gebruik de knop Delete om S2, S4 en S5 te verwijderen. In het hier gedemonstreerde scenario zijn alleen de schutter en de assistent-schutter aanwezig op het moment van schieten.
OPMERKING: Dit is uitgevoerd om de aangepaste gebruikersopties te demonstreren om modellen van serviceleden te verwijderen of toe te voegen aan een bestaande scène.
5. Configureren van de virtuele sensoren
- Navigeer naar het tabblad Sensoren . Voeg een nieuwe virtuele sensor toe door op Sensor toevoegen te klikken.
- Kies een aangepaste naam onder het veld Naam. De ontwikkelaars hebben V1 gekozen voor demonstratie in dit document.
- Selecteer het type als Virtueel door op de vervolgkeuzelijst onder het veld Sensortype te klikken.
- Kies de locatie van de sensor die u wilt hebben (-0,5, 2, 0,545) door de tekstvakken onder de velden X, Y en Z te bewerken. Voor het hier besproken scenario hebben de ontwikkelaars vier verschillende sensoren op vier verschillende locaties gemaakt voor demonstratiedoeleinden. De ontwikkelaars hebben V2, V3 en V4 gekozen als sensornamen voor de extra sensoren.
- Herhaal de stappen van 5.1 tot 5.4 om extra sensoren te maken op (-0.5, 1, 0.545), (-0.5, 0.5, 0.545) en (-0.5, 0, 0.545). Laat de waarde voor Rotatie op nul staan.
OPMERKING: De gebruiker kan ook kiezen voor vlakke sensoren waarbij de rotatie kan worden gebruikt om de oriëntatie van de sensor ten opzichte van de ontploffingslading aan te passen.
6. Het programma opslaan en uitvoeren
- Sla de wapentrainingsscène op door op de knop Scenario opslaan in de GUI bovenaan te klikken.
- Voer de simulatie van de ontploffingsoverdruk voor de M120-wapentrainingsscène uit door onderaan op de knop Scenario uitvoeren te klikken. De voortgang van de simulatie wordt weergegeven met behulp van de voortgangsbalk onderaan.
7. Visualiseren van de resultaten
- Navigeer naar het tabblad Modelweergave om de simulatie van de blootstelling aan overdruk door ontploffing te bekijken.
- Klik op de knop Huidig om de voltooide simulatie in het visualisatievenster te laden.
- Zodra de simulatie is geladen, visualiseert u de simulatie met behulp van de afspeelknop onder aan het scherm.
- De gebruiker kan kiezen tussen de verschillende opties in de navigatiebalk om de simulatie op verschillende snelheden af te spelen en te pauzeren. De schermafbeelding van de afspeelknoppen hieronder toont meer opties. De gebruiker kan het interactieve venster met de muis bedienen. Klik en sleep met de rechtermuisknop om de modus te draaien, de linkerknop om het model te vertalen en de middelste knop om in/uit te scrollen.
- Navigeer na het bekijken van de simulatie naar het tabblad Blast Load Metrics door erop te klikken.
- Klik op de knop Stroom om de overdrukgrafieken op de virtuele sensorlocaties te laden.
OPMERKING: Hiermee wordt de overdrukinformatie op de verschillende sensorlocaties in verschillende grafieken geladen. - Navigeer naar de vervolgkeuzelijst Serie om weer te geven en selecteer door het vakje voor de bijbehorende sensor aan te vinken om de overdruk die bij die virtuele sensor is geregistreerd uit te zetten (zie afbeelding 4).
Figuur 4: Plot controles voor overdruk bij verschillende virtuele sensoren in de tijd. Gebruikers kunnen de weer te geven serie kiezen door de verschillende sensoren in of uit te schakelen. Klik hier om een grotere versie van deze figuur te bekijken.
Resultaten
Geautomatiseerde reconstructie van virtuele serviceleden en ontploffingsscènes
Het geautomatiseerd genereren van virtuele lichaamsmodellen voor serviceleden en wapentrainingsscènes werd bereikt door de automatiseringsmogelijkheden van de BOP Tool. Figuur 5 toont de virtuele trainingsscène die is gegenereerd op basis van de beeldgegevens. Zoals hier te zien is, was de resulterende scène een goede weergave van de beeldgegevens. De afbeelding die voor de demonstratie in figuur 5 werd gebruikt, is afkomstig van Wikimedia Commons.
Figuur 5: Virtuele wapentrainingsscène op basis van de beeldgegevens. De afbeelding aan de linkerkant toont de beeldgegevens die overeenkomen met het afvuren van een AT4-wapen en de rechterkant toont de virtuele automatisch gegenereerde wapentrainingsscène. Dit cijfer is verkregen van Wikimedia Commons. Klik hier om een grotere versie van deze figuur te bekijken.
Bovendien werd de aanpak toegepast om de scène van het afvuren van M120-wapens te reconstrueren. Het beeld werd verzameld door WRAIR als onderdeel van het verzamelen van drukgegevens voor het M120-mortierwapen. Figuur 6 hieronder illustreert de gereconstrueerde virtuele wapenschietscène naast de originele afbeelding. Er werd een discrepantie waargenomen in de positie van de assistent-schutter in de virtuele reconstructie. Dit kan worden gecorrigeerd door de positie van de assistent-schutter aan te passen met behulp van de BOP GUI-gebruikersopties. Bovendien leek de bekkenhouding van de instructeur onnauwkeurig, waarschijnlijk als gevolg van obstructie van de palen in de beelden. Het integreren van deze aanpak met andere modaliteiten voor dieptebeeldvorming zou nuttig zijn bij het aanpakken van deze discrepanties.
Figuur 6: Virtuele wapentrainingsscène op basis van de beeldgegevens. De linkerafbeelding toont de beeldgegevens die overeenkomen met het afvuren van een M120-wapen en de rechterkant toont de virtuele automatisch gegenereerde wapentrainingsscène. Klik hier om een grotere versie van deze figuur te bekijken.
Validatie van de geautomatiseerde aanpak voor het genereren van scènes
De generator van het menselijk lichaamsmodel die in deze studie werd gebruikt, onderging validatie met behulp van de ANSUR II-database voor het scannen van het menselijk lichaam14, die antropometrische metingen van medische beeldvormingsgegevens bevatte. Een geautomatiseerde reconstructiemethode, die gebruik maakte van deze modelgenerator voor het menselijk lichaam, onderging kwalitatieve validatie met de beschikbare gegevens. Dit validatieproces omvatte het vergelijken van de gereconstrueerde modellen met experimentele gegevens (afbeeldingen) door ze over elkaar heen te leggen. Figuur 7 toont een vergelijking tussen de 3D-avatarmodellen en de experimentele gegevens. Er is echter een grondigere validatie van deze methode nodig, waarvoor aanvullende experimentele gegevens van de scène nodig zijn, waaronder precieze posities, houdingen en oriëntaties van de verschillende servicemedewerkers die betrokken zijn bij een trainingsscène.
Figuur 7: Kwalitatieve vergelijking van het virtuele menselijke lichaamsmodel gegenereerd met de afbeelding. Het linkerpaneel toont de originele afbeelding, het middelste paneel toont het gegenereerde virtuele lichaamsmodel en het rechterpaneel toont het virtuele model overlapt met de originele afbeelding. Klik hier om een grotere versie van deze figuur te bekijken.
Representatieve simulaties van overdruk bij ontploffing
Na het opzetten van de ontploffingsscène konden de auteurs doorgaan naar de kritieke fase van het uitvoeren van BOP-simulaties (blast overpressure). Dit zal ons in staat stellen om de verdeling van ontploffingsladingen over verschillende servicemedewerkers die betrokken zijn bij een wapenschietscène te begrijpen. Figuur 8 toont de resultaten van deze BOP-simulaties tijdens het afvuren van AT4-wapens. De simulaties bieden een gedetailleerde visualisatie van de overdrukbelastingen op de virtuele servicemedewerker in de scène op verschillende momenten in de tijd. Concluderend tonen de resultaten niet alleen de haalbaarheid maar ook de effectiviteit van het protocol aan bij het creëren van nauwkeurige en analytisch bruikbare reconstructies van wapentrainingsscenario's, waardoor de weg wordt vrijgemaakt voor meer geavanceerde studies op het gebied van veiligheid en efficiëntie van militaire training.
Afbeelding 8: Ontploffing overdruk blootstelling op de schutter. (A, B, C en D) De vier panelen tonen het model voorspelde overdruk van de ontploffing op de virtuele serviceleden die betrokken zijn bij het afvuren van M120-mortieren op verschillende tijdstippen. De panelen (C) en (D) tonen de overdrukvoortplanting als gevolg van bodemreflectie. Klik hier om een grotere versie van deze figuur te bekijken.
Discussie
Het computationele raamwerk dat in dit artikel wordt gepresenteerd, versnelt het genereren van trainingsscènes voor explosiewapens aanzienlijk in vergelijking met eerder gebruikte handmatige methoden met behulp van visuele beoordeling. Deze benadering toont het vermogen van het raamwerk om snel verschillende militaire houdingen vast te leggen en te reconstrueren.
Voordelen van de huidige aanpak
Het creëren van virtuele modellen van het menselijk lichaam in specifieke houdingen en posities is een uitdagende taak, met beperkte hulpmiddelen die voor dit doel beschikbaar zijn. De conventionele methode die werd gebruikt in de legacy-aanpak, specifiek voor de BOP-tool, maakte gebruik van CoBi-DYN 14,15,16,17. Deze methode omvatte het handmatig maken van virtuele modellen van het menselijk lichaam met kleding, helmen, beschermende bepantsering en laarzen. De modellen werden gegenereerd door middel van een benaderende visuele benadering, zonder een systematische aanpak. In de oude BOP-tool werd CoBi-DYN gebruikt om een database met modellen van het menselijk lichaam te maken die toegankelijk was tijdens de stap Scenario Configuration. Gebruikers zouden handmatig een geschatte houdingsconfiguratie selecteren en deze ongeveer positioneren voor een bepaald wapensysteem om het BOP-scenario uit te voeren. Hoewel de reconstructie van de ontploffingsscène uit de bestaande database voor serviceleden (toegankelijk via de vervolgkeuzelijst in de BOP-tool) relatief snel was, was de eerste creatie van de database met virtuele serviceleden tijdrovend en duurde het ongeveer 16-24 uur per scène vanwege de handmatige en geschatte aard van het proces. De nieuwe aanpak maakt daarentegen gebruik van gevestigde tools voor het schatten van houdingen voor een meer geautomatiseerde en snellere creatie van virtuele menselijke lichaamsmodellen. Deze tools maken automatisch gebruik van video- en beeldgegevens om snel ontploffingsscènes te reconstrueren met avatars van virtuele serviceleden. Dit vermindert de tijd die nodig is om de database van het menselijk lichaam te maken aanzienlijk. De nieuwe aanpak omvat een enkele klik op de knop om de volledige virtuele scène te genereren of te reconstrueren op basis van beeldgegevens zonder dat er extra software nodig is. Het hele proces duurt nu ongeveer 5-6 s per scène (na het lezen van de beeldgegevens, zoals in de video zal worden gedemonstreerd), wat een aanzienlijke verbetering van de efficiëntie aantoont ten opzichte van de oude methode. Deze methode is niet bedoeld om de oorspronkelijke aanpak te vervangen, maar om deze aan te vullen door het genereren van virtuele modellen voor serviceleden te versnellen (die in de toekomst kunnen worden toegevoegd aan de database met modellen voor serviceleden). Het vereenvoudigt de toevoeging van nieuwe configuraties met verschillende complexiteiten en vergemakkelijkt de integratie van nieuwe wapensystemen in de toekomst, waardoor de uitbreidbaarheid van de BOP-tool wordt verbeterd. Vergeleken met de legacy-aanpak is het duidelijk dat de gepresenteerde methode een meer gestroomlijnde en geautomatiseerde oplossing biedt, waardoor handmatige inspanningen en tijd worden verminderd en tegelijkertijd de nauwkeurigheid en systematische aard van het maken van virtuele menselijke lichaamsmodellen worden verbeterd. Dit benadrukt de kracht en innovatie van de beschreven methode in het veld.
Validatie van geautomatiseerde scènegeneratie
Een kwalitatieve validatie van de aanpak werd uitgevoerd door de gereconstrueerde scenario's over de beeldgegevens te leggen. Kwantitatieve validatie was echter niet haalbaar vanwege het gebrek aan beschikbare gegevens over positionering en houding voor deze beelden. De auteurs erkennen het belang van een grondigere validatie en zijn van plan dit in toekomstig werk aan te pakken. Om dit te bereiken, voorzien de auteurs een uitgebreide inspanning om gegevens te verzamelen om nauwkeurige positionerings- en houdingsinformatie te verkrijgen. Dit stelt ons in staat om een gedetailleerde kwantitatieve validatie uit te voeren, wat uiteindelijk de robuustheid en nauwkeurigheid van de aanpak verbetert.
Validatie van de simulaties van de blootstelling aan ontploffingen
De ontploffingskorrels van het wapen zijn ontwikkeld en gevalideerd met behulp van potloodsondegegevens die zijn verzameld tijdens het afvuren van wapens. Verdere details over de kern van de wapenontploffing en relevante blootstellingen zullen worden opgenomen in een komende publicatie. Enige informatie in dit verband is ook beschikbaar in de eerdere publicaties 11,12. Deze voortdurende inspanning zal bijdragen aan het verbeteren van de precisie en effectiviteit van de simulaties van de overdruk van de ontploffing, waardoor de validiteit van het instrument wordt versterkt.
De hier gepresenteerde aanpak kan ook worden gebruikt om virtuele avatars van serviceleden te genereren, die vervolgens kunnen worden opgenomen in de database voor selectie met behulp van de BOP-tool. Hoewel het huidige proces de modellen niet automatisch in de database opslaat, zijn de auteurs van plan deze functie in toekomstige versies van de BOP-tool op te nemen. Bovendien beschikken de auteurs over interne tools die het mogelijk maken om de houding handmatig aan te passen zodra de geautomatiseerde houding en het 3D-model zijn gegenereerd op basis van de beeldgegevens. Momenteel bestaat deze mogelijkheid onafhankelijk en is deze niet geïntegreerd in de BOP-tool, omdat verdere ontwikkeling van de gebruikersinterface vereist is. Desalniettemin is dit een werk in uitvoering en de auteurs zijn van plan het op te nemen in toekomstige versies van de BOP-tool.
De gegevens over de ontploffingsbelasting kunnen ook worden geëxporteerd in de vorm van een ASCII-tekstbestand, en verdere nabewerkingsstappen kunnen worden toegepast om de ontploffingsdosispatronen voor verschillende wapensystemen in meer detail te onderzoeken. Momenteel wordt er gewerkt aan de ontwikkeling van geavanceerde nabewerkingstools voor outputmetrieken zoals impuls, intensiteit en andere die gebruikers kunnen helpen bij het begrijpen en onderzoeken van complexere herhaalde ontploffingsladingen tijdens deze scenario's. Bovendien zijn de tools ontwikkeld voor rekenefficiëntie en maken ze hoge simulatiesnelheden mogelijk. Daarom stellen deze tools ons in staat om inverse optimalisatiestudies uit te voeren om de optimale houding en positie tijdens een wapenafvuurscenario te bepalen. Dergelijke verbeteringen vergroten de toepasbaarheid van de tool voor het optimaliseren van de trainingsprotocollen in verschillende wapentrainingsgebieden. De schattingen van de blastdosis kunnen ook worden gebruikt om meer verfijnde computermodellen op macroschaal met hoge resolutie te ontwikkelen voor verschillende kwetsbare anatomische regio's zoals de hersenen, longen en andere 18,19,20 en letselmodellen op microschaal 20,21. Hier zijn de helm en het pantser die in de modellen zijn opgenomen uitsluitend voor visuele weergave en hebben ze geen invloed op de ontploffingsdosis in deze simulaties. Dit komt doordat de modellen als stijve structuren worden beschouwd, wat betekent dat hun opname de resultaten van de simulaties van de overdruk van de explosie niet wijzigt of beïnvloedt.
Dit artikel maakt gebruik van een bestaande open-source tool voor het schatten van poses voor het schatten van de menselijke pose in wapentrainingsscenario's. Houd er rekening mee dat het hier ontwikkelde en besproken raamwerk tool-agnostisch is, d.w.z. dat de auteurs een bestaande tool kunnen vervangen door een nieuwe tool naarmate er meer vooruitgang wordt geboekt. Over het algemeen toonden de tests aan dat, hoewel moderne softwaretools extreem krachtig zijn, beeldgebaseerde posedetectie een uitdagende taak is. Er zijn echter verschillende aanbevelingen die kunnen worden gebruikt om de prestaties van posedetectie te verbeteren. Deze tools presteren het beste wanneer de persoon in kwestie duidelijk in het zicht van de camera is. Hoewel dit niet altijd mogelijk is tijdens wapentrainingsoefeningen, kan het overwegen hiervan bij het plaatsen van de camera de resultaten van posedetectie verbeteren. Bovendien dragen servicemedewerkers die trainingsoefeningen uitvoeren vaak gecamoufleerde vermoeisels die opgaan in hun omgeving. Dit maakt het moeilijker voor hen om te worden gedetecteerd door zowel het menselijk oog als machine learning (ML) algoritmen. Er bestaan methoden om het vermogen van ML-algoritmen om mensen die camouflage dragen te detecterente verbeteren 23, maar deze zijn niet triviaal om te implementeren. Waar mogelijk kan het verzamelen van afbeeldingen van wapentraining op een locatie met een contrastrijke achtergrond de detectie van poses verbeteren.
Bovendien is de conventionele benadering voor het schatten van 3D-hoeveelheden uit afbeeldingen het gebruik van fotogrammetrietechnieken met meerdere camerahoeken. Het opnemen van afbeeldingen/video's vanuit meerdere hoeken kan ook worden gebruikt om de inschatting van de pose te verbeteren. Het samenvoegen van poseschattingen van meerdere camera's is relatief eenvoudig24. Een andere fotogrammetrietechniek die de resultaten zou kunnen verbeteren, is het gebruik van een dambord of een ander object van bekende afmetingen als gemeenschappelijk referentiepunt voor elke camera. Een uitdaging bij het gebruik van meerdere camera's is om ze in de tijd te synchroniseren. Op maat getrainde machine learning-modellen kunnen worden ontwikkeld om kenmerken zoals een helm in plaats van een gezicht te detecteren of om mensen te detecteren die militair-specifieke kleding en uitrusting dragen (bijv. laarzen, vesten, kogelvrije vesten). Bestaande tools voor het schatten van poses kunnen worden uitgebreid met behulp van op maat getrainde ML-modellen. Hoewel dit tijdrovend en vervelend is, kan het de prestaties van het pose-schattingsmodel aanzienlijk verbeteren.
Samenvattend schetst dit document effectief de verschillende componenten van het verbeterde raamwerk voor overdruk bij explosie. Hier erkennen de auteurs ook het potentieel om de toepasbaarheid en doeltreffendheid ervan te verbeteren door een meer naadloze integratie en volledige automatisering van de pijplijn. Elementen zoals het genereren van een geschaald 3D-carrosserienetwerk met de AMG-tool worden momenteel geautomatiseerd om handmatige gebruikersinvoer te verminderen. Momenteel wordt er gewerkt aan de integratie van deze mogelijkheden in de BOP-tool SCENE-module. Naarmate deze technologie zich ontwikkelt, zal deze toegankelijk worden gemaakt voor alle belanghebbenden en laboratoria van het ministerie van Defensie. Bovendien omvat het lopende werk de karakterisering en validatie van wapenpitten voor aanvullende wapensystemen. Deze voortdurende inspanning om de methodologieën te verfijnen en te valideren zorgt ervoor dat de tools die de auteurs ontwikkelen in de voorhoede van de technologische vooruitgang blijven en aanzienlijk bijdragen aan de veiligheid en doeltreffendheid van militaire trainingsoefeningen. Toekomstige publicaties zullen meer details geven over deze ontwikkelingen, wat zal bijdragen aan het bredere veld van militaire training en veiligheid.
Openbaarmakingen
De auteurs hebben niets te onthullen.
Dankbetuigingen
Het onderzoek wordt gefinancierd door het DoD Blast Injury Research Coordinating Office in het kader van de MTEC-projectoproep MTEC-22-02-MPAI-082. De auteurs erkennen ook de bijdrage van Hamid Gharahi voor wapenontploffingskernen en Zhijian J Chen voor het ontwikkelen van de modelleringsmogelijkheden voor overdruksimulaties van wapenontploffingen. De standpunten, meningen en/of bevindingen die in deze presentatie worden geuit, zijn die van de auteurs en weerspiegelen niet het officiële beleid of standpunt van het ministerie van het leger of het ministerie van Defensie.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| Anthropometric Model Generator (AMG) | CFD Research | N/A | Voor het genereren van 3D-menselijke lichaamsmodellen met verschillende antropometrische kenmerken. De tool is DoD Open Source. |
| BOP Tool | CFD Research | N/A | Voor het opzetten van explosiescènes en overdruksimulaties. De tool is DoD open source. |
| BOP Tool SCENE Module | CFD Research | N/A | Voor het opzetten van explosiescènes en overdruksimulaties. De tool is DoD open source. |
| Mediapipe | Versie 0.9 | Open-source bibliotheek voor pose-schatting. | |
| MMPose | OpenMMLab | Versie 1.2 | Open-source bibliotheek voor pose-schatting. |
| OpenSim | Stanford University | Versie 4.4 | Open-source platform voor musculoskeletale modellering en simulatie. |
| Python 3 | Anaconda Inc | Versie 3.8 | De open source Individual Edition met Python 3.8 en voorgeïnstalleerde pakketten om videoverwerking uit te voeren en de pose-schattingstools te verbinden. |
Referenties
- LaValle, C. R., et al. Neurocognitive performance deficits related to immediate and acute blast overpressure exposure. Front Neurol. 10, (2019).
- Kamimori, G. H., et al. Longitudinal investigation of neurotrauma serum biomarkers, behavioral characterization, and brain imaging in soldiers following repeated low-level blast exposure (New Zealand Breacher Study). Military Med. 183 (suppl_1), 28-33 (2018).
- Wang, Z., et al. Acute and chronic molecular signatures and associated symptoms of blast exposure in military breachers. J Neurotrauma. 37 (10), 1221-1232 (2020).
- Gill, J., et al. Moderate blast exposure results in increased IL-6 and TNFα in peripheral blood. Brain Behavior Immunity. 65, 90-94 (2017).
- Carr, W., et al. Ubiquitin carboxy-terminal hydrolase-L1 as a serum neurotrauma biomarker for exposure to occupational low-Level blast. Front Neurol. 6, (2015).
- Boutté, A. M., et al. Brain-related proteins as serum biomarkers of acute, subconcussive blast overpressure exposure: A cohort study of military personnel. PLoS One. 14 (8), e0221036(2019).
- Skotak, M., et al. Occupational blast wave exposure during multiday 0.50 caliber rifle course. Front Neurol. 10, (2019).
- Kamimori, G. H., Reilly, L. A., LaValle, C. R., Silva, U. B. O. D. Occupational overpressure exposure of breachers and military personnel. Shock Waves. 27 (6), 837-847 (2017).
- Misistia, A., et al. Sensor orientation and other factors which increase the blast overpressure reporting errors. PLoS One. 15 (10), e0240262(2020).
- National Defense Authorization Act for Fiscal Year 2020. Wikipedia. , https://en.wikipedia.org/w/index.php?title=National_Defense_Authorization_Act_for_Fiscal_Year_2020&oldid=1183832580 (2023).
- Przekwas, A., et al. Fast-running tools for personalized monitoring of blast exposure in military training and operations. Military Med. 186 (Supplement_1), 529-536 (2021).
- Spencer, R. W., et al. Fiscal year 2018 National Defense Authorization Act, Section 734, Weapon systems line of inquiry: Overview and blast overpressure tool-A module for human body blast wave exposure for safer weapons training. Military Med. 188 (Supplement_6), 536-544 (2023).
- Delp, S. L., et al. OpenSim: open-source software to create and analyze dynamic simulations of movement. IEEE Trans Biomed Eng. 54 (11), 1940-1950 (2007).
- Zhou, X., Sun, K., Roos, P. E., Li, P., Corner, B. Anthropometry model generation based on ANSUR II database. Int J Digital Human. 1 (4), 321(2016).
- Zhou, X., Przekwas, A. A fast and robust whole-body control algorithm for running. Int J Human Factors Modell Simulat. 2 (1-2), 127-148 (2011).
- Zhou, X., Whitley, P., Przekwas, A. A musculoskeletal fatigue model for prediction of aviator neck manoeuvring loadings. Int J Human Factors Modell Simulat. 4 (3-4), 191-219 (2014).
- Roos, P. E., Vasavada, A., Zheng, L., Zhou, X. Neck musculoskeletal model generation through anthropometric scaling. PLoS One. 15 (1), e0219954(2020).
- Garimella, H. T., Kraft, R. H. Modeling the mechanics of axonal fiber tracts using the embedded finite element method. Int J Numer Method Biomed Eng. 33 (5), (2017).
- Garimella, H. T., Kraft, R. H., Przekwas, A. J. Do blast induced skull flexures result in axonal deformation. PLoS One. 13 (3), e0190881(2018).
- Przekwas, A., et al. Biomechanics of blast TBI with time-resolved consecutive primary, secondary, and tertiary loads. Military Med. 184 (Suppl 1), 195-205 (2019).
- Gharahi, H., Garimella, H. T., Chen, Z. J., Gupta, R. K., Przekwas, A. Mathematical model of mechanobiology of acute and repeated synaptic injury and systemic biomarker kinetics. Front Cell Neurosci. 17, 1007062(2023).
- Przekwas, A., Somayaji, M. R., Gupta, R. K. Synaptic mechanisms of blast-induced brain injury. Front Neurol. 7, 2(2016).
- Liu, Y., Wang, C., Zhou, Y. Camouflaged people detection based on a semi-supervised search identification network. Def Technol. 21, 176-183 (2023).
- Batpurev, T. Real time 3D body pose estimation using MediaPipe. , Available from: https://temugeb.github.io/python/computer_vision/2021/09/14/bodypose3d.html (2021).
Herprints en machtigingen
