Name: Geração de avatares de combatentes a partir de imagens de cenas de treinamento de armas para simulações de exposição a explosões (Vídeo) | JoVE Journal
Uploaded: 2024-12-06T12:00:00.000+00:00
Duration: 6 min 20 s
Description: Aprenda a gerar avatares de combatentes virtuais a partir de imagens de treinamento militar usando aprendizado de máquina para estimação de pose 3D. Esta ferramenta computacional prediz exposição a explosões e avalia riscos de lesão em tempo real.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

As imagens e vídeos utilizados neste estudo não foram obtidos diretamente pelos autores de seres humanos. Uma imagem foi obtida de recursos gratuitos no Wikimedia Commons, que está disponível sob uma licença de domínio público. A outra imagem foi fornecida por colaboradores do Instituto de Pesquisa do Exército Walter Reed (WRAIR). Os dados obtidos do WRAIR não foram identificados e foram compartilhados de acordo com suas diretrizes institucionais. Para as imagens fornecidas pelo WRAIR, o protocolo seguiu as diretrizes do comitê de ética em pesquisa com seres humanos do WRAIR, incluindo a obtenção de todas as aprovações e consentimentos necessários.
1. Acessando o módulo BOP Tool SCENE
<ol><li>Abra o módulo BOP Tool SCENE na interface da ferramenta BOP clicando no botão BOP Tool SCENE Module .</li>
	<li>Clique em Definição de Cenário e, em seguida, clique na guia Detalhes do Cenário .</li>
</ol>2. Leitura e processamento dos dados da imagem
<ol><li>Clique no botão POSETOOL IMPORT no módulo BOP tool SCENE. Uma janela pop-up é aberta, solicitando que o usuário selecione a imagem ou vídeo relevante.</li>
	<li>Navegue até a pasta e selecione a imagem/vídeo relevante usando as operações do mouse.</li>
	<li>Clique em Abrir na janela pop-up quando uma imagem for selecionada. NOTA: Esta operação lê a imagem ou o arquivo de vídeo, gera uma imagem se um vídeo for selecionado, executa o algoritmo de estimativa de pose em segundo plano, gera os modelos de membros do serviço virtual envolvidos na cena de treinamento de armas e os carrega no módulo BOP Tool SCENE em suas respectivas posições.</li>
</ol>3. Configurando a arma e o atirador
<ol><li>Escolha um nome para o cenário usando a caixa de texto em Nome do Cenário. Esta é uma escolha do usuário. Para o cenário discutido aqui, os desenvolvedores escolheram o nome do cenário BlastDemo1.</li>
	<li>Escolha um nome personalizado no campo Nome na Definição de arma. Esta é, novamente, uma escolha do usuário. Para o cenário discutido aqui, os desenvolvedores escolheram o nome da arma 120Mortar.</li>
	<li>Selecione a classe de arma apropriada, por exemplo, MORTEIRO PESADO, na lista de opções no menu suspenso.</li>
	<li>Selecione a arma (M120 neste caso) na lista de opções no menu suspenso. Ao selecionar o sistema de armas, o kernel de explosão correspondente será carregado automaticamente na GUI na subguia Cargas. NOTA: O menu suspenso terá os diferentes sistemas de armas possíveis específicos para a classe de arma escolhida acima.</li>
	<li>Selecione o Projétil de Munição (Rodada de Treinamento de Alcance Total) para o sistema de armas escolhido usando as opções suspensas.</li>
	<li>Selecione Sem Atirador nos campos Antropometria, Postura, Capacete e Armadura de proteção na Definição de Atirador nas opções suspensas. Consulte a Figura 3 para atirador configurado e membros do serviço. NOTA: Como o atirador será incluído na cena importada até a etapa 4, nenhum atirador foi selecionado na Definição do atirador.</li>
</ol><img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/66575/66575fig03.jpg"> Figura 3: Cena de explosão importada dos dados da imagem. A cena da explosão é visível na janela de visualização no lado direito da ferramenta GUI. <a href="https://www.jove.com/files/ftp_upload/66575/66575fig03large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
4. Configurando os membros do serviço
<ol><li>Clique na guia Membros do serviço . Esta guia controla a posição e a orientação dos membros do serviço importados dos dados da imagem; use as opções X, Y, Z e rotação para fazer isso. Para o avatar correspondente ao artilheiro assistente, os autores ajustaram a posição Y de 2.456 para 2 para uma posição de artilheiro assistente mais razoável.</li>
	<li>Escolha nomes personalizados para todos os modelos de membros do serviço virtual importados para a GUI usando o campo Nome na guia Membros do serviço. S1, S2, S3, S4 e S5 são escolhidos aqui para todos os modelos de membros do serviço importados automaticamente. NOTA: Para o cenário discutido aqui, eles foram nomeados S1 e S2. Os outros campos são preenchidos automaticamente. Os usuários podem modificá-los para refinar a posição/posturas estimadas automaticamente.</li>
	<li>Use o botão Excluir para remover S2, S4 e S5. No cenário demonstrado aqui, apenas o atirador e o artilheiro assistente estão presentes no momento do disparo. NOTA: Isso foi executado para demonstrar as opções de usuário personalizadas para excluir ou adicionar modelos de membros do serviço conforme necessário a uma cena existente.</li>
</ol>5. Configurando os sensores virtuais
<ol><li>Navegue até a guia Sensores . Adicione um novo sensor virtual clicando em Adicionar sensor.</li>
	<li>Escolha um nome personalizado no campo Nome. Os desenvolvedores escolheram o V1 para demonstração neste artigo.</li>
	<li>Selecione o tipo como Virtual clicando no menu suspenso no campo Tipo de sensor.</li>
	<li>Escolha a localização do sensor a ser (-0,5, 2, 0,545) editando as caixas de texto nos campos X, Y e Z. Para o cenário discutido aqui, os desenvolvedores criaram quatro sensores diferentes em quatro locais diferentes para fins de demonstração. Os desenvolvedores escolheram V2, V3 e V4 como os nomes dos sensores adicionais.</li>
	<li>Repita as etapas de 5.1 a 5.4 para criar sensores adicionais em (-0.5, 1, 0.545), (-0.5, 0.5, 0.545) e (-0.5, 0, 0.545). Deixe o valor de Rotação como zero. NOTA: O usuário também pode escolher sensores planares durante os quais a rotação pode ser usada para ajustar a orientação do sensor em relação à carga de explosão.</li>
</ol>6. Salvando e executando o programa
<ol><li>Salve a cena de treinamento de armas clicando no botão Salvar cenário na GUI na parte superior.</li>
	<li>Execute a simulação de sobrepressão de explosão para a cena de treinamento de armas M120 clicando no botão Executar cenário na parte inferior. O progresso da simulação é mostrado usando a barra de progresso na parte inferior.</li>
</ol>7. Visualizando os resultados
<ol><li>Navegue até a guia Vista do modelo para examinar a simulação de exposição à sobrepressão de explosão.</li>
	<li>Clique no botão Atual para carregar a simulação concluída na janela de visualização.</li>
	<li>Depois que a simulação for carregada, visualize a simulação usando o botão Reproduzir na parte inferior da tela.<ol><li>O usuário pode escolher entre as diferentes opções na barra de navegação para reproduzir e pausar a simulação em diferentes velocidades. A captura de tela dos controles de reprodução abaixo mostra mais opções. O usuário pode controlar a janela interativa usando o mouse. Clique com o botão direito do mouse e arraste para girar o modo, o botão esquerdo para transladar o modelo e o botão do meio para rolar para dentro/para fora.</li>
	</ol></li>
	<li>Depois de revisar a simulação, navegue até a guia Métricas de carga de detonação clicando nela.</li>
	<li>Clique no botão Atual para carregar as plotagens de sobrepressão nos locais do sensor virtual. NOTA: Isso carregará as informações de sobrepressão nos diferentes locais do sensor em diferentes gráficos.</li>
	<li>Navegue até a série suspensa a ser exibida e selecione marcando a caixa do sensor correspondente para plotar a sobrepressão registrada nesse sensor virtual (consulte a Figura 4).</li>
</ol><img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/66575/66575fig04.jpg"> Figura 4: Controles de plotagem para sobrepressões em diferentes sensores virtuais ao longo do tempo. Os usuários podem escolher a série a ser exibida marcando ou desmarcando os diferentes sensores. <a href="https://www.jove.com/files/ftp_upload/66575/66575fig04large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>

<meta charset="utf8"></head><body>Geração de Cena Virtual para Simulações de Ondas de Choque no Treinamento de Armas Militares

<ol><li>LaValle, C. R., et al. Neurocognitive performance deficits related to immediate and acute blast overpressure exposure. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aLaValle%2C+CR+%22Front+Neurol%22">Front Neurol</a>. 10, (2019).</li>
<li>Kamimori, G. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Longitudinal+investigation+of+neurotrauma+serum+biomarkers%2C+behavioral+characterization%2C+and+brain+imaging+in+soldiers+following+repeated+low-level+blast+exposure+%28New+Zealand+Breacher+Study%29%5BTitle%5D)+AND+%22Military+Med%22%5BJournal%5D)">Longitudinal investigation of neurotrauma serum biomarkers, behavioral characterization, and brain imaging in soldiers following repeated low-level blast exposure (New Zealand Breacher Study).</a> Military Med. 183 (suppl_1), 28-33 (2018).</li>
<li>Wang, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acute+and+chronic+molecular+signatures+and+associated+symptoms+of+blast+exposure+in+military+breachers%5BTitle%5D)+AND+%22J+Neurotrauma%22%5BJournal%5D)">Acute and chronic molecular signatures and associated symptoms of blast exposure in military breachers.</a> J Neurotrauma. 37 (10), 1221-1232 (2020).</li>
<li>Gill, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Moderate+blast+exposure+results+in+increased+IL-6+and+TNF%CE%B1+in+peripheral+blood%5BTitle%5D)+AND+%22Brain+Behavior+Immunity%22%5BJournal%5D)">Moderate blast exposure results in increased IL-6 and TNFα in peripheral blood.</a> Brain Behavior Immunity. 65, 90-94 (2017).</li>
<li>Carr, W., et al. Ubiquitin carboxy-terminal hydrolase-L1 as a serum neurotrauma biomarker for exposure to occupational low-Level blast. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCarr%2C+W+%22Front+Neurol%22">Front Neurol</a>. 6, (2015).</li>
<li>Boutté, A. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-related+proteins+as+serum+biomarkers+of+acute%2C+subconcussive+blast+overpressure+exposure%3A+A+cohort+study+of+military+personnel%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Brain-related proteins as serum biomarkers of acute, subconcussive blast overpressure exposure: A cohort study of military personnel.</a> PLoS One. 14 (8), e0221036(2019).</li>
<li>Skotak, M., et al. Occupational blast wave exposure during multiday 0.50 caliber rifle course. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSkotak%2C+M+%22Front+Neurol%22">Front Neurol</a>. 10, (2019).</li>
<li>Kamimori, G. H., Reilly, L. A., LaValle, C. R., Silva, U. B. O. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Occupational+overpressure+exposure+of+breachers+and+military+personnel%5BTitle%5D)+AND+%22Shock+Waves%22%5BJournal%5D)">Occupational overpressure exposure of breachers and military personnel.</a> Shock Waves. 27 (6), 837-847 (2017).</li>
<li>Misistia, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Sensor+orientation+and+other+factors+which+increase+the+blast+overpressure+reporting+errors%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Sensor orientation and other factors which increase the blast overpressure reporting errors.</a> PLoS One. 15 (10), e0240262(2020).</li>
<li>National Defense Authorization Act for Fiscal Year 2020. Wikipedia. , https://en.wikipedia.org/w/index.php?title=National_Defense_Authorization_Act_for_Fiscal_Year_2020&oldid=1183832580 (2023).</li>
<li>Przekwas, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast-running+tools+for+personalized+monitoring+of+blast+exposure+in+military+training+and+operations%5BTitle%5D)+AND+%22Military+Med%22%5BJournal%5D)">Fast-running tools for personalized monitoring of blast exposure in military training and operations.</a> Military Med. 186 (Supplement_1), 529-536 (2021).</li>
<li>Spencer, R. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fiscal+year+2018+National+Defense+Authorization+Act%2C+Section+734%2C+Weapon+systems+line+of+inquiry%3A+Overview+and+blast+overpressure+tool-A+module+for+human+body+blast+wave+exposure+for+safer+weapons+training%5BTitle%5D)+AND+%22Military+Med%22%5BJournal%5D)">Fiscal year 2018 National Defense Authorization Act, Section 734, Weapon systems line of inquiry: Overview and blast overpressure tool-A module for human body blast wave exposure for safer weapons training.</a> Military Med. 188 (Supplement_6), 536-544 (2023).</li>
<li>Delp, S. L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((OpenSim%3A+open-source+software+to+create+and+analyze+dynamic+simulations+of+movement%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">OpenSim: open-source software to create and analyze dynamic simulations of movement.</a> IEEE Trans Biomed Eng. 54 (11), 1940-1950 (2007).</li>
<li>Zhou, X., Sun, K., Roos, P. E., Li, P., Corner, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Anthropometry+model+generation+based+on+ANSUR+II+database%5BTitle%5D)+AND+%22Int+J+Digital+Human%22%5BJournal%5D)">Anthropometry model generation based on ANSUR II database.</a> Int J Digital Human. 1 (4), 321(2016).</li>
<li>Zhou, X., Przekwas, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+fast+and+robust+whole-body+control+algorithm+for+running%5BTitle%5D)+AND+%22Int+J+Human+Factors+Modell+Simulat%22%5BJournal%5D)">A fast and robust whole-body control algorithm for running.</a> Int J Human Factors Modell Simulat. 2 (1-2), 127-148 (2011).</li>
<li>Zhou, X., Whitley, P., Przekwas, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+musculoskeletal+fatigue+model+for+prediction+of+aviator+neck+manoeuvring+loadings%5BTitle%5D)+AND+%22Int+J+Human+Factors+Modell+Simulat%22%5BJournal%5D)">A musculoskeletal fatigue model for prediction of aviator neck manoeuvring loadings.</a> Int J Human Factors Modell Simulat. 4 (3-4), 191-219 (2014).</li>
<li>Roos, P. E., Vasavada, A., Zheng, L., Zhou, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neck+musculoskeletal+model+generation+through+anthropometric+scaling%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Neck musculoskeletal model generation through anthropometric scaling.</a> PLoS One. 15 (1), e0219954(2020).</li>
<li>Garimella, H. T., Kraft, R. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+mechanics+of+axonal+fiber+tracts+using+the+embedded+finite+element+method%5BTitle%5D)+AND+%22Int+J+Numer+Method+Biomed+Eng%22%5BJournal%5D)">Modeling the mechanics of axonal fiber tracts using the embedded finite element method.</a> Int J Numer Method Biomed Eng. 33 (5), (2017).</li>
<li>Garimella, H. T., Kraft, R. H., Przekwas, A. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Do+blast+induced+skull+flexures+result+in+axonal+deformation%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Do blast induced skull flexures result in axonal deformation.</a> PLoS One. 13 (3), e0190881(2018).</li>
<li>Przekwas, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Biomechanics+of+blast+TBI+with+time-resolved+consecutive+primary%2C+secondary%2C+and+tertiary+loads%5BTitle%5D)+AND+%22Military+Med%22%5BJournal%5D)">Biomechanics of blast TBI with time-resolved consecutive primary, secondary, and tertiary loads.</a> Military Med. 184 (Suppl 1), 195-205 (2019).</li>
<li>Gharahi, H., Garimella, H. T., Chen, Z. J., Gupta, R. K., Przekwas, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mathematical+model+of+mechanobiology+of+acute+and+repeated+synaptic+injury+and+systemic+biomarker+kinetics%5BTitle%5D)+AND+%22Front+Cell+Neurosci%22%5BJournal%5D)">Mathematical model of mechanobiology of acute and repeated synaptic injury and systemic biomarker kinetics.</a> Front Cell Neurosci. 17, 1007062(2023).</li>
<li>Przekwas, A., Somayaji, M. R., Gupta, R. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Synaptic+mechanisms+of+blast-induced+brain+injury%5BTitle%5D)+AND+%22Front+Neurol%22%5BJournal%5D)">Synaptic mechanisms of blast-induced brain injury.</a> Front Neurol. 7, 2(2016).</li>
<li>Liu, Y., Wang, C., Zhou, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Camouflaged+people+detection+based+on+a+semi-supervised+search+identification+network%5BTitle%5D)+AND+%22Def+Technol%22%5BJournal%5D)">Camouflaged people detection based on a semi-supervised search identification network.</a> Def Technol. 21, 176-183 (2023).</li>
<li>Batpurev, T. Real time 3D body pose estimation using MediaPipe. , Available from: 
 <a target="_blank" href="https://temugeb.github.io/python/computer_vision/2021/09/14/bodypose3d.html">https://temugeb.github.io/python/computer_vision/2021/09/14/bodypose3d.html</a> (2021).</li>
</ol>

Durante o treinamento militar, os militares e instrutores são frequentemente expostos a explosões de baixo nível com armas pesadas e leves. Estudos recentes mostraram que a exposição à explosão pode levar à diminuição do desempenho neurocognitivo 1,2 e alterações nos biomarcadores sanguíneos 3,4,5,6. A exposição repetida a explosões de baixo nível resulta em desafios para manter o desempenho ideal e minimizar o risco de lesões 7,8. A abordagem convencional que usa sensores de pressão vestíveis tem desvantagens, principalmente quando se trata de determinar com precisão as pressões de explosão na cabeça9. Os efeitos adversos conhecidos da exposição repetida a explosões de baixo nível no desempenho humano (por exemplo, durante o treinamento e em funções operacionais) exacerbam esse problema. Os mandatos do Congresso (Seções 734 e 717) estipularam a exigência de monitoramento da exposição a explosões em treinamento e combate e sua inclusão no prontuário médico do militar10.
Sensores vestíveis podem ser usados para monitorar a sobrepressão da explosão durante essas operações de treinamento de combate. No entanto, esses sensores são influenciados por variáveis como postura corporal, orientação e distância da fonte de explosão devido à natureza complexa das interações das ondas de choque com o corpo humano9. Os seguintes fatores afetam a distribuição de pressão e as medições do sensor9:
Distância da fonte de explosão: A intensidade da pressão varia com a distância à medida que a onda de choque se dispersa e atenua. Os sensores mais próximos da explosão registram pressões mais altas, afetando a precisão e a consistência dos dados.
Postura corporal: Diferentes posturas expõem várias superfícies do corpo à explosão, alterando a distribuição da pressão. Por exemplo, ficar em pé versus agachado resulta em diferentes leituras de pressão 9,11.
Orientação: O ângulo do corpo em relação à fonte da explosão afeta a forma como a onda de pressão interage com o corpo, levando a discrepâncias nas leituras9. As simulações numéricas baseadas em física fornecem avaliações mais precisas, contabilizando sistematicamente essas variáveis, oferecendo uma análise controlada e abrangente em comparação com os sensores vestíveis, que são inerentemente influenciados por esses fatores.
Em resposta a esses desafios, tem havido um esforço conjunto para desenvolver ferramentas mais sofisticadas. Nesse sentido, é desenvolvida a ferramenta Blast Overpressure (BOP). Esta ferramenta foi desenvolvida para estimar a exposição à sobrepressão sob diferentes posturas e posições dos membros do serviço ao redor dos sistemas de armas. Existem dois módulos diferentes na ferramenta BOP11. Eles são (a) o módulo SCENE da ferramenta BOP e (b) o módulo SITE da ferramenta BOP. Esses módulos são usados para estimar a sobrepressão da explosão durante o disparo da arma12. O módulo BOP SCENE é desenvolvido para estimar as sobrepressões de explosão experimentadas por membros individuais do serviço ou instrutores que participam de um cenário de treinamento, enquanto o módulo BOP SITE reconstrói uma visão panorâmica do curso de treinamento, descrevendo as zonas de sobrepressão de explosão geradas por várias estações de disparo. A Figura 1 mostra um instantâneo de ambos os módulos. Atualmente, os módulos da ferramenta BOP compreendem características de sobrepressão de explosão de arma (termo de fonte de explosão equivalente) para quatro sistemas de armas de nível 1 definidos pelo DoD, incluindo o rifle de precisão de aplicação especial M107 .50 cal (SASR), arma de assalto montada no ombro M136, morteiro de fogo indireto M120 e cargas de violação. O termo kernel de explosão de arma refere-se a um termo de fonte de explosão equivalente desenvolvido para replicar o mesmo campo de explosão em torno de um sistema de armas que o da arma real. Uma descrição mais detalhada da estrutura computacional usada para o desenvolvimento da ferramenta BOP está disponível para referência adicional11. As simulações de sobrepressão são executadas usando o mecanismo do solucionador CoBi-Blast. Esta é uma ferramenta multifísica multiescala para simular sobrepressões de detonação. Os recursos de modelagem de explosão do motor são validados em relação a dados experimentais da literatura12. Esta ferramenta BOP está atualmente sendo integrada ao Range Managers Toolkit (RMTK) para uso em diferentes campos de treinamento de armas. O RMTK é um conjunto multisserviço de ferramentas de desktop projetado para atender às necessidades dos gerentes de alcance em todo o Exército, Corpo de Fuzileiros Navais, Força Aérea e Marinha, automatizando as operações de alcance, segurança e processos de modernização.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66575/66575fig01.jpg"> Figura 1: Interface gráfica do usuário (GUI) para o módulo SCENE da ferramenta BOP e o módulo SITE da ferramenta BOP. O módulo BOP SCENE foi projetado para estimar as sobrepressões de explosão em modelos de corpo de militares e instrutores, enquanto o módulo BOP SITE destina-se a fornecer uma estimativa dos contornos de sobrepressão em um plano que representa o campo de treinamento. O usuário tem a opção de escolher a altura em que o avião está situado em relação ao solo. <a href="https://www.jove.com/files/ftp_upload/66575/66575fig01large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Uma limitação do módulo SCENE da ferramenta BOP existente é o uso de dados estimados manualmente para a construção de modelos corporais de membros do serviço virtual, incluindo sua antropometria, postura e posição. A geração manual dos militares virtuais na postura adequada é trabalhosa e demorada11,12. A ferramenta BOP legada (abordagem legada) usa um banco de dados de posturas pré-configuradas para construir a cena de treinamento de armas com base nos dados de imagem (se disponíveis). Além disso, como as posturas são aproximadas manualmente por meio de avaliação visual, as posturas corretas podem não ser capturadas para um ambiente postural complexo. Como resultado, essa abordagem introduz imprecisões na exposição estimada à sobrepressão para membros individuais do serviço (já que uma mudança na postura pode modificar a exposição à sobrepressão em regiões mais vulneráveis). O artigo apresenta melhorias que foram feitas na estrutura computacional existente para permitir a geração rápida e automática de modelos de membros do serviço usando ferramentas de estimativa de pose de última geração existentes. Este artigo discute o aprimoramento da ferramenta BOP, enfatizando particularmente o desenvolvimento de um pipeline computacional novo e rápido para reconstruir cenas de explosão usando dados de vídeo e imagem. A ferramenta aprimorada também pode reconstruir modelos corporais detalhados de militares e instrutores no momento do disparo da arma, utilizando dados de vídeo para criar avatares personalizados em comparação com a abordagem legada. Esses avatares refletem com precisão a postura dos militares. Este trabalho agiliza o processo de geração de cenas de explosão e facilita uma inclusão mais rápida de cenas de explosão para sistemas de armas adicionais, reduzindo significativamente o tempo e o esforço necessários para a criação de cenas de treinamento de armas. A Figura 2 mostra um esquema da estrutura computacional aprimorada discutida neste artigo.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66575/66575fig02.jpg"> Figura 2: Esquema mostrando o fluxograma geral do processo na estrutura computacional. As diferentes etapas incluem processamento de dados de imagem/vídeo, geração de combatentes virtuais, reconstrução da cena da explosão e simulações de sobrepressão da explosão. <a href="https://www.jove.com/files/ftp_upload/66575/66575fig02large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
O artigo apresenta a abordagem automatizada que está sendo implementada na ferramenta BOP, o que representa uma melhoria significativa nas ferramentas computacionais disponíveis para estimar a exposição à sobrepressão durante o treinamento e as operações. Esta ferramenta se distingue por sua rápida geração de avatares personalizados e cenários de treinamento, permitindo simulações imersivas de sobrepressão de explosão. Isso marca um afastamento significativo da dependência tradicional de modelos de corpo humano com média populacional, oferecendo uma abordagem mais precisa e individualizada.
Ferramentas computacionais utilizadas no processo de automação A automação da geração de modelos de membros de serviço virtual é um processo de várias etapas que aproveita ferramentas computacionais avançadas para transformar dados brutos de imagem ou vídeo em representações 3D detalhadas. Todo o processo é automatizado, mas pode ser adaptado para permitir a entrada manual de medições conhecidas, se necessário.
Ferramentas de estimativa de pose 3D: No centro do pipeline de automação estão as ferramentas de estimativa de pose 3D. Essas ferramentas analisam os dados da imagem para identificar a posição e a orientação de cada articulação no corpo do militar, criando efetivamente um esqueleto digital. Atualmente, o pipeline dá suporte a Mediapipe e MMPose, que oferecem APIs Python. No entanto, o sistema foi projetado com flexibilidade em mente, permitindo a incorporação de outras ferramentas, como câmeras de profundidade, desde que possam produzir os dados 3D necessários sobre articulações e ossos.
Gerador de modelo antropométrico (AMG): Uma vez que a pose 3D é estimada, o AMG entra em ação. Essa ferramenta utiliza dados de pose para criar um modelo de superfície de pele 3D que corresponda às dimensões corporais exclusivas do membro do serviço. A ferramenta AMG permite a entrada automatizada ou manual de medições antropométricas, que são então vinculadas aos principais componentes dentro da ferramenta para transformar a malha do corpo 3D de acordo.
Modelagem esquelética do OpenSim: A próxima etapa envolve a plataforma OpenSim13 de código aberto, onde um modelo esquelético é ajustado para se alinhar com os dados de pose 3D. As ferramentas de estimativa de pose não impõem comprimentos ósseos consistentes no esqueleto, o que pode levar a uma assimetria irreal no corpo. O uso de um esqueleto OpenSim anatomicamente correto produz uma estrutura óssea mais realista. Os marcadores são colocados no esqueleto do OpenSim para corresponder aos centros de articulação identificados pela ferramenta de estimativa de pose. Este modelo esquelético é então manipulado para a malha de pele 3D usando técnicas de animação padrão.
Cinemática inversa e scripts Python: Para finalizar a pose do membro do serviço virtual, um algoritmo de cinemática inversa é empregado. Esse algoritmo ajusta o modelo de esqueleto do OpenSim para melhor corresponder à pose 3D estimada. Todo o pipeline de poses é totalmente automatizado e implementado no Python 3. Por meio da integração dessas ferramentas, o processo de geração de modelos de membros do serviço virtual foi significativamente acelerado, reduzindo o tempo necessário de dias para segundos ou minutos. Esse avanço representa um salto na simulação e análise de cenários de treinamento de armas, fornecendo reconstruções rápidas de cenários específicos documentados usando imagens ou vídeo.

<table><tbody><tr><td>Gerador de Modelo Antropométrico (AMG)</td><td>CFD Research</td><td>N/A</td><td>Para gerar modelos 3D do corpo humano com diferentes características antropométricas. A ferramenta é DoD Open Source.</td></tr><tr><td>Pesquisa CFD</td> <td>da ferramenta BOP</td><td>N/A</td><td>Para configurar cenas de detonação e simulações de sobrepressão. A ferramenta é de código aberto do DoD.</td></tr><tr><td>Módulo BOP Tool SCENE</td><td>CFD Research</td><td>N/A</td><td>Para configurar cenas de detonação e simulações de sobrepressão. A ferramenta é de código aberto do DoD.</td></tr><tr><td>Mediapipe</td><td>Google</td><td>Versão 0.9</td><td>Biblioteca de estimativa de pose de código aberto.</td></tr><tr><td>MMPose</td><td>OpenMMLab</td><td>Versão 1.2</td><td>Biblioteca de estimativa de pose de código aberto.</td></tr><tr><td>OpenSim</td><td>Stanford University</td><td>Versão 4.4</td><td>Plataforma de modelagem e simulação musculoesquelética de código aberto.</td></tr><tr><td>Python 3</td><td>Anaconda Inc</td><td>Versão 3.8</td><td>A Edição Individual de código aberto contendo Python 3.8 e pacotes pré-instalados para realizar processamento de vídeo e conectar as ferramentas de estimativa de pose.</td></tr></tbody></table>

geração de avatares de combatentes a partir de imagens de cenas de treinamento de armas para simulações de exposição a explosões

Generation of Warfighter Avatars from Weapon Training Scene Images for Blast Exposure Simulations

Reconstrução automatizada de membros do serviço virtual e cenas de explosão O modelo de corpo de membro de serviço virtual automatizado e a geração de modelo de cena de treinamento de armas foram alcançados por meio dos recursos de automação da ferramenta BOP. A Figura 5 mostra a cena de treinamento virtual gerada a partir dos dados da imagem. Como pode ser observado aqui, a cena resultante foi uma boa representação dos dados da imagem. A imagem usada para demonstração na Figura 5 foi obtida do Wikimedia Commons.
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/66575/66575fig05.jpg"> Figura 5: Cena de treinamento de arma virtual a partir dos dados da imagem. A imagem do lado esquerdo mostra os dados da imagem correspondentes ao disparo de uma arma AT4, e o lado direito mostra a cena virtual de treinamento de armas gerada automaticamente. Este número foi obtido do Wikimedia Commons. <a href="https://www.jove.com/files/ftp_upload/66575/66575fig05large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Além disso, a abordagem foi aplicada para reconstruir a cena de disparo da arma M120. A imagem foi coletada pela WRAIR como parte de um esforço de coleta de dados de pressão para a arma de morteiro M120. A Figura 6 abaixo ilustra a cena de disparo de arma virtual reconstruída ao lado da imagem original. Foi observada uma discrepância na posição do artilheiro assistente na reconstrução virtual. Isso pode ser corrigido ajustando a posição do artilheiro assistente usando as opções do usuário da GUI do BOP. Além disso, a postura pélvica do instrutor parecia imprecisa, provavelmente devido à obstrução das estacas nas imagens. A integração dessa abordagem com outras modalidades de imagem de profundidade seria benéfica para lidar com essas discrepâncias.
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/66575/66575fig06.jpg"> Figura 6: Cena de treinamento de arma virtual a partir dos dados da imagem. A imagem do lado esquerdo mostra os dados da imagem correspondentes ao disparo de uma arma M120 e o lado direito mostra a cena virtual de treinamento de armas gerada automaticamente. <a href="https://www.jove.com/files/ftp_upload/66575/66575fig06large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Validação da abordagem de geração de cena automatizada O gerador de modelos de corpo humano empregado neste estudo foi validado usando o banco de dados de varredura do corpo humano ANSUR II14, que incluiu medidas antropométricas de dados de imagens médicas. Um método de reconstrução automatizado, que utilizou este gerador de modelo de corpo humano, passou por validação qualitativa com os dados disponíveis. Esse processo de validação envolveu a comparação dos modelos reconstruídos com dados experimentais (imagens) por meio da sobreposição deles. A Figura 7 apresenta uma comparação entre os modelos de avatar 3D e os dados experimentais. No entanto, é necessária uma validação mais completa desse método, o que exigiria dados experimentais adicionais da cena, incluindo posições, posturas e orientações precisas dos diferentes membros do serviço envolvidos em uma cena de treinamento.
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/66575/66575fig07.jpg"> Figura 7: Comparação qualitativa do modelo de corpo humano virtual gerado com a imagem. O painel esquerdo mostra a imagem original, o painel do meio mostra o modelo de corpo virtual gerado e o painel direito mostra o modelo virtual sobreposto na imagem original. <a href="https://www.jove.com/files/ftp_upload/66575/66575fig07large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Simulações representativas de sobrepressão de explosão Depois de configurar a cena da explosão, os autores foram capazes de prosseguir para a fase crítica da execução de simulações de sobrepressão de explosão (BOP). Isso nos permitirá entender a distribuição das cargas de explosão em diferentes membros do serviço envolvidos em uma cena de disparo de armas. A Figura 8 apresenta os resultados dessas simulações BOP durante o evento de disparo da arma AT4. As simulações fornecem uma visualização detalhada das cargas de sobrepressão no militar virtual na cena em diferentes instantes ao longo do tempo. Em conclusão, os resultados demonstram não apenas a viabilidade, mas também a eficácia do protocolo na criação de reconstruções precisas e analiticamente úteis de cenários de treinamento de armas, abrindo caminho para estudos mais avançados em segurança e eficiência do treinamento militar.
<img alt="Figure 8" class="xfigimg" src="/files/ftp_upload/66575/66575fig08.jpg"> Figura 8: Exposição à sobrepressão da explosão no atirador. (A, B, C e D) Os quatro painéis mostram o modelo previu a sobrepressão da explosão nos membros do serviço virtual envolvidos no disparo de morteiros M120 em diferentes instantes de tempo. Os painéis (C) e (D) mostram a propagação da sobrepressão devido à reflexão do solo. <a href="https://www.jove.com/files/ftp_upload/66575/66575fig08large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>

Geração de avatares de combatentes a partir de imagens de cenas de treinamento de armas para simulações de exposição a explosões

Military personnel involved in weapon training are subjected to repeated low-level blasts. The prevailing method of estimating blast loads involves ...

generation-warfighter-avatars-from-weapon-training-scene-images-for

Research

JoVE Journal

Engineering

Engenharia

Esta aplicado paradigma experimental replica circunstâncias pelas quais uma testemunha ocular de um crime real pode criar um retrato falado holística do culpado de memória, e depois tentam identificar o culpado de um vídeo line-up contendo o culpado ou um em que ele ou ela é não presente.

Holística Criação retrato falado e subsequente Line-up Vídeo Eyewitness Identificação Paradigm

Aqui, descrevemos virtual mão e paradigmas ilusão virtual-face que podem ser usadas para estudar relacionados com o organismo de auto-percepção / -Representação. Eles já têm sido utilizados em vários estudos para demonstrar que, sob condições específicas, uma mão virtual ou cara pode ser incorporada uma representação do corpo, o que sugere que as representações do corpo são bastante flexível.

Criando ilusões de mãos e rostos virtuais para investigar a autorrepresentação

Compreensão de como as células são moduladas pela exposição a ondas de choque pode ajudar a identificar os mecanismos subjacentes lesões acionados por eventos de explosão. Este protocolo usa equipamento de tubo de choque custom-built para aplicar as ondas de choque em uma gama de pressões de monocamadas de células e identificar os efeitos subsequentes na viabilidade celular.

Avaliar impacto efeitos In Vitro

Apresentamos aqui um protocolo de um modelo de onda de explosão para roedores para investigar efeitos neurobiológicos e fisiodicos de lesão cerebral traumática leve a moderada. Estabelecemos uma configuração de banco-topo, movida a gás, equipada com sensores de pressão, permitindo uma geração confiável e reprodutível de lesão cerebral traumática leve a moderada induzida por explosão.

Modelo de onda de explosão de baixa intensidade para avaliação pré-clínica de lesão cerebral traumática leve de cabeça fechada em roedores

Este artigo detalha a metodologia para emular a produção de força muscular in vivo durante experimentos de loop de trabalho ex vivo usando um músculo "avatar" de um roedor de laboratório para avaliar as contribuições dos transientes de tensão e ativação para a resposta da força muscular.

"Avatar", um experimento de loop de trabalho ex vivo modificado usando tensão e ativação in vivo

Aqui são apresentados métodos para produzir exposições repetidas a explosões de baixa intensidade usando camundongos.

Modelagem de exposição a explosões de baixo nível altamente repetitiva em camundongos

As imagens motoras em um ambiente de realidade virtual têm amplas aplicações em sistemas de interface cérebro-computador. Este manuscrito descreve o uso de avatares digitais personalizados que se assemelham aos participantes realizando movimentos imaginados pelo participante em um ambiente de realidade virtual para aumentar a imersão e o senso de propriedade do corpo.

Desempenho de imagens motoras por meio de gêmeos digitais incorporados em um ambiente de interface cérebro-computador habilitado para realidade virtual

Este artigo apresenta um sistema para reconstrução 3D fotorrealista usando imagens de 360 graus, Gaussian Splatting e integração de realidade virtual. A abordagem pode ser aplicada a diferentes aplicações, como educação, simulação de ambientes de aprendizagem; construção, para simular obras fora do local e recuperar métricas; ou saúde, para treinar pessoas autistas em tarefas da vida diária.

Paisagens aprendidas fotorrealistas para realidade aumentada

Um método generalizado, compatível com FAIR, é apresentado para pesquisadores especialistas em domínio que buscam integrar ferramentas de simulação e processamento de dados em fluxos de trabalho automatizados para experimentos virtuais 3D. Um exemplo de neutrônica demonstra como configurar uma instância Galaxy local, envolver OpenMC e ferramentas de conversão de arquivos, iniciar fluxos de trabalho a partir do Omniverse e visualizar as saídas 3D convertidas.

Integrando Fluxos de Trabalho Automatizados de Simulação com Visualização 3D para Experimentos Virtuais no Metaverso

In-situ Tapering de fibra chalcogenide para Geração supercontinuum infravermelho médio

Aprenda a gerar avatares de combatentes virtuais a partir de imagens de treinamento militar usando aprendizado de máquina para estimação de pose 3D. Esta ferramenta computacional prediz exposição a explosões e avalia riscos de lesão em tempo real.

Geração de avatares de combatentes a partir de imagens de cenas de treinamento de armas para simulações de exposição a explosões (Vídeo) | JoVE Journal

Geração de avatares de combatentes a partir de imagens de cenas de treinamento de armas para simulações de exposição a explosões

Explorar mais vídeos