Pesquisa sobre Avaliação Visual de Habilidades de Engenharia em Aplicações de Saúde Baseada em Modelagem 3D Assistida por Inteligência Artificial

Resumo

Esta pesquisa apresenta uma metodologia multimodal impulsionada por IA para medir objetivamente habilidades de engenharia em modelagem 3D médica, incorporando marcadores geométricos, comportamentais e cognitivos. A fusão bayesiana com análises visuais em tempo real permite uma avaliação precisa de habilidades que foi validada em uma ampla variedade de tarefas e níveis de habilidade dos participantes.

Resumo

A modelagem 3D assistida por inteligência artificial (IA) tornou-se central para a saúde moderna, mas o campo ainda carece de uma forma repetível e escalável de avaliar a competência de engenharia para modelos digitais usados clinicamente. Verificações de qualidade existentes tendem a focar nas saídas finais da malha sem considerar o fluxo de trabalho de modelagem, o comportamento do operador e as interações com a assistência da IA. Essa lacuna limita a reprodutibilidade, o treinamento eficaz e limita a conformidade regulatória. Este trabalho propõe a primeira estrutura de análise visual de ponta a ponta, projetada para medir e comunicar habilidades de engenharia durante tarefas de modelagem 3D centradas em saúde. O arcabouço proposto define um construto específico de habilidade por domínio, que vai da precisão geométrica à proficiência operacional e adaptabilidade cognitiva, e quantifica essas dimensões por meio de um conjunto de indicadores comportamentais, geométricos e fisiológicos interpretáveis. Ele integra, dentro de uma arquitetura de quatro camadas, a captura de dados multimodais, extração de características em tempo real por meio de modelos leves de aprendizado profundo, fusão bayesiana de evidências para estimativa contínua de competências e módulos de feedback visual intuitivo. O sistema mantém a calibração para novas ferramentas e cenários de modelagem por meio de um mecanismo online de aprendizado ativo que minimiza as necessidades de anotação de especialistas. A estrutura foi testada com 60 participantes realizando duas tarefas de modelagem clinicamente realistas relacionadas ao design de implantes ortopédicos e reconstrução vascular. Os resultados mostraram forte concordância com avaliações de especialistas, discriminação clara entre níveis de habilidade e previsão significativa da qualidade futura da modelagem. Python foi usado para tarefas de correlação, regressão, testes de validade e visualização, respectivamente. Testes de usabilidade indicaram alta aceitação; Os participantes valorizaram muito a clareza do feedback visual que apoiava a melhoria autodirigida. Em última análise, esse quadro proposto remodela a avaliação de modelagem 3D de um resultado estático em seção para uma revisão dinâmica e centrada no processo, sustentada por evidências multimodais. O resultado é uma solução pragmática, interpretável e escalável para treinamento, certificação e supervisão regulatória de fluxos de trabalho críticos de modelagem 3D para a saúde, e a base para futuras colaborações humano-IA e análises de competências no design médico.

Introdução

A rápida adoção no mercado da modelagem 3D impulsionada por IA na saúde está mudando a forma como implantes, guias e reconstruções anatômicas são criados, mas o campo ainda não possui um método confiável para avaliar a habilidade de engenharia por trás desses modelos. A prática dominante hoje depende fortemente das inspeções do produto final, que, embora úteis para descobrir erros geométricos, não valorizam o fluxo de trabalho de modelagem, a interação usuário-IA ou a tomada de decisões momento a momento envolvidas em sua criação. Consequentemente, as equipes clínicas frequentemente não conseguem determinar se um modelo foi produzido por meio de processos competentes e repetíveis ou por tentativa e erro^{afortunado 1}. Essa lacuna está se mostrando cada vez mais importante. Hospitais, reguladores e programas de impressão 3D agora exigem evidências de qualidade consistente de todo o fluxo de trabalho, não apenas uma malha final correta, pois erros de modelagem podem afetar a segurança cirúrgica, o ajuste do dispositivo e a rastreabilidade na fabricação. Não existe um método atual para capturar (ou calcular) habilidades de modelagem de forma integrada, sistemática e escalável que inclua os aspectos comportamentais, cognitivos e procedurais da habilidade de modelagem. Essa é a principal motivação para o presente artigo², mas nenhuma definição operacional de "competência em fluxo de trabalho" para modelagem centrada em anatomia e aumentada por IA^{foi oferecida 3}. Essa lacuna entre a expectativa regulatória e a prática diária é a primeira motivação para o trabalho atual. Uma segunda motivação é pedagógica. Startups de tecnologia em saúde e hospitais universitários treinam os novatos combinando-os com modeladores seniores por 6 a 18 meses. A abordagem é eficaz, mas não escala: a base instalada global de vagas de CAD médico habilitado por IA cresceu 340% entre 2020 e 2024, enquanto o grupo de mentores qualificados permaneceu^{estável em 4}. Um sistema de análise visual que possa observar, diagnosticar e orientar em tempo real desvincularia o rendimento de treinamento da disponibilidade do mentor e encurtaria a curva de aprendizado para entrantes não tradicionais, como radiologistas ou enfermeiros, que cada vez mais realizam segmentação front-end.

Terceiro, há um argumento cognitivo-científico. Modelagem médica é uma variante de alto risco da resolução visual de problemas que combina raciocínio espacial, conhecimento anatômico e destreza em software. Entender como esses recursos são orquestrados, quando quebram e quando são terceirizados para a IA requer captura, momento a momento, dos sinais de olhos, mãos e fisiológicos. O mesmo fluxo de dados que elucida a expertise humana também pode ser usado para avaliá-la, criando um ciclo virtuoso entre pesquisa e aplicação. Apesar da rica literatura sobre (i) avaliação procedural de habilidades em cirurgia e (ii) métricas de qualidade geométrica para malhas CAD⁵, a interseção da avaliação bivisual, da habilidade de engenharia em modelagem 3D centrada na saúde e assistida por IA permanece pouco explorada. Especificamente, as rubricas de avaliação existentes carecem de uma estrutura de habilidade específica para domínio e, portanto, tratam características anatomicamente críticas, como ângulos de bifurcação vascular, da mesma forma que características mecânicas genéricas, como buracos de parafusos. Restrições informadas pela anatomia, como porosidade do preenchimento trabecular ou limites de curvatura de osteotomia, estão ausentes das funções de pontuação. Quanto à detecção fragmentada, estudos de captura de processos em CAD, simulação cirúrgica ou jogos em VR raramente sincronizam cinemática, olhar, fisiologia e voz em resolução abaixo do^{segundo 6}. Consequentemente, a validação cruzada é impossível, e o valor incremental de cada canal permanece desconhecido⁷. Quanto à pontuação estática, as ferramentas atuais normalmente produzem um rótulo binário de aprovação/reprovação após a sessão. Eles carecem de um método fundamentado para expressar incerteza ou atualizar crenças sobre a competência do aprendiz à medida que novas evidências surgem — um requisito crítico para os protocolos de certificação^{bayesiano 8}. Por fim, sobre a descontinuidade do feedback, mesmo quando dados ricos são coletados, eles frequentemente são armazenados para revisão pós-hoc ou exibidos como curvas brutas. Uma camada visual alinhada à teoria e específica para o papel que mapeia sinais de baixo nível para aconselhamento acionável em tempo real atualmente^{não existe 9,10}. Essas quatro limitações se traduzem em dor prática: 30% dos guias anatômicos impressos em 3D ainda exigem retrabalho manual, e a FDA faz recall de 2 a 3 lotes específicos de implantes por trimestre porque o engenheiro originário interpretou errado uma anotação^{de tolerância 11}. Portanto, é necessário um framework de ponta a ponta que feche o ciclo da detecção multimodal para o feedback interpretável.

A modelagem 3D médica difere do CAD industrial em três maneiras que afetam diretamente a avaliação de habilidades: geometria anatômica não paramétrica, tolerância a erro próxima de zero e rastreabilidade regulatória^{é obrigatória 12}. O paradigma dominante de avaliação ainda é a revisão somativa de especialistas do arquivo final de malha poligonal ou STL. Rubricas típicas inspecionam desvios geométricos do modelo padrão-ouro, variedade topológica e a presença de marcos especificados pelo médico. Como a inspeção é manual, o κ de Cohen entre avaliadores raramente excede 0,65¹³. Plataformas comerciais como Mimics Innovation Suite e 3D Slicer fornecem flags de aprovação/reprovação para qualidade da malha, mas as flags são determinísticas (proporção de aspecto triangular, faces que se cruzam) e ignoram a trajetória real de^{modelagem 14}. A visualização 3D impulsionada por IA aprimora a compreensão anatômica, mas o uso eficaz depende fortemente da habilidade de modelagem do operador. Embora o VDR forneça imagens volumétricas precisas, não existe um método estruturado para avaliar como os usuários interpretam, refinam ou manipulam esses modelos. Este estudo aborda essa lacuna avaliando a competência em modelagem 3D assistida por IA¹⁵. Os autores registram eventos de rolagem e invocação de ferramentas junto com coordenadas de cursor 3D a 30 Hz. Eles utilizam um autocodificador de memória de curto prazo longo (LSTM) para detectar "caminhos de ferramenta ineficientes" em CAD mecânico, alcançando uma pontuação F1 de 0,81 contra rótulos humanos. Expandindo a análise para a atenção visual, o conjunto de dados^{TAP-3D 16} contém dados de olhar de 120 engenheiros realizando exercícios de Solid Works. Sequências fixação-sacada são codificadas como vetores word2vec 128-D; O agrupamento revela cinco estratégias visuais distintas com correlação significativa com o tempo de modelagem (r = 0,73). Além das métricas de interação do usuário, Mandal, A. e Ghosh, A. ^R.17 estimam atributos mecânicos de andaimes complexos de engenharia de tecidos usando CNNs 3D treinadas para topografias digitais 3D derivadas de modelos^{CAD 17}. A abordagem prevê com precisão o comportamento dos andaimes e oferece uma rota de design mais rápida e auxiliada por IA para estruturas porosas e metamateriais. No entanto, a taxa de reprodutibilidade dessa previsão é influenciada pela diversidade do conjunto de dados, especialmente com geometrias altamente irregulares ou defeitos de fabricação.

Trabalhos recentes de Schönfeldt, N., Hancock, P. e Birt, J.¹⁸ estendeu a captura de dados para incluir protocolos de voz e de pensamento em voz alta, especificamente transcrevendo comentários verbais em embeddings BERT 200-D para correlacioná-los com o sucesso da depuração em tarefas de software¹⁸. Embora modeladores médicos falem menos do que programadores, gravações piloto em nosso laboratório mostram que afirmações como "esta crista parece barulhenta" coincidem com 40% dos eventos de desfazer subsequentes, sugerindo valor preditivo. Esses estudos demonstram que dados procedurais podem ser capturados de forma discreta e que modelos de aprendizado de máquina podem mapear os dados para construtos de desempenho. Nenhum deles, no entanto, mira modelagem 3D específica para saúde, onde variabilidade anatómica e assistência da IA adicionam camadas extras de complexidade. A análise visual tem sido amplamente adotada para o feedback formativo em simulação cirúrgica e treinamento robótico. O sistema MiEye¹⁹ sobrepõe mapas de calor de erro codificados por cores em vídeos laparoscópicos gravados; Os trainees melhoram 26% mais rápido do que com feedback binário. Para a educação em CAD, Chou, Y. H. et al.²⁰ Propõe um gráfico de radar que compare índices de alunos (contagem de características, tempo de reconstrução, erros de reconstrução) com percentis de turma; Alunos com acesso ao gráfico apresentam um aumento de 0,35 de desvio padrão nas notas pós-prova. A visualização em tempo real ainda é pouco explorada. Kim, I.-J. e Quteineh, S. S.²¹ renderizar dados cinemáticos ao vivo como fitas translúcidas em VR, mas sua métrica é puramente erro posicional; A carga cognitiva não é tratada. Até onde sabemos, nenhuma estrutura existente combina fluxos geométricos, comportamentais e fisiológicos em uma única camada de feedback visual em tempo real, interpretável, voltada para modelagem médica 3D assistida por IA. A revisão revela quatro deficiências específicas que esta pesquisa busca abordar: Falta de um construto de habilidades específico para saúde: As rubricas atuais tratam a modelagem médica como CAD genérica; Eles ignoram restrições informadas pela anatomia, como preenchimento ósseo poroso ou ângulos de bifurcação vascular. Sensoriamento fragmentado: Estudos geralmente exploram uma única modalidade (cinemática, olhar ou fisiologia). A sincronização multimodal no nível sub-segundo raramente é tentada, e a validação entre modales está ausente. Atualização bayesiana ou acompanhamento de confiança online não foi aplicado à habilidade de modelagem; portanto, os avaliadores não podem expressar incerteza nem incorporar novas evidências à medida que a tarefa se desenrola. Descontinuidade de feedback: Mesmo quando dados ricos são coletados, eles são armazenados para revisão pós-hoc ou exibidos como curvas brutas. Não existe uma camada visual baseada em princípios que mapeie sinais de baixo nível para feedback acionável e alinhado à teoria em tempo real. Essas lacunas justificam o desenvolvimento de uma estrutura de ponta a ponta que (i) define um construto de habilidade multidimensional fundamentado nos requisitos de aplicação em saúde, (ii) funde dados processuais heterogêneos por meio de inferência bayesiana calibrada, e (iii) transforma o estado de crença em evolução via visualizações interativas e específicas para cada função. Na prática, o framework proposto oferece aos hospitais uma ferramenta de monitoramento em tempo real para modelagem da qualidade, reduz a dependência de longos ciclos de revisão especializada e possibilita o uso clínico mais seguro de dispositivos específicos para cada paciente. Os centros de treinamento poderiam usar a estrutura para fornecer feedback estruturado e orientado por dados que facilite o desenvolvimento do aprendiz e apoie o estabelecimento de parâmetros padronizados de competência entre as coortes. Para os reguladores, o framework proposto oferece um mecanismo auditável e transparente para documentar a competência em fluxos de trabalho, alinhando-se aos requisitos emergentes para a validação contínua dos processos de impressão 3D médica. Com base nessas motivações, este estudo projeta e valida uma estrutura de análise visual que quantifica a habilidade de engenharia em modelagem 3D centrada em saúde e assistida por IA. Especificamente, o arcabouço visa definir um construto de habilidade multidimensional fundamentado no preenchimento ósseo poroso, ângulos vasculares e outras tolerâncias relacionadas à anatomia; para sincronizar o olhar, o movimento da mão, sinais fisiológicos e dados de interação com IA em resolução sub-segundo; fundir esses fluxos de dados heterogêneos por meio de atualização bayesiana para gerar uma crença evolutiva de competência com confiança explícita; transmitir essa crença por meio de mapas de radar em tempo real, mapas de calor e anotações 3D para fins imediatos de treinamento ou certificação; e manter uma precisão de avaliação de pelo menos 90% via calibração de aprendizagem ativa que se adapta a novas impressoras, modelos de IA ou regras clínicas sem exigir retreinamento completo.

O presente estudo aborda duas questões centrais: se a fusão multimodal de dados melhora a precisão da avaliação de habilidades em relação à avaliação de especialistas, e se a atualização bayesiana permite manter a precisão da avaliação sem exigir retreinamento completo do modelo.

Protocolo

Este estudo envolveu participantes humanos e foi revisado e aprovado pelo Comitê de Ética para a Proteção da Pesquisa Humana, Faculdade de Economia e Humanidades de Xianda, Universidade de Estudos Internacionais de Xangai (Aprovação nº 2025XD1221). Todos os participantes assinaram formulários de consentimento informado e completaram um treinamento pré-experimento de 30 minutos: os participantes do EG aprenderam a interpretar o feedback visual do framework (cartas de radar, mapas de calor), enquanto os participantes do CG receberam apenas treinamento de operação de plataforma. Para garantir precisão na coleta de dados, o pré-experimento também envolveu a calibração de 5 minutos dos rastreadores oculares e sensores fisiológicos.

Objetivos do estudo e visão geral do protocolo

O objetivo deste estudo foi criar um sistema de circuito fechado, de ponta a ponta, que integre aquisição multimodal, extração de características, fusão bayesiana e feedback visual para avaliar habilidades de engenharia de maneira interpretável. A Figura 1 exibe o diagrama de protocolo para a avaliação de habilidades de engenharia em aplicações de saúde com base em modelagem 3D assistida por inteligência artificial.

Visão geral do framework e lógica hierárquica

A estrutura de avaliação visual para habilidades de engenharia em aplicações de modelagem 3D assistida por IA em saúde proposta neste estudo é construída com base na lógica de laço fechado de "orientado por dados - extração de características - fusão de evidências - feedback visual". Seu objetivo central é alcançar a conversão de ponta a ponta de dados brutos multimodais para resultados interpretáveis de avaliação^{de habilidades 22}. Para garantir a extração confiável de características multimodais para avaliação de habilidades de engenharia, a estrutura captura simultaneamente sinais de interação, fisiologia, olhar, gesto e voz com sincronização temporal em milissegundos. A estrutura adota um design de arquitetura hierárquica, consistindo em quatro camadas principais: Camada Multimodal de Aquisição de Dados (L1), Camada de Extração de Características de IA (L2), Motor de Fusão de Evidências e Pontuação (L3) e Camada de Realimentação Visual (L4). Cada camada realiza interação bidirecional por meio de interfaces de dados padronizadas, e um módulo de calibração de estrutura (L5) é introduzido simultaneamente para garantir a validade dinâmica dos resultados da avaliação. A Figura 2 mostra o pipeline de ponta a ponta, começando com a aquisição de dados multimodais (olhar, cinemática, fisiologia, voz) por meio da extração de características baseada em IA, pontuação bayesiana e feedback visual e audiovisual em tempo real. As camadas são interativas, com a Camada 5 fornecendo calibração contínua. Essa arquitetura permite processamento coordenado e avaliação validada de habilidades para os participantes enquanto realizam tarefas de modelagem 3D ao vivo.

Equação (1) Fórmula de Atualização de Confiança Bayesiana:

Onde: P(θ) representa a probabilidade prévia do nível de habilidade θ (baseado em dados históricos de avaliação); P(D∥θ) denota a probabilidade de verosimilhança de observar dados de características multimodais D sob o nível de habilidade θ; P(D) é a probabilidade marginal; P(D∥θ) é a probabilidade posterior do nível de habilidade θ após a fusão dos dados D, ou seja, a pontuação final de confiança. Essa estrutura utilizava uma abordagem estruturada de Delphi e^{AHP 23} para ponderar indicadores. Um painel de dez especialistas no assunto (cirurgiões ortopédicos, engenheiros biomédicos e modeladores CAD médicos experientes) participou de três rodadas de Delphi avaliando a importância de um indicador em uma escala Likert de 9 pontos até que a pontuação dos especialistas atingisse estabilidade (coeficiente de variação <0,15)²⁴. Depois, usando as pontuações convergentes/distribuídas dos especialistas, uma matriz de comparação par a par foi construída e confirmada usando o critério de consistência do AHP com uma razão de consistência (CR) < 0,1. Se o CR excedesse 0,1, a matriz era reajustada. As razões de consistência dos métodos AHP para as matrizes de comparação par a par estavam entre 0,03 e 0,08, indicando grande consistência lógica interna em toda a abordagem hierárquica multinível. O projeto de cada camada na estrutura segue o princípio de "modularização - extensibilidade". Por exemplo, a Camada L1 pode expandir a dimensão de coleta de dados fisiológicos adicionando biosensores; A camada L2 pode se adaptar aos requisitos de avaliação de habilidades de diferentes aplicações de saúde substituindo modelos pré-treinados; A Camada L4 suporta dimensões de visualização personalizadas baseadas em papéis do usuário. Isso oferece flexibilidade para aplicações subsequentes em modelagem 3D médica, educação e cenários de certificação profissional de habilidades.

Camada de aquisição de dados multimodal

Fluxo de eventos de interação 3D

Este módulo coleta dados operacionais dos engenheiros de plataformas de modelagem 3D assistidas por IA por meio de plug-ins de software (16), cobrindo tanto eventos de operação discreta quanto dados contínuos de parâmetros. Eventos discretos incluem seleção de modelo, ajuste de vértices e invocação de ferramentas de IA, enquanto parâmetros contínuos envolvem velocidade de modelagem, contagem de desfazer/refazer e taxas de aceitação de sugestões por IA. Cada evento é registrado com um carimbo de 13 dígitos e valores correspondentes do sistema de coordenadas do modelo 3D (x, y, z). Por exemplo, ao ajustar a curvatura de um modelo ortopédico de implante, o plug-in registra os horários de início e término da operação, coordenadas de vértice ajustadas e variações de curvatura, formando assim um log de eventos estruturado (veja da Tabela 1 à Tabela 3 para campos de dados). Esses dados são posteriormente processados usando algoritmos personalizados para calcular indicadores geométricos, de eficiência e cognitivos específicos de domínio, permitindo caracterização detalhada dos comportamentos de modelagem em aplicações relacionadas à saúde.

Movimentos oculares e sinais de gesto

Os dados de movimento ocular são adquiridos usando um rastreador ocular de mesa, focando em pontos de fixação e parâmetros de sacada na interface de modelagem 3D, que refletem a distribuição cognitiva da atenção do engenheiro.

Os sinais de gesto são capturados por uma câmera de profundidade, que extrai 22 coordenadas-chave das articulações dos membros superiores para identificar gestos típicos^{de modelagem 25}. A câmera converte dados de coordenadas gestuais 3D em sequências vetoriais normalizadas para mitigar diferenças individuais de tamanho corporal.

A sincronização de dados para este módulo depende do disparo unificado de hardware do framework (carimbo de tempo de 10 Hz do software de modelagem 3D), com erro de sincronização controlado em ±50 ms ( calculado via Equação 3-2) para garantir correlação temporal entre comportamentos olhos/gestos e operações ^{de modelagem 26}. A Equação (2) apresenta o Cálculo de Erro de Sincronização de Dados:

(2)

Onde: E_t = erro de sincronização entre o tempo de aquisição do dispositivo (t_dispositivo) e o carimbo de tempo do software (t_software); _Dispositivo T = Tempo real de aquisição do rastreador ocular/câmera de profundidade; _{T Software} = Carimbo de data do gatilho de um software de modelagem 3D.

Dados fisiológicos e de voz

Os dados fisiológicos são coletados por meio de sensores vestíveis: um sensor de eletromiografia (EMG) (frequência de amostragem de 1000 Hz) ²⁷, acoplado ao antebraço do engenheiro para registrar a tensão muscular durante operações finas, refletindo a estabilidade operacional. Sensor de eletrocardiografia (ECG) (frequência de amostragem de 250 Hz)²⁸: É usado no tórax para coletar indicadores de variabilidade da frequência cardíaca (VFC), que caracterizam a carga cognitiva. Os dados de voz são capturados por um microfone direcional (frequência de amostragem de 44,1 kHz^), comentários verbais dos engenheiros de gravação durante a modelagem para complementar a análise do estado cognitivo. Todos os dados fisiológicos e de voz passam por pré-processamento antes de serem armazenados no banco de dados multimodal com carimbo de data. A Figura 3 ilustra a configuração física experimental do hardware. Os dados dos sensores dos wearables EMG/ECG, do microfone, do eye tracker e de uma câmera de profundidade estão todos conectados a uma estação de trabalho de modelagem 3D. Antes que os dados temporais sejam salvos em um banco de dados multimodal, um módulo de sincronização ajusta todos os fluxos (dentro de uma margem de ±50 ms). Essa especificação de material significa entrada confiável e temporariamente alinhada na pipeline de extração e pontuação de características.

Camada de extração de características de IA

Indicadores geométricos de qualidade

Este módulo extrai características quantitativas que refletem a precisão e racionalidade dos modelos 3D do fluxo de eventos de interação 3D e do resultado final do modelo, servindo como base central para avaliar as habilidades de "precisão de modelagem" dos engenheiros. Para avaliar a precisão estrutural, a congruência anatômica e a completude do modelo 3D usando desvio, topologia e métricas de características baseadas em templates, três indicadores-chave são projetados, com métodos de cálculo e significados físicos detalhados abaixo:

Taxa de desvio do modelo (MDR)

Isso mede o desvio geométrico entre o resultado modelado pelo engenheiro e o modelo padrão. O desvio é calculado comparando a distância euclidiana dos principais pontos de característica entre os dois modelos. A fórmula é mostrada na Equação (3):

(3)

Onde: n = número de pontos de característica pré-definidos (definidos para 50-100 com base na complexidade do modelo); P_i,engineer = coordenadas 3D do i-ésimo ponto de característica no modelo do engenheiro; P_i,padrão = coordenadas 3D do i-ésimo ponto de característica no modelo padrão; |⋅| = operador de distância euclidiana.

Um MDR mais baixo indica maior consistência com o modelo padrão, com um limiar de ≤ 5% para modelos qualificados de aplicação em saúde. As competências de modelagem foram avaliadas com base na eficiência do tempo, movimentos redundantes, estabilidade dos gestos e padrões de uso das ferramentas de IA propostas durante cenários operacionais 3D em tempo real.

Consistência topológica (TC)

Isso avalia se a estrutura topológica do modelo 3D atende aos requisitos de aplicação médica. O indicador é calculado contando o número de defeitos topológicos (D) e o número total de elementos topológicos (T, soma de vértices, arestas e faces) no modelo, conforme mostrado na Equação (4):

(4)

Por exemplo, se um modelo de articulação do joelho contém 2 arestas não variadas (D = 2) e 1200 elementos topológicos totais (T = 1200), ele é 99,83%. É necessário um ≥ 98% para modelos médicos evitar riscos de fabricação.

Completude de características (FC)

Isso avalia se o engenheiro implementou totalmente todas as funcionalidades obrigatórias do modelo de aplicação de saúde. O indicador é determinado comparando o número de características obrigatórias concluídas (F_concluídas) com o número total de características obrigatórias (_{F total}) definidas nos requisitos da tarefa:

(5)

Indicadores de eficiência comportamental

Este módulo processa fluxos de eventos de interação 3D e sinais de gesto para extrair características que refletem a eficiência das operações de modelagem dos engenheiros, avaliando suas habilidades de "proficiência operacional". As demandas cognitivas associadas à modelagem foram medidas usando sinais fisiológicos, de olhar e EMG sincronizados. Essas métricas acompanham a distribuição de atenção ao longo do tempo e das flutuações da carga de trabalho durante o processo de modelagem.

Modelagem da eficiência do tempo (MTE)

Isso compara o tempo real de modelagem do engenheiro (_{T real}) com o tempo médio de especialistas seniores para a mesma tarefa (_{T especialista}), normalizado para uma pontuação de 0 a 100:

(6)

Por exemplo, se um engenheiro leva 45 minutos para completar uma tarefa que os especialistas realizam em média 30 minutos, há 100 - (45 - 30) x 50 = 75, indicando eficiência moderada.

Taxa de operação redundante (ROR)

Isso conta a proporção de operações desnecessárias no processo de modelagem. Ele é calculado como a razão entre a contagem redundante de operações (O_redundante) e a quantidade total de operações (_{O total}):

(7)

Operações redundantes são identificadas pelo algoritmo de IA por meio de correspondência de regras e análise de consistência de gestos.

Taxa de utilização de ferramentas de IA (ATUR)

Isso mede a capacidade do engenheiro de aproveitar funções assistidas por IA para melhorar a eficiência. É definido como a razão entre a contagem de invocações de ferramentas de IA (I_AI) e a contagem total de invocações de ferramentas (I_total):

(8)

Um ATUR mais alto indica melhor integração de ferramentas de IA no processo de modelagem, que é uma habilidade fundamental para a modelagem 3D médica moderna.

Suavidade de gestos (GS)

Isso avalia a estabilidade dos movimentos dos membros superiores do engenheiro durante a modelagem. O indicador é calculado pelo desvio padrão da velocidade de 22 articulações chave dos membros superiores (v_j) ao longo do tempo:

(9)

Um desvio padrão menor (e, portanto, maior GS) indica gestos mais suaves, refletindo maior proficiência operacional. Esses indicadores são extraídos em tempo real durante o processo de modelagem, com o algoritmo de IA atualizando os valores dos indicadores a cada 5 minutos e armazenando-os no banco de dados de características para fusões subsequentes.

Indicadores de carga cognitiva

Este módulo analisa sinais de movimento ocular e dados fisiológicos para quantificar a carga cognitiva do engenheiro durante a modelagem, avaliando suas habilidades de "adaptabilidade cognitiva". Indicadores multimodais foram ponderados usando uma abordagem Delphi-AHP e atualização bayesiana de evidências para produzir escores probabilísticos de habilidade em engenharia em tempo real. Três indicadores-chave são desenvolvidos:

Dispersão por fixação (FD)

Isso reflete a distribuição da atenção visual do engenheiro. Ele é calculado como a distância euclidiana entre as coordenadas máxima e mínima dos pontos de fixação ( (x máx,y_máx) e (x_máx, y_mínima) ) na interface de modelagem 3D em uma janela de 2 minutos:

(10)

Uma FD maior indica atenção dispersa, frequentemente associada a alta carga cognitiva.

Variabilidade da frequência cardíaca (VFC) - SDNN

SDNN (Desvio Padrão de Intervalos Normais a Normais) é extraído dos dados do ECG para medir a flutuação da frequência cardíaca do engenheiro. Um SDNN mais baixo indica maior atividade do nervo simpático, refletindo aumento da carga cognitiva. O algoritmo de IA primeiro filtra o ruído do ECG (via transformada wavelet) e depois calcula a SDNN usando a Equação (11):

(11)

Onde: N = número de batimentos cardíacos normais em uma janela de 5 minutos; RR_k = intervalo de tempo entre o k-ésimo e o (k + 1)-ésimo batimento cardíaco normal; = intervalo médio RR na janela.

Eletromiografia (EMG) - Quadrado médio radicular (RMS)

A RMS dos sinais EMG do antebraço reflete tensão muscular: RMS mais alta indica aumento da rigidez muscular devido ao estresse cognitivo. A fórmula de cálculo é:

(12)

Onde: m = número de amostras de sinais EMG em uma janela de 1 minuto, e EMG(t) = amplitude do sinal EMG no tempo t. Um diagrama resumo foi criado para auxiliar na clareza conceitual e facilitar a replicação da pesquisa. Ela ilustra a relação hierárquica entre os dez indicadores de avaliação e os três principais construtos por trás do arcabouço proposto: qualidade geométrica, eficiência operacional e adaptabilidade cognitiva. Este diagrama mostra como sinais de entrada multimodais são convertidos em indicadores mensuráveis que são posteriormente fundidos por meio de uma abordagem bayesiana para criar uma pontuação composta de habilidade em engenharia. Esta visão geral transmite uma versão condensada da lógica da avaliação e aumenta a transparência metodológica deste estudo, tanto formativamente quanto para futuras direções educacionais e regulatórias. A Figura 4 mostra a estrutura hierárquica do framework de avaliação de habilidades de engenharia sugerido, que organiza dez indicadores multimodais em três construtos fundamentais: qualidade geométrica, eficiência operacional e flexibilidade cognitiva. Esses fatores contribuem para o resultado geral da habilidade usado para avaliar o desempenho da modelagem 3D assistida por IA.

Motor de fusão e pontuação de evidências

Atribuição de pesos do indicador (Delphi + AHP)

Este módulo aborda o problema da importância diferenciada entre características multidimensionais combinando o método Delphi (consenso de especialistas) e o Processo de Hierarquia Analítica (AHP) para atribuir pesos aos dez indicadores extraídos (três indicadores geométricos de qualidade, quatro indicadores de eficiência comportamental e três indicadores de carga cognitiva), e para representar esses indicadores multimodais complexos em formatos visuais e interpretáveis, como gráficos de radar, mapas de calor e reproduções anotadas para inferência diagnóstica biomédica.

Estágio de consenso de Delfos

Um painel de dez especialistas avaliou a importância de cada indicador usando uma escala de 9 pontos (1 = "menos importante", 9 = "mais importante") em três rodadas de questionários anônimos. Após cada rodada, um feedback estatístico — composto por médias de pontuações e coeficientes de variação (CV) — foi fornecido ao painel para facilitar o ajuste de pontuação. A convergência foi definida como um CV ≤ 0,15 para cada indicador. Notavelmente, o consenso para indicadores como a Taxa de Desvio do Modelo (MDR) e a Taxa de Utilização de Ferramentas de IA (ATUR) foi tipicamente alcançado na segunda rodada, atribuído à sua relevância clínica direta.

Para garantir robustez técnica, o protocolo padronizou o alinhamento multimodal de dados (tolerância de sincronização ≤ 50 ms; clock de disparo unificado de 30 Hz) e métodos de cálculo de indicadores. Por exemplo, a MDR foi derivada de 50-100 pontos-chave anatômicos, enquanto o limiar de Consistência Topológica (TC) foi fixado em >98% para elementos livres de defeitos. Esses limiares foram justificados contra padrões de tolerância clínica, como um desvio de < 5% para osso poroso e um erro < 3° para ângulos de bifurcação vascular. Além disso, a metodologia incorporou pontuação bayesiana com modelagem de verosimilhança Gaussiana (usando faixas calibradas de σ para distintos níveis de habilidade) e utilizou um extrator de características CNN-LSTM treinado com tamanho de lote de 32, taxa de aprendizado de 1 x ^10-4 e 120 épocas.

Estabelecimento da Hierarquia do AHP

É construída uma hierarquia de três níveis: Camada Alvo (A): Avaliação abrangente de habilidades de engenharia; Camada Criterio (B): 3 indicadores de primeiro nível (B1: Qualidade Geométrica, B2: Eficiência Comportamental, B3: Carga Cognitiva); Camada de Indicadores (C): 10 indicadores de segundo nível (C1: MDR, C2: TC, ..., C10: EMG RMS).

Comparação a par e verificação de consistência

Com base nos resultados do consenso Delphi, uma matriz de comparação par a par é construída para a Camada Criterio e a Camada Indicadora. Tomando a Camada Criterio como exemplo, a matriz é definida como:

(13)

Onde:_{a ij} é a razão de importância de B_j para B_j. O vetor de peso da Camada Critério (W_B = [w_{B1,w B2,w B3}]) é calculado pelo método do autovetor autodito. Para evitar contradições lógicas, a Razão de Consistência (CR) é verificada usando a Equação (14):

(14)

Onde: (λ_max = autovalor máximo da matriz, = número de indicadores), e é o índice de consistência aleatória (para n = 3, RI = 0,58). O resultado é aceitável se o CR < 0,1.

Por meio desse processo, são obtidos pesos típicos: (Qualidade Geométrica), (Eficiência Comportamental), (Carga Cognitiva); o peso do MDR (C1) na Camada Indicadora geralmente é o maior (~0,25), enquanto o RMS EMG (C10) é o menor (~0,05).

Atualização da confiança bayesiana

Este módulo funde os indicadores ponderados para gerar a pontuação final de confiança na habilidade, abordando a "incerteza da avaliação de uma única característica" ao atualizar probabilidades prévias com dados multimodais em tempo real. O processo é baseado na Equação (1) (fórmula bayesiana) e é implementado em duas etapas:

Passo 1: Inicialização da probabilidade a priori (P(θ))

O nível de habilidade é dividido em 5 níveis: (Iniciante), (Iniciante), (Intermediário), (Avançado), (Especialista). A probabilidade a priori é inicializada usando dados históricos: se o sistema avaliou 500 engenheiros, e 100 são classificados como θ₃, então P(θ₃) = 100/500 = 0,2. Para novos usuários sem dados históricos, um prior uniforme (P(θ_i) = 0,2 para todo i) é adotado.

Passo 2: Cálculo de probabilidade posterior (P(θ∥D))

Os dados de características multimodais são a soma ponderada dos 10 indicadores normalizados:

(15)

Onde: w_Ck é o peso do indicador k-ésimo (da Seção 3.4.1), e_{a norma} Ck é o valor normalizado do indicador k-ésimo (faixa [0,1]).

A probabilidade de verosimilhança é modelada usando uma distribuição Gaussana, assumindo que os dados de características dos engenheiros no nível de habilidade seguem (média μ_i, variância ). Esses parâmetros são calibrados usando 200 amostras rotuladas.

Por fim, a probabilidade posterior é calculada via Equação (3-1), e a nota de habilidade correspondente ao máximo é o resultado da avaliação em tempo real. Por exemplo, se um D de um engenheiro = 0,72, e (maior que outras notas), ele é classificado como "Avançado".

Para visualizar o processo de atualização de confiança, a Figura 5 mostra como probabilidades de habilidade igualmente conhecidas são atualizadas para uma distribuição posterior usando inferência bayesiana e sinais em tempo real como evidência. Após observar a tarefa, o modelo é atualizado para fortalecer a evidência em direção ao grau de habilidade com a maior probabilidade posterior. Testes de validação indicaram forte estabilidade de convergência das classificações de habilidade dos especialistas, e as pontuações bayesianas se correlacionaram fortemente com as avaliações dos especialistas, apoiando o uso confiável da atualização bayesiana no fluxo de trabalho.

A saída dessa camada é uma pontuação abrangente de habilidade (0-100, mapeada a partir da probabilidade máxima posterior) e um intervalo de confiança, que é transmitido para a Camada de Feedback Visual para apresentação intuitiva.

Camada de realimentação visual

Gráfico de radar em tempo real

Este módulo converte os 10 indicadores normalizados e 3 pontuações de critério de três níveis em um gráfico de radar, permitindo uma comparação intuitiva dos pontos fortes e fracos das habilidades dos engenheiros. O gráfico de radar é projetado com 7 eixos (3 para critérios de primeiro nível: B1-B3; 4 para indicadores centrais de segundo nível: C1=MDR, C4=ATUR, C7=FD, C9=SDNN-selecionados por seu alto peso e interpretabilidade), com cada faixa de eixos normalizada para [0,100] (mapeada a partir dos valores normalizados [0,1 ] via Equação 3-7). Para melhorar continuamente a precisão das medições por meio de anotações de especialistas e atualizações de aprendizagem ativa no início do framework, um contexto de modelagem de saúde e um entendimento crescente são incorporados.

Mapeamento de valores indicadores da Equação (16) para o Gráfico de Radar:

(16)

Onde: V_radar = valor exibido no eixo da carta do radar; _Norma Ck = valor normalizado do indicador k-ésimo (faixa [0,1]).

O gráfico de radar é atualizado em tempo real (a cada 5 minutos) e inclui dois benchmarks de referência: uma linha padrão de referência (linha tracejada,_radar V = 80, representando o limite de nível de habilidade "Avançado") e uma linha média de especialista (linha pontilhada, calculada a partir dos dados históricos de 50 engenheiros seniores). A Figura 6 mostra o comportamento do engenheiro em um composto de indicadores-chave: qualidade geométrica, carga cognitiva, eficiência no uso de ferramentas e dispersão de fixação, em comparação com os respectivos parâmetros de referência de especialistas. Como parte da camada de feedback, as pontuações verdadeiras, usando métricas fundidas, foram traduzidas em um perfil interpretável. Estudos com usuários indicaram sua implementação bem-sucedida para identificar rapidamente lacunas de competência, ao mesmo tempo em que promovem um cálculo estruturado e orientado por dados para melhorias durante tarefas de modelagem.

Mapa de calor temporal

Este módulo visualiza a tendência dinâmica de mudança dos indicadores de habilidades ao longo de todo o processo de modelagem, ajudando a identificar períodos de tempo em que os engenheiros enfrentam dificuldades. O mapa de calor utiliza uma grade 2D: o eixo x representa intervalos de tempo (segmentos de 10 minutos, totalizando 12 segmentos para uma tarefa de 2 horas), e o eixo y representa 5 indicadores-chave (C1=MDR, C4=ATUR, C6=GS, C7=FD, C9=SDNN). A intensidade de cor de cada célula da grade corresponde ao valor normalizado do indicador, com uma escala de cores do azul (valor baixo, baixo desempenho:_norma Ck < 0,5) até vermelho (valor alto, bom desempenho:_norma Ck < 0,8), conforme definido na Equação (17):

A equação (3-8) apresenta o Cálculo da Intensidade de Cor para o Mapa de Calor:

(17)

Onde: I_cor = valor de intensidade RGB (0-255, 0=azul, 255=vermelho); min(_{Ck norm}) e max(_{Ck norm}) = valores mínimos e máximos normalizados do indicador em todos os intervalos de tempo.

A Figura 7 ilustra mudanças resolvidas no tempo na carga cognitiva, dispersão de fixação, estabilidade do olhar e métricas de latência de decisão em segmentos de 10 minutos. Note que as regiões destacadas indicam alta demanda cognitiva ou interrupções no fluxo de trabalho. Essa visão temporal é gerada diretamente a partir de fluxos multimodais coalescentes, apoiados por anotação de especialistas, iluminando seu papel crítico no engajamento com fadiga de modelagem, mudanças de atenção e dificuldades específicas de tarefas.

Anotação de reprodução D

Este módulo sobrepõe anotações de avaliação de habilidades na reprodução operacional do modelo 3D, permitindo uma análise passo a passo do comportamento de modelagem do engenheiro. A velocidade de reprodução é ajustável (0,5×-2× tempo real) e sincroniza com o carimbo de data multimodal. Três tipos de anotações são incorporados: Anotações de Erro Geométrico: Wireframes vermelhos destacam regiões do modelo onde MDR (C1) ultrapassa 5% (limite qualificado), com etiquetas de texto mostrando o valor de desvio. Anotações de Aviso de Eficiência: Pontos de exclamação amarelos aparecem no local das operações redundantes, com janelas pop-up mostrando o tipo de operação. Anotações de Carga Cognitiva: As barras de status verde/vermelha no canto indicam carga cognitiva em tempo real (baseada em C9: SDNN e C10: EMG RMS), com vermelho significando "Alta Carga" (SDNN < 50 ms) e verde significando "Carga Normal" (SDNN > 100 ms).

Calibração e iteração de estruturas

Interface de anotação especializada

Este módulo oferece uma interface humana no ciclo para que especialistas seniores corrijam e rotulem os resultados da avaliação do framework, abordando a "deriva da precisão da avaliação" causada por mudanças nos cenários de aplicação da saúde. A interface é projetada com três funções principais: correção de resultados, reponderação de indicadores e armazenamento de anotações.

Função de correção de resultados

Os especialistas primeiro analisam os resultados do feedback visual e a pontuação abrangente de habilidade do framework (0-100). Se a pontuação se desviar do julgamento do especialista, o especialista pode ajustar manualmente a pontuação e registrar o motivo. A magnitude da correção é quantificada por meio da Equação (18):

(18)

Onde: S_corrigido = pontuação final corrigida; _Framework S = pontuação inicial produzida pelo framework; _{S expert} = pontuação manual do expert; α = peso de correção (definido para 0,8 por padrão, garantindo que o julgamento especializado predomine enquanto mantém a racionalidade do referencial).

Função de reponderação do indicador

Para calibração específica de cenários, os especialistas podem ajustar o peso dos indicadores individuais por meio de uma barra deslizante (faixa 0-0,5). A interface recalcula automaticamente a razão de consistência (CR) após ajuste (usando as Equações 3-6) e alerta os especialistas caso (distribuição de pesos ilógica), garantindo que os pesos ajustados permaneçam matematicamente válidos.

Função de armazenamento de anotações

Todas as pontuações corrigidas, pesos ajustados e comentários de especialistas são armazenados em um banco de dados anotado com carimbos de tempo e tags de cenários. Esse banco de dados serve como dados de treinamento para o módulo de aprendizagem ativa online subsequente, com um esquema de dados típico mostrado na Tabela 2.

Atualização de aprendizagem ativa online

Este módulo utiliza os dados anotados para otimizar iterativamente os algoritmos centrais do framework (modelos de extração de características de IA em L2 e motor de pontuação bayesiano em L3), permitindo que o framework se adapte a novos cenários de aplicação em saúde sem retreinamento completo. O processo de atualização segue uma estratégia de consulta por comitê (QBC), dividida em três etapas:

Etapa 1: Cálculo da incerteza

Três "modelos de comitê" paralelos são implantados (todos baseados na mesma arquitetura do modelo de extração de características do L2, mas treinados com diferentes conjuntos de dados históricos):

Modelo A: Treinado com dados de modelagem de implantes ortopédicos;

Modelo B: Treinado com dados de reconstrução de órgãos;

Modelo C: Treinado com dados de modelagem de implantes odontológicos.

Para cada amostra não rotulada (dados de modelagem do engenheiro), os modelos do comitê geram três pontuações de habilidade previstas. A incerteza da amostra é calculada pelo coeficiente de variação (CV) dos três escores seguintes:

(19)

Onde:_{S A,S,S,S C} = pontuações previstas pelos três modelos de comitê; STD (⋅)= desvio padrão; = média das três pontuações.

Um CV mais alto indica maior discordância entre os modelos de comitê (maior incerteza), o que significa que a amostra é mais valiosa para anotação.

Etapa 2: Seleção de amostras

O framework seleciona os 10% melhores das amostras com o maior CV e as envia para a interface de anotação especializada para rotulagem. Essa estratégia de seleção ativa reduz o número de amostras que exigem anotação especializada (em comparação com seleção aleatória) em 40-60%, melhorando a eficiência da calibração.

Etapa 3: Retreinamento e atualização do modelo

As amostras recém-anotadas são usadas para ajustar finamente os algoritmos do framework:

Para modelos de extração de características L2: O modelo é retreinado com uma taxa de aprendizado de 1e-5 (10% da taxa inicial de treinamento) usando os dados de erro geométrico anotados, atualizando apenas as duas últimas camadas para evitar sobreajuste.

Para o motor de pontuação bayesiano L3: Os parâmetros de distribuição gaussiana () para cada nível de habilidade são atualizados usando os dados de pontuação anotados, com a fórmula de atualização mostrada na Equação (20):

(20)

Onde: = média atualizada do nível de habilidade θ_i; = média original antes da atualização; _S-θi = pontuação média corrigida de amostras anotadas rotuladas como θ_i; β = fator de esquecimento (definido para 0,7, equilibrando dados históricos e novas anotações).

O framework atualizado é implantado online imediatamente após o retraining, com uma verificação de desempenho antes da implantação: se o erro absoluto médio entre a nova saída do framework e as anotações de especialistas for ≤3 (reduzido em ≥20% em relação à versão anterior), a atualização é confirmada; caso contrário, o processo de retreinamento é repetido com amostras adicionais anotadas.

Esse mecanismo iterativo de calibração garante que a precisão da avaliação do framework permaneça acima de 90% mesmo à medida que as tecnologias de modelagem 3D para aplicações de saúde evoluem, mantendo a adaptabilidade a longo prazo.

Resultados

Os resultados avaliam a validade, confiabilidade e usabilidade do framework por meio da avaliação experimental da discriminação de habilidades, validade de construto, validade preditiva e a eficácia do feedback em tempo real.

Desenho experimental

Os experimentos foram realizados em um ambiente Python em um computador com processador Intel de 12 núcleos, 32 GB de RAM e 1 TB de armazenamento em SSD. NumPy e Pandas era...

Discussão

Embora os frameworks existentes de modelagem e interação 3D sejam poucos e, em algumas ocasiões, possam fornecer informações úteis, eles avaliam a capacidade de engenharia em tarefas de modelagem 3D. A maioria dos estudos anteriores de rastreamento de gestos e interface¹⁹ avalia o comportamento interativo em vez da avaliação da capacidade do usuário. De forma semelhante, no caso de sistemas educacionais baseados em VR/^{hápticos 20}, o aprendi...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Software de Modelagem 3D Assistida por IA	Materialise NV, Bélgica	Imita IA v25.0	Usado para modelagem de implantes femor-tronco e tarefas de reconstrução vascular hepática com segmentação por IA e detecção de defeitos.
Eye Tracker (Desktop)	Tobii Pro Fusion	TPF-120	Captura dados de fixação e sacada a 120 Hz para quantificar a atenção visual durante a modelagem.