Um Sistema de Realidade Virtual Controlado por Gestos e Vozes para Design Imersivo de Lares: Design de Sistemas e Análise da Experiência do Usuário

Resumo

Este artigo apresenta um sistema de realidade virtual controlado por gestos e voz para um design imersivo de lares, que melhora a precisão, usabilidade e acessibilidade por meio da fusão multimodal de gestos e vozes. Resultados experimentais indicam tempos de tarefa mais curtos, maior precisão na colocação e maior satisfação do usuário em comparação com a prática tradicional.

Resumo

A interação baseada em gestos e voz em VR mostrou potencial em várias aplicações; no entanto, os sistemas existentes são prejudicados por sua ênfase em tarefas de navegação, dependência de gestos com duas mãos, falta de precisão detalhada e testes em populações pequenas e homogêneas. Essas limitações limitam a aplicabilidade a fluxos de trabalho intrincados e centrados no design. Para resolver essas limitações, introduzimos um Sistema de Realidade Virtual Controlado por Gestos e Voz para design imersivo de lares, que incorpora a fusão multimodal de entrada de gestos acompanhados manualmente e instruções em linguagem natural para posicionamento preciso dos móveis, seleção de materiais e ajuste espacial. Três aspectos da novidade no sistema são (i) modos adaptativos de interação para suportar uso com uma mão, comandos numéricos de voz e ajuste grosseiro a fino da precisão; (ii) arquitetura multimodal de fusão que funde informações de gesto, fala e contexto para precisão subcentímetro; e (iii) estrutura de avaliação da experiência do usuário consciente de tarefas, adaptada aos processos de design residencial. O processo de desenvolvimento segue um pipeline sistemático, desde a análise de requisitos e o design de léxicos de gestos e voz, até reconhecimento multimodal de intenções, montagem de cenas em VR com snapping e alinhamento, e testes iterativos. Resultados experimentais em uma ampla variedade de populações de participantes demonstram uma diminuição de 30% no erro de posicionamento e melhorias substanciais na usabilidade e nas avaliações de carga de trabalho em relação à interação baseada em controladores. Os resultados sugerem o potencial da VR multimodal para criar experiências de design residencial acessíveis e envolventes.

Introdução

Realidade Virtual (VR) é um ambiente interativo gerado por computador que produz uma experiência tridimensional na qual os usuários podem ver, interagir e se comunicar com a tecnologia como se estivessem realmente presentes. No contexto deste estudo, a realidade virtual é considerada um ambiente de interação multimodal, e não apenas uma técnica de exibição visual. Os sistemas de VR mais recentes integram engajamento visual com reconhecimento de gestos, sentidos espaciais e entrada de voz natural, permitindo que os usuários operem itens simulados com alta precisão. Essa compreensão está de acordo com as pesquisas atuais em VR, que priorizam imersão, engajamento e experiências naturais do usuário. Suas áreas de aplicação abrangem performance,^{ensino 2}, tratamento^{medicinal 3} e^{viagens 4}. A VR permite que as pessoas interajam e se conectem com mundos que não seriam alcançáveis na vida real simulando cenários do mundo real. Para processos de design residencial, onde os usuários precisam perceber layouts espaciais, controlar objetos e receber feedback em tempo real sem precisar de movimento físico, esses recursos de imersão são especialmente úteis. Esses recursos podem trazer novas possibilidades, especialmente para usuários com movimento físico incompleto. Membros de grupos informalmente desfavorecidos, especialmente idosos e aqueles com alfabetização alfanumérica mínima, terão suas atividades ao ar livre limitadas por vários fatores, como restrições físicas, problemas de mobilidade e dificuldades para acessar tecnologia digital devido a limitações relacionadas à idade. Portanto, é necessário dar atenção constante à pesquisa que torne indiretamente o mundo exterior acessível a essas pessoas por meio da expertise em RV. Essa necessidade de atenção contínua à pesquisa não apenas apoia a criação de experiências de VR orientadas para acessibilidade, mas também impulsiona o desenvolvimento de sistemas que vão além das tarefas básicas de navegação. De fato, ambientes imersivos de design residencial — quando controlados por gestos naturais e voz — podem oferecer a idosos, pessoas com deficiência motora e populações digitalmente vulneráveis meios intuitivos para interagir com ambientes espaciais complexos. Permitindo acesso indireto a espaços externos e tarefas criativas, esses sistemas contribuem tanto para a independência funcional quanto para o bem-estar emocional. É com base nesses motivos que este estudo irá introduzir um sistema multimodal de design residencial em VR. Consequentemente, é o desejo de atenção constante à pesquisa que ajudará a tornar o mundo exterior indiretamente acessível para essas pessoas que usam a tecnologia em VR. Investigações mostraram que intervenções baseadas em VR criadas para idosos podem trazer várias vantagens, como reduzir o risco de quedas ao melhorar o controle e a flexibilidade postura6, além de melhorar a regulação postural geral e a^firmeza. Além disso, tem havido uma disponibilidade crescente de material de VR personalizado especificamente para a população idosa ^8,9. Mesmo com o avanço da interação em VR, a maioria dos sistemas atuais depende principalmente de controles e gestos com duas mãos, o que limita a acessibilidade e a precisão para tarefas que exigem design. Expandindo esses recursos de mobilidade, nosso trabalho expande a VR além da simples observação, permitindo um gerenciamento ativo, preciso e realista dos elementos de design de interiores usando métodos de gesto e fala

A VR tem três propriedades relacionadas: comunicação, envolvimento e^{pensamentos 10}. O nível de engajamento e a intensidade da interação com objetos simulados afetam diretamente a imaginação dos usuários na atmosfera virtual. Dependendo dos estágios de imersão, os esquemas de VR são classificados em VR não imersivo, VR semi-imersivo e VR totalmente imersivo, cada um utilizando combinações variadas de métodos de comunicação, estratégias e limites. 11 A VR não imersiva permite comunicação com ambientes virtuais em desktop ou telas sensíveis ao toque em dispositivos portáteis por meio de um mouse, e os sinais^{12, 13 e 14}. A VR semi-imersiva geralmente consiste em uma tela grande, organização e telas, proporcionando uma experiência cinematográfica, mas frequentemente carece de rastreamento posicional quando usada em grupo. Conexões baseadas em gestos vêm sendo pesquisadas desde o início do VR¹⁵ para tornar o uso da tecnologia VR confortável e familiar. Em uma interface baseada em gestos, sinais físicos do corpo, como movimentos das mãos, são usados para se comunicar com um sistema computacional.

Uma borda gestual é uma realização comum do princípio mais geral de uma interface natural do usuário (NUI), que pode ser aplicada para alcançar transparência de interface em VR baseado em HMD. Os fatores que promovem a ocorrência em VR foram investigados anteriormente ^{16, 17}; no entanto, há poucos estudos sobre ocorrência em contexto de interfaces baseadas em gestos. Compreender as influências que podem impactar a ocorrência da VR usando uma interface baseada em gestos pode ser benéfico durante o design de tecnologias imersivas futuras. Portanto, sob as perspectivas da ocorrência e da comunicação baseada em gestos, investigamos a experiência do usuário de um engajamento imersivo de VR baseado em uma interface baseada em gestos. Para os socialmente vulneráveis, o material de avaliação rodoviária de 360°, uma subseção da realidade virtual (VR), pode ser uma ferramenta eficaz. Com essa tecnologia, os usuários podem explorar virtualmente o globo sem se mover físicamente, viajar para diferentes locais e se comunicar socialmente com outros usuários, com funcionalidade multipartido. Para pessoas com deficiência física e ambiental, esse envolvimento pode ser um complemento útil para atividades ao ar livre. Além da navegação simples, as possibilidades educacionais possibilitadas pela tecnologia de opinião 360° abrangem múltiplas áreas da educação.

Uma revisão sistemática da literatura, que analisou 64 sessões de treinamento, enfatizou os usos informativos, benefícios e propriedades de comunicação dos vídeos de VR 360° e da VR real. Os resultados indicam que a VR 360° pode aprimorar a apresentação, motivação e retenção de informações dos aprendizes, promovendo maior imersão. O pesquisador²¹ associou duas interfaces de usuário de uma mão e duas mãos em um esquema de movimento baseado em teletransporte. Os resultados mostram que sinais com uma mão só foram percebidos como mais rápidos para iniciar por aqueles que os preferiam, enquanto sinais com duas mãos foram considerados mais confiáveis, mesmo que o item fale de teletransporte sozinho e não de movimento constante, como usado neste trabalho.

A suposição de maior consistência para os sinais de duas mãos e maior rapidez inicial para os sinais de uma mão foi estabelecida e utilizada como premissa para este estudo. Também é necessária uma especificação mais detalhada das restrições de avaliação tecnológica, além da apresentação e da funcionalidade, sobre o treinamento de operadores para cumprir responsabilidades no VR²². Para essa situação de treinamento, os painéis instruem os operadores por meio de atividades, sendo a avaliação tecnológica um componente crucial. Além disso, a premissa fundamental é que a tecnologia HT, se aplicada corretamente, pode proporcionar avanços também no domínio da^{tecnologia 23,24}. Foi demonstrado em pesquisas recentes que ambientes virtuais não são apenas úteis para avaliar serviços de direção de cadeiras de rodas, mas também possuem usos benéficos, incluindo treinamento em serviços flexíveis que seriam desafiadores ou caros para recriar na vida real. Por exemplo, o autor²⁵ aponta que simuladores de VR podem facilitar a generalização da direção de serviços para ambientes físicos ao fornecer um ambiente tecnológico habilidoso e inofensivo.

O pesquisador também destaca a aplicação de habilidades virtuais como programa de intervenção para o treinamento de serviços de cadeiras de rodas, enfatizando sua utilidade e valor benéfico na individualização do exercício e no aprimoramento dos serviços de flexibilidade. No entanto, por questões de segurança, os usuários são verificados e avaliados antecipadamente, especialmente em ambientes de realidade^{virtual 26,27}. Essa implementação permite que pessoas com deficiências físicas pratiquem e aprimorem suas habilidades de direção em cadeira de rodas em um ambiente seguro e^controlado. Eles são capazes de experimentar diversos testes e cenários virtuais, incluindo superar problemas desafiadores, navegar em espaços apertados ou executar manobras intrincadas. Enquanto isso, os usuários podem receber feedback imediato sobre seu desempenho e adquirir novas estratégias^{de movimento 29}. Além de servir como auxílio de treinamento, a realidade virtual tem aplicações^{terapêuticas 30}. Oferecer uma tecnologia pictórica imersiva pode contribuir para aumentar a autoconfiança, organização e reintegração física. As pessoas podem desenvolver suas habilidades motoras e melhorar sua estabilidade e estabilidade. Ambientes de realidade virtual são representações geradas por computador que permitem aos usuários sentir que fazem parte^{deles 31}.

Essa situação é visualizada com fones de ouvido de realidade virtual ou outras estratégias. Mockups podem simular circunstâncias de risco ou situações desafiadoras antes de sua implementação, como eventos médicos ou a operação de certas estratégias 32,33,34. No entanto, um benefício adicional é a possibilidade de conectar equipamentos de dispositivos, como controles, ornamentos com detecção de movimento, microfones ou coletes, para obter uma comunicação eficiente entre o empregador e o mecanismo³⁵ em um ambiente inofensivo e cuidadosamente replicado antes de seu uso em ambientes reais. Substâncias virtuais podem ser operadas em diferentes modos, como usando joysticks, instruções de fala ou trilhas filmadas, como em um estudo^{Kinect 36}. Todas as alternativas envolvem aprendizado para os usuários, então a experiência do usuário é uma consideração crítica na escolha da abordagem^{de controle 37}.

Embora gestos e interação de voz em espaços virtuais tenham sido investigados para tarefas de navegação, incluindo o sistema street-view discutido no artigo base, há uma lacuna significativa na aplicação dessas modalidades a áreas de trabalho criativas e orientadas por precisão, como o design imersivo de lares. O estudo fundamental mostrou a entrada multimodal viável para acessibilidade, mas abrangeu apenas navegação e exame de cena, utilizando gestos com duas mãos, emissão direta de comandos e uma pequena população de participantes. Não abrangeu dificuldades de manipulação de alta fidelidade, posicionamento espacial preciso, edição de materiais ou fluxos de trabalho colaborativos, que definem as atividades de design de interiores e arquitetura. Além disso, os testes tinham como alvo um grupo restrito e homogêneo de usuários, o que limitou as observações sobre usabilidade para populações mais amplas e diferentes necessidades de acessibilidade. As ferramentas atuais de design de VR são baseadas principalmente em controles, que restringem a interação natural e excluem usuários com deficiências motoras ou de aprendizagem. Como resultado, há falta de design e teste de um sistema que integre gestos e fala para manipulação grosseira e fina de objetos, forneça alterações numéricas controladas por voz, acomode estilos de interação com uma mão e que favoreçam a acessibilidade, e seja testado com extensa análise da experiência do usuário em tarefas reais^{de design 38,39}. Fechar essa lacuna pode criar uma nova abordagem centrada no usuário para o design imersivo de residências, que se baseia em pesquisas anteriores em navegação multimodal em VR.

Desenvolvimentos recentes em interfaces multimodais homem-máquina exploraram mecanismos avançados de detecção e interação para aprimorar a usabilidade e imersão do VR⁴⁰. O autor⁴¹ apresentou um sensor triboelétrico baseado em nanofibras eletritas para reconhecimento 3D de gestos sem contato, demonstrando que uma interpretação de alta fidelidade dos gestos pode ser alcançada sem rastreamento tradicional baseado em visão e possibilitando um controle VR mais natural e sem toque. Por outro lado, o pesquisador⁴² apresentou um procedimento robusto de treinamento comportamental para sistemas de VR fixos com cabeça fixa em camundongos. O estudo demonstrou como ambientes de RV controlados podem suportar medições comportamentais precisas e protocolos de interação estáveis, além de destacar a importância da repetibilidade e do design sistemático nos fluxos de trabalho de RV. Simultaneamente, o autor⁴³ propôs um eletrodo iônico-condutivo extensível e adesivo com impedância cutânea ultrabaixa para melhorar a aquisição eletrofisiológica do sinal; isso abre caminho para a detecção biointegrada que pode aumentar ainda mais a fidelidade de interação entre XR e VR. Na verdade, todos esses estudos mostram como a tecnologia de sensores, protocolos de treinamento e interfaces fisiológicas evoluem rapidamente — tudo porque há necessidade de estruturas de interação mais flexíveis e multimodais, como o sistema de gesto-voz proposto neste estudo.

Esse protocolo apresenta um caminho multimodal de gesto-voz que permite gestos acessíveis com uma mão, melhorias numéricas baseadas em voz e design de casas orientado por precisão, em contraste com os modelos atuais de interação em VR, que suportam principalmente navegação ou manipulação baseada em controladores. Pelo que entendemos, este é o primeiro protocolo que combina fusão gesto-voz, ajustado especificamente para precisão espacial, modificação de materiais e processos de design inclusivos.

Os principais objetivos deste trabalho são criar um sistema de realidade virtual (VR) habilitado por gestos e voz, adaptado para atividades envolventes de design residencial, e expandir as capacidades multimodais de entrada para suportar posicionamento, rotação, escala e edição precisa de materiais ou iluminação, além das funções típicas de navegação. Um objetivo central é desenvolver um motor de fusão multimodal que integre gestos, vozes e entradas contextuais para alcançar controle tanto grosseiro quanto detalhado durante tarefas de design de interiores. O sistema ainda introduz modos de interação adaptativa, como gestos com uma mão, recursos focados em acessibilidade e comandos de precisão habilitados por voz, para suportar uma ampla variedade de grupos de usuários.

Esse trabalho também busca conduzir uma avaliação abrangente da experiência do usuário (UX) que combina medidas quantitativas, incluindo tempo de conclusão de tarefas, precisão de posicionamento e taxa de erros, com avaliações qualitativas de usabilidade, carga de trabalho e satisfação do usuário. Um avanço significativo em relação a estudos anteriores é alcançado ao mudar de sistemas de navegação baseados em vista de rua para um framework de design de interiores orientado a tarefas e orientado à precisão. A contribuição chave está no desenvolvimento de um ambiente de VR controlado por gestos e voz para design residencial imersivo, ampliando o escopo de pesquisas anteriores que focavam principalmente na integração gesto-voz para navegação em vista de rua.

Importante destacar que nenhum sistema anterior combinou efetivamente comunicação multimodal gesto-voz especificamente para operações de design residencial dependentes da precisão, como posicionamento de objetos, escalabilidade, rotação e edição de materiais. Abordagens existentes também carecem de alternativas de interação adaptativa, incluindo entrada de gestos com uma mão ou refinamento numérico baseado em voz. O sistema proposto introduz um paradigma abrangente de interação multimodal que funde o reconhecimento de gestos — alcançado por meio do MediaPipe Hands ou do rastreamento de mãos baseado em headset de VR — com classificadores de Rede Convolucional Temporal, além de reconhecimento de fala e interpretação em linguagem natural impulsionados por modelos de classificação de intenção baseados em Whisper ASR e transformer.

Para garantir uma operação robusta, é implementado um mecanismo de fusão multimodal em nível de decisão com arbitragem baseada em confiança, mapeando gestos para tarefas de seleção espacial e comandos de voz para refinamentos precisos. Esse design permite posicionamento, escala, rotação e mudanças de materiais precisos dos objetos em ambientes virtuais de design residencial. O fluxo de trabalho segue um pipeline estruturado que começa com a definição dos requisitos do sistema, o design de léxicos de gestos e voz, o desenvolvimento de técnicas de fusão multimodal e a construção de um ambiente imersivo de VR no Unity 3D equipado com ferramentas de snapping, sobreposições de medição e pré-visualizações de materiais. Em seguida, há integração de sistemas, testes piloto e avaliação da experiência do usuário por meio de estudos comparativos.

O sistema oferece interação multimodal de baixa latência (abaixo de 200 ms), suporte à acessibilidade adaptativa e usabilidade aprimorada em comparação com sistemas convencionais de VR baseados em controladores. A avaliação experimental irá quantificar o tempo de conclusão da tarefa, a precisão do posicionamento, as taxas de erro, as pontuações do SUS, métricas de carga de trabalho NASA-TLX e as classificações de presença do IPQ. Os resultados esperados demonstram que a interação multimodal melhora significativamente a precisão, eficiência e satisfação do usuário no design residencial baseado em VR.

Protocolo

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Taylor, Subang Jaya, Malásia. Todos os procedimentos seguiram as diretrizes éticas estabelecidas pelo comitê de pesquisa institucional e estavam em conformidade com a Declaração de Helsinque. Antes da coleta dos dados, o consentimento informado era obtido de cada participante. Eles foram claramente informados sobre os objetivos do estudo, garantidos de que a participação era voluntária, que suas respostas permaneceriam confidenciais e que poderiam se retirar a qualquer momento sem consequências. Também foi obtido consentimento informado por escrito para o uso de dados anonimizados de interação e pesquisa em publicações acadêmicas. Nenhuma informação pessoalmente identificável, imagens ou dados pessoais sensíveis está incluído neste manuscrito.

O trabalho proposto formula um sistema de realidade virtual (VR) baseado em gestos e voz, projetado para um design imersivo de lares, superando os métodos atuais voltados para tarefas orientadas à navegação. A abordagem começa identificando as necessidades do usuário e atividades de design, incluindo a instalação de móveis, escalonamento e rotação de objetos, edição de materiais e medições precisas de salas. Um sistema de interação gestual é então desenvolvido, onde gestos manuais não restritos (como beliscar, agarrar e girar) são detectados por meio de rastreamento baseado em headset ou Mãos MediaPipe e identificados por modelos leves de aprendizado de máquina, incluindo Redes Convolucionais Temporais (TCN). Para complementar os gestos, é estabelecida uma gramática organizada de comandos de voz, combinada com Reconhecimento Automático de Fala (ASR) baseado em sussurros e compreensão de linguagem natural (NLU), para derivar intenções e parâmetros para controle semântico de alto nível. As duas modalidades são combinadas em uma estratégia de fusão multimodal, onde gestos são usados para gerenciar a seleção e manipulação espacial, e comandos de voz são usados para oferecer refinamentos precisos, complementados por um mecanismo de arbitragem baseado em confiança e recuperação de erros por meio de comandos de desfazer.

O ambiente de design imersivo é implantado em Unity 3D, com snapping, resposta a colisão, sobreposições de medição e uma biblioteca interativa de móveis e materiais para permitir fluxos de trabalho realistas de design. Testes piloto são realizados para garantir a naturalidade da interação, estabilidade e baixa latência (<200 ms) antes da avaliação formal.

Participantes e estratégia de amostragem
No total, 48 participantes foram recrutados para o estudo de usuários para garantir diversidade e a generalização dos resultados. As idades dos participantes variavam de 19 a 62 anos (M = 32,4, SD = 10,7), com 26 homens e 22 mulheres. Para capturar variações na familiaridade com tecnologias imersivas, os participantes foram divididos em três grupos de experiências de VR: usuários iniciantes (n = 18) com pouca ou nenhuma exposição prévia à VR, usuários intermediários (n = 17) com uso pouco frequente da VR e usuários experientes (n = 13) que usavam VR regularmente, principalmente profissionalmente. Para garantir a acessibilidade e inclusão da amostra, também incluiu 6 participantes com limitações leves de mobilidade e 4 participantes que preferiram interação com uma mão devido a restrições motoras. Todos os participantes apresentaram visão normal ou corrigida para normal, sem relatar condições vestibulares ou neurológicas que pudessem interferir no uso da VR.

Os participantes foram aleatoriamente designados para as três condições de interação usando uma estratégia de alocação balanceada: Gesto+Voz (n = 16), Apenas Controlador (n = 16) e Híbrido (n = 16). Seus níveis de experiência foram distribuídos de forma uniforme entre os três grupos para evitar viés e garantir dificuldades comparáveis nas tarefas em todas as condições. Todos os participantes forneceram consentimento informado por escrito antes do início do experimento.

Um estudo de usuário é então realizado em três condições de interação, como Voz de Gesto, Apenas Controle e Híbrido, para avaliar precisão, eficiência e experiência do usuário. Métricas quantitativas incluem precisão de posicionamento, duração da tarefa e taxas de erro, enquanto a avaliação subjetiva utiliza SUS, NASA-TLX e IPQ, apoiadas por entrevistas qualitativas. Este sistema, apresentado aqui, oferece três principais novidades: a utilização da fusão multimodal gesto-voz para manipulação precisa de objetos em VR, modos de interação adaptativos e acessíveis como gestos de uma mão e backup de voz, e a provisão de um corpus reprodutível de comandos de voz gestual anotados. Em conjunto, essas etapas garantem maior precisão, eficácia e experiência do usuário, abordando diretamente as limitações do artigo base e avançando a pesquisa em interação imersiva de VR para uso de design. A Figura 1 mostra a arquitetura do método proposto.

A arquitetura do sistema do método proposto, como mostrado na Figura 1, começa com as modalidades de entrada, onde os gestos são registrados usando conjuntos de dados como EgoGesture e IPN Hand, e instruções de voz do conjunto de dados Fluent Speech Commands. Essas entradas são processadas independentemente usando módulos de reconhecimento de gestos e voz para produzir dados espaciais e semânticos. Os dois fluxos são fundidos dentro de uma camada de fusão multimodal, que alinha gestos e entradas de voz para produzir comandos consistentes. Esses dados fundidos são utilizados na camada de interação de VR para facilitar a manipulação de objetos pelos usuários por meio de posicionamento, rotação, escalonamento e modificação de materiais em tempo real. Por fim, as interações processadas ficam disponíveis na camada de saída, criando um espaço imersivo de design residencial focado em acessibilidade, precisão e interação natural.

Requisitos do sistema e definição de tarefas
O sistema previsto aprimora modelos de navegação VR com orientação à acessibilidade para facilitar um planejamento residencial baseado em precisão. Identificamos o domínio do usuário como , onde são proprietários, são profissionais de design e são usuários de acessibilidade (idosos ou com mobilidade reduzida). Cada usuário executa um conjunto de tarefas principais T = {colocar, girar, escalar, material, luz, medir}. Uma tarefa t ∈ T é realizada por meio de entradas multimodais: fluxo de gestos G_t (manipulação espacial) e comando de voz V_t (parâmetros semânticos). O sistema relaciona esses a uma ação por meio de uma política de fusão:

(1)

onde π é a função multimodal de nível de decisão.

As necessidades do sistema exigem interação de baixa latência: seja reconhecimento de gestos, compreensão de fala e tempos de fusão.

(2)

A resposta somada oferece resposta em tempo real de acordo com os limites de usabilidade imersiva da VR.

Para precisão da tarefa, seja o estado de verdade fundamental do objeto (x, R, s, M, L) (posição, rotação, escala, material, comprimento) e o estado realizado do sistema . As métricas de erro são as seguintes:

(3)

(4)

(5)

(6)

Com para descompasso de materiais.

Ambas as modalidades geram pontuações de confiança c_g (gesto) e c_v (voz), normalizadas de modo que c_g + _{c v} = 1. A arbitragem de fusão minimiza um erro ponderado:

(7)

Onde l_g, l_v são perdas específicas de modalidade. Se , o sistema solicita um prompt de esclarecimento, tornando-o robusto para comandos pouco claros.

Por fim, as métricas de avaliação incluem o tempo de conclusão da tarefa T_t, taxas de erro E_t e pontuações de carga de trabalho da NASA-TLX, SUS e IPQ. Introduzimos um índice composto de desempenho de tarefas:

(8)

a ser minimizado entre os usuários, com limites que exigem uma pontuação SUS de ≥70 e uma redução NASA-TLX em comparação com a VR baseada em controladores básicos.

Coleta de conjuntos de dados e pré-processamento
O sistema proposto é baseado tanto em dados de gestos (para reconhecimento baseado em TCN) quanto em dados de comandos de voz (para NLU/ASR). Para esse fim, utilizamos três conjuntos de dados principais: EgoGesture para gestos contínuos dinâmicos em ambientes semelhantes a VR, IPN Hand para complementar gestos naturais de curto alcance, e Fluent Speech^{Commands 44} para treinar a compreensão semântica liderada por voz de enunciados de design. Conjuntos de dados opcionais são HaGRID para pré-treinamento de detectores de gestos estáticos e Mozilla Common Voice para pré-treinamento geral de ASR, mas nenhum desses é necessário. Essa escolha permite que ambas as modalidades sejam cobertas, mantendo o escopo dos conjuntos de dados o mais razoável e reproduzível possível. A Tabela 1 mostra os detalhes do conjunto de dados do trabalho proposto.

A seleção do conjunto de dados neste artigo é crucial, pois cada conjunto de dados é projetado para abordar um cenário distinto de interação multimodal em VR. O conjunto de dados EgoGesture oferece uma coleção de gestos manuais em grande escala e naturalista, garantindo alto desempenho de reconhecimento apesar das variações de iluminação e condições ambientais. Como o conjunto de dados de mãos IPN é projetado para movimentos manuais contínuos e irrestritos, ele seria especialmente adequado para operações de controle de alta precisão e segmentação de gestos em tempo real. Além disso, o conjunto de dados Fluent Speech Commands oferece comandos de voz rotulados com anotações semânticas para detecção de intenção, o que é crucial para viabilizar a execução precisa e natural de comandos em VR. Combinados, esses conjuntos de dados fornecem cobertura complementar tanto das modalidades de gesto quanto de fala, proporcionando diversidade, robustez e desempenho cotidiano que melhoram a avaliação do sistema proposto. Além dos conjuntos de dados públicos, também verificamos o protocolo usando um conjunto de dados independente interno composto por 312 amostras de gestos e 128 comandos de voz de 10 novos participantes. Essa validação independente confirmou a reprodutibilidade e robustez do protocolo.

Pré-processamento de dados
As informações coletadas são sistematicamente normalizadas, amostradas e ampliadas antes do treinamento do modelo:

Normalização de sequência gestual
Uma sequência de vídeo de gestos é representada como uma série temporal multivariada de características ósseas da articulação:

(9)

Onde T_i é o comprimento do gesto i-ésimo e d é a dimensão das características (por exemplo, localizações das juntas manuais). Como diferentes gestos podem ter comprimentos variados Ti, reamostramos em uma sequência constante de comprimento T:

(10)

Isso torna todas as amostras gestuais, independentemente do comprimento da gravação, comparáveis a um comprimento temporal padrão que pode ser usado para treinamento TCN.

Padronização de características
Para eliminar diferenças de escala entre usuários e condições de gravação, cada espaço de recursos é padronizado:

(11)

Onde é a média da característica j, e σ_j é seu desvio padrão. A normalização dessa forma garante que as características sejam centralizadas com variância unitária, e as diferenças individuais no desempenho dos gestos sejam minimizadas.

Ampliação de dados
A inclusão de perturbações sintéticas melhora a robustez à variabilidade. O jitter temporal primeiro desloca aleatoriamente o alinhamento da sequência:

(12)

onde δ é o jitter máximo em quadros. A segunda injeção de ruído adiciona perturbações gaussianas às características:

(13)

Essas ampliações permitem que o modelo seja robusto contra irregularidades de tempo e ruído de sensores em interações reais de VR.

Pré-processamento de voz
Cada enunciado falado é inicialmente mapeado para uma representação do espectrograma log-Mel:

(14)

Onde F é a quantidade de bins de frequência e T′ a quantidade de referenciais temporais. Para compensação pela variabilidade da gravação, as características do espectrograma são normalizadas como:

(15)

Onde μ_V, σ_V são a média global e o desvio padrão sobre o corpus. Isso proporciona um espaço acústico estável para os modelos ASR e NLU.

Codificação por slot de intenção
Além dos recursos acústicos, cada comando de voz é rotulado com slots semânticos estruturados:

(16)

onde, por exemplo, "girar a cadeira 15 graus" corresponde a (ação = girar, objeto = cadeira, localização = nulo). Essa codificação sistemática permite que o sistema derive parâmetros específicos do projeto e os transforme em operações executáveis de VR.

Design de Interação de Gestos com Rede Convolucional Temporal (TCN)
O Design de Interação por Gestos especifica como os usuários interagem com objetos virtuais no sistema de design residencial de VR usando gestos naturais com as mãos. O design começa desenvolvendo um léxico gestual – uma associação de gestos manuais a funções do sistema. Por exemplo, um gesto de agarrar poderia controlar a posição de objetos, um gesto de beliscar poderia controlar a escala, e um gesto de rotação poderia girar objetos ao redor de um eixo selecionado.

No sistema em questão, EgoGesture e IPN Hand servem como conjuntos de dados base de gestos para treinar a Rede Convolucional Temporal (TCN), enquanto os Comandos de Fala Fluente complementam o design com capacidades de interação habilitadas por voz. Combinados, eles oferecem interação multimodal em VR.

Representações gestuais do conjunto de dados
Uma sequência de gestos de EgoGesture ou IPN Hand é uma série temporal multivariada:

(17)

(18)

Aqui, T é o número predeterminado de quadros (após reamostragem), e d é o número de dimensões das características esqueléticas (por exemplo, localizações 3D das juntas). O conjunto de dados possui rótulos y⁽ⁱ⁾ ∈ y indicando uma das classes de gesto C.

Codificação Convolucional Temporal
Utilizamos uma Rede Convolucional Temporal (TCN) para classificar gestos em tempo real. A TCN captura dependências de curto e longo prazo em sequências gestuais. As TCNs, ao contrário das RNNs, utilizam convoluções causais dilatadas, que permitem computação paralela eficiente.

A TCN aplica essas sequências por meio de convoluções causais dilatadas para aprender dependências de curto e longo prazo:

(19)

onde d_L é o fator de dilatação na camada l, K é o tamanho do núcleo e σ é uma ativação não linear (ReLU). O campo receptivo depende de:

(20)

exigindo que o TCN abrange gestos de diferentes comprimentos temporais.

Classificação dos gestos
O último estado oculto é passado por um classificador Softmax:

(21)

com objetivo de treinamento definido pela entropia cruzada:

(22)

Integração com comandos de voz
Enquanto operações espaciais (mover, girar, escalar) são abordadas pelo reconhecimento de gestos do EgoGesture e do IPN Hand, o conjunto de dados Fluent Speech Commands é aplicado para comandos semânticos. Cada enunciado é traduzido em uma representação estruturada em slots: que aumenta a entrada do gesto oferecendo parâmetros (por exemplo, "girar a cadeira em 15°").

Então, ambas as saídas são combinadas:

(23)

Onde o⁽ⁱ⁾ é a primitiva de controle da VR (posicionamento, escala, rotação).

A Rede Convolucional Temporal (TCN) é eficaz no manejo de dados sequenciais ao empregar convoluções 1D dilatadas em sequências de entrada, como sinais de gesto ou fala, como mostrado na Figura 2. Em contraste com modelos recorrentes, as NTC utilizam filtros convolucionais para aprender tanto relações temporais de curto quanto de longo prazo. Blocos residuais com conexões de salto são empregados para fornecer estabilidade durante o treinamento e evitar gradientes nulos, enquanto o uso de camadas TCN empilhadas permite que a rede aprenda padrões temporais em múltiplas escalas. Em última análise, uma camada de classificação totalmente conectada projeta as características temporais aprendidas em rótulos de saída, como classes de gestos ou intenções faladas. Esse design é particularmente adequado para reconhecimento contínuo de gestos e compreensão de comandos de voz, pois combina eficiência computacional com fortes capacidades de modelagem temporal.

A Tabela 2 resume o design arquitetônico geral e a configuração de treinamento da Rede Convolucional Temporal usada no sistema proposto para reconhecimento de gestos. O modelo apresenta quatro blocos residuais de TCN, cada um baseado em convoluções causais dilatadas, permitindo que a rede modele tanto dependências temporais de curto quanto de longo alcance. Essas dependências são cruciais para distinguir entre gestos dinâmicos, como agarrar, girar e beliscar. Com tamanho de núcleo de 3 e fatores de dilatação, os fatores de dilatação de [1,2,4,8] expandem eficientemente o campo receptivo temporal sem aumentar o custo computacional. Para melhorar a generalização entre usuários e condições de gravação, a normalização de camadas e uma taxa de queda de 0,25 foram utilizadas dentro de cada bloco. Para treinamento, é usado um otimizador Adam com taxa de aprendizado de 1 × ^10-3, tamanho de lote de 32 e comprimento de sequência de 64 quadros, que equilibra de forma ideal precisão e resposta em tempo real. Durante a inferência, uma estratégia de janela deslizante torna viável a previsão de gestos a cada 20-25 ms, mantendo a latência de ponta a ponta abaixo de 120 ms. Essa combinação de arquitetura e hiperparâmetro gera alta precisão na classificação de gestos (∼94% de precisão de posicionamento) enquanto preserva a interação em tempo real, permitindo que a TCN realize tarefas imersivas de manipulação de VR.

Design de Interação de Voz (ASR+NLU)
O componente de interação de voz complementa o controle espacial baseado em gestos por meio de comandos de voz semânticos e parametrizados para o sistema de design doméstico de VR. A entrada falada a⁽ⁱ⁾ é primeiro gravada como áudio bruto e convertida em um espectrograma log-Mel:

(24)

Onde F é o número de bins de frequência T que correspondem ao tempo dos intervalos. A representação preserva padrões espectrais e temporais de fala e é normalizada para ser invariante à variabilidade do falante e do ambiente:

(25)

O espectrograma normalizado é alimentado em um modelo de Reconhecimento Automático de Fala (ASR) como o Whisper, que transforma as características acústicas em uma sequência de token:

(26)

onde cada é um token para uma palavra ou sub-palavra. Essa transcrição é inserida em um modelo de Compreensão da Linguagem Natural (NLU), que captura significados estruturados. Mais precisamente, a NLU faz previsões de categorias de intenção e espaços semânticos:

(27)

onde, por exemplo, a afirmação "gire a cadeira quinze graus" mapeia para (ação = girar, objeto = cadeira, localização/parâmetro = 15°).

A estrutura de slot de intenção identificada é então traduzida em um comando matemático que pode ser implementado dentro do sistema VR:

(28)

Onde u⁽ⁱ⁾ pode ser uma transformação numérica (por exemplo, rotação de 15°) ou uma mudança categórica (por exemplo, troca de materiais).

A robustez é finalmente alcançada por meio de um mecanismo de arbitragem baseado em confiança. Se a pontuação de confiança ASR p(z) ou a pontuação de confiança da NLU p(s) for menor que um limiar τ, o sistema solicita esclarecimento ou adota o controle baseado em gestos. Isso garante que os comandos de voz sejam precisos e claros, melhorando a usabilidade para tarefas de projeto que exigem precisão.

Design de fusão multimodal
A vantagem da fusão multimodal no sistema de VR proposto é que a compreensão de voz e a detecção de gestos são integradas em um único processo de tomada de decisão, em vez de serem tratadas separadamente. O módulo de gesto fornece uma saída de classificação a partir do TCN, enquanto o módulo de voz fornece uma representação s(i) com slot de intenção^. Para fundir esses aspectos, o sistema implementa fusão em nível de decisão com arbitragem baseada em confiança.

Faça o classificador de gestos fornecer uma distribuição de probabilidade sobre classes de gestos:

(29)

e seja o modelo NLU que produza probabilidades de slot de intenção:

(30)

Onde a, o e p se referem a slots de ação, objeto e parâmetros derivados da entrada de fala. A etapa de fusão calcula uma decisão conjunta combinando as duas modalidades de acordo com seus escores de confiança:

(31)

Onde α∈[0,1] é definido dinamicamente com base na confiança do sistema (por exemplo, maior quando gestos são mais certos, menor quando a fala é clara).

Algoritmo 1: Multimodal_Fusion (X, a):

Entrada:

X = sequência de gestos pré-processados, a = comando de áudio

Saída:

O = comando de ação VR

Passo 1: Reconhecimento de Gestos

 

Passo 2: Compreensão da Voz

 

 

Passo 3: Decisão sobre Fusão

 

 

 

 

 

Caso contrário:

 

Passo 4: Tratamento de Erros

):

Solicite esclarecimento do usuário

Caso contrário:

Enviar O para o sistema VR

retorno O

Este Algoritmo 1 alterna entre entrada de gesto e entrada de voz para formular um comando poderoso para trabalhos de design de VR. O módulo de gestos (TCN) primeiro interpreta movimentos das mãos, como rotação ou escalonamento, e atribui uma pontuação de confiança baseada na certeza do modelo. Paralelamente, o módulo de voz também realiza conversão de fala para texto com ASR (por exemplo, Whisper) e aplica NLU para identificar a intenção semântica, como "girar a cadeira em 15°". Ambos os módulos retornam suas previsões junto com os escores de confiança. O passo de combinação então equilibra as duas saídas. Se ambas as entradas forem definitivas, o sistema as combina proporcionalmente aos seus níveis de confiança. Se uma entrada for ambígua (por exemplo, ruído na voz ou gesto incerto), o sistema prioriza mais a outra. Por fim, se nenhuma das opções for definitiva, o sistema pede esclarecimentos para evitar erros. Isso torna a fusão adaptativa (os pesos mudam com base na qualidade da entrada), robusta (acomodando dados barulhentos ou ausentes) e precisa (utilizando as melhores forças tanto do gesto quanto da voz).

Participantes
Este estudo inclui um grupo de voluntários escolhidos tanto entre estudantes universitários quanto profissionais relacionados ao design para coletar opiniões diversas sobre a usabilidade da VR. As idades dos participantes variaram da idade adulta inicial à meia-idade, representando uma mistura de níveis de experiência prévia em VR, incluindo iniciantes, usuários ocasionais e usuários avançados. Todos os participantes apresentaram visão normal ou corrigida e não relataram comprometimentos motores que pudessem interferir substancialmente na interação baseada em gestos. Deficiências graves de fala, limitações graves de mobilidade nos braços ou qualquer histórico anterior de enjoo de movimento induzido por RV excluíam os indivíduos por segurança e consistência na participação. Todos os participantes forneceram consentimento informado, e os procedimentos para a avaliação foram aprovados pelo conselho de revisão institucional. Esta subseção identifica claramente quem participou da avaliação, permitindo a reprodutibilidade do estudo.

Configuração experimental
A configuração experimental proposta conta com o sistema multimodal de VR desenvolvido, que é implantado em um headset de VR de nível consumidor equipado com capacidades integradas de rastreamento de mãos e uma câmera RGB para capturar gestos. Ele conta com uma área de trabalho de alto desempenho, permitindo o processamento em tempo real de reconhecimento de gestos, ASR e técnicas de fusão multimodais. O ambiente de VR é construído em Unity 3D e contém uma sala de design residencial que pode ser configurada com móveis, materiais e elementos de iluminação. A configuração inclui ASR baseado em Whisper para transcrição de fala, e também inclui um módulo NLU baseado em transformador para detectar intenção. Esta descrição foi transferida da seção de Resultados para fornecer uma visão técnica adequada do ambiente antes de discutir os resultados.

Cenários de testes subjetivos
Os participantes interagiram com um ambiente simulado de design residencial composto por uma sala de estar mobiliada, um quarto e uma pequena área de trabalho. Em todos os cenários, os usuários foram solicitados a alterar objetos virtuais e variáveis ambientais ao redor de acordo com circunstâncias realistas de design. Por exemplo, os participantes foram convidados a posicionar um sofá em relação a um ponto de referência, girar uma cadeira em uma direção específica, redimensionar uma mesa para uma dimensão-alvo ou modificar o material/perfil de luz da parede. Esses cenários foram selecionados porque representam tarefas típicas de design de interiores que desafiam tanto o controle baseado em gestos (em termos de precisão espacial) quanto o controle baseado em voz (em termos de comandos semânticos). Esta subseção aborda diretamente a pergunta do revisor sobre as condições subjetivas de teste sob as quais os usuários avaliaram o sistema.

Projeto de tarefas
Os participantes realizaram um conjunto estruturado de exercícios abordando diferentes áreas de manipulação de itens e interação com design. As principais tarefas foram as seguintes: 1) Colocação de móveis: Os participantes posicionaram objetos nas coordenadas alvo. 2) Tarefa de Rotação: Nessa tarefa, os usuários precisavam mudar a orientação para que correspondesse a um ângulo de referência. 3) Tarefa de Escala: Isso envolvia redimensionar móveis para dimensões pré-definidas. Além disso, 4) Edição de Materiais/Cores: Os participantes usaram comandos de voz para alterar as texturas ou modificar a iluminação. Tarefas opcionais de navegação foram fornecidas para capturar a capacidade de consciência espacial dentro da sala virtual. Cada trabalho foi estabelecido com objetivos claros, resultados quantificáveis e um limite de tempo definido, garantindo que tanto a precisão quanto a eficiência pudessem ser devidamente avaliadas.

Procedimento
Para garantir uniformidade entre os participantes, a avaliação foi realizada em uma sequência planejada. Os usuários primeiro foram explicados sobre o sistema e receberam uma breve demonstração das modalidades de interação gestual e de fala. Uma fase inicial de calibração permitiu adaptação para posturas individuais das mãos e características da fala. Os usuários então fizeram uma breve sessão de prática para se acostumar com ambas as modalidades. A avaliação real exigia a execução de todas as tarefas em três condições de interação: usando apenas um controlador, usando apenas gestos e usando gestos mais voz como entrada multimodal. A ordem de condição foi contrabalançada para reduzir os efeitos de aprendizagem. Ao final, os participantes completaram instrumentos padronizados de avaliação, como o SUS, NASA-TLX e IPQ, e participaram de uma breve entrevista qualitativa de feedback.

Métricas de avaliação
Esse procedimento estruturado estabelece transparência metodológica, permitindo estudos de replicação. Métricas objetivas e subjetivas foram combinadas para avaliar de forma abrangente o desempenho do sistema. Métricas de objetivo incluíam tempo de conclusão de tarefas, uma medida de eficiência; precisão de posicionamento, quantificada como o desvio da posição ou rotação do alvo; e taxa de erro, definida como o número de classificações incorretas de entrada ou ações não intencionais realizadas pelo sistema. Métricas subjetivas foram capturadas usando questionários validados: a Escala de Usabilidade do Sistema para medir a usabilidade percebida, a escala NASA-TLX para avaliar a carga mental e física, e o Questionário de Presença do grupo I para medir imersão e presença em VR. Esses foram movidos adequadamente da seção de Resultados para descrever como o desempenho foi medido antes de apresentar qualquer resultado.

Ambiente de VR, integração de sistemas e avaliação
A principal plataforma para comandos de fala e gestos é um ambiente interativo de realidade virtual onde o sistema é implantado. Bibliotecas integradas de móveis, texturas e elementos de iluminação são usadas para criar salas virtuais no Unity 3D. Ele permite que os usuários organizem, personalizem e editem itens em tempo real. A precisão é aprimorada por meio de capacidades de encaixe, detecção de colisão e sobreposições de medição, permitindo que objetos se alinhem naturalmente. A renderização em tempo real de iluminação e materiais aprimora a experiência de design ao fornecer feedback instantâneo em cada interação.

Após validar os módulos individuais para reconhecimento de gestos, compreensão de voz e fusão multimodal, eles são combinados em um pipeline unificado. O sistema foi projetado para ter baixa latência, então os comandos do usuário aparecem quase imediatamente no ambiente de VR. Os testes piloto são realizados com um número reduzido de membros para aprimorar o fluxo de interação. A iteração inclui vocabulários de gestos, validação da gramática dos comandos de voz e garantir que o sistema pareça natural e confiável durante o uso contínuo.

Um estudo abrangente comparando três modalidades de interação, como fusão multimodal gesto-voz, entrada apenas com controlador e modo híbrido, será usado para avaliar a experiência do usuário. Tarefas como troca de materiais, rotação e posicionamento de objetos são exigidas dos participantes. Para avaliar o desempenho, métricas objetivas são coletadas, como tempo de realização do emprego, correção de colocação e cobranças de erro. Avaliações subjetivas são obtidas dos participantes usando questionários padronizados, como a Escala de Usabilidade do Sistema (SUS), carga de trabalho cognitiva da NASA-TLX e questionário IPQ para imersão, com entrevistas com participantes fornecendo suporte adicional. Essa avaliação dupla codifica tanto medidas de desempenho quantificáveis quanto experiência subjetiva do usuário.

O avanço desse sistema é aplicar a fusão multimodal a tarefas de design de precisão além da navegação ou interação básica. A técnica oferece uma forma mais orgânica, precisa e acessível de interagir, combinando o valor semântico das instruções de voz com as vantagens espaciais dos gestos. Ao oferecer recursos de acessibilidade adaptáveis, como recurso apenas por voz e reconhecimento de gestos com uma única mão, o sistema também aumenta a inclusão. Por fim, o estudo oferece um conjunto de dados multimodal metódico, anotado de interações voz-gesto, promovendo estudos futuros em design de interfaces imersivas e fortalecendo a reprodutibilidade.

A Figura 3 mostra capturas de tela típicas do programa implementado, oferecendo uma representação mais vívida do sistema de design de interiores VR construído. O ambiente imersivo de realidade virtual, onde os usuários podem explorar e visualizar a disposição da sala, é representado na Figura 3A. A Figura 3B mostra como interações naturais com as mãos podem ser usadas para selecionar, mover e girar móveis virtuais em um processo de manipulação de objetos baseado em gestos. A Figura 3C ilustra a interface de voz integrada, onde o microfone e os símbolos de feedback de voz validam comandos de voz emitidos pelo usuário para modificações espaciais ou posicionamento de objetos. Juntas, essas capturas de tela do sistema multimodal de VR proposto demonstram que ele foi totalmente implementado, permitindo gestos e interação de voz em tempo real.

Resultados

O sistema de design multimodal de casas em VR projetado foi validado com três conjuntos de dados fundamentais: EgoGesture (gestos dinâmicos), IPN Hand (gestos manuais contínuos) e Fluent Speech Commands (comandos de voz com etiquetas de slot de intenção). Coletivamente, os três conjuntos de dados ofereceram uma base abrangente de treinamento e avaliação, abordando tanto o reconhecimento de gestos quanto a compreensão semântica baseada em voz. A validação estabelece que a integração gesto-voz melhora significativamente a ...

Discussão

Os resultados dessa pesquisa avançam a tecnologia do artigo base, que mostrou principalmente os méritos da navegação imersiva em VR para acessibilidade, combinando modalidades de gesto e voz para tarefas de design. O sistema multimodal teve melhor desempenho em todas as medidas de desempenho objetivas e subjetivas, com tempos de conclusão de tarefa mais curtos, maior precisão de posicionamento e taxas de erro menores do que abordagens baseadas em controladores e híbridas. Além disso, med...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Conjunto de Dados EgoGesture	Universidade Tecnológica de Nanyang	DOI: 10.1109/TMM.2018.2808769	Conjunto de dados de gestos de mão egocêntricos em grande escala para treinamento dinâmico de reconhecimento de gestos.
Conjunto de dados de comandos de fala fluente	Fluent.ai / Universidade de Alberta	DOI: 10.48550/arXiv.1804.04363	Conjunto de dados para intenção de voz e compreensão semântica baseada em slots para treinamento ASR/NLU.
Conjunto de Dados HaGRID (opcional)	Sber AI / Código Aberto	v1.1	Conjunto de dados opcional usado para pré-treinamento estático de detectores de gestos manuais.
Questionário de Presença do Igroup (IPQ)	igroup.org	N/A	Usado para medir imersão e presença em ambientes de VR.
Conjunto de Dados Manuais IPN	Universidad Veracruzana	DOI: 10.1109/CVPRW50498.2020.00241	Conjunto de dados para tarefas contínuas e naturais de reconhecimento e segmentação de gestos manuais.
Matplotlib / Seaborn	Código Aberto	Estável Mais Recente	Usado para visualização de métricas de desempenho e resultados de avaliação.
Mãos do MediaPipe	Google Research	Código aberto (GitHub)	Usado para rastreamento em tempo real de mãos e gestos para reconhecimento de entrada de gestos.
Mozilla Common Voice (opcional)	Fundação Mozilla	Versão 17	Conjunto de dados opcional para pré-treinar o modelo ASR em dados gerais de fala.
Camada de Fusão Multimodal	Algoritmo personalizado	N/A	Fluxos de gestos de fusíveis e entrada de voz baseados em arbitragem ponderada pela confiança.
Avaliação da Carga de Trabalho NASA-TLX	Fatores Humanos da NASA	N/A	Usado para análise de carga cognitiva de participantes.
Módulo de Compreensão de Linguagem Natural (NLU)	Personalizado (baseado em BERT / RoBERTa)	N/A	Usado para extrair intenções semânticas e slots (ação, objeto, parâmetro) a partir de entrada de voz transcrita.
NumPy / Pandas / OpenCV	Código Aberto	Estável Mais Recente	Usado para operações numéricas, pré-processamento de dados e manipulação de quadros de vídeo.
Linguagem de Programação Python	Fundação de Software Python	Versão 3.10+	Usado para implementar modelos de ML (TCN, ASR, NLU, fusão).
PyTorch Deep Learning Framework	Meta IA	Versão 2.0+	Usado para construir e treinar modelos de reconhecimento de gestos (TCN) e NLU.
Câmera RGB	Logitech / RealSense	Logitech C920 ou Intel RealSense D435	Usado para captura de gestos manuais e entrada de reconhecimento de movimento.
Questionário da Escala de Usabilidade do Sistema (SUS)	Ferramenta Padrão de Avaliação	N/A	Usado para avaliar a usabilidade subjetiva de sistemas de VR.
Rede Convolucional Temporal (TCN)	Implementação personalizada (PyTorch / TensorFlow)	N/A	Usado para reconhecimento dinâmico de gestos a partir de dados esqueléticos de séries temporais.
Motor 3D Unity	Tecnologias Unity	Versão 2022.3 LTS	Usado para desenvolver ambientes de realidade virtual imersiva com móveis interativos, edição de materiais e renderização em tempo real.
VR Headset	Oculus (Meta) / HTC Vive	Oculus Quest 2 ou HTC Vive Pro	Usado para visualização imersiva e rastreamento espacial durante interações de VR.
Modelo ASR Whisper	OpenAI	Whisper (modelo base)	Motor de Reconhecimento Automático de Fala para converter fala em texto.
Estação de trabalho	PC montado sob medida	Intel Core i7 / NVIDIA RTX 3070 / 32 GB RAM	Usado para processamento em tempo real, treinamento e inferência de modelos de gestos e voz.