Esta revisão sintetiza avanços recentes em deep learning, sensoriamento multimodal e estratégias de integração que possibilitam uma comunicação fluida, adaptativa e centrada no ser humano entre humanos e robôs.
Review Article
Comunicação Multimodal Humano-Robô Contínua: Técnicas de Integração na Interação Humano-Computador
Opens in a new tab
In This Article
Summary
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Abstract
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
A comunicação multimodal humano-robô se tornou essencial à medida que robôs sociais, assistivos e educacionais se transferem para ambientes cotidianos, como residências, unidades de saúde e salas de aula, onde precisam integrar fala, gestos, olhar, expressões faciais e pistas táteis com alta precisão, baixa latência e robustez no mundo real. Esta revisão examina sistematicamente como as técnicas atuais alcançam interação multimodal recíproca entre humanos e robôs (HRI) em tempo real, focando em estratégias de fusão, arquiteturas de sistemas e aplicações em domínios específicos. Pesquisamos na Web of Science Core Collection estudos empíricos em inglês de 2015 a 2025, selecionando 148 artigos que abordam integração comunicativa. Os insights mais importantes incluem uma clara mudança para a fusão híbrida e baseada em atenção desde 2022 (cerca de 43% das abordagens), que lida melhor com a assíncronia temporal e as interações incorporadas do que métodos anteriores; inconsistência generalizada nas métricas de avaliação que dificulta comparações entre estudos; e uma lacuna persistente entre forte desempenho laboratorial e robustez mais fraca no mundo real sob ruído, oclusão ou variabilidade do usuário. Os principais desafios incluem processamento em tempo real, alinhamento semântico, eficiência de dados, robustez na implantação e a integração pouco explorada de sinais táteis com o afeto. Olhando para o futuro, a revisão sugere priorizar políticas de fusão adaptativa, benchmarks padronizados para sincronização e fluência, e aprendizado contínuo para permitir adaptações personalizadas pelo usuário. Em última análise, o objetivo é orientar o desenvolvimento de agentes robóticos mais centrados no ser humano, que possam se envolver de forma colaborativa, significativa e socialmente aceitável no dia a dia.
Introduction
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Os robôs evoluíram de ferramentas industriais em ambientes estruturados para agentes socialmente incorporados em residências, hospitais e salas de aula. Atualmente, eles auxiliam na educação, terapia e companhia, refletindo uma mudança da automação orientada a tarefas para uma interação centrada no usuário e adaptativa. No cerne dessa transição está a comunicação multimodal, permitindo que robôs percebam e respondam a sinais humanos — fala, olhar, gestos, expressões faciais e tato — com a precisão temporal necessária para trocas naturais em ambientes dinâmicos. Essa ênfase na coordenação e na capacidade de resposta está alinhada com preocupações centrais na interação humano-computador e na ciência cognitiva. Nesta revisão, comunicação multimodal contínua refere-se a interações que parecem fluidas e intuitivas para os usuários, caracterizadas por tempos de resposta abaixo de um segundo (tipicamente inferiores a 300 ms), atrasos ou desajustes perceptíveis mínimos e adaptação robusta à variabilidade do mundo real. Isso o diferencia dos sistemas tradicionais baseados em comandos ou unimodais, onde erros de temporização, falhas de modalidade ou respostas rígidas interrompem o fluxo natural.
Dentro da interação humano-robô (HRI), esta revisão foca na comunicação humano-robô, definida como a troca recíproca e em tempo real de sinais multimodais entre humanos e robôs. Enquanto a HRI também abrange planejamento, controle e segurança, a comunicação diz respeito à sincronização entre percepção e ação através dos canais sensoriais. Sistemas iniciais baseados em comando priorizavam a eficiência em detrimento do engajamento, frequentemente produzindo comportamentos rígidos ou retardados. O trabalho contemporâneo busca modelos adaptativos e conscientes do contexto que acomodam o estado e a emoção do usuário 1,2. Essa evolução ressalta a necessidade de estruturas de interação precisas, intuitivas e personalizadas.
Robôs sociais e assistivos iniciais comumente dependiam de rotinas roteirizadas ou entradas de modalidade única, como voz ou toque, limitando aflexibilidade 3. Lógica baseada em regras e processamento lento frequentemente levavam a desajustes de tempo entre gestos e fala, ou a uma má adaptação ao comportamento do usuário. Para enfrentar essas questões, os pesquisadores utilizam fusão de baixa latência, integração sensorial multimodal e aprendizagem adaptativa dousuário 4,5. Essas estratégias podem ser compreendidas por meio de três princípios fundamentais de comunicação amplamente reconhecidos em HRI: complementaridade (modalidades se compensam), redundância (a sobreposição melhora a robustez) e sinergia (convergência aumenta a naturalidade).
Avanços em sensação e aprendizado resultaram em robôs socialmente responsivos que integram entradas visuais, auditivas, táteis e fisiológicas emtempo real 5,6. Em vez de scripts fixos, esses sistemas se adaptam continuamente aos sinais do usuário. Interfaces de programação acessíveis e métodos de aprendizado a partir da demonstração permitem que educadores e terapeutas personalizem comportamentos para cuidados e instrução, onde precisão, capacidade de resposta e adaptabilidade são essenciais.
Os padrões de comunicação em HRI social podem ser agrupados em modos paralelos, complementares e interativos (Figura 1). Em interação paralela, humanos e robôs agem de forma independente com troca mínima. A interação complementar introduz prompts estruturados ou suporte baseado em eventos. O modo mais avançado e interativo envolve ajuste bidirecional contínuo entre canais, como fala, movimento e olhar7.
Seleção e análise da literatura
Metodologia da revisão sistemática: Realizamos uma busca sistemática na literatura Web of Science Core Collection, direcionada a artigos de periódicos revisados por pares e anais completos de conferências de grandes editoras (IEEE, ACM, Springer, Elsevier, Wiley, Taylor & Francis). A consulta booleana era: (("interação humano-robô" OU HRI) E (multimodal OU "fusão de sensores" OU gesto OU olhar OU fala OU tátil) E ("tempo real" OU "baixa latência" OU adaptativa OU robusta)). Os critérios de inclusão foram: publicações em inglês de janeiro de 2015 a 2025 — um período que capturou a transição de sistemas baseados em regras e modalidade única para arquiteturas de aprendizado profundo que enfatizam interação robusta de baixa latência, adaptativa e robusta — com foco em técnicas de integração multimodal para HRI comunicativa e validação empírica (quantitativa ou qualitativa). Excluímos estudos limitados à interação unimodal, aqueles que abordam controle robótico sem intenção comunicativa e trabalhos não empíricos (por exemplo, puramente teóricos ou apenas de simulação). A busca inicial retornou um corpus substancial. Após remover duplicados, analisamos títulos e resumos com base nos critérios de inclusão, e então realizamos revisões em texto integral para avaliar a relevância e a contribuição para a fusão multimodal confiável. Esse processo em múltiplas etapas, resumido no fluxograma estilo PRISMA (Figura 2), resultou em um corpus final de 148 artigos que formam a base empírica desta revisão.
Visão geral da literatura selecionada: A Figura 3 mostra tendências de publicação e distribuição disciplinar, com Ciência da Computação e Automação & Robótica dominando, além de contribuições crescentes das Ciências do Comportamento e Neurociência, o que destaca a trajetória interdisciplinar do campo. Agrupamos tematicamente a literatura por contribuição técnica para a integração multimodal (Tabela 1). Essa síntese abrangeu modalidades, métodos de fusão, manejo de latência, estratégias de robustez, adaptabilidade e métricas. Estudos de 2019 a 2021 utilizaram predominantemente fusão precoce ou tardia, frequentemente enfatizando gestos e entradas táteis. Desde 2022, arquiteturas híbridas e baseadas em atenção ganharam popularidade, especialmente para interação afetiva e incorporada. Neste corpus, a fusão híbrida representa aproximadamente 43% das abordagens, a fusão inicial 29% e a fusão tardia 28% — uma distribuição que sugere uma tolerância aprimorada para a assíncronia temporal.
Embora a capacidade em tempo real seja comumente reivindicada na literatura mais ampla inicialmente analisada, apenas um número limitado de estudos detalha estratégias específicas de mitigação (por exemplo, processamento em buffer, modelos preditivos ou otimização em nível de sensor). A robustez normalmente depende de filtragem, redundância ou resoluções baseadas em regras, enquanto a adaptação antecipatória permanece rara. As práticas de avaliação são inconsistentes, e avaliações padronizadas de sincronização temporal ou fluência de interação continuam sendo raras. As métricas variam tanto entre os estudos que comparações diretas muitas vezes são difíceis. Precisão, pontuações F1 e valores de latência são comuns, mas eles derivam de diferentes conjuntos de dados, tarefas e condições ambientais; Poucos artigos adotam benchmarks compartilhados para alinhamento temporal ou robustez ao ruído. Consequentemente, um desempenho forte em instalações limpas de laboratório frequentemente superestima quais métodos podem alcançar ambientes controlados externamente. Desenvolver estruturas de avaliação consistentes — talvez incluindo testes padronizados de latência sob variabilidade realista — tornaria muito mais fácil julgar quais abordagens realmente avançam no campo.
Lacunas importantes permanecem na integração tátil-afetiva (apenas seis estudos 8,9,10,11,12,13 abordam isso) e no ajuste dinâmico de latência sob incerteza temporal conduzida pelo usuário. Várias tensões interessantes emergem da literatura. A fusão híbrida é frequentemente elogiada por lidar bem com desalinhamento temporal, mas comportamentos verdadeiramente antecipatórios ou adaptativos continuam sendo raros, colocando em dúvida o quão fluido é esse desempenho em tempo real alegado. Ao mesmo tempo, o progresso impressionante na visão e no reconhecimento de afetos baseado na fala contrasta fortemente com o trabalho mínimo que integra sinais táteis com a compreensão emocional. Alta precisão em experimentos controlados também tende a se degradar em condições reais, destacando desafios contínuos na generalização entre ambientes e usuários. A Tabela 2 resume tendências arquitetônicas representativas e abordagens de avaliação, informando os desafios discutidos nas seções seguintes.
Esta revisão oferece uma contribuição distinta para a literatura multimodal sobre HRI. Pesquisas recentes, como Zhao et al.14, fornecem visões gerais da tomada de decisão orientada pela percepção, enquanto Wang et al.15 focam na transmissão visual-tátil habilitada pelo 5G. Ambos enfatizam estruturas gerais ou protocolos de comunicação, com discussões limitadas sobre concessões de fusão em tempo real, comparabilidade de métricas ou desafios de implantação. Em contraste, oferecemos uma análise mais direcionada: comparando estratégias de fusão sob restrições específicas, criticando inconsistências de métricas entre estudos cruzados e destacando lacunas práticas — particularmente a divisão de desempenho entre laboratório e campo que pesquisas anteriores em grande parte ignoraram.
Access restricted. Please log in or start a trial to view this content.
Review and Perspective
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
À medida que os robôs se tornam elementos fixos em casas, salas de aula e ambientes de saúde, a comunicação natural e adaptativa é fundamental para seu sucesso. Cada vez mais vistas não como ferramentas, mas como parceiros sociais, elas precisam perceber, interpretar e responder a sinais humanos em diferentes modalidades. Sistemas que capturam com precisão a intenção do usuário e fornecem feedback oportuno melhoram o desempenho das tarefas, a confiança e o conforto emocional — especialmente ao envolver crianças, idosos ou pessoas com deficiência. Alcançar isso requer interação contínua e intuitiva que alinhe as respostas dos robôs com o comportamento humano contínuo, em vez de interrompê-lo. Essa fluência exige entradas multimodais — voz, olhar, gesto, expressão facial — integradas por mecanismos que espelham a própria comunicaçãohumana 14,16.
Percepção e canais de comunicação
A visão continua sendo a base da interação multimodal entre humanos e robôs. Pistas visuais como expressão facial, olhar, postura e gesto sustentam o reconhecimento de intenções, inferência emocional e acompanhamento de engajamento 17,18,19,20,21. Métodos manuais iniciais usando detecçãoHaar 22 ou subtraçãode fundo 23 frequentemente falhavam sob oclusão ou mudanças deiluminação 16,21. Sistemas de aprendizado profundo agora dominam, empregando CNNs e modelos recorrentes com entradas multicâmera. A Figura 4 ilustra o pipeline de rastreamento HI-ROS, que reduz o erro de movimento em 27% no monitoramento de gestos em tempo real.
A integração dos sinais de olhar, braço e cabeça melhora a previsão das ações dousuário 17, enquanto a fusão proprioceptiva e de profundidade melhoraa precisão 24,25. O olhar mútuo19 e o olho biomimético18 demonstram ainda mais o papel dos sinais sutis na confiança e coordenação. A Figura 5 mostra a arquitetura do 26, onde dois Controladores de Movimento Leap capturam o movimento das mãos, fundidos através do LSTM-RNN para uma teleoperação cirúrgica robusta. Sistemas recentes de múltiplas câmeras, como Hi-ROS20 e RPF 21,27, aumentam o acompanhamento de pessoas em ambientes não estruturados. A Figura 6 mostra o ciclo de vida adaptativo do ReID que mantém o acompanhamento sob oclusão por refinamento contínuo do classificador. Trabalhos complementares sobre rotulagem ativa28 e SLAMsemântico 26 melhoram a consciência do contexto, estendendo a percepção do reconhecimento de objetos para a compreensão comportamental.
A linguagem fornece um canal comunicativo paralelo. Os primeiros sistemas de diálogo baseados em regras enfrentavam ambiguidades, levando à adoção de modelos baseados em dados etransformers 29. A resposta emocional e social agora é fundamental: sistemas multimodais alinham sinais faciais e vocais para o diálogoadaptativo 2,30. O aprendizado por reforço melhora a coordenação entre os sinais afetivos eacústicos 5,31,32. Grandes modelos de linguagem como GPT-33 e ChatGPT34 permitem raciocínio contextual e acompanhamento de instruções entre as tarefas35, 36, 37. Sua integração com a modelagem de visão e recompensa 38,39,40,41,42,43,44 apoia uma interação socialmente consciente e generalizada.
A percepção auditiva complementa a visão e a linguagem. Prosódia, afinação e ritmo comunicam a intenção quando os sinais visuais são pouco confiáveis. A extração de características baseada em reforço melhora a sincronização entre fala e expressão. Conjuntos de dados como AVAActiveSpeaker 45,AFFECT-HRI 5, SAVEn-Vid46, HumorHRI47 e CHiME-5 enriquecem a robustez do modelo em ambientes afetivos e ruidosos. Pan et al.32 avançam a sincronização fala–lábio para cenas com múltiplos alto-falantes, enquanto a fusão multimodal com entradas táteis ou fisiológicas informa o comportamento adaptativo.
Sensoriamento incorporado e fisiológico
A percepção tátil e fisiológica aprimora a consciência social e física. Força, pressão e biosinais permitem inferir intenção, estresse e engajamento. Simuladores táteis baseados em visão, como o TACTO4 e mapeadores neurais como o FOTS48 , geram dados de contato de alta resolução a 300 fps, suportando controle de baixa latência. O FOTS modela iluminação e deformação por meio de uma função de reflectância aprendida R:
e projeção de sombras:
onde Ms codifica a geometria de projeção. Revestimentos táteis de alta resolução foram realizados usando elastomeros magnetorheológicos49, matrizes sensoriais-EtherCAT50 e materiais de efeito Hallauxéticos 51. Sistemas como o DiGeTac13 unificam sinais de gesto, táteis e de distância por meio de pipelines modulares. A filtragem dos dados de distância de tempo de voo é modelada como:
seguido pela classificação por gestos neurais e localização de contato baseada em CNN. O controle de segurança é aplicado escalando a velocidade do robô com separação d. Esses módulos permitem uma colaboração robusta entre humanos e robôs. Transformadores multimodais integram ainda mais sinais táteis, visuais e textuais. O TVT-Transformador6 alinha representações específicas da modalidade (qi, ki, vi) em matrizes conjuntas:
possibilitando autoatenção intermodal para compreensão unificada (Figura 7).
A percepção fisiológica avança o alinhamento emocional. Heinisch et al.5 sincronizam sinais fisiológicos e audiovisuais para modelagem de afetos. Os sistemasbaseados em eletromiografia 52,53 decodificam gestos e fala silenciosa, enquanto o MetaSonic54 melhora a percepção espacial por meio da localização acústica. Conjuntos de dados de grande escala, como o AgiBot World Colosseo55, suportam treinamento multimodal com mais de um milhão de trajetórias tátil-visuais. Juntos, esses avanços marcam uma transição da percepção unimodal para a compreensão integrada dos estados sociais, físicos e internos. A melhor fidelidade sensorial permite que os robôs não apenas meçam contato, mas também interpretem hesitação, tensão ou desconforto, respondendo com sensibilidade e controle adaptativo, que são fundamentos fundamentais para os frameworks multimodais contínuos discutidos nas seções seguintes.
Fusão multimodal e aprendizagem de representação
A fusão possibilita a transformação de fluxos sensoriais distribuídos em controles coerentes e conscientes do contexto. As abordagens são tipicamente agrupadas como fusão precoce, tardia ou híbrida. A fusão inicial integra características na etapa de entrada, suportando pistas sincronizadas como fala–gesto ou alinhamento facial–prosódico. O Transformador Multimodal de Tsai et al.14 exemplifica a integração inicial baseada na atenção de sinais visuais, acústicos e textuais. Xue et al.56 estenderam isso com o acoplamento residual de marcos faciais e traços de fala, melhorando a robustez sob variação de iluminação, enquanto Hu et al. Propostou o MMSERNet57, uma rede de fusão multiescala usando convolução dilatada e fusão residual para fundir MFCC, espectrograma e características lexicais para reconhecimento emocional. A saída fundida é expressa como:
A fusão tardia, em contraste, combina decisões após processamento independente, oferecendo maior tolerância a entradas assíncronas ou ruidosas. Exemplos incluem combinação em nível de decisão de sinais de olhar, inercial e movimento no HRIsubaquático 58,59. A fusão híbrida integra ambas as abordagens — mapeando modalidades heterogêneas para espaços de embedding compartilhados, preservando a especificidade temporal. A Multimodal Brain–Computer FusionNetwork 60 alinha características EEG e visuais antes da classificação, enquanto projetos cross-modais para estimativa de poses 3D fundem dados inerciais emonoculares 61. Frameworks recentes combinam camadas convolucional, recorrente e transformadora com alinhamento de atenção62,63, ponderando dinamicamente as modalidades por contexto ou relevânciade tarefa 64,65,66. A escolha entre fusão inicial, tardia e híbrida não é uma questão de tamanho único. A fusão inicial tende a funcionar bem quando as modalidades estão rigidamente sincronizadas e os níveis de ruído são baixos, permitindo que o modelo capture relações intermodais ricas desde o início. A fusão tardia, por outro lado, é geralmente mais robusta em condições reais confusas e assíncronas porque cada modalidade pode ser processada independentemente antes que as decisões sejam combinadas. Abordagens híbridas, que agora aparecem em cerca de 43% dos estudos recentes, encontram um meio-termo útil, especialmente para interações afetivas e incorporadas, ao usar atenção a entradas dinamicamente equilibradas, embora venham com demandas computacionais adicionais. No fim das contas, a melhor estratégia depende da tarefa específica, do perfil de ruído e das restrições de hardware, sugerindo que sistemas futuros podem se beneficiar de trocar os modos de fusão rapidamente.
A complementaridade entre modalidades também varia bastante com o contexto. A visão combinada com a háptica é particularmente eficaz em tarefas físicas de curta distância, como agarrar ou entregar objetos, onde o feedback tátil compensa a oclusão visual, mudanças de iluminação ou limitações de distância e fornece informações precisas de força e contato que o áudio não consegue fornecer. Por outro lado, visão combinada com áudio tem melhor desempenho em ambientes distantes ou sociais, como reconhecimento de emoções ou diálogos em ambientes barulhentos, onde a prosódia e o tom carregam intenção e afetam quando os sinais visuais são indisponíveis ou pouco confiáveis.
Além do clássico framework de early , late e hybrid, o deep learning permitiu categorizações mais detalhadas. A fusão baseada em atenção permite que os modelos aprendam importância dinâmica da modalidade por entrada, criando efetivamente caminhos de integração específicos para tarefas e contextos sem limites rígidos de estágio. As estratégias de fusão aprendidas vão além ao tratar todo o processo de fusão como um módulo diferenciável de ponta a ponta, permitindo que a rede descubra padrões de combinação ótimos diretamente a partir dos dados. Esses desenvolvimentos movem o paradigma de regras predefinidas para arquiteturas totalmente orientadas por dados e adaptativas, que abordam melhor a complexidade do HRI multimodal em tempo real.
Aterramento da linguagem visual
O rápido crescimento dos grandes modelos de linguagem ampliou o alcance do raciocínio multimodal, especialmente por meio de modelos visão–linguagem (VLMs). Essas arquiteturas alinham informações linguísticas e visuais para permitir que robôs interpretem comandos, percebam cenas e gerem ações sensíveis ao contexto. Frameworks fundamentais como LXMERT64 e CLIP66 estabeleceram embeddings conjuntos para alinhamento imagem–texto. O Flamingo65 introduziu raciocínio multimodal de poucos tiros, enquanto o Clio39 de Maggio conecta dinamicamente instruções a grafos de cena via semântica CLIP. Gao et al.41 desenvolveram o LAMARS para planejamento antecipatório baseado em previsão multimodal, e Xie et al.67 aplicaram modelos convolucionais espaço-temporais para compreensão eficiente de gestos. Arenas et al. introduziram a personalização baseada em prompts para estilos de interaçãopersonalizados 68. Esses sistemas permitem que comandos como 'pegar o copo vermelho ' sejam aterrados diretamente na semântica da cena.
A integração com o raciocínio espacial aprimora ainda mais a navegação e interpretação robótica. O LatentBKI38 de Wilson fundamenta instruções em mapas espaciais baseados em voxels, enquanto Nwankwo et al.40 fundem grandes modelos de linguagem com raciocínio VLM para interpretar atos de diálogo sob incerteza visual. Segmentação baseada em eventos e métodos de percepção assíncrona adicionam eficiência às tarefas dinâmicas. Coletivamente, as VLMs atuam como pontes entre a instrução simbólica e a compreensão incorporada, fornecendo o substrato cognitivo para interações flexíveis.
Aplicações específicas de domínio
Na saúde e no cuidado com idosos, a comunicação multimodal permite assistência segura, intuitiva e empática. Funções essenciais — detecção de quedas, monitoramento diário de atividade, resposta a emergências — dependem de postura, voz e sinaisfaciais 3. Modelos de controle hierárquico melhoram a precisão do movimento em robôs auxiliares debraço 1, enquanto o feedback propriocceptivo orienta assistentes de vestimentocooperativo 69. A transferência de objetos, representada na Figura 8, exemplifica percepção sincronizada e coordenaçãomotora 70. A resposta emocional, estudada por sistemas como o LOVOT, promove a confiança do usuário, mas levanta preocupações éticas sobre a dependência excessiva.
Robôs sociais precisam de resposta multimodal fluida para manter empatia e confiança em ambientes domésticos e públicos. A Figura 9 descreve uma arquitetura típica que integra camadas de sensação, planejamento e raciocínio socioemocional. Grandes modelos de linguagem integrados à percepção permitem diálogos abertos modulados pelo olhar epelo tom 40. Estudos pediátricos mostram que movimento expressivo e prosódia reduzem a ansiedade em criançasde 71 anos, enquanto pesquisas destacam comportamentos não verbais como determinantes doengajamento 8. Modelos proativos como RoboAgent37 e Otimização de Colônias de Formigas guiada Sub-Prior72 permitem a exploração conjunta de objetivos compartilhados. Sistemas capazes de expressar estados internos (pronto, confuso)73 aumentam a transparência e coordenação, enquanto agentes sociais adaptativos mediam a colaboração emgrupo 74,75.
Robôs educacionais: Na educação, a HRI multimodal promove motivação e aprendizado ao aproveitar a incorporação e a sinalizaçãosocial 76. Combinar gestos, sinais faciais e verbais aumenta a acessibilidade e o engajamento 6,9,77,78. A adaptatividade emocional apoia os aprendizes mais jovens: sistemas que percebem o estado afetivo e modulam a fala e o movimento aumentam a atenção e o vocabulário 7,79. A integração com realidade virtual melhora a imersão, mas desafia a escalabilidade80. Coletivamente, esses sistemas transferem o papel do robô de instrutor para colaborador emocionalmente sintonizado.
A personalização garante relevância e confiança em sistemas multimodais71, 81, 82. A personalização ética equilibra autonomia e empatia, adaptando as respostas por meio de feedback participativo. Maaz et al.83 demonstraram tutoria afetiva guiada por pistas faciais e cognitivas, enquanto Gomez-Izquierdo et al.84 modelaram as preferências dos usuários para comportamento sincronizado. A adaptação personalizada pode ser formalizada como:
onde wi são pesos de preferência aprendidos. Implementações como RFIS alcançam reidentificação de pessoas em tempo real e reconhecimento de gestos naborda 85, enquanto interfaces touchdown proprioceptivas10 possibilitam comunicação física intuitiva. Os efeitos da percepção social modulam ainda mais os resultados de personalização, onde a identidade do narrador altera o tempo de resposta do usuário e o comprimento dafrase 86. Assim, a personalização transforma os usuários de receptores passivos em co-designers, moldando a interação por meio da adaptação mútua.
Embora grande parte do trabalho revisado permaneça em protótipos de pesquisa, várias técnicas multimodais de HRI migraram de protótipos de pesquisa para aplicações comerciais ou industriais. O robô Pepper da SoftBank, por exemplo, integra reconhecimento de fala, gestos e expressões faciais para atendimento ao cliente e educação em ambientes de varejoe educação 87. O Robô de Suporte Humano da Toyota utiliza fusão visão-gesto para tarefas assistivas em residências e unidadesde saúde 88. Essas implementações comerciais frequentemente simplificam estratégias de fusão, normalmente utilizando abordagens tardias ou híbridas com soluções de respaldo baseadas em regras para garantir confiabilidade e baixo custo, ressaltando a persistente lacuna entre modelos acadêmicos avançados e soluções industriais escaláveis. Reduzir essa lacuna exigirá maior ênfase na implantação de bordas e validação rigorosa no mundo real.
Desafios para uma comunicação fluida em HRI
Apesar dos avanços em sensoriamento multimodal e fusão, manter uma comunicação humano-robô perfeita fora de ambientes controlados continua sendo difícil. Modelos que se destacam em laboratórios frequentemente desclassificam em meio a ruído, atraso, oclusão, mudança de intenção ou limites de recursos. A literatura converge em seis barreiras entrelaçadas: integração visão–linguagem, sincronização em tempo real, robustez multimodal, precisão semântica, cobertura de conjuntos de dados e restrições de implantação.
Integração da linguagem de visão
A compreensão visual sustenta a linguagem e a ação fundamentadas. Passos fundamentais melhoraram a consistência espacial e a abstração por meio de SLAM visual-inercial sem inicializaçãomanual 89, reidentificação mais fusão de sensores para rastreamento robusto àoclusão 16, previsão de gráfico de faixas90, segmentação semi-supervisionada que alinha rótulos com utilidade de navegação, e vídeo egocêntrico com SLAM e segmentação em larga escala para travessia26. O mapeamento consciente da incerteza permanece central: o uPLAM funde localização probabilística com segmentação panóptica para cenas dinâmicas91, enquanto o Clio constrói adaptativamente grafos de cenas 3D hierárquicas baseados em CLIP para semântica sensível àtarefa 30. As abordagens de grounding evoluíram de descrições estruturadas e APIs de percepção92,93 para codificadores e decodificadores multimodais 94,95.
As instruções seguidas em ambientes abertos integram percepção e raciocínio. RobotGPT35 e GroundingGPT36 interpretam comandos por meio de inferência visual-linguística acoplada; SayPlan, LFG e LLM-Planner alinham navegação e planejamento à linguagemde aterramento 34,44. Para reduzir alucinações e impor consistência semântica, GLAM e Vtimellm introduzem os objetivosde alinhamento 96,97, enquanto os frameworks adaptativos validam as saídas do LLM contra a percepção98,99. O tempo de tempo molda criticamente a legibilidade: o tempo otimizado dos gestos melhora aprevisibilidade 9; Aprendizado por reforço reduz o atraso audiovisual nos pipelinesemocionais 2; O arrastamento por gestos aumenta a fluênciapercebida em 100; e as revisões consolidam as ferramentas LSTM, DTW e GAN para oalinhamento 101. No geral, a fluidez exige um ciclo consciente da latência entre percepção, fusão e resposta, onde mimetismo30 e previsão inspirada no cerebelo102 do tempo de coordenadas, como também ilustrado pelos loops de temporização em nível de sistema na Figura 10.
Percepção em tempo real entre modalidades
A fluência depende de um atraso limitado de ponta a ponta entre fluxos heterogêneos. O TACTO oferece feedback tátil de alta resolução com baixa latência para manipulação responsiva. Mãos guiadas por tendões alcançam uma execução interativa rápida por meio da visão de eventos e inferêncialeve 103, como mostrado na Figura 11. Para visão–linguagem–ação, acoplar o CLIP com o GraspNet acelera a agarrada noclutter 104. Transformers suportam classificação rápida de gestos hápticossociais 11. Modelos audiovisuais otimizados para bordas sustentam inferência abaixo de umsegundo 24. O tempo preciso do movimento da cabeça melhorao engajamento em 105. Juntos, esses resultados defendem fusão sincronizada, políticas de tampão adaptadas por modalidade e uma atenção leve para preservar a coadaptação temporal. A latência aceitável varia significativamente de acordo com o domínio da tarefa. No diálogo social ou reconhecimento emocional, atrasos abaixo de 200–300 ms mantêm a fluência percebida e a interação natural. Tarefas assistivas como entrega de objetos ou detecção de queda exigem restrições mais rigorosas (50–150 ms) para garantir segurança e capacidade de resposta. Teleoperação ou manipulação colaborativa frequentemente requer uma latência inferior a 100 ms para evitar desorientação do operador ou enjoo de movimento, enquanto aplicações de navegação ou monitoramento podem tolerar de 300 a 500 ms sem impacto crítico.
Desafios de processamento temporal e semântico
Desalinhamento e latência corroem a confiança e a eficiência das tarefas, especialmente em sistemas distribuídos teleoperador–robô–humano 106. Estratégias perceptuais e de interface ajudam os usuários a tolerar o atraso: gestos corporais e preenchimentos nãolexicais 107, sobreposições visuais e pistas adaptativas 108,109,110,111. A previsão em nível de controle reduz as lacunas de respostaem 102. Pipelines de diálogo paralelos se sobrepõem à geração de preenchimento, síntese de fala e edição de prompts para reduzir o atraso percebido, como em112 e Figura 12. Estudos de sistemas decompõem a latência cumulativa entre captura, codificação/decodificação, redes, decisão eatuação 113. Como mostrado na Figura 13, a latência é introduzida por meio da captura do sensor, codificação e decodificação de vídeo, transmissão em rede, processamento do operador e atuação do veículo, formando um complexo ciclo de realimentação bidirecional. O Syntalos fornece sincronização de milissegundos para experimentos em malhafechada 114. Nas trocas afetivas, a imitação facial em tempo real potencializaa sincronia 23. Domínios sensíveis ao atraso, como cirurgia remota, mostram que ancorar a háptica contra visão atrasada apoia precisão e resposta115. Como mostrado na Figura 14, ancorar o feedback háptico levou a melhor desempenho e a uma sensação mais forte de resposta.
Efeitos detalhados e o reconhecimento de intenções continuam desafiadores. Microexpressões, prosódia, olhar e movimento antecipador frequentemente ocorrem brevemente e de forma assíncrona. O emo produz expressões faciais antecipadas alinhadas ao estadodo usuário 116. A linguagem corporal sozinha já transmite intenção onde o rosto ou a voz não estãodisponíveis, 117. Exibições multimodais baseadas em pimenta combinam classificação verbal com gestos expressivos e emojis para sincroniaemocional 118. O RL online fortalece a fusão dos fluxos facial evocal 2, enquanto o mimetismo leve suporta o implantação deborda 30. Questões em aberto incluem efeito de grupo, variação cultural e deriva temporal do efeito.
A generalização em domínios abertos também é limitada. O aprendizado por reforço a partir do feedback humano (RLHF) apresenta recompensas escassas e fragilidade sob entradas fora de distribuição119. O RoboAgent mistura raciocínio espacial com fundamento linguístico para transferência entre tarefas29. O raciocínio por meio de Dados Livres de Ação (RAD) utiliza vídeo passivo e linguagem para capacidades de zero tomada sem etiquetasmanuais 120. Perceptor-Ator aterra propriedades de objetos para manipular itensdesconhecidos 121. O alinhamento contínuo entre percepção e semântica no RobotGPT e no GroundingGPT melhora o raciocínio adaptativo, mas ainda enfrenta desafios de feedback emtempo real 35,36.
Robustez multimodal e variabilidade ambiental
A robustez deve abranger integridade do sinal e consistência comportamental. O SimuMuHRI injeta ruído específico da modalidade e desistência para testara resiliência 122. A simulação de luz estruturada fisicamente aterrada melhora a confiabilidade do RGB-D sob iluminação e oclusão123.124. O acoplamento latência–háptica expõe sensibilidade na manipulaçãoremota 125. Princípios de redundância e resiliência térmica de sistemas energéticos críticos para segurança informam o HRI tolerantea falhas 126.127.
A coerência comportamental é igualmente vital. A incompatibilidade voz-aparência reduz aconfiança 128, e movimentos erráticos, porém corretos, minam acooperação 129. Controladores de força adaptativo baseados em observadores e interação robusta sustentam a estabilidade sob incertezas estruturadas e nãoestruturadas 130,131. A cobertura do conjunto de dados também limita o progresso. Conjuntos de dados de percepção Multiobot — OPV2V132, CoPeD133, CSE134 e AgiBot WorldColosseo 55 — expandem a percepção colaborativa entre simulação e campo. Recursos AV-HRI — CHiME-5135 com o desafio subsequente CHiME-8136, AVA-ActiveSpeaker45, AFFECT-HRI5 e SAVEn-Vid46 — possibilitam ASR, atividade do falante, afeto e acompanhamento de instruções de longo contexto. Referências sociais em grande escala — HumorHRI47, THÖR-MAGNI137, RW4T138 e InViG139 — têm como alvo humor, navegação, equipe e aterramento interativo. Apesar da amplitude, muitos conjuntos de dados são específicos de domínio ou scriptados, com profundidade temporal limitada para avaliação de fluidez, como resumido na Tabela 3.
Avaliação da fluidez
Métricas convencionais, como precisão e latência, não capturam totalmente coadaptação, previsão mútua ou fluência social. Novos avaliadores avaliam coerência contextual ecolaboração como 140, integram feedback do usuário e sinaissituacionais 141, e adicionam previsibilidade, coordenação e conforto ao HRIfísico 84. Frameworks de equipe quantificam a antecipaçãocompartilhada 74, enquanto os gêmeos digitais acompanham a calibração da confiança e a fluência da equipe142. Um parâmetro unificado que funda sincronização temporal, alinhamento afetivo e fluência centrada no usuário continua sendo uma necessidade aberta.
Os esforços para a padronização na avaliação multimodal de HRI permanecem limitados e fragmentados. Iniciativas notáveis como os desafiosCHiME 135.136 apresentaram referências avançadas para reconhecimento audiovisual de fala, especialmente em termos de robustez ao ruído. Conjuntos de dados como THÖR-MAGNI137 eRW4T 138 fornecem recursos compartilhados para captura de movimento e comportamentos de teaming. No entanto, ainda não existe um protocolo unificado amplamente adotado para sincronização temporal entre modais, fluência de interação ou alinhamento afetivo entre diversas modalidades e domínios. Essa ausência de métricas padronizadas continua a dificultar a reprodutibilidade e a comparabilidade, ressaltando a necessidade de referências impulsionadas pela comunidade.
Do laboratório para a implantação no mundo real
O desempenho frequentemente se degrada em ambientes não estruturados devido a irregularidades sensoriais, mudança de intenção e gargaloscomputacionais 143. Essa degradação do desempenho destaca uma divisão persistente entre ambientes laboratoriais e do mundo real. Em ambientes controlados, a fusão híbrida e baseada em atenção se destaca, oferecendo alta precisão e baixa latência para tarefas como manipulação de objetos ou compreensão de cenas. Implantações no mundo real, no entanto, contam uma história diferente. Robôs assistivos no cuidado com idosos, sistemas complementares em casas e ferramentas educacionais em salas de aula frequentemente enfrentam ruído, oclusão, mudanças de iluminação e comportamentos imprevisíveis dos usuários, o que corroe a eficácia. Abordagens de fusão tardia tendem a se mostrar mais confiáveis sob condições tão variáveis e assíncronas, enquanto modelos híbridos, apesar de suas forças em adaptação afetiva e contextual, podem ser limitados por demandas computacionais em dispositivos de borda. Muitas implementações bem-sucedidas em campo ainda incorporam redundâncias mais simples ou salvaguardas baseadas em regras para confiabilidade, ressaltando que a transição de demonstrações laboratoriais promissoras para desempenho robusto no dia a dia continua sendo um desafio formidável. Testes ecologicamente válidos são essenciais para identificar quais técnicas realmente têm sucesso além dos experimentos controlados. Controladores robustos adaptativos mantêm precisão de força em meio à perturbação131. O planejamento colaborativo orientado por LLMs atualiza os objetivos à medida que a intenção do usuárioevolui 144. Sobreposições visuais e feedback consciente da latência ajudam a manter a consciência do operador sob linksdegradados 107,109. Supervisão leve com LoRa e sombras digitais permite monitoramento em campos de baixa largurade banda 145. A experiência da robótica espacial destaca que a autonomia deve coevoluir com a cognição humana sob incerteza eatraso 146.
Restrições de recursos moldam a viabilidade. Reconhecimento de efeitos e toque baseado em som roda abaixo de 1 MB e 0,7 GFLOPs para plataformasde baixa potência 12. Adicionar recursos sociais pode melhorar a presença, mas corre o risco de sobrecarga quando os atrasos sobem147. A programação e a seleção de recursos devem equilibrar a demanda cognitiva coma continuidade 148. A mitigação de latência abrange percepção, controle e redes, conforme organizado em 113. Os usuários frequentemente preferem interação transparente e estável à máxima eficiência das tarefas, reforçando que o HRI contínuo deve priorizar a capacidade técnica junto com o conforto humano149.151. Em diferentes domínios, implantações no mundo real apresentam preferências distintas: aplicações sociais e educacionais frequentemente dependem da fusão híbrida visão-áudio para o diálogo afetivo, enquanto tarefas assistivas e colaborativas favorecem combinações de visão-háptica com fusão tardia ou precoce para interação física precisa. Esses padrões estão alinhados com as estratégias resumidas — priorizando a fusão tardia para robustez em ambientes variáveis e híbrido/baseado em atenção para adaptações contextuais mais ricas — embora a simplificação para confiabilidade continue comum.
Access restricted. Please log in or start a trial to view this content.
Conclusions
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Esta análise tem várias limitações. Restringir a busca a publicações em inglês na Web of Science Core Collection pode ter introduzido viés linguístico e excluído trabalhos relevantes que não são ingleses. Focar em artigos revisados por pares de 2015 a 2025 também pode refletir viés de publicação, podendo deixar de lado preprints, literatura cinza ou resultados emergentes não publicados. A triagem manual dos 148 artigos, embora guiada por critérios explícitos, inevitavelmente envolve certa subjetividade. Por fim, a interp...
Access restricted. Please log in or start a trial to view this content.
Disclosures
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Os autores declaram que não têm conflitos de interesse.
Acknowledgements
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Esse trabalho foi apoiado pela Universiti Sains Malaysia, Bolsa de Transição com o Projeto Nº R501-LR-RND003-0000001342-0000.
Access restricted. Please log in or start a trial to view this content.
Reprints and Permissions
Request permission to reuse the text or figures of this JoVE article
Request Permission