Projetando Estruturas de Interação Multimodal Adaptativa para Aprimorar a Colaboração entre Humanos e IA

Resumo

Este trabalho propõe um mecanismo de alinhamento hierárquico baseado em Distorção Dinâmica do Tempo (DTW), com adaptação online e fusão multimodal orientada pela atenção, permitindo previsão confiável de intenções de longo horizonte e acompanhamento de tarefas. Um módulo leve de explicabilidade melhora a interpretabilidade, fomentando a confiança na colaboração entre humanos e IA. A abordagem se generaliza tanto para sistemas robóticos quanto interativos virtuais.

Resumo

Alcançar uma colaboração eficaz e natural entre humanos e IA continua sendo um grande desafio, especialmente em ambientes dinâmicos do mundo real. Os frameworks existentes são frequentemente limitados pelas rígidas entradas monomodais ou pela fusão multimodal baseada em regras, restringindo sua robustez, personalização e adaptabilidade. Este estudo apresenta uma estrutura de interação multimodal adaptativa que integra a estimativa de pose baseada em visão e a compreensão de comandos baseada em fala dentro de um modelo hierárquico de previsão de intenção humana. A estrutura emprega modelos de sequência baseados em Transformers para previsão de ações e Distorção Dinâmica do Tempo, a fim de alinhar o comportamento humano com os grafos estruturados de tarefas para planejamento de longo prazo. Diferentemente de abordagens anteriores que dependem da troca estática de modalidades, nossa arquitetura aplica um mecanismo de fusão baseado em atenção para ponderar dinamicamente as entradas mais informativas. Além disso, um módulo de adaptação online permite ajustes em tempo real ao comportamento do usuário, complementados por uma camada leve de explicabilidade para fomentar a confiança do usuário. A avaliação experimental em uma tarefa colaborativa de montagem demonstra ganhos significativos no desempenho da tarefa (até 24%), precisão da previsão de intenção (até 18%) e satisfação do usuário. Esses resultados destacam a eficácia e versatilidade dos frameworks de interação multimodal adaptativa, apoiando seu potencial para avançar a inteligência colaborativa rumo a sistemas de IA mais confiáveis, transparentes e orientados para o ser humano.

Introdução

A colaboração humano-robô (HRC) tem sido uma das áreas importantes de pesquisa, especialmente porque os robôs estão sendo cada vez mais implantados em ambientes centrados no ser humano. Enquanto os frameworks e tecnologias para HRC de curto prazo melhoraram^{significativamente 1,2}, o HRC de longo prazo ainda não está tão maduro³. Em aplicações industriais, a exploração de HRC de longo prazo pode levar a um aumento significativo da produtividade e adaptabilidade em processos manufatureiros^{complexos 4}. Ambientes domésticos, robôs como companheiros ou agentes de cuidados a idosos têm potencial para melhorar a qualidade de vida por meio do HRC⁵ de longo prazo. A área médica posiciona as máquinas comunitárias como substitutas para o domicílio e cuidadores, cobrindo o cuidado até o papel afetado com demência, autismo e outras doenças físicas ou^{mentais 6}. Ao mesmo tempo, os domínios de viagem e amigabilidade utilizam robôs industriais para avançar o conhecimento^{do usuário 7}. Na engenharia inteligente, o objetivo é participar da IA de forma centrada no ser humano para recuperar competências e produzir culturas personalizadas, uma etapa conhecida como Indústria 5.0. Sistemas de colaboração entre humanos e IA e humanos-robôs foram explorados em diversos domínios de aplicação^{8, 9, 10}; No entanto, pesquisas recentes têm focado cada vez mais em ambientes robóticos colaborativos que exigem previsão confiável de intenções e compreensão de tarefas a longo prazo.

A IA já está profundamente enraizada na vida cotidiana, e suas aplicações autogovernadas ou semiautônomas estão cada vez mais presentes em muitas áreas dos negócios. Isso simplesmente afirma que funções empresariais bem funcionando atualmente exigem sistemas capazes de se adaptar a mudanças tecnológicas e de capacidade de resposta a desafios^{organizacionais 11}. Assim, a necessidade de melhorar a ação humana por meio da hibridização, no processo de adoção e implementação da IA, ajuda a facilitar a superação de algumas barreiras. Consequentemente, sistemas híbridos combinam inteligência artificial e humana para realizar tarefas complexas juntos, entregar melhores resultados e aprimorar suas habilidades aprendendo com colegas. Portanto, conceitos estendidos que incluem sistemas inteligentes^{híbridos 12}, colaboração e inteligência amplificada estão moldando informalmente a pesquisa e o entendimento para impulsionar a colaboração ao integrar diversas modalidades de IA.

O termo "Confiança" foi derivado de estudos de relacionamentos interpessoais, definindo um vínculo emocional nos relacionamentos humanos. Por exemplo, o autor¹³ identificou que o nível de confiança tecnicamente determina aspectos de sentimentos, suposto apelo e ética das partes cooperantes. Sociologicamente, variações na confiança interpessoal têm impactos profundos no bem-estar separado, na interação comunitária, no crescimento socioeconômico e no comportamento^prático 14,15,16. A HRI, em essência, é uma tentativa de conectar conversas procedurais entre assistentes sociais e autômatos inteligentes além dos obstáculos linguísticos convencionais^{do autômato 17}. Essa interação combina as forças computacionais dos sistemas autônomos com a intuição humana, possibilitando colaboração eficaz entre diversos contextos de aplicação. O uso de autômatos traz consigo vantagens reais: diminuições significativas nos custos financeiros, redução da pegada ecológica e consideravelmente menos risco^{humano 10}. Mas, em meio a conquistas, a confiança humana nos robôs é um pilar, especialmente ao avaliar a qualidade geral da interação^18,19.

O nível de confiança humana concedido aos robôs reflete sua importância e papel central em muitas áreas. Na saúde, a confiança robótica influencia a distribuição de recursos médicos de acordo com a HRI, bem como a eficiência da supressão de doenças^{transmissíveis 20, 21, 22.} Em aplicações militares, o nível de crença social em autômatos controla o nível de competência operacional das estratégias de dispositivos de investigação militares e o nível de precisão dos transportes de^{combate 23,24}. Além disso, a crença em máquinas afeta a submissão e o uso de mecanismos de padronização de crença ativa de IA na formulação de políticas especulativas de^{soldados 25}. Mesmo dentro da investigação ambiental, por exemplo, pesquisa de movimento corporal de alto nível, a racionalidade dos resultados depende do grau de crença no^{HRI 26}. Um alerta significativo, porém, é que as crescentes dificuldades de decisão podem degradar essa confiança, colocando em risco a interação^. A Tabela 1 descreve a visão geral comparativa de vários estudos.

Papel (Ano, Fonte)	Principais Objetivos	Principais Métodos e Modalidades	Percepções
Xie & Park (2021, arXiv) [28]	Personalize interações robóticas com robôs sociais emotivos	Política para aprendizado por reforço baseada tanto em pistas verbais quanto não verbais (posição corporal, fala e expressões faciais)	O comportamento de um robô treinado na vida real muda em resposta às emoções humanas, aumentando a simplicidade e o engajamento.
Li et al. (2022, IEEE T-IE) [29]	Facilitar suporte proativo para montagem de manufatura	Previsão de intenção, aprendizagem por transferência e aprendizagem multimodal (visual + esquelética)	Melhora da proatividade robótica em comparação com as linhas de base; Previsão de ação mais rápida e precisa durante a montagem
Abdelrahman et al. (2022, IEEE Access) [30]	Estimativa do envolvimento em tempo real em HRI de grupo	Classificação baseada em regras combinada com aprendizado profundo e visão baseada em olhar/postura de cabeça	≥90% de pontuação F; gerencia vários usuários ao mesmo tempo em configurações físicas
Chiossi et al. (2025, arXiv) [31]	Estrutura para transmissão multimodal e dinâmica de intenções em ambientes manufaturais	Layout teórico multifacetado: camadas de transparência SAT; modos hápticos, auditivos e visuais	Estabelece o arcabouço conceitual e explica o meio, o planejamento e a intenção do ambiente de design.
McGrath et al. (2024, arXiv) [32]	Modele o desenvolvimento da confiança em associações humano-IA que sejam adaptáveis.	Fases de equipe mais antecedentes de trust; um modelo dinâmico de confiança que não depende de modalidades específicas	Fornece princípios de design conscientes da confiança para todas as etapas da interação e do tempo.
Fragiadakis et al. (2024, arXiv) [33]	Padronizar a avaliação da cooperação entre humanos e IA.	Métricas selecionadas por uma árvore de decisão de acordo com o modo HAIC; Métricas de métodos mistos	O framework auxilia na seleção de métricas pertinentes para modalidades de interação simbiótica centradas em IA/humanos.
Younis et al. (2023, MDPI) [34]	HRI que se adapta ao contexto usando inferência demográfica	Idade e gênero são estimados usando modelos de visão e áudio, e o comportamento dos robôs é ajustado adequadamente.	A pesquisa resume as abordagens e enfatiza a importância da adaptação personalizada em HRI.

Tabela 1: Uma visão comparativa das pesquisas recentes em Colaboração Humano-IA que enfatiza os principais objetivos, metodologias e descobertas de cada estudo. Conjuntos de dados utilizados no estudo, suas especificações, tamanho, modalidades e distribuição dos participantes.

Embora a atual estrutura hierárquica e multimodal de colaboração humano-robô (HRC) apresente progresso impressionante no uso de modalidades visuais e auditivas para colaboração de longo prazo, ainda existem várias lacunas em pesquisa, o que dificulta sua aplicabilidade a ambientes mais gerais de colaboração entre Humanos e IA. Por exemplo, o framework atual é principalmente aplicável à robótica física (por exemplo, braço KINOVA GEN3) e não transferível para agentes de IA não incorporados ou virtuais que existem em ambientes digitais^{variados 28}. Segundo, enquanto a multimodalidade é abordada por visão e fala, o sistema implementa uma estratégia pré-definida de troca de modalidade em vez de fusão dinâmica dependente do contexto, de acordo com o estado do usuário ou dificuldade^{da tarefa 29}. Terceiro, a abordagem enfatiza a eficiência e a resiliência das tarefas, mas não modela especificamente a confiança do usuário, a carga cognitiva ou o estado afetivo, que são essenciais para a colaboração de longo prazo e a explicabilidade do sistema. Além disso, a interpretabilidade humana e a confiança no comportamento adaptativo do sistema são limitadas quando processos de explicabilidade estão ausentes na tomada de decisão. Por último, mas não menos importante, a avaliação é restrita a um único domínio (montagem de carrinho de brinquedo) sem validação multidomínio, representando a variabilidade no^{mundo real 30}. Tais lacunas exigem o desenvolvimento de uma estrutura de interação multimodal generalizada, adaptativa e centrada no ser humano, que combine canais de entrada heterogêneos de forma dinâmica e modele a intenção, confiança e contexto humanos em tempo real para potencializar a colaboração entre humanos e IA.

O principal objetivo deste estudo é maximizar a colaboração entre humanos e IA por meio do design de um sistema de interação multimodal adaptativo que unifique as modalidades de visão e fala com modelagem em tempo real do usuário. Com base na sólida base de uma colaboração robusta e de longo prazo entre humanos e robôs, este trabalho irá generalizar a arquitetura multimodal para sistemas de IA gerais fora da robótica, como agentes virtuais e interfaces inteligentes. A principal ênfase está na previsão dinâmica de intenções por meio de mecanismos hierárquicos de planejamento, que integram compreensão de ações de baixo nível e acompanhamento de progresso de tarefas de alto nível. Em contraste com sistemas baseados em regras, o framework apresentado aqui utilizará métodos de aprendizagem adaptativa, incluindo atualizações de modelos específicas para o usuário e fusão de modalidades conscientes do contexto, para adaptar dinamicamente o comportamento de interação de acordo com as preferências do usuário, status cognitivo e dinâmicas ambientais. Além disso, o framework também visa maior transparência e confiança com raciocínio de interação explicável, que permite aos usuários entender as escolhas da IA e dar feedback. Por fim, esta pesquisa busca aumentar a fluência da interação, a eficácia das tarefas e a satisfação do usuário a longo prazo em diferentes contextos colaborativos.

Este artigo apresenta um novo Framework de Interação Multimodal Adaptativa, destinado a promover a colaboração entre humanos e IA por meio da fusão dinâmica de modalidades visuais e auditivas. O sistema 'unimodal' refere-se a um modelo que utiliza apenas uma única modalidade de entrada (por exemplo, visual ou de fala) para execução de tarefas e previsão de intenções, sem integrar informações em múltiplos canais. O sistema 'não adaptativo' refere-se a um sistema baseado em regras ou de estratégia fixa que não ajusta seu comportamento com base nas ações do usuário ou no contexto, como a linha de base da Comutação Baseada em Regras. Essas linhas de base fornecem pontos de referência para avaliar as vantagens da percepção multimodal e das estratégias de interação adaptativa implementadas em nosso modelo proposto de Transformer com fusão guiada por atenção. Baseado nos paradigmas hierárquicos anteriores^{de HRC 31}, nosso método traz várias inovações importantes:

Este trabalho apresenta um mecanismo de alinhamento baseado em Distorção Dinâmica do Tempo (DTW) que mapeia ações humanas de baixo nível esperado para nós em um grafo de tarefas hierárquico, em contraste com sistemas anteriores de interação multimodal que se concentram principalmente no reconhecimento de ações de curto^{prazo 32}. Diante da imprevisibilidade temporal e dos barulhentos comandos multimodais, isso permite a previsão confiável de intenções de longo prazo e o acompanhamento do progresso da tarefa.

Um módulo de adaptação online que atualiza continuamente os modelos de inferência de intenção e previsão de ações durante a interação é incorporado ao sistema sugerido. Isso supera as desvantagens de modelos multimodais estáticos ou treinados offline, permitindo que o sistema se adapte dinamicamente a comportamentos únicos, preferências e mudanças contextuais do usuário.

As modalidades visuais e auditivas são ponderadas dinamicamente com base em sua importância contextual em cada passo temporal, utilizando uma técnica única de fusão baseada na atenção. Essa abordagem de fusão orientada por dados melhora a robustez em diversos contextos de interação e substitui a troca de modalidades baseada em regras.

Este estudo incorpora um módulo leve de explicabilidade que converte decisões hierárquicas de planejamento e fusão em justificativas compreensíveis para fechar a lacuna de interpretabilidade em sistemas adaptativos humano-IA. Isso melhora a qualidade da colaboração de longo prazo e incentiva a calibração adequada da confiança.

A abordagem sugerida tem como objetivo generalizar além dos robôs incorporados para agentes virtuais e interfaces inteligentes, expandindo sua utilidade em muitos domínios de cooperação entre humanos e IA, mesmo tendo sido comprovada em uma atividade real de montagem colaborativa utilizando uma plataforma robótica.

Protocolo

A arquitetura proposta para aumentar a cooperação humano-IA utiliza um pipeline de interação multimodal adaptativo que combina as modalidades de visão e fala em um arcabouço dinâmico e hierárquico de raciocínio. Este estudo utilizou dados públicos de experimentos previamente publicados. Não houve novos sujeitos humanos envolvidos, e não foi necessária aprovação ética adicional.

Arquitetura de interação multimodal adaptativa proposta

Fundamentalmente, o sistema começa com módulos de percepção, como o fluxo visual captura a pose e o movimento do usuário usando sensores RGB-D, e um fluxo de áudio analisa entradas de fala usando um motor ASR (Reconhecimento Automático de Fala) leve. Tais entradas brutas são inseridas no módulo de previsão de ações baseado em Transformer, que codifica dependências temporais em sequências de pose e comando para raciocinar sobre ações humanas de baixo nível. Subsequentemente, para possibilitar o planejamento colaborativo de alto nível, um mecanismo de Distorção Dinâmica no Tempo (DTW) alinha as ações detectadas com nós de um grafo de tarefa pré-definido para prever os objetivos e as próximas ações do usuário. Um novo módulo de fusão baseado em atenção decide, a cada passo de tempo, qual modalidade (áudio ou visão) está fornecendo a informação mais importante contextualmente e ajusta dinamicamente os pesos de entrada. Para individualizar a interação, o sistema inclui adaptação de modelos online, adaptando preditores de ação em tempo real para mudanças no comportamento dos usuários. Um módulo de explicabilidade leve também cria resumos amigáveis de intenções previstas e decisões de IA para melhorar a transparência e a confiança. Todo o sistema é testado em um ambiente de montagem cooperativa simulado, porém real, permitindo a comparação entre ambientes unimodais e adaptativo-multimodais. Essa abordagem facilita uma colaboração mais adaptável, intuitiva e confiável com agentes de IA em todas as áreas.

A Figura 1 mostra a arquitetura do Framework de Interação Multimodal Adaptativa descrito, voltado para melhorar a colaboração entre humanos e IA. Ela começa com a fase de Aquisição de Entrada, que se baseia em dois principais dispositivos de detecção: uma câmera RGB-D para observar informações visuais com profundidade (por exemplo, postura e movimento humanos) e um microfone direcional para coletar comandos de fala. Os sinais brutos são posteriormente executados pelo módulo de Pré-Processamento, que processa os dados audiovisuais para análise subsequente, limpando, normalizando e formatando os fluxos de entrada. Em seguida, o pipeline segue para a fase de Extração de Características, onde os dados são divididos em dois fluxos: o Fluxo Visual, que isola as características de pose e movimento por meio de algoritmos de estimativa de pose, e o Fluxo de Áudio, que transcreve a fala em embeddings de comandos interpretáveis. Um codificador Transformer multimodal, que utiliza autoatenção multi-cabeça e codificação posicional temporal para expressar interdependência de longo alcance entre sequências de interação, então processa a representação fundida. O estado atual da meta do usuário é estimado por um preditor de intenção de longo prazo e progresso de tarefas, e ações de baixo nível são mapeadas para nós em um grafo hierárquico de tarefas para acompanhamento confiável de tarefas por um módulo de alinhamento baseado em DTW. Pesos de fusão e parâmetros de predição são continuamente atualizados por meio de um ciclo online de adaptação de modelos em resposta ao feedback de interação, e um módulo de explicabilidade fornece explicações claras para promover abertura e confiança. Todo o pipeline permite que o sistema trabalhe de forma adaptativa e eficiente em conjunto com os usuários em tarefas e ambientes dinâmicos.

Figura 1: Uma visão geral do framework de interação multimodal sugerido baseado em transformers. Uma técnica guiada pela atenção é empregada para codificar e integrar dinamicamente dados visuais e auditivos. Um módulo Transformer, que integra modelagem hierárquica de tarefas e adaptação online, processa a representação fundida para previsão de intenções de longo prazo e estimativa do progresso da tarefa. . Por favor, clique aqui para ver uma versão ampliada desta figura.

O sistema sugerido incorpora um módulo leve de explicabilidade que trabalha em conjunto com os componentes de fusão multimodal e planejamento hierárquico para melhorar a transparência e a confiança do usuário. O módulo deriva pistas interpretáveis a partir do alinhamento do grafo de tarefas baseado em DTW (por exemplo, progresso atual da tarefa e ação próxima antecipada) e da camada de fusão baseada em atenção (por exemplo, pesos de importância da modalidade). Esses sinais são convertidos em explicações compreensíveis para humanos, como se comandos falados ou gestos visuais afetaram principalmente uma escolha do sistema e como a ação prevista se encaixa no plano de trabalho mais amplo. Os usuários recebem explicações na forma de feedback escrito ou visual sucinto, que os ajuda a compreender, prever e, se necessário, corrigir o comportamento do sistema. A melhora da felicidade do usuário, fluidez da interação e métricas relacionadas à confiança indicadas na avaliação são indicadores indiretos da percepção do usuário sobre explicabilidade. Os achados indicam que, na interação de longo prazo entre humanos e IA, o raciocínio transparente para as decisões de IA aumenta a confiança do usuário, facilita a colaboração e aumenta a aceitação do comportamento adaptativo do sistema.

Dados de entrada

A aquisição de insumos no arcabouço previsto para a colaboração entre Humano e IA é realizada por meio de um mecanismo estruturado de sensoriamento multimodal que combina as modalidades de visão e audição para realizar efetivamente as ações e intenções humanas. A entrada visual é adquirida com uma câmera RGB-D, que captura informações em tempo real sobre a pose humana, localização espacial e contexto do ambiente. Dados visuais são processados por meio de modelos pré-treinados como o BlazePose para obter pontos-chave de interesse na parte superior do corpo para tarefas de interação. Ao mesmo tempo, informações auditivas são obtidas por meio de um microfone direcional e interpretadas por meio de um modelo DeepSpeech pré-treinado para identificar comandos de fala que desambiguam ou fornecem pistas visuais suplementares incertas. Em ambientes cooperativos, o sistema de entrada dupla oferece adaptação dinâmica e percepção consciente do contexto. O conjunto de dados de treinamento e avaliação compreende mais de 5.000 trajetórias multimodais de movimento humano^para uma variedade de atividades de interação, como comportamentos de montagem e transferência, coletadas de quatro usuários em ambientes controlados e semiestruturados. Para aumentar a generalização, o sistema possibilita a adaptação online do modelo na implantação, o que permite que o modelo atualize suas previsões em tempo real como resultado das mudanças no comportamento do usuário e na dinâmica ambiental.

Descrição do conjunto de dados

O conjunto de dados de treinamento e avaliação para a estrutura sugerida foi obtido a partir de experimentos reais de colaboração humano-robô sob uma tarefa de montagem de carrinho de brinquedo usando o robô^KINOVA GEN3 1. O ambiente experimental visou imitar atividades colaborativas de longo prazo que abrangem interação multimodal, que incluía modalidades visuais e auditivas. Em particular, o conjunto de dados de treinamento é composto por 3.003 sequências de trajetórias de dois usuários, e o conjunto de dados de teste contém 2.088 sequências, incluindo dados de dois novos usuários para avaliação da generalização do modelo. Cada trajetória registra uma sequência de 5 passos de pontos-chave da pose da parte superior do corpo recuperada com o BlazePose, junto com comandos de fala correspondentes transcritos pelo^{DeepSpeech 33}. Os dados coletados retratam variações naturais humanas na expressão de gestos e comandos em atividades como entrega de objetos, uso de ferramentas e ações cooperativas. O conjunto de dados multimodal é a base para o aprendizado supervisionado dos modelos de ação e previsão de trajetória DLinear, e é o ponto central de referência nos estudos de usuários realizados sob condições apenas de visão, áudio e multimodais. Incorporar diferentes tipos de usuários e condições realistas de ruído garante testes de robustez e adaptabilidade para sistemas permanentes de HRC. A Tabela 2 mostra a descrição detalhada do conjunto de dados.

Atributos	Detalhes
Nome do Conjunto de Dados	Conjunto de Dados de Montagem de Carros de Brinquedo (coletado internamente)
Ambiente de Coleção	Experimento real de HRC com braço KINOVA GEN3
Número de usuários (treinamento)	2 usuários
Número de usuários (Testes)	4 usuários (2 do conjunto de treinamento, 2 não vistos)
Trajetórias Totais (Treinamento)	Trajetórias 3.003
Trajetórias Totais (Testes)	Trajetórias de 2.088
Modalidades capturadas	Visual (RGB-D para pose), Áudio (comandos de fala)
Formato dos Dados	Pose keypoints, comandos de fala para texto (do BlazePose), comandos de fala para texto
Resolução Temporal	Cada trajetória inclui passos de 5 tempos
Tarefas Cobertas	3 tarefas principais: Pick-and-place, rotação de objetos, montagem colaborativa
Uso	Treinamento supervisionado de modelos de previsão de ação/trajetória; Estudo de usuários

Tabela 2: Descrição do Conjunto de Dados. Informações sobre o ambiente de simulação, incluindo framework de programação, configurações de hardware e ambiente de avaliação.

Pré-processamento de conjuntos de dados

Para possibilitar a interação multimodal adaptativa na colaboração humano-IA, o conjunto de dados bruto, como dados visuais (RGB e imagens de profundidade), auditivo (comandos de fala) e comportamentos temporais (pontos-chave de pose), é submetido a pré-processamento estruturado. Os dados visuais são extraídos inicialmente por um modelo de_{estimativa de} pose f pose, comumente derivado do BlazePose ou OpenPose. Para o referencial t, o vetor de pose humana é definido como:

(1)

Onde k é o número de pontos-chave e cada ponto-chave contém coordenadas 2D. As sequências são normalizadas pelo comprimento do tronco e suavizadas ao longo do tempo com um filtro Savitzky-Golay:

(2)

onde w é o tamanho da janela de filtragem. Segundo, os fluxos de áudio bruto At são segmentados usando um Detector de Atividade de Voz (VAD). Segmentos credíveis são inseridos em um_{modelo de} reconhecimento de fala f (por exemplo, DeepSpeech) para extrair tokens de comando:

(3)

onde V é o vocabulário dos comandos reconhecidos. Para integração, os tokens de comando para todos são alinhados no tempo aos carimbos de tempo de pose visual usando uma função de alinhamento baseada em interpolação τ:

(4)

Terceiro, para formar as sequências de treinamento de intenção temporal , definimos sequências de trajetória , junto com comandos de fala associados . Estes são organizados em segmentos de comprimento fixo utilizando janelas deslizantes de tamanho l:

(5)

(6)

Por fim, as entradas são normalizadas para média zero e variância unitária por dimensão de ponto-chave para convergência em modelos de predição baseados em trajetórias:

(7)

onde μ_j, σ_j são a média e o desvio padrão do ponto-chave j completaram o conjunto de treinamento.

Extração de características

No paradigma de interação multimodal adaptativa descrito, uma cooperação forte e em tempo real é viabilizada pela combinação de características visuais, sonoras e contextuais da tarefa. O pipeline de extração de características começa com a aquisição concorrente de dados de duas modalidades principais: sinais visuais e sinais de áudio, indexados no passo de tempo t. Essas observações são passadas por módulos de percepção correspondentes para obter características semânticas de alto nível relacionadas ao comportamento humano, intenção e comando da fala.

Extração de características visuais

Os dados visuais brutos das câmeras RGB-D são enviados por meio de um estimador de pose humana (por exemplo, BlazePose), fornecendo um vetor de ponto-chave espacial , onde k representa o número detectado de pontos-chave e cada um contém coordenadas 3D:

(8)

Esses pontos-chave são embutidos no tempo em uma trajetória de pose, da qual a dinâmica do movimento é extraída por meio da decomposição tendência-sazonal:

(9)

onde ∈_t representa o ruído residual.

Extração de recursos de áudio

A entrada de áudio é processada por meio de um modelo de reconhecimento de fala pré-treinado (por exemplo, DeepSpeech) e produz uma representação tokenizada de comandos , onde n é o comprimento do token:

(10)

Fusão multimodal

Para construir um contexto de interação unificado, combinamos as características por meio de uma atenção ponderada pela confiança baseada na confiança e na informação mútua:

(11)

onde φ_V e φ_A são as funções de projeção para características visuais e auditivas em um espaço latente compartilhado, e α_t∈[0,1] é um termo dinâmico de ponderação modal calculado com base na entropia:

(12)

Aqui, e são informações mútuas entre o estado objetivo g e as modalidades observadas.

Planejamento usando Incorporação Contextual

O último vetor de características multimodal F_t é enriquecido com contexto de tarefa e progresso P_t e torna-se a entrada de estado para o módulo de planejamento adaptativo:

(13)

Essa característica extraída x_t é usada como entrada para os modelos posteriores de previsão de intenção e planejamento de movimento, apoiando colaboração adaptativa e robusta entre humanos e IA em ambientes dinâmicos e incertos.

Previsão de ação e plano via Alinhamento de Grafos de Tarefas

Após o processo multimodal de extração de características, onde a intenção de fala (áudio), a trajetória da pose (visual) e dados contextuais (por exemplo, logs de tarefas ou emoções) são integrados no processamento subsequente, inclui a previsão adaptativa de ações humanas e inferência de planos usando alinhamento hierárquico de grafos de tarefas.

Seja o vetor de características multimodal integrado no passo de tempo t representado como:

(14)

O sistema inicialmente prevê a ação humana de baixo nível por meio de uma_{função f,} que frequentemente é representada como um codificador-decodificador ou transformador recorrente:

(15)

onde F_(t-k:t) denota a sequência de fusão de características nos últimos k passos de tempo, e é a ação prevista do conjunto de ações A. O módulo é online ajustado por perda adaptativa:

(16)

Aqui, CE é a classificação de ação da perda cruzada de entropia, então o segundo termo impulsiona uma boa previsão de trajetória futura.

Para a previsão de planos de alto nível, enquadramos a tarefa como uma progressão ao longo de um Grafo de Tarefa Hierárquico G = (N, E), no qual cada nó_{n i} ∈N significa uma subtarefa ou objetivo intermediário. O objetivo é comparar a sequência de ações observada com um caminho de tarefa de referência R*∈G reduzindo a distância:

(17)

Onde P_t denota o traço de progresso atual e d(⋅) denota a distância ou métrica de alinhamento suave de Dynamic Time Warping (DTW).

A intenção final em nível de plano é então derivada projetando a ação prevista a ̂_t no próximo passo mais provável no caminho alinhado :

(18)

Essa decodificação hierárquica garante que, mesmo com entrada sensorial pouco clara ou barulhenta, o sistema escolha a intenção de alto nível mais relevante contextualmente, consistente com a sequência de tarefas atual. Esse planejamento preditivo não só aumenta a eficiência da colaboração, mas também aumenta a antecipação e a adaptabilidade dentro da interação humano-IA em múltiplas rodadas.

Mecanismo de fusão multimodal (baseado em atenção)

Na colaboração adaptativa humano-IA, a integração multimodal de várias modalidades sensoriais (por exemplo, visual: pose humana, trajetória; auditivo: comandos de fala) é necessária para a interpretação adequada da intenção do usuário. Uma abordagem baseada em regras ou fusão estática não consegue lidar com interações humanas dinâmicas no mundo real. Para isso, um mecanismo de fusão baseado na atenção é apresentado aqui para ponderar dinamicamente cada modalidade de acordo com sua importância contextual em cada passo temporal.

Vamos denotar os vetores de características extraídos das modalidades visual e auditiva como e , respectivamente. Esses vetores codificam informações semânticas obtidas por meio de pipelines de processamento anteriores, por exemplo, características visuais podem resultar da estimação de pose e da previsão de ações, enquanto características de áudio podem ser derivadas de embeddings de fala usando modelos como DeepSpeech ou wav2vec.

O objetivo da fusão baseada em atenção é calcular pesos de atenção específicos de modalidades que capturem a importância relativa de cada modalidade. Isso é feito usando um mecanismo de atenção suave.

Cálculo por peso de atenção

Em um primeiro passo, ambos os vetores são transformados em um espaço de atenção compartilhado por meio de uma transformação aprendível. Ou seja, para toda modalidade i∈{V,A}, a pontuação intermediária de atenção é calculada como:

(19)

onde e são parâmetros aprendíveis em rede de atenção, e tanh é uma função de ativação não linear. Essa conversão permite que o modelo extraia correlações de alto nível e saliência contextual de cada modalidade.

Essas pontuações de atenção não normalizadas e_V e α_A são então normalizadas com uma função softmax de modo que somam 1

(20)

Aqui, α_V e α_A são, respectivamente, os pesos de atenção sobre as modalidades visual e auditiva. Os pesos são adaptativos e depois são atualizados ao longo do tempo, dependendo do contexto da tarefa existente, da qualidade do sinal e da atividade do usuário.

(21)

A representação fundida resultante é obtida como uma combinação ponderada dos vetores de modalidade de entrada:

Esse vetor combinado codifica a semântica comum das informações visuais e auditivas de uma forma que destaca ativamente o fluxo mais informativo. Depois, ele é direcionado para módulos posteriores como o emparelhamento de grafos de tarefas, previsão de intenções ou motor de planejamento de movimento de robôs.

Algoritmo 1: Fusão baseada em atenção multimodal

Entrada: O vetor de características visuais é h_V∈R^d, o vetor de características de áudio é h_A∈R^d

Parâmetros aprendíveis: W∈R^k*d, w∈^{R k} e b∈^{R k}

Saída: representação fundida h_fundida∈R^d.

Passo 1: Determinar representações intermediárias calculando usando a Equação 19

Passo 2: Use o Softmax para normalizar as pontuações de atenção usando a Equação 20

Passo 3: Calcule o vetor fundido usando a Equação 21

Passo 4: Devolver h_fundido

O algoritmo de Fusão Multimodal Baseada em Atenção fornece um meio para a fusão inteligente de recursos de várias modalidades de entrada, como fluxos visuais e áudio, de forma consciente do contexto. A fusão é essencial em sistemas onde cada modalidade apresenta informações complementares, porém variadas, como em ambientes colaborativos humano-IA, onde a visão captura gestos ou a posição do corpo e o áudio captura comandos de fala ou sinais de voz.

O Algoritmo 1 começa determinando representações intermediárias para cada modalidade. Para calcular ambos os modelos, e_V para o fluxo visual e e_A para o fluxo de áudio, uma camada compartilhada de rede neural primeiro realiza uma transformação não linear nos vetores de características correspondentes. Depois, os pesos de atenção α_V e α_A são calculados realizando uma função softmax sobre as pontuações intermediárias. Isso ajuda os pesos a serem positivos e somar 1, basicamente normalizando as contribuições de cada modalidade. Quanto mais informativa for uma modalidade, conforme modelada, maior seu peso de atenção.

Por fim, o algoritmo calcula a representação_fundida h fundida através de uma combinação ponderada dos vetores de características gráficas e de áudio, normalizadas com seus respectivos pesos de atenção. Esse vetor fundido combina ambas as modalidades de forma orientada a dados e sensível ao contexto e serve para tarefas posteriores, como reconhecimento de intenções, tomada de decisão ou planejamento de movimento robótico. No total, esse algoritmo permite que o sistema foque dinamicamente na modalidade ou combinação de modalidades mais pertinente em um momento específico, em vez de usar abordagens de fusão fixas ou baseadas em regras. Isso torna a estrutura mais forte, flexível e responsiva em situações dinâmicas de interação humano-IA.

A Figura 2 ilustra o fluxo de trabalho do mecanismo de Fusão Multimodal Baseada em Atenção que opera na integração sensível ao contexto de entradas visuais e auditivas. A Extração Visual de Características, o primeiro passo do fluxo de trabalho, envolve extrair características espaciais ou relacionadas à pose de imagens ou vídeos de entrada (como câmeras RGB-D). Esses elementos são posteriormente inseridos em um módulo de Atenção Visual que aprende a destacar o conteúdo mais informativo das informações visuais. Paralelamente, os módulos de Atenção de Áudio processam embeddings de fala ou tokens de áudio a partir de comandos falados, atribuindo significado contextual a diferentes sinais auditivos. As características resultantes, ponderadas pela atenção, são integradas por meio de uma camada de fusão baseada em atenção e passadas para uma rede feedforward posicional com conexões residuais e normalização de camadas, formando um bloco padrão de codificadores Transformer. O resultado é uma incorporação multimodal unificada que suporta uma previsão robusta de intenção de longo prazo e tomada de decisão adaptativa sob condições variadas de interação. Esse design permite que o sistema se concentre seletivamente na modalidade mais robusta em qualquer momento, melhorando a robustez e a interpretabilidade na interação humano-IA em tempo real.

Figura 2: Construção detalhada do módulo de fusão multimodal guiada por atenção. Para gerar uma representação fundida consciente do contexto a cada passo temporal, codificadores específicos de modalidade coletam características de fluxos visuais e auditivos. Essas características são então ponderadas dinamicamente usando um mecanismo de atenção orientado a dados. Por favor, clique aqui para ver uma versão ampliada desta figura.

Adaptação online do modelo

Para garantir colaboração humano-IA de alta qualidade sob diferentes comportamentos e contextos do usuário, nossa estrutura incorpora um mecanismo de adaptação de modelos online que otimiza progressivamente modelos específicos do usuário durante a interação. O módulo acompanha sinais comportamentais em tempo real (por exemplo, pose, trajetórias de gestos, tom de fala) e atualiza os modelos preditivos subjacentes com algoritmos de aprendizado incremental. Em particular, modelos de previsão de trajetória e reconhecimento de intenção são ajustados com entradas recentes via ajuste fino baseado em gradiente ou adaptação de baixo nível (LoRA), de modo que o sistema seja capaz de se adaptar a mudanças no comportamento do usuário ou a requisitos específicos de tarefas, sem precisar ser totalmente retreinado.

A camada de feedback atua harmoniosamente com adaptação tanto por meio de feedback implícito (por exemplo, correções, hesitações, atrasos) quanto por comandos explícitos (por exemplo, fala ou interface gráfica). Ele tem dois propósitos: calibrar adaptativamente a saliência dos sinais multimodais e transmitir medidas de confiança/confiança aos módulos de decisão e controle.

O ciclo de feedback permite um desempenho mais suave das tarefas e respostas orientadas ao usuário. Para fomentar confiança e transparência, a estrutura integra um módulo de explicabilidade que traduz decisões de modelo de baixo nível em justificativas compreensíveis para humanos. Ele utiliza mapas de racionalização do transformador de fusão multimodal, complementados com traçado lógico através do grafo de tarefa. Ele pode opcionalmente apresentar essa justificativa por meio de uma interface gráfica ou auxiliar auditivo para permitir que os usuários compreendam e até mesmo corrijam o comportamento do sistema.

Resultados

O modelo de interação multimodal adaptativa proposto aqui aborda essas preocupações e aprimora muito a colaboração entre humanos e IA ao combinar de forma fluida modalidades de visão e fala com processos de adaptação do usuário em tempo real. Em contraste com o sistema multimodal hierárquico básico, nossa abordagem inclui um ciclo de feedback personalizado, bem como uma adaptação consciente da carga cognitiva que proporciona uma interação mais intuitiva e consciente do contexto. Em teste...

Discussão

Os achados demonstram conclusivamente a eficiência da base sugestida de interação multimodal adaptativa para aprimorar a colaboração entre humanos e IA.

Além das pontuações padrão de avaliação como Tempo de Conclusão de Tarefa (TCT), Precisão da Previsão da Intenção Humana (HIPA), Eficiência Multimodal de Fusão (MFE), Taxa de Recuperação de Erros (ERR), Pontuação de Satisfação do Usuário (USS) e Índice de Fluidez de Interação (ISI), métricas adicionais focadas...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Câmera RGB-D (Intel RealSense D435)	Intel Corporation	D435	Resolução de profundidade 1280 e vezes; 720 px @ 30 fps; Resolução RGB 1920 e dias; 1080 px @ 30 fps; Usado para capturar a postura do usuário, movimentos corporais e contexto espacial
Microfone Direcional	Genérico / Múltiplos fornecedores	N/A	Microfone de banda larga, com cancelamento de ruído (16 kHz– 44,1 kHz); Usado para coletar comandos falados
BlazePose (modelo pré-treinado)	Google	https://developers.google.com/mediapipe/solutions/vision/pose	Modelo de estimativa de poses com 33 pontos-chave; Extração de pose humana em tempo real
OpenPose (modelo pré-treinado)	Laboratório de Computação Perceptual da CMU	https://github.com/CMU-Perceptual-Computing-Lab/openpose	Estrutura de estimativa de pose multipessoa usada para extrair trajetórias de movimento
Motor ASR DeepSpeech	Mozilla	v0.9.3	Modelo automático pré-treinado de reconhecimento de fala para transcrição de fala para texto
Motor ASR wav2vec 2.0	Meta IA	https://github.com/facebookresearch/fairseq	Modelo de representação de fala auto-supervisionada para processamento de fala em tempo real
Modelo de Previsão de Ações Baseado em Transformador (DLinear / Seq2Seq)	Implementação personalizada	N/A	Arquitetura codificador-decodificador temporal com atenção para previsão de ações de curto prazo
Módulo de Distorção Dinâmica do Tempo (DTW)	Personalizado / baseado em SciPy	https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cdist.html	Algoritmo de alinhamento suave para combinar ações do usuário com grafos de tarefa predefinidos
Rede de Fusão Multimodal baseada em atenção	Implementação personalizada	N/A	Mecanismo de atenção ponderado pela confiança para fundir entradas de visão e fala
Módulo de Adaptação Online (LoRA / Baseado em Gradiente)	Implementação personalizada	https://github.com/microsoft/LoRA	Ajuste fino leve e eficiente em termos de parâmetros para adaptação ao comportamento do usuário
Módulo de Explicabilidade (Baseado em Regras + Mapas de Atenção)	Implementação personalizada	N/A	Fornece justificativa de decisão interpretável usando regras e visualizações de atenção
Braço Robótico KINOVA Gen3	KINOVA Robotics	Gen3	Manipulador robótico de 7 profundidades de profundidade com sensores de torque integrados; Usado para montagem colaborativa de carrinhos de brinquedo
Ambiente de Simulação de Montagem Cooperativa	Ambiente personalizado	N/A	Configuração real de montagem de carrinhos de brinquedo usada para benchmarking de colaboração multimodal
Métricas de Avaliação (TCT, HIPA, MFE, Latência, ERR, USS, ISI)	Definições personalizadas	N/A	Métricas quantitativas e centradas no usuário para avaliar eficiência, precisão e confiança da colaboração