Nahtlose multimodale Mensch-Roboter-Kommunikation: Integrationstechniken in der Mensch-Computer-Interaktion

Summary

Diese Übersichtsarbeit fasst jüngste Fortschritte im Bereich Deep Learning, multimodaler Sensorik und Integrationsstrategien zusammen, die nahtlose, adaptive und menschenzentrierte Kommunikation zwischen Mensch und Robotern ermöglichen.

Abstract

Nahtlose multimodale Mensch-Roboter-Kommunikation ist unerlässlich geworden, da soziale, unterstützende und pädagogische Roboter in alltägliche Umgebungen wie Haushalte, Gesundheitseinrichtungen und Klassenräume einziehen, wo sie Sprache, Gesten, Blick, Gesichtsausdrücke und taktile Hinweise mit hoher Präzision, geringer Latenz und realer Robustheit integrieren müssen. Diese Übersichtsarbeit untersucht systematisch, wie aktuelle Techniken eine Echtzeit-, reziproke multimodale Mensch-Roboter-Interaktion (HRI) erreichen, wobei der Fokus auf Fusionsstrategien, Systemarchitekturen und Anwendungen in spezifischen Bereichen liegt. Wir durchsuchten die Web of Science Core Collection von 2015 bis 2025 nach englischsprachigen empirischen Studien und wählten 148 Artikel aus, die sich mit kommunikativer Integration befassen. Die wichtigsten Erkenntnisse umfassen seit 2022 eine klare Verschiebung hin zu hybriden und aufmerksamkeitsbasierten Fusionen (etwa 43 % der Ansätze), die zeitliche Asynchronität und verkörperte Interaktionen besser behandelt als frühere Methoden; weitverbreitete Inkonsistenz in den Evaluationsmetriken, die Cross-Study-Vergleiche behindert; und eine anhaltende Lücke zwischen starker Laborleistung und schwächerer realer Robustheit bei Rauschen, Okklusion oder Benutzervariabilität. Wichtige Herausforderungen sind Echtzeitverarbeitung, semantische Ausrichtung, Dateneffizienz, Bereitstellungsrobustheit und die wenig erforschte Integration taktiler Signale mit Affect. Mit Blick auf die Zukunft schlägt die Überprüfung vor, adaptive Fusionsrichtlinien, standardisierte Benchmarks für Synchronisation und Flüssigkeit sowie kontinuierliches Lernen zu priorisieren, um eine benutzerpersonalisierte Anpassung zu ermöglichen. Letztlich zielt es darauf ab, die Entwicklung von stärker menschenzentrierten robotischen Agenten zu steuern, die kollaborativ, sinnvoll und im Alltag gesellschaftlich akzeptabel sind.

Introduction

Roboter haben sich von industriellen Werkzeugen in strukturierten Umgebungen zu sozial eingebetteten Agenten in Haushalten, Krankenhäusern und Klassenzimmern entwickelt. Sie unterstützen nun bei Bildung, Therapie und Gesellschaft und spiegeln damit einen Wandel von aufgabenorientierter Automatisierung hin zu nutzerzentrierter, adaptiver Interaktion wider. Im Zentrum dieses Übergangs steht die multimodale Kommunikation, die es Robotern ermöglicht, menschliche Hinweise – Sprache, Blick, Gesten, Gesichtsausdrücke und Berührung – mit der zeitlichen Präzision wahrzunehmen und darauf zu reagieren, die für natürliche Austausche in dynamischen Umgebungen erforderlich ist. Diese Betonung von Koordination und Reaktionsfähigkeit steht im Einklang mit zentralen Anliegen der Mensch-Computer-Interaktion und der Kognitionswissenschaft. In dieser Übersicht bezeichnet nahtlose multimodale Kommunikation Interaktionen, die für die Nutzer flüssig und intuitiv wirken, gekennzeichnet durch Antwortzeiten unter einer Sekunde (typischerweise weniger als 300 ms), minimale wahrnehmbare Verzögerungen oder Fehlanpassungen sowie eine robuste Anpassung an reale Variabilität. Dies unterscheidet es von traditionellen befehlsbasierten oder unimodalen Systemen, bei denen Zeitfehler, Modalitätsfehler oder starre Reaktionen den natürlichen Fluss stören.

Innerhalb der Mensch-Roboter-Interaktion (HRI) konzentriert sich diese Übersichtsarbeit auf die Mensch-Roboter-Kommunikation, definiert als der wechselseitige, Echtzeit-Austausch multimodaler Signale zwischen Menschen und Robotern. Während HRI auch Planung, Kontrolle und Sicherheit umfasst, betrifft Kommunikation die Synchronisation von Wahrnehmung und Handlung über sensorische Kanäle hinweg. Frühe kommandobasierte Systeme priorisierten Effizienz gegenüber Engagement und führten oft zu starrem oder verzögertem Verhalten. Zeitgenössische Arbeit verfolgt adaptive, kontextbewusste Modelle, die Nutzerzustand und -emotion berücksichtigen ^1,2. Diese Entwicklung unterstreicht die Notwendigkeit präziser, intuitiver und personalisierter Interaktionsrahmen.

Anfängliche soziale und unterstützende Roboter stützten sich häufig auf geskriptete Routinen oder Ein-modale Eingaben wie Sprache oder Berührung, was die Flexibilität einschränkte³. Regelbasierte Logik und langsame Verarbeitung führten häufig zu Zeitfehlern zwischen Gesten und Sprache oder zu schlechter Anpassung an das Nutzerverhalten. Um diese Probleme zu lösen, setzen Forscher Fusion mit niedriger Latenz, multimodaler sensorischer Integration und nutzeradaptivem Lernen ^4,5 ein. Diese Strategien lassen sich durch drei grundlegende Kommunikationsprinzipien verstehen, die im HRI weithin anerkannt sind: Komplementarität (Modalitäten gleichen sich gegenseitig aus), Redundanz (Überlappung verbessert die Robustheit) und Synergie (Konvergenz erhöht Natürlichkeit).

Fortschritte im Bereich Wahrnehmung und Lernen haben sozial responsive Roboter hervorgebracht, die visuelle, auditive, taktile und physiologische Eingaben in Echtzeit integrieren ^5,6. Anstelle fester Skripte passen sich diese Systeme kontinuierlich an Benutzerhinweise an. Zugängliche Programmierschnittstellen und Lernmethoden ermöglichen es Lehrkräften und Therapeuten, Verhaltensweisen für Pflege und Unterricht anzupassen, wobei Präzision, Reaktionsfähigkeit und Anpassungsfähigkeit unerlässlich sind.

Kommunikationsmuster im sozialen HRI können in parallele, komplementäre und interaktive Formen gruppiert werden (Abbildung 1). In der parallelen Interaktion handeln Menschen und Roboter unabhängig voneinander mit minimalem Austausch. Komplementäre Interaktion führt strukturierte Prompts oder ereignisbasierte Unterstützung ein. Der fortschrittlichste, interaktive Modus beinhaltet kontinuierliche bidirektionale Anpassung über Kanäle wie Sprache, Bewegung und Blick⁷.

Literaturauswahl und -analyse

Systematische Übersichtsmethodik: Wir führten eine systematische Literaturrecherche in der Web of Science Core Collection durch, wobei wir peer-reviewte Fachartikel und vollständige Konferenzberichte großer Verlage (IEEE, ACM, Springer, Elsevier, Wiley, Taylor & Francis) einschloss. Die boolesche Abfrage lautete: (("Mensch-Roboter-Interaktion" ODER HRI) und (multimodale ODER "Sensorfusion" ODER Geste ODER Blick ODER Sprache ODER taktil) UND ("Echtzeit" ODER "niedrig-latenz" ODER adaptiv ODER robust)). Die Einschlusskriterien waren: englischsprachige Publikationen von Januar 2015 bis 2025 – ein Zeitraum, der den Wandel von regelbasierten, einmodalen Systemen zu Deep-Learning-Architekturen mit Schwerpunkt auf latenzarm, adaptiver und robuster Interaktion dokumentiert – mit Schwerpunkt auf multimodalen Integrationstechniken für kommunikative HRI und empirische Validierung (quantitativ oder qualitativ). Wir schlossen Studien aus, die sich auf die unimodale Interaktion beschränkten, solche, die sich mit Robotersteuerung ohne kommunikative Absicht befassten, sowie nicht-empirische Arbeiten (z. B. rein theoretisch oder nur simulationsbasiert). Die erste Suche ergab ein beträchtliches Kapital. Nach dem Entfernen der Duplikate prüften wir Titel und Abstracts anhand der Einschlusskriterien und führten anschließend Volltext-Reviews durch, um Relevanz und Beitrag zur zuverlässigen multimodalen Fusion zu bewerten. Dieser mehrstufige Prozess, zusammengefasst im PRISMA-ähnlichen Flussdiagramm (Abbildung 2), ergab ein abschließendes Korpus von 148 Artikeln, die die empirische Grundlage dieser Übersichtsarbeit bilden.

Überblick über ausgewählte Literatur: Abbildung 3 zeigt Publikationstrends und fachliche Verteilung, wobei Informatik sowie Automatisierung & Robotik dominieren, sowie wachsende Beiträge der Verhaltenswissenschaften und Neurowissenschaften, was die interdisziplinäre Entwicklung des Fachgebiets unterstreicht. Wir gruppierten die Literatur thematisch nach technischem Beitrag zur multimodalen Integration (Tabelle 1). Diese Synthese umfasste Modalitäten, Fusionsmethoden, Latenzmanagement, Robustheitsstrategien, Anpassungsfähigkeit und Metriken. Studien von 2019 bis 2021 verwendeten überwiegend frühe oder späte Fusion, wobei oft Gesten und taktile Eingaben betont wurden. Seit 2022 gewinnen hybride und aufmerksamkeitsbasierte Architekturen an Beliebtheit, insbesondere für affektive und verkörperte Interaktion. In diesem Korpus machen hybride Fusionen etwa 43 % der Ansätze aus, frühe Fusion 29 % und späte Fusion 28 % – eine Verteilung, die auf eine verbesserte Toleranz gegenüber zeitlicher Asynchronie hindeutet.

Obwohl in der anfangs gezeigten breiteren Literatur häufig eine Echtzeitfähigkeit beansprucht wird, beschreiben nur eine begrenzte Anzahl von Studien spezifische Minderungsstrategien (z. B. gepufferte Verarbeitung, prädiktive Modelle oder Sensoroptimierung). Robustheit beruht typischerweise auf Filterung, Redundanz oder regelbasierten Rückfallmöglichkeiten, während antizipatorische Anpassungen selten bleiben. Evaluationspraktiken sind inkonsistent, und standardisierte Bewertungen der temporalen Synchronisation oder der Interaktionsflüssigkeit bleiben selten. Die Kennzahlen variieren so stark zwischen den Studien, dass direkte Vergleiche oft schwierig sind. Genauigkeit, F1-Werte und Latenzzahlen sind üblich, stammen aber aus unterschiedlichen Datensätzen, Aufgaben und Umweltbedingungen; Nur wenige Arbeiten verwenden gemeinsame Benchmarks für zeitliche Ausrichtung oder Rauschrobustheit. Folglich übertreibt starke Leistung in sauberen Laboranlagen häufig, welche Methoden außerhalb kontrollierte Umgebungen erreichen können. Die Entwicklung konsistenter Bewertungsrahmen – vielleicht einschließlich standardisierter Latenztests unter realistischer Variabilität – würde es deutlich erleichtern zu beurteilen, welche Ansätze das Feld wirklich voranbringen.

Wichtige Lücken bestehen in der taktil-affektiven Integration (nur sechs Studien 8,9,10,11,12,13 behandeln dies) und der dynamischen Latenzanpassung unter nutzergesteuerter zeitlicher Unsicherheit. Aus der Literatur entstehen mehrere interessante Spannungen. Hybride Fusion wird oft dafür gelobt, temporale Fehlanpassungen^{gut zu} handhaben, doch wirklich antizipative oder adaptive Verhaltensweisen bleiben selten, was die Fragestellung aufwirft, wie nahtlos diese behauptete Echtzeitleistung tatsächlich ist. Gleichzeitig steht der beeindruckende Fortschritt bei der Seh- und sprachbasierten Affekterkennung in starkem Kontrast zu der minimalen Arbeit, taktile Hinweise mit Emotionsverständnis zu integrieren. Hohe Genauigkeit in kontrollierten Experimenten neigt ebenfalls dazu, unter realen Bedingungen zu verschlechtern, was die anhaltenden Herausforderungen bei der Verallgemeinerung über Umgebungen und Nutzer hinweg unterstreicht. Tabelle 2 fasst repräsentative architektonische Trends und Bewertungsansätze zusammen und informiert die in den folgenden Abschnitten diskutierten Herausforderungen.

Diese Übersicht leistet einen besonderen Beitrag zur multimodalen HRI-Literatur. Jüngste Umfragen wie Zhao et ^al.14 bieten breite Übersichten über wahrnehmungsgetriebene Entscheidungsfindung, während Wang et ^al.15 sich auf 5G-fähige visuell-taktile Übertragung konzentrieren. Beide legen den Schwerpunkt auf allgemeine Rahmenwerke oder Kommunikationsprotokolle, wobei nur begrenzte Diskussionen über Echtzeit-Fusionskompromisse, Vergleichbarkeit von Metriken oder Herausforderungen bei der Bereitstellung erfolgen. Im Gegensatz dazu bieten wir eine gezieltere Analyse: Wir vergleichen Fusionsstrategien unter bestimmten Bedingungen, kritisieren Inkonsistenzen in Grenzuntersuchungsmetriken und heben praktische Lücken hervor – insbesondere die Leistungsunterschiede zwischen Labor und Feld, die frühere Umfragen weitgehend übersehen haben.