Entwicklung adaptiver multimodaler Interaktionsrahmen, um die Zusammenarbeit zwischen Mensch und KI zu verbessern

Zusammenfassung

Diese Arbeit schlägt einen auf dynamischem Zeitverzug (DTW) basierenden hierarchischen Ausrichtungsmechanismus mit Online-Anpassung und aufmerksamkeitsgetriebener multimodaler Fusion vor, der eine zuverlässige Langzeitvorhersage und Aufgabenverfolgung ermöglicht. Ein leichtes Erklärungsmodul verbessert die Interpretierbarkeit und fördert das Vertrauen in die Zusammenarbeit zwischen Mensch und KI. Der Ansatz lässt sich sowohl auf robotische als auch auf virtuelle interaktive Systeme verallgemeinern.

Zusammenfassung

Die effektive und natürliche Zusammenarbeit zwischen Mensch und KI bleibt eine große Herausforderung, insbesondere in dynamischen, realen Umgebungen. Die bestehenden Frameworks sind oft durch starre einmodale Eingaben oder regelbasierte multimodale Fusion begrenzt, was ihre Robustheit, Personalisierung und Anpassungsfähigkeit einschränkt. Diese Studie stellt ein adaptives multimodales Interaktionsrahmen vor, das visionsbasierte Posenschätzung und sprachbasiertes Befehlsverständnis in ein hierarchisches Modell zur menschlichen Absichtsprognose integriert. Das Framework verwendet Transformer-basierte Sequenzmodelle zur Aktionsvorhersage und dynamischem Zeitverzug, um menschliches Verhalten mit den strukturierten Aufgabendiagrammen für die langfristige Planung abzustimmen. Im Gegensatz zu früheren Ansätzen, die auf statischer Modalitätsumschaltung basieren, verwendet unsere Architektur einen aufmerksamkeitsbasierten Fusionsmechanismus, um die informativsten Eingaben dynamisch zu gewichten. Darüber hinaus ermöglicht ein Online-Anpassungsmodul eine Echtzeitanpassung des Nutzerverhaltens, ergänzt durch eine leichte Erklärungsschicht, die das Vertrauen der Nutzer stärkt. Die experimentelle Bewertung in einer kollaborativen Assembleraufgabe zeigt signifikante Fortschritte bei der Aufgabenleistung (bis zu 24 %), der Genauigkeit der Absicht (bis zu 18 %) und der Nutzerzufriedenheit. Diese Ergebnisse unterstreichen die Wirksamkeit und Vielseitigkeit der adaptiven multimodalen Interaktionsrahmen und unterstützen ihr Potenzial, kollaborative Intelligenz zu zuverlässigeren, transparenteren und menschenorientierteren KI-Systemen voranzutreiben.

Einleitung

Die Zusammenarbeit zwischen Mensch und Roboter (HRC) ist eines der wichtigen Forschungsbereiche, insbesondere da Roboter zunehmend in menschenzentrierten Umgebungen eingesetzt werden. Während sich Rahmenwerke und Technologien für kurzfristige HRC deutlich verbessert haben ^1,2, ist langfristige HRC noch nicht so ausgereift³. In industriellen Anwendungen kann die Nutzung von langfristigem HRC zu einem deutlichen Anstieg der Produktivität und Anpassungsfähigkeit in komplexen^{Fertigungsprozessen} führen. In häuslichen Umgebungen, Robotern als Begleiter oder Altenpflegekräfte haben das Potenzial, die Lebensqualität durch langfristige HRC⁵ zu verbessern. Die Medizin positioniert Gemeinschaftsmaschinen als Ersatz für Haushalt und Pflegekräfte und deckt die Versorgung für betroffene Rollen mit Demenz, Autismus und weiteren körperlichen oder psychischen Erkrankungen^{ab 6}. Gleichzeitig nutzen die Reise- und Freundlichkeitsbereiche industrielle Roboter, um das Nutzerwissen^zu erweitern. Im Bereich der intelligenten Technik besteht das Ziel darin, KI auf menschenzentrierte Weise einzubinden, um Kompetenzen wiederherzustellen und personalisierte Pflanzen herzustellen – eine Phase, die als Industrie 5.0 bekannt ist. Human-KI- und Mensch-Roboter-Kollaborationssysteme wurden in verschiedenen Anwendungsbereichen erforscht: ^8,9,10; Allerdings konzentriert sich die aktuelle Forschung zunehmend auf kollaborative robotische Umgebungen, die eine zuverlässige Vorhersage von Absichten und das Verständnis von Aufgaben über den langen Horizont erfordern.

KI ist bereits tief im Alltag verankert, und ihre selbstverwalteten oder semiautonomen Anwendungen zeigen sich zunehmend in vielen Geschäftsbereichen. Dies besagt einfach, dass gut funktionierende Geschäftsfunktionen derzeit Systeme benötigen, die sich an technologische Veränderungen anpassen und auf organisatorische Herausforderungen reagieren^können. Daher trägt die Notwendigkeit, menschliches Handeln durch Hybridisierung im Prozess der KI-Einführung und -Implementierung zu verbessern, dazu bei, einige Barrieren zu überwinden. Folglich kombinieren hybride Systeme künstliche und menschliche Intelligenz, um komplexe Aufgaben gemeinsam zu bewältigen, verbesserte Ergebnisse zu erzielen und ihre Fähigkeiten durch Lernen von Kollegen weiterzuentwickeln. Daher prägen erweiterte Konzepte wie hybride intelligente Systeme¹², Zusammenarbeit und verstärkte Intelligenz informell die Forschung und das Verständnis zur Förderung der Zusammenarbeit durch die Integration vielfältiger KI-Modalitäten.

Der Begriff "Vertrauen" stammt aus Studien zwischenmenschlicher Beziehungen und definiert eine emotionale Bindung in menschlichen Beziehungen. Zum Beispiel identifizierte der Autor¹³, dass das Maß an Vertrauen technisch Aspekte der Gefühle, der vermeintlichen Anziehungskraft und der Ethik der kooperierenden Parteien bestimmt. Soziologisch gesehen haben zwischenmenschliche Vertrauensunterschiede tiefgreifende Auswirkungen auf getrenntes Wohlbefinden, gemeinschaftliche Interaktion, sozioökonomisches Wachstum und praktisches Verhalten 14,15,16. HRI ist im Wesentlichen ein Versuch, prozedurale Gespräche zwischen Sozialarbeitern und cleveren Automaten über die konventionellen linguistischen Hürden der Automaten hinaus^{zu verbinden 17}. Solche Interaktionen verbinden die rechnerischen Stärken autonomer Systeme mit menschlicher Intuition und ermöglichen so eine effektive Zusammenarbeit über verschiedene Anwendungsumgebungen hinweg. Der Einsatz von Automaten bringt echte Vorteile mit sich: deutliche Verringerungen der Kosten, einen geringeren ökologischen Fußabdruck und deutlich geringeres menschliches^Risiko. Doch mitten in den Erfolgen ist das menschliche Vertrauen in Roboter eine Säule, insbesondere bei der Bewertung der allgemeinen Qualität der Interaktion^18,19.

Das Maß an menschlichem Vertrauen, das Robotern entgegengebracht wird, spiegelt ihre Bedeutung und zentrale Rolle in vielen Bereichen wider. Im Gesundheitswesen beeinflusst Robot Trust die Verteilung medizinischer Ressourcen gemäß HRI sowie die Effizienz der Unterdrückung übertragbarer Krankheiten 20,21,22^. In soldatischen Anwendungen steuert das Maß des sozialen Glaubens an Automaten das operative Kompetenzniveau soldatischer Ermittlungstechniken und die Genauigkeit von Kampftransporten^23,24. Darüber hinaus beeinflusst der Glaube an Maschinen die Unterwerfung und Nutzung von KI-Mechanismen zur aktiven Überzeugungsstandardisierung in spekulativer militärischer Politikgestaltung²⁵. Selbst innerhalb der Umweltforschung, z. B. hochrangiger körperlicher Bewegungsforschung, hängt die Rationalität der Ergebnisse vom Grad des Glaubens an das HRI²⁶ ab. Eine wichtige Warnung ist jedoch, dass zunehmende Entscheidungsschwierigkeiten das Potenzial haben, dieses Vertrauen zu schwächen und die Interaktion zu gefährden²⁷. Tabelle 1 beschreibt den vergleichenden Überblick mehrerer Studien.

Zeitung (Jahr, Quelle)	Hauptziele	Schlüsselmethoden & Modalitäten	Einblicke
Xie & Park (2021, arXiv) [28]	Individualisieren Sie Roboterinteraktionen mit emotionalen sozialen Robotern	Richtlinie für Verstärkungslernen basierend auf sowohl verbalen als auch nonverbalen Hinweisen (Körperhaltung, Sprache und Gesichtsausdrücke)	Das Verhalten eines RL-trainierten Roboters verändert sich als Reaktion auf menschliche Emotionen, was die Einfachheit und das Engagement erhöht.
Li et al. (2022, IEEE T-IE) [29]	Fördern Sie proaktive Unterstützung für die Fertigungsmontage	Intentionsvorhersage, Transferlernen und multimodales Lernen (visuell + skelettmäßig)	Verbesserte Roboterproaktivität im Vergleich zu den Ausgangswerten; Schnellere und präzisere Aktionsvorhersage während der Montage
Abdelrahman et al. (2022, IEEE Access) [30]	Schätzung der Beteiligung in Echtzeit an der Gruppen-HRI	Regelbasierte Klassifikation kombiniert mit Deep Learning und visionsbasierter Blick-/Kopfhaltung	≥90 % F-Wert; verwaltet mehrere Benutzer gleichzeitig in physischen Konfigurationen
Chiossi et al. (2025, arXiv) [31]	Struktur für multimodale, dynamische Absichtsübertragung in Fertigungsumgebungen	Theoretisches facettenreiches Layout: SAT-Transparenzschichten; haptische, auditive und visuelle Modi	Legt den konzeptionellen Rahmen fest und erklärt das Medium, die Planung und die Absicht der Designumgebung.
McGrath et al. (2024, arXiv) [32]	Modelliere die Entwicklung von Vertrauen in anpassungsfähige Mensch-KI-Beziehungen.	Teamphasen plus Vertrauensvorläufer; Ein dynamisches Vertrauensmodell, das nicht von bestimmten Modalitäten abhängig ist	Bietet vertrauensbewusste Designprinzipien für alle Phasen der Interaktion und Zeit.
Fragiadakis et al. (2024, arXiv) [33]	Standardisiert die Bewertung der Zusammenarbeit zwischen Mensch und KI.	Metriken, die von einem Entscheidungsbaum gemäß dem HAIC-Modus ausgewählt werden; Mixed-Methods-Metriken	Das Framework hilft bei der Auswahl relevanter Kennzahlen für KI-/menschenzentrierte, symbiotische Interaktionsmodalitäten.
Younis et al. (2023, MDPI) [34]	HRI, das sich durch demografische Inferenz an den Kontext anpasst	Alter und Geschlecht werden anhand von Seh- und Audiomodellen geschätzt, und das Verhalten der Roboter wird entsprechend angepasst.	Die Umfrage fasst Ansätze zusammen und betont die Bedeutung maßgeschneiderter Anpassungen im HRI.

Tabelle 1: Ein vergleichender Überblick über aktuelle Forschung zur Zusammenarbeit zwischen Mensch und KI, der die wichtigsten Ziele, Methoden und Ergebnisse jeder Studie hervorhebt. In der Studie verwendete Datensätze, deren Spezifikationen, Größe, Modalitäten und Teilnehmerverteilung.

Obwohl der derzeitige hierarchische und multimodale Mensch-Roboter-Kollaborationsrahmen (HRC) beeindruckende Fortschritte bei der Nutzung visueller und audionischer Modalitäten für langfristige Zusammenarbeit zeigt, bestehen weiterhin eine Reihe von Forschungslücken, die seine Anwendbarkeit auf allgemeinere Mensch-KI-Kollaborationsumgebungen erschweren. Zum einen ist der aktuelle Rahmen hauptsächlich auf physische Robotik anwendbar (z. B. KINOVA GEN3 Arm) und nicht übertragbar auf nicht-körperliche oder virtuelle KI-Agenten, die in verschiedenen digitalen Umgebungen existieren²⁸. Zweitens wird Multimodalität zwar durch Vision und Sprache adressiert, aber das System implementiert eine vordefinierte Modalitätswechselstrategie anstelle einer dynamischen, kontextabhängigen Fusion je nach Benutzerzustand oder Aufgabenschwierigkeit²⁹. Drittens legt der Ansatz Wert auf Aufgabeneffizienz und Resilienz, modelliert jedoch nicht ausdrücklich das Vertrauen, die kognitive Belastung oder den affektiven Zustand, die für langfristige Zusammenarbeit und Systemerklärbarkeit unerlässlich sind. Darüber hinaus sind menschliche Interpretierbarkeit und das Vertrauen in das adaptive Verhalten des Systems begrenzt, wenn Erklärbarkeitsprozesse in der Entscheidungsfindung fehlen. Nicht zuletzt ist die Bewertung auf eine einzige Domäne (Spielzeugauto-Montage) ohne Multi-Domain-Validierung beschränkt, was die Variabilität in der realen Welt³⁰ darstellt. Solche Lücken erfordern die Entwicklung eines allgemeinen, adaptiven und menschenzentrierten multimodalen Interaktionsrahmens, der heterogene Eingabekanäle dynamisch kombiniert und menschliche Absicht, Vertrauen und Kontext in Echtzeit modelliert, um die Zusammenarbeit zwischen Mensch und KI zu unterstützen.

Das Hauptziel dieser Studie ist es, die Zusammenarbeit zwischen Mensch und KI durch die Entwicklung eines adaptiven multimodalen Interaktionssystems zu maximieren, das Seh- und Sprachmodalitäten mit Echtzeit-Nutzermodellierung vereint. Aufbauend auf der soliden Grundlage einer robusten langfristigen Zusammenarbeit zwischen Mensch und Roboter wird diese Arbeit die multimodale Architektur auf allgemeine KI-Systeme außerhalb der Robotik verallgemeinern, wie virtuelle Agenten und intelligente Schnittstellen. Der Hauptfokus liegt auf der dynamischen Vorhersage von Absichten mittels hierarchischer Planungsmechanismen, die das Verständnis von Aktionen auf niedriger Ebene und die Verfolgung des Aufgabenfortschritts auf hoher Ebene integrieren. Im Gegensatz zu regelbasierten Systemen wird das hier vorgestellte Framework adaptive Lernmethoden nutzen, einschließlich benutzerspezifischer Modellupdates und kontextbewusster Modalitätsfusion, um das Interaktionsverhalten dynamisch an Nutzerpräferenzen, kognitiven Status und Umweltdynamik anzupassen. Darüber hinaus zielt das Framework auf mehr Transparenz und Vertrauen mit erklärbarem Interaktionsdenken ab, was es den Nutzern ermöglicht, KI-Entscheidungen zu verstehen und Feedback zu geben. Abschließend soll diese Forschung die Interaktionsflüssigkeit, die Effektivität der Aufgaben und die langfristige Nutzerzufriedenheit in verschiedenen kollaborativen Kontexten verbessern.

Dieses Papier stellt einen neuen Adaptiven Multimodalen Interaktionsrahmen vor, der die Zusammenarbeit zwischen Mensch und KI fördern soll, indem visuelle und akustische Modalitäten dynamisch verschmolzen werden. Das 'unimodale' System bezeichnet ein Modell, das nur eine einzige Eingabemodalität (z. B. visuell oder sprachlich) zur Aufgabenausführung und Absichtsvorhersage verwendet, ohne Informationen über mehrere Kanäle hinweg zu integrieren. Das "nicht-adaptive" System bezeichnet ein regelbasiertes oder feststrategisches System, das sein Verhalten nicht basierend auf Benutzeraktionen oder Kontext anpasst, wie zum Beispiel das Rule-Based Switching Baseline. Diese Baselines bieten Referenzpunkte, um die Vorteile multimodaler Wahrnehmungs- und adaptiven Interaktionsstrategien zu bewerten, die in unserem vorgeschlagenen Transformer mit aufmerksamkeitsgesteuertem Fusionsmodell implementiert wurden. Basierend auf früheren hierarchischen HRC-Paradigmen³¹ bringt unsere Methode mehrere wichtige Innovationen mit sich:

Diese Arbeit präsentiert einen auf Dynamic Time Warping (DTW) basierenden Ausrichtungsmechanismus, der erwartete menschliche Handlungen auf niedriger Ebene auf Knoten in einem hierarchischen Aufgabengraphen abbildet, im Gegensatz zu früheren multimodalen Interaktionssystemen, die sich hauptsächlich auf kurzfristige Aktionserkennung^{konzentrieren 32}. Angesichts zeitlicher Unvorhersehbarkeit und verrauschter multimodaler Eingaben ermöglicht dies eine zuverlässige Vorhersage von Langzeitintentionen und die Verfolgung des Aufgabenfortschritts.

Ein Online-Anpassungsmodul, das während der Interaktion kontinuierlich Intention-Inferenz- und Aktionsvorhersagemodelle aktualisiert, ist in das vorgeschlagene System integriert. Dies überwindet die Nachteile statischer oder offline trainierter multimodaler Modelle, indem es dem System ermöglicht, sich dynamisch an einzigartiges Nutzerverhalten, Präferenzen und kontextuelle Veränderungen anzupassen.

Visuelle und auditive Modalitäten werden dynamisch gewichtet, basierend auf ihrer kontextuellen Bedeutung bei jedem Zeitschritt, wobei eine einzigartige aufmerksamkeitsbasierte Fusionstechnik verwendet wird. Dieser datengetriebene Fusionsansatz verbessert die Robustheit in verschiedenen Interaktionsumgebungen und ersetzt regelbasierte Modalitätswechsel.

Diese Studie beinhaltet ein leichtes Erklärbarkeitsmodul, das hierarchische Planungs- und Fusionsentscheidungen in verständliche Rechtfertigungen umwandelt, um die Interpretierbarkeitslücke in adaptiven Mensch-KI-Systemen zu schließen. Dies verbessert die Qualität der langfristigen Zusammenarbeit und fördert eine ordnungsgemäße Vertrauenskalibrierung.

Der vorgeschlagene Ansatz soll über verkörperte Roboter hinaus auf virtuelle Agenten und intelligente Schnittstellen verallgemeinern und seine Nützlichkeit auf viele Bereiche der Mensch-KI-Kooperation erweitern, obwohl er in einer realen kollaborativen Montageaktivität mit einer robotischen Plattform bewiesen wurde.

Protokoll

Die vorgeschlagene Architektur zur Verstärkung der Zusammenarbeit zwischen Mensch und KI verwendet eine adaptive multimodale Interaktionspipeline, die Vision- und Sprachmodalitäten in einem dynamischen, hierarchischen Denkrahmen kombiniert. Diese Studie nutzte öffentlich zugängliche Daten aus zuvor veröffentlichten Experimenten. Es waren keine neuen menschlichen Probanden beteiligt, und es war keine zusätzliche ethische Genehmigung erforderlich.

Vorgeschlagene adaptive multimodale Interaktionsarchitektur

Grundsätzlich beginnt das System mit Wahrnehmungsmodulen, wie zum Beispiel erfasst der visuelle Strom die Pose und Bewegung des Benutzers mithilfe von RGB-D-Sensoren, und ein Audiostrom analysiert Spracheingaben mit einer leichten ASR-Engine (Automatic Speech Recognition). Solche rohen Eingaben werden in das Transformer-basierte Aktionsvorhersagemodul eingespeist, das zeitliche Abhängigkeiten in Pose- und Befehlssequenzen kodiert, um über menschliche Handlungen auf niedriger Ebene zu argumentieren. Anschließend richtet ein Dynamic Time Warping (DTW)-Mechanismus die erkannten Aktionen auf Knoten eines vordefinierten Aufgabengraphen aus, um Benutzerziele und nächste Aktionen vorherzusagen, um eine hochrangige Kollaborationsplanung zu ermöglichen. Ein neues, aufmerksamkeitsbasiertes Fusionsmodul entscheidet bei jedem Zeitschritt, welche Modalität (Audio oder Bild) die kontextuell wichtigsten Informationen liefert, und passt die Eingabegewichte dynamisch an. Um die Interaktion zu individualisieren, beinhaltet das System eine Online-Modellanpassung, bei der Aktionsvorhersagen in Echtzeit an das sich ändernde Nutzerverhalten angepasst werden. Ein leichtes Erklärbarkeitsmodul erstellt zudem benutzerfreundliche Zusammenfassungen vorhergesagter Absichten und KI-Entscheidungen, um Transparenz und Vertrauen zu verbessern. Das gesamte System wird in einer simulierten, aber realen kooperativen Assemblerumgebung getestet, die einen Vergleich zwischen unimodalen und adaptiv-multimodalen Umgebungen ermöglicht. Ein solcher Ansatz ermöglicht eine anpassungsfähigere, intuitivere und zuverlässigere Zusammenarbeit mit KI-Agenten in allen Bereichen.

Abbildung 1 zeigt die Architektur des beschriebenen Adaptiven Multimodalen Interaktionsrahmens, das darauf abzielt, die Zusammenarbeit zwischen Mensch und KI zu verbessern. Es beginnt mit der Phase der Eingangserfassung, die auf zwei Hauptsensoren basiert: einer RGB-D-Kamera zur Beobachtung tiefenverstärkter visueller Informationen (z. B. menschlicher Körperhaltung und Bewegung) und einem Richtungsmikrofon zur Erfassung von Sprachbefehlen. Rohsignale werden anschließend durch das Pre-Processing-Modul geleitet, das die audiovisuellen Daten durch Reinigung, Normalisierung und Formatierung der Eingangsströme für eine weitere Analyse verarbeitet. Anschließend geht die Pipeline in die Feature Extraction-Phase über, in der die Daten in zwei Ströme aufgeteilt werden: Den Visual Stream, der Pose- und Bewegungsmerkmale mittels Pose-Schätzungsalgorithmen isoliert, und den Audio Stream, der Sprache in interpretierbare Befehlseinbettungen transkribiert. Ein multimodaler Transformer-Encoder, der Multi-Head-Selbstaufmerksamkeit und zeitliche Positionskodierung nutzt, um Langstreckenabhängigkeit zwischen Interaktionssequenzen auszudrücken, verarbeitet dann die fusionierte Darstellung. Der aktuelle Zielzustand des Benutzers wird durch einen Long-Horizon-Intention- und Task Progress-Predictor geschätzt, und niedrigstufige Aktionen werden auf Knoten in einem hierarchischen Aufgabengraphen für eine zuverlässige Aufgabenverfolgung durch ein DTW-basiertes Ausrichtungsmodul abgebildet. Fusionsgewichte und Vorhersageparameter werden kontinuierlich über eine Online-Modellanpassungsschleife als Reaktion auf Interaktionsfeedback aktualisiert, und ein Erklärbarkeitsmodul liefert klare Erklärungen, um Offenheit und Vertrauen zu fördern. Die gesamte Pipeline ermöglicht es dem System, adaptiv und effizient mit den Nutzern an dynamischen Aufgaben und Umgebungen zusammenzuarbeiten.

Abbildung 1: Ein Überblick über das vorgeschlagene multimodale Interaktionsrahmen auf Basis von Transformatoren. Eine aufmerksamkeitsgesteuerte Technik wird eingesetzt, um visuelle und akustische Daten zu kodieren und dynamisch zu integrieren. Ein Transformer-Modul, das hierarchische Aufgabenmodellierung und Online-Anpassung integriert, verarbeitet die fusionierte Darstellung zur Langzeitabsichtsprognose und zur Schätzung des Aufgabenfortschritts. . Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Das vorgeschlagene System integriert ein leichtes Erklärungsmodul, das mit den Komponenten multimodale Fusion und hierarchische Planung zusammenarbeitet, um Transparenz und das Vertrauen der Nutzer zu verbessern. Das Modul leitet interpretierbare Hinweise aus der DTW-basierten Aufgabengraph-Ausrichtung ab (z. B. aktueller Aufgabenfortschritt und erwartete nächste Aktion) und der aufmerksamkeitsbasierten Fusionsschicht (z. B. Modalitätsgewichte). Diese Hinweise werden in verständliche Erklärungen für Menschen umgewandelt, etwa ob gesprochene Befehle oder visuelle Gesten hauptsächlich die Systemwahl beeinflussten und wie die erwartete Handlung in den übergeordneten Arbeitsplan passt. Nutzer erhalten Erklärungen in Form prägnanter schriftlicher oder visueller Rückmeldungen, die ihnen helfen, das Systemverhalten zu verstehen, vorherzusagen und, falls nötig, zu korrigieren. Verbesserte Nutzerzufriedenheit, Interaktionsgeschmeidigkeit und vertrauensbezogene Kennzahlen, die in der Bewertung angegeben sind, sind indirekte Indikatoren für die Wahrnehmung der Erklärbarkeit der Nutzer. Die Ergebnisse deuten darauf hin, dass in der langfristigen Mensch-KI-Interaktion transparentes Denken für KI-Entscheidungen das Vertrauen der Nutzer stärkt, die Zusammenarbeit erleichtert und die Akzeptanz des adaptiven Systemverhaltens erhöht.

Eingabedaten

Die Eingabeerfassung im vorgesehenen Rahmen für die Zusammenarbeit zwischen Mensch und KI erfolgt durch einen strukturierten multimodalen Sensormechanismus, der sowohl Seh- als auch Hörmodalitäten kombiniert, um menschliche Handlungen und Absichten effektiv zu realisieren. Visuelle Eingaben werden mit einer RGB-D-Kamera aufgenommen, die Echtzeit-Poseninformationen von Menschen, räumlicher Lage und Kontext der Umgebung erfasst. Visuelle Daten werden durch vortrainierte Modelle wie BlazePose verarbeitet, um Oberkörper-Schlüsselpunkte für Interaktionsaufgaben zu ermitteln. Gleichzeitig werden auditive Informationen von einem richtungsgesteuerten Mikrofon gewonnen und durch ein vortrainiertes DeepSpeech-Modell interpretiert, um Sprachbefehle zu identifizieren, die unklare visuelle Hinweise entschlüsseln oder ergänzende visuelle Hinweise liefern. In kooperativen Umgebungen bietet das duale Eingabesystem eine dynamische Anpassung und kontextbewusste Wahrnehmung. Der Trainings- und Evaluationsdatensatz umfasst mehr als 5.000 multimodale menschliche Bewegungsbahnen¹ für eine Reihe von Interaktionsaktivitäten, wie Assembler- und Übergabeverhalten, die von vier Nutzern in kontrollierten und semistrukturierten Umgebungen gesammelt wurden. Um die Verallgemeinerung zu verbessern, ermöglicht das System eine Online-Modellanpassung bei der Bereitstellung, wodurch das Modell seine Vorhersagen in Echtzeit aktualisieren kann, basierend auf verändertem Nutzerverhalten und Umweltdynamik.

Datensatzbeschreibung

Der Trainings- und Bewertungsdatensatz für das vorgeschlagene Framework wurde aus realen Mensch-Roboter-Kollaborationsexperimenten im Rahmen einer Spielzeugauto-Montage mit dem KINOVA GEN3 Roboter¹ gewonnen. Die experimentelle Umgebung zielte darauf ab, langfristige kollaborative Aktivitäten mit multimodaler Interaktion zu imitieren, die sowohl visuelle als auch auditive Modalitäten umfassten. Insbesondere besteht der Trainingsdatensatz aus 3.003 Sequenzen von Trajektorien von zwei Nutzern, und der Testdatensatz enthält 2.088 Sequenzen, darunter Daten von zwei neuen Nutzern zur Bewertung der Modellverallgemeinerung. Jede Trajektorie zeichnet eine 5-Schritt-Sequenz von Oberkörper-Pose-Schlüsselpunkten auf, die mit BlazePose abgerufen werden, zusammen mit entsprechenden Sprachbefehlen, die von DeepSpeech³³ transkribiert wurden. Die gesammelten Daten zeigen natürliche menschliche Variationen in Gesten- und Befehlsausdrucken bei Aktivitäten wie Objektübermittlung, Werkzeugnutzung und kooperativen Aktionen. Der multimodale Datensatz bildet die Grundlage für das überwachte Lernen der DLinear Aktions- und Trajektorienvorhersagemodelle und ist der zentrale Benchmark in den Nutzerstudien, die unter nur visuellen, audiobasierten und multimodalen Bedingungen durchgeführt werden. Die Integration verschiedener Nutzertypen und realistischer Rauschbedingungen garantiert Robustheits- und Anpassungsfähigkeitstests für permanente HRC-Systeme. Tabelle 2 zeigt die detaillierte Beschreibung des Datensatzes.

Eigenschaften	Details
Name des Datensatzes	Toy Car Assembly Dataset (intern gesammelt)
Sammlungsumgebung	Echtes HRC-Experiment mit KINOVA GEN3-Arm
Anzahl der Nutzer (Training)	2 Nutzer
Anzahl der Nutzer (Test)	4 Nutzer (2 aus dem Trainingsset, 2 unsichtbar)
Gesamtverlaufbahnen (Ausbildung)	3.003 Flugbahnen
Gesamttrajektorien (Tests)	2.088 Flugbahnen
Erfasste Modalitäten	Visuell (RGB-D für Pose), Audio (Sprachbefehle)
Datenformat	Pose-Schlüsselpunkte (aus BlazePose), Sprach-zu-Text-Befehle
Zeitliche Auflösung	Jede Trajektorie umfasst 5-fache Schritte
Abgedeckte Aufgaben	3 Hauptaufgaben: Pick-and-place, Objektrotation, kollaborative Montage
Verwendung	Überwachtes Training von Aktions-/Trajectorienvorhersagemodellen; Nutzerstudie

Tabelle 2: Beschreibung des Datensatzes. Informationen zur Simulationsumgebung, einschließlich Programmierrahmen, Hardwareeinstellungen und Bewertungsumgebung.

Datensatz-Vorverarbeitung

Um adaptive multimodale Interaktion in der Zusammenarbeit zwischen Mensch und KI zu ermöglichen, wird der Rohdatensatz wie visuelle (RGB- und Tiefenbilder), auditive (Sprachbefehle) und zeitliches Verhalten (Positions-Schlüsselpunkte) einer strukturierten Vorverarbeitung unterzogen. Visuelle Daten werden zunächst durch ein Pose Estimation Model f_Pose extrahiert, das üblicherweise aus BlazePose oder OpenPose abgeleitet ist. Für den Rahmen t wird der menschliche Posevektor definiert als:

(1)

Dabei ist k die Anzahl der Schlüsselpunkte und jeder Schlüsselpunkt enthält 2D-Koordinaten. Die Sequenzen werden nach Rumpflänge normalisiert und im Laufe der Zeit mit einem Savitzky-Golay-Filter geglättet:

(2)

wobei w die Größe des Filterfensters ist. Zweitens werden rohe Audioströme At mit einem Voice Activity Detector (VAD) in Segmente aufgeteilt. Glaubwürdige Segmente werden in ein Spracherkennungsmodell_(z. B. DeepSpeech) eingespeist, um Befehlstoken herauszurufen:

(3)

wobei V das Vokabular der anerkannten Befehle ist. Für die Integration werden Befehlstoken für alle zeitlich auf visuelle Pose-Zeitstempel ausgerichtet, wobei eine interpolationsbasierte Ausrichtungsfunktion τ verwendet wird:

(4)

Drittens, um die temporalen Absichtstrainingssequenzen zu bilden, definieren wir Trajektoriensequenzen , zusammen mit zugehörigen Sprachbefehlen. Diese werden in feste Segmente mit Schiebefenstern der Größe l gefenstert:

(5)

(6)

Schließlich werden die Eingaben auf null Mittelwert und Einheitsvarianz pro Schlüsselpunktdimension normalisiert, um in trajektorienbasierten Vorhersagemodellen Konvergenz zu gewährleisten:

(7)

wobei μ_j σ_j den Mittelwert und die Standardabweichung von Keypoint j sind, die das Trainingsset abgeschlossen haben.

Merkmalsextraktion

Im dargestellten adaptiven multimodalen Interaktionsparadigma wird starke und Echtzeit-Kooperation durch die Kombination visueller, akustischer und kontextueller Aufgabenfunktionen ermöglicht. Die Pipeline der Feature-Extraktion beginnt mit gleichzeitiger Datenerfassung aus zwei Hauptmodalitäten: visuellen Signalen und Audiosignalen , die im Zeitschritt t indexiert sind. Diese Beobachtungen werden durch entsprechende Wahrnehmungsmodule geleitet, um hochrangige semantische Merkmale in Bezug auf menschliches Verhalten, Absicht und Sprachbefehl zu erhalten.

Extraktion visueller Merkmale

Die rohen visuellen Daten von RGB-D-Kameras werden durch einen menschlichen Pose-Schätzer (z. B. BlazePose) eingespeist, der einen räumlichen Schlüsselpunktvektor liefert, wobei k die erkannte Anzahl der Schlüsselpunkte darstellt und jeder 3D-Koordinaten enthält:

(8)

Diese Schlüsselpunkte werden zeitlich in eine Posenbahn eingebettet, aus der die Bewegungsdynamik mittels Trend-Jahreszeit-Dekomposition extrahiert wird:

(9)

wobei ∈_t das Restrauschen darstellt.

Extrahieren von Audiomerkmalen

Audioeingabe wird durch ein vortrainiertes Spracherkennungsmodell (z. B. DeepSpeech) verarbeitet und erzeugt eine tokenisierte Befehlsrepräsentation , wobei n die Tokenlänge ist:

(10)

Multimodale Fusion

Um einen einheitlichen Interaktionskontext zu konstruieren, kombinieren wir die Merkmale durch eine vertrauensgewichtete Aufmerksamkeit, die auf Vertrauen und gegenseitigen Informationen basiert:

(11)

wobei φ_V und φ A die Projektionsfunktionen für visuelle und auditive Merkmale in einen gemeinsamen latenten Raum sind, und α_t∈[0,1] ein dynamischer Modalitätsgewichtungsterm ist_, der auf Basis der Entropie berechnet wird:

(12)

Hier sind und gegenseitige Informationen zwischen dem Zielzustand g und den beobachteten Modalitäten.

Planung mittels kontextueller Einbettung

Der letzte multimodale Merkmalsvektor F_t wird mit Aufgabenkontext und Fortschritt P_t angereichert und wird zur Zustandseingabe für das adaptive Planungsmodul:

(13)

Dieses extrahierte Merkmal x_t wird als Eingabe für die nachgelagerten Absichtsvorhersage- und Bewegungsplanungsmodelle verwendet und unterstützt adaptive und robuste Zusammenarbeit zwischen Mensch und KI in dynamischen und unsicheren Umgebungen.

Aktions- und Planvorhersage mittels Task Graph Alignment

Der multimodale Feature-Extraktionsprozess, bei dem Sprachabsicht (Audio), Pose-Trajektorie (visuell) und kontextuelle (z. B. Aufgabenprotokolle oder Emotionen) integriert werden, umfasst die anschließende Verarbeitung adaptive menschliche Handlungsvorhersage und Planinferenz mittels hierarchischer Aufgabendiagramm-Ausrichtung.

Sei der integrierte multimodale Merkmalsvektor im Zeitschritt t wie folgt dargestellt:

(14)

Das System prognostiziert zunächst die niedrigstufige menschliche Handlung über eine Funktion_f-Akt, die oft als rekurrenter Encoder-Decoder oder Transformator dargestellt wird:

(15)

wobei F_(t-k:t) die Merkmalsfusionssequenz in den letzten k Zeitschritten bezeichnet und die prognostizierte Aktion aus der Aktionsmenge A ist. Das Modul ist online feinabgestimmt durch adaptiven Verlust:

(16)

Hier ist CE der Aktionsklassifikations-Kreuzentropieverlust, dann schiebt der zweite Term eine gute zukünftige Trajektorienvorhersage an.

Für die Vorhersage eines Plans auf hoher Ebene rahmen wir die Aufgabe als Abfolge entlang eines hierarchischen Aufgabengraphen G = (N, E), wobei jeder Knoten_{n i} ∈N eine Teilaufgabe oder ein Zwischenziel bedeutet. Das Ziel ist es, die beobachtete Aktionssequenz mit einem Referenz-Aufgabenpfad R*∈G abzugleichen, indem die Entfernung reduziert wird:

(17)

Wobei P_t die aktuelle Fortschrittsspur und d(⋅) die Dynamic Time Warping (DTW) Distanz oder die weiche Ausrichtungsmetrik bezeichnet.

Die ultimative Plan-Intention wird dann abgeleitet, indem die vorhergesagte Aktion a ̂_t auf den wahrscheinlichsten nächsten Schritt im ausgerichteten Pfad projiziert wird:

(18)

Diese hierarchische Dekodierung garantiert, dass das System selbst bei unklaren oder verrauschten Sinneseindrücken die kontextuell relevanteste hochrangige Absicht auswählt, die mit der aktuellen Aufgabenreihenfolge übereinstimmt. Diese prädiktive Planung steigert nicht nur die Effizienz der Zusammenarbeit, sondern erhöht auch die Antizipation und Anpassungsfähigkeit bei der Mehrrunden-Mensch-KI-Interaktion.

Multimodaler Fusionsmechanismus (aufmerksamkeitsbasierter)

In der adaptiven Zusammenarbeit zwischen Mensch und KI ist die multimodale Integration mehrerer sensorischer Modalitäten (z. B. visuell: menschliche Haltung, Flugbahn; auditiv: Sprachbefehle) für die korrekte Interpretation der Nutzerintention notwendig. Ein regelbasierter oder statischer Fusionsansatz kann mit realen, dynamischen menschlichen Interaktionen nicht zurechtkommen. Dafür wird hier ein auf Aufmerksamkeit basierender Fusionsmechanismus präsentiert, um jede Modalität dynamisch entsprechend ihrer kontextuellen Bedeutung in jedem Zeitschritt zu gewichten.

Bezeichnen wir die extrahierten Merkmalsvektoren aus den visuellen und audioten Modalitäten als und , respektiv. Diese Vektoren kodieren semantische Informationen, die durch frühere Verarbeitungspipelines gewonnen wurden, z. B. können visuelle Merkmale durch Posenschätzung und Aktionsvorhersage entstehen, während Audiomerkmale aus Spracheinbettungen mit Modellen wie DeepSpeech oder wav2vec abgeleitet werden können.

Das Ziel der aufmerksamkeitsbasierten Fusion ist es, modalitätsspezifische Aufmerksamkeitsgewichte zu berechnen, die die relative Bedeutung jeder Modalität erfassen. Dies geschieht mit einem Soft-Attention-Mechanismus.

Aufmerksamkeitsgewicht-Berechnung

Im ersten Schritt werden beide Vektoren durch eine lernbare Transformation in einen gemeinsamen Aufmerksamkeitsraum umgewandelt. Das heißt, für jede Modalität i∈{V,A} wird der mittlere Aufmerksamkeitswert wie folgt berechnet:

(19)

wobei und lernbare Parameter des Aufmerksamkeitsnetzwerks sind und tanh eine nichtlineare Aktivierungsfunktion ist. Diese Umwandlung ermöglicht es dem Modell, hochrangige Korrelationen und kontextuelle Salienz jeder Modalität zu extrahieren.

Diese unnormalisierten Aufmerksamkeitswerte e_V und α_A werden dann mit einer Softmax-Funktion normalisiert, sodass sie sich zu 1 addieren

(20)

Hier sind α_V und α_A die Aufmerksamkeitsgewichte über die visuelle bzw. akustische Modalität. Die Gewichte sind adaptiv und werden dann im Laufe der Zeit je nach aktuellem Aufgabenkontext, Signalqualität und Benutzeraktivität aktualisiert.

(21)

Die resultierende fusionierte Darstellung erhält sich als gewichtete Kombination der Eingabemodalitätsvektoren:

Dieser kombinierte Vektor kodiert die gemeinsame Semantik der visuellen und auditiven Informationen so, dass er aktiv den informativsten Strom hervorhebt. Anschließend wird es in nachgelagerte Module wie die Aufgaben-Graph-Matching, Intention-Prediction oder die Roboter-Bewegungsplanungs-Engine eingespeist.

Algorithmus 1: Fusion basierend auf multimodaler Aufmerksamkeit

Eingabe: Der visuelle Merkmalvektor ist h_V∈R^d, der Vektor der Audiomerkmale ist h_A∈R^d

Lernbare Parameter: W∈R^k*d,w∈R^k und b∈R^k

Ausgabe: fusionierte Darstellung h_fusioniert∈R^d.

Schritt 1: Bestimmen Sie Zwischendarstellungen durch Berechnung mit Gleichung 19

Schritt 2: Verwenden Sie Softmax, um Aufmerksamkeitswerte mit Gleichung 20 zu normalisieren

Schritt 3: Berechnen Sie den Fusionsvektor mit Gleichung 21

Schritt 4: Zurück_{mit Fusion}

Der Attention-Based Multimodal Fusion Algorithmus bietet eine intelligente Fusion von Funktionen verschiedener Eingabemodalitäten, wie visuellen und Audioströmen, auf kontextbewusste Weise. Fusion ist wesentlich in Systemen, in denen jede Modalität komplementäre, aber unterschiedliche Informationen präsentiert, wie etwa in Kollaborationsumgebungen zwischen Mensch und KI, in denen das Bild Gesten oder Körperhaltung erfasst und Audio Sprachbefehle oder Sprachsignale erfasst.

Der Algorithmus 1 beginnt damit, Zwischenrepräsentationen für jede Modalität zu bestimmen. Um beide Modelle zu berechnen, e_V für den visuellen Fluss und e_A für den Audiostrom, führt eine geteilte neuronale Netzwerkschicht zunächst eine nichtlineare Transformation der entsprechenden Merkmalsvektoren durch. Anschließend werden die Aufmerksamkeitsgewichte α_V und α_A durch eine Softmax-Funktion über die Zwischenwerte berechnet. Das hilft, dass die Gewichte positiv sind und sich zu 1 summieren, wodurch die Beiträge jeder Modalität im Grunde normalisiert werden. Je informativer eine Modalität ist, wie modelliert, desto größer ist ihr Aufmerksamkeitsgewicht.

Letztlich berechnet der Algorithmus die fusionierte_Darstellung h durch eine gewichtete Kombination aus den grafischen und audioaktiven Merkmalsvektoren, die mit ihren jeweiligen Aufmerksamkeitsgewichten normalisiert sind. Dieser fusionierte Vektor kombiniert beide Modalitäten datengetrieben, kontextsensitiv und dient für nachgelagerte Aufgaben wie Absichtserkennung, Entscheidungsfindung oder Roboterbewegungsplanung. Insgesamt ermöglicht dieser Algorithmus dem System, sich dynamisch auf die relevanteste Modalität oder Modalitätskombination zu einem bestimmten Zeitpunkt zu konzentrieren, anstatt feste oder regelbasierte Fusionsansätze zu verwenden. Dies macht das Framework stärker, flexibler und reaktionsfähiger in dynamischen Interaktionssituationen zwischen Mensch und KI.

Abbildung 2 veranschaulicht den Arbeitsablauf des aufmerksamkeitsbasierten multimodalen Fusionsmechanismus, der in der kontextabhängigen Integration von visuellen und auditiven Eingaben arbeitet. Visuelle Merkmalsextraktion, der erste Schritt im Workflow, beinhaltet das Extrahieren räumlicher oder posebezogener Merkmale aus Eingabebildern oder Videos (wie RGB-D-Kameras). Diese werden anschließend in ein Visual Attention-Modul eingetragen, das lernt, den informativsten Inhalt der visuellen Information hervorzuheben. Parallel dazu verarbeiten Audio Attention-Module Sprach-Embeddings oder Audio-Tokens aus gesprochenen Befehlen und weisen verschiedenen akustischen Signalen eine kontextuelle Bedeutung zu. Die resultierenden, aufmerksamkeitsgewichteten Merkmale werden durch eine aufmerksamkeitsbasierte Fusionsschicht integriert und an ein positionsweise Vorwärtsnetzwerk mit Restverbindungen und Schichtnormalisierung weitergeleitet, wodurch ein Standard-Transformer-Encoder-Block entsteht. Das Ergebnis ist eine einheitliche multimodale Einbettung, die robuste Langzeitintentionsvorhersage und adaptive Entscheidungsfindung unter unterschiedlichen Interaktionsbedingungen unterstützt. Dieses Design ermöglicht es dem System, sich zu jedem Zeitpunkt selektiv auf die robustere Modalität zu konzentrieren, was die Robustheit und Interpretierbarkeit in Echtzeit-Mensch-KI-Interaktion verbessert.

Abbildung 2: Detaillierte Konstruktion des aufmerksamkeitsgesteuerten multimodalen Fusionsmoduls. Um bei jedem Zeitschritt eine kontextbewusste fusionierte Darstellung zu erzeugen, sammeln modalitätsspezifische Encoder Features aus visuellen und akustischen Strömen. Diese Merkmale werden dann dynamisch mit einem datengetriebenen Aufmerksamkeitsmechanismus gewichtet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Online-Modelladaption

Um eine hochwertige Zusammenarbeit zwischen Mensch und KI unter unterschiedlichen Nutzerverhalten und -kontexten sicherzustellen, integriert unser Framework einen Online-Modellanpassungsmechanismus, der benutzerspezifische Modelle während der Interaktion schrittweise optimiert. Das Modul verfolgt Echtzeit-Verhaltenssignale (z. B. Pose, Gestenbahnen, Sprachton) und aktualisiert die zugrundeliegenden prädiktiven Modelle mit inkrementellen Lernalgorithmen. Insbesondere werden Trajektorienvorhersage- und Absichtserkennungsmodelle mit aktuellen Eingaben mittels gradientbasierter Feinabstimmung oder Low-Rank-Adaptation (LoRA) fein abgestimmt, sodass das System sich an verändertes Nutzerverhalten oder aufgabenspezifische Anforderungen anpassen kann, ohne vollständig neu trainiert werden zu müssen.

Die Rückkopplungsschicht wirkt harmonisch zusammen mit der Anpassung sowohl durch implizite Rückkopplungen (z. B. Korrekturen, Zögern, Verzögerungen) als auch explizite Befehle (z. B. Sprache oder GUI). Es hat zwei Zwecke: Adaptiv die Kalibrierung der Bedeutung multimodaler Hinweise und die Übertragung von Vertrauens-/Vertrauensmaßen an die Entscheidungs- und Kontrollmodule.

Der Rückkopplungszyklus ermöglicht eine reibungslosere Aufgabenleistung und nutzerorientierte Antworten. Um Vertrauen und Transparenz zu fördern, integriert das Framework ein Erklärbarkeitsmodul, das Low-Level-Modellentscheidungen in menschenverständliche Rechtfertigungen übersetzt. Es verwendet Rationale Maps aus dem multimodalen Fusionstransformator, ergänzt durch Logikverfolgung durch den Aufgabengraphen. Diese Begründung kann optional über eine grafische Benutzeroberfläche oder auditive Hilfe präsentiert werden, um den Nutzern zu ermöglichen, das Systemverhalten zu verstehen und vielleicht sogar zu korrigieren.

Ergebnisse

Das hier vorgeschlagene adaptive multimodale Interaktionsmodell adressiert diese Anliegen und verbessert die Zusammenarbeit zwischen Mensch und KI erheblich, indem es Seh- und Sprachmodalitäten nahtlos mit Echtzeit-Nutzeranpassungsprozessen kombiniert. Im Gegensatz zum grundlegenden, hierarchischen multimodalen System umfasst unser Ansatz eine personalisierte Rückkopplungsschleife sowie eine kognitive Last-bewusste Anpassung, die eine intuitivere, kontextbewusstere Interaktion ermöglicht...

Diskussion

Die Ergebnisse zeigen eindeutig die Effizienz der vorgeschlagenen adaptiven multimodalen Interaktionsbasis zur Verbesserung der Zusammenarbeit zwischen Mensch und KI.

Neben den Standardbewertungswerten wie Task Completion Time (TCT), Human Intention Prediction Accuracy (HIPA), Multimodal Fusion Efficiency (MFE), Error Recovery Rate (ERR), User Satisfaction Score (USS) und Interaction Smoothness Index (ISI) können zusätzliche benutzerorientierte Kennzahlen für ...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
RGB-D-Kamera (Intel RealSense D435)	Intel Corporation	D435	Tiefenauflösung 1280 & Mal; 720 px @ 30 fps; RGB-Auflösung 1920 & Mal; 1080 px @ 30 fps; Verwendet zur Erfassung von Nutzerpose, Körperbewegungen und räumlichem Kontext
Richtmikrofon	Generische / Mehrere Anbieter	N/A	Breitband-Geräuschunterdrückungsmikrofon (16 kHz & Dash; 44,1 kHz); verwendet zum Sammeln gesprochener Befehle
BlazePose (vortrainiertes Modell)	Google	https://developers.google.com/mediapipe/solutions/vision/pose	Posen-Schätzmodell mit 33 Schlüsselpunkten; Echtzeit-Extraktion der menschlichen Pose
OpenPose (vortrainiertes Modell)	CMU Wahrnehmungsrechenlabor	https://github.com/CMU-Perceptual-Computing-Lab/openpose	Mehrpersonen-Posen-Schätzungsrahmen, das zur Extraktion von Bewegungsbahnen verwendet wird
DeepSpeech ASR-Engine	Mozilla	v0.9.3	Vortrainiertes automatisches Spracherkennungsmodell für Sprach-zu-Text-Transkription
wav2vec 2.0 ASR-Motor	Meta-KI	https://github.com/facebookresearch/fairseq	Selbstüberwachtes Sprachrepräsentationsmodell für die Echtzeit-Sprachverarbeitung
Transformatorbasiertes Aktionsvorhersagemodell (DLinear / Seq2Seq)	Benutzerdefinierte Implementierung	N/A	Temporale Encoder-Decoder-Architektur mit Fokus auf kurzfristige Aktionsprognose
Dynamisches Zeitverzerrungsmodul (DTW)	Benutzerdefiniert / SciPy-basiert	https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cdist.html	Soft-Alignment-Algorithmus zum Abgleich von Benutzeraktionen mit vordefinierten Aufgabengraphen
Aufmerksamkeitsbasiertes Multimodales Fusionsnetzwerk	Benutzerdefinierte Implementierung	N/A	Vertrauensgewichteter Aufmerksamkeitsmechanismus zur Verschmelzung von Seh- und Spracheingaben
Online-Anpassungsmodul (LoRA / Gradient-basiert)	Benutzerdefinierte Implementierung	https://github.com/microsoft/LoRA	Leichte, parametereffiziente Feinabstimmung zur Anpassung an das Nutzerverhalten
Erklärbarkeitsmodul (regelbasiert + Aufmerksamkeitskarten)	Benutzerdefinierte Implementierung	N/A	Bietet interpretierbare Entscheidungsbegründungen mittels Regeln und Aufmerksamkeitsvisualisierungen
KINOVA Gen3 Roboterarm	KINOVA Robotik	Gen3	7-DOF-Robotermanipulator mit integrierten Drehmomentsensoren; Verwendet für die kollaborative Montage von Spielzeugautos
Simulationsumgebung kooperativer Montage	Benutzerdefinierte Umgebung	N/A	Praxisnahe Spielzeugauto-Montage für multimodale Kollaborations-Benchmarking
Evaluationsmetriken (TCT, HIPA, MFE, Latenz, ERR, USS, ISI)	Benutzerdefinierte Definitionen	N/A	Quantitative und nutzerzentrierte Kennzahlen zur Bewertung von Kollaborationseffizienz, Genauigkeit und Vertrauen