Methodenartikel

Virtueller Agent für Echtzeit-Motivationsgespräche durch Integration adaptiver nonverbaler Verhaltens- und Sprachmodelle

DOI:

10.3791/69254

⸱

23. Dezember 2025

 ,  ,  ,  ,  ,  , 
1ISIR - Sorbonne University, 2University of Bordeaux, cours de la Libération, 3Vision Action Cognition, Université Paris Cité, 4University of Grenoble Alpes, Grenoble INP, CERAG, 5CNRS - SANPSY, University of Bordeaux, 6CNRS - ISIR, Sorbonne University

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wir präsentieren eine Open-Source-Plattform für virtuelle Agenten zur Durchführung von Echtzeit-Motivationsinterviews, die modernste Sprach- und Diffusionsmodelle kombiniert, um sich an das Verhalten und Profil der Nutzer anzupassen. Mit der Greta 2.0-Plattform unterstützt es verschiedene Themen, darunter Ernährung und sportorientierte Interventionen, und bietet ein flexibles, validiertes Werkzeug zur Verbesserung digitaler therapeutischer Interaktionen.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die wachsende Nachfrage nach therapeutischer Unterstützung übersteigt zunehmend die Kapazitäten der verfügbaren Fachkräfte. Ein virtueller Agent, der in der Lage ist, motivierende Interviews (MI) durchzuführen, bietet eine vielversprechende Lösung, um Patienten dabei zu unterstützen, ihr Ziel einer Verhaltensänderung zwischen den Sitzungen mit menschlichen Therapeuten zu erreichen. MI ist von Natur aus eine kooperative und adaptive Form der Kommunikation. Daher könnte die Entwicklung eines Agenten, der seine Gesprächsstrategien an den Kontext anpassen kann, die Wirksamkeit der Therapie erheblich steigern. Während der MI-Sitzungen passen menschliche Therapeuten sowohl ihr verbales als auch nonverbales Verhalten basierend auf den Reaktionen der menschlichen Patienten sowie deren Profilen an. Je nach Motivationsniveau des Patienten passt der Therapeut seinen Ansatz entsprechend an. Daher sind Personalisierung und Anpassungsfähigkeit unerlässlich für die Entwicklung effektiver MI-virtueller Agenten. In diesem Artikel stellen wir einen virtuellen Agenten vor, der MI-Sitzungen durchführen kann, indem er sich dynamisch verbal und nonverbal an Nutzer in Echtzeit anpasst. Durch die Nutzung modernster Modelle ermöglicht dieses System MI-Interaktionen. Der virtuelle Agent wird über die Plattform Greta 2.0 verkörpert. Sein nonverbales Verhalten wird durch ein Diffusionsmodell namens MODIFF erzeugt, das sich an die Gesichtsausdrücke des Nutzers und dessen Bereitschaft zur Veränderung anpasst. Diese Gesichtsausdrücke wurden auf einem MI-Korpus gelernt und durch eine spezielle Nutzerstudie validiert. Der Dialog wird mit einem hochmodernen großen Sprachmodell (LLM) generiert, das durch einen speziell für MI entwickelten Dialogmanager mit einem Reinforcement-Learning-Ansatz verbessert und durch Benutzertests validiert wird. Darüber hinaus kann sich der Dialogmanager an verschiedene Benutzerprofile anpassen. Die daraus resultierende Plattform ist Open Source und ermöglicht die Erstellung von Echtzeit-multimodalen MI-Dialogen, wodurch neue Werkzeuge für digital vermittelte therapeutische Interaktionen bereitgestellt werden.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Motivational Interviewing (MI) ist ein kollaborativer therapeutischer Ansatz, der Verhaltensänderungen fördert. Während der MI-Sitzungen helfen MI-Praktiker den Patienten, ihre Motivation für Veränderung zu artikulieren und zu fördern1. Zu diesem Zweck nutzen sie Dialogstrategien wie Reflexionen oder Fragen, die durch nonverbale Verhaltensweisen wie Lächeln oder bestimmte Kopf- und Körperhaltungen verstärkt werden.

Da die Häufigkeit psychischer Probleme in den letzten Jahren zugenommen hat, ist eine Kluft zwischen der Nachfrage nach psychischen Gesundheitsdiensten und den verfügbaren Ressourcenentstanden. Dies hat zu längeren Wartezeiten für Patienten geführt, bevor sie Zugang zur Therapie 2,3 haben. Eine vorgeschlagene Lösung zur Linderung dieses Problems sind virtuelle Agenten, die MI für Patienten, die auf Termine warten, replizieren können. Indem sie sofortige Unterstützung und Intervention anbieten, können diese virtuellen Agenten dazu beitragen, die Auswirkungen von Wartezeiten zu verringern, insbesondere in therapeutischen Kontexten, die mehrere Sitzungen erfordern4. Mehrere Studien haben die Wirksamkeit solcher Agenten oder Chatbots 5,6,7,8,9 gezeigt, deren Ziel es nicht ist, MI-Experten zu ersetzen; Sie sollen als ergänzendes Werkzeug innerhalb des therapeutischen Prozesses dienen. Zum Beispiel könnten sie zwischen den Sitzungen eine MI-Intervention durchführen.

Obwohl frühere MI-Agenten oft begrenzte adaptive Verhaltensweisen zeigen, ist MI von Natur aus eine kooperative und adaptive Form der Kommunikation. Daher könnte die Entwicklung eines Agenten, der seinen Dialog an den Kontext anpassen kann, die Wirksamkeit der Therapieerheblich steigern. Während der MI-Sitzungen passen Therapeuten sowohl ihr verbales (Konversationsstrategien) als auch ihr nonverbales Verhalten basierend auf den Reaktionen, der Motivation oder dem Engagement des Patienten11,12 sowie ihren individuellen Profilen13 an. Je nach Motivationsniveau des Patienten passt der Therapeut seinen Ansatz entsprechend an. Daher sind Personalisierung und Anpassungsfähigkeit unerlässlich für die Entwicklung effektiver MI-virtueller Agenten.

Die Greta 2.0 Plattform14 ist ein modulares Virtual-Agent-Framework, das Echtzeit-Interaktionen unterstützt. Sie wurde kürzlich erweitert, um Fähigkeiten zu integrieren, die die dynamische Anpassung generativer KI-Modelle während der Interaktion ermöglichen.

Die Plattform enthält ein Modell namens MODIFF-815, das Echtzeit-Gesichtsausdrücke erzeugt, die sich dynamisch an die eigenen Gesichtsausdrücke des Nutzers anpassen. Dieses diffusionsbasierte Modell wurde auf multimodalen Daten trainiert, die im Zusammenhang mit MI gesammelt wurden, nämlich dem AnnoMI-Korpus, bestehend aus Videos von Beratungssitzungen zwischen Therapeuten und Klienten, die auf Streaming-Plattformen wie YouTube und Viméo gesammelt und in Dialogakten (eine Klassifikation von Äußerungen, die die ausgeführten Handlungen wie Frage, Begrüßung ...) und Aktionseinheiten (eine Taxonomie menschlicher Gesichtsausdrücke) annotiert sind. Diese Daten konditionieren die Erzeugung nicht nur anhand des aktuellen Gesichtsausdrucks des Nutzers, sondern auch an MI-spezifischen Dialogakten, die während der Interaktion identifiziert werden und mit den angewandten Konversationsstrategien verknüpft sind. Dazu gehören MI-relevante Dialogakte, wie Change Talk, sowie die eigenen Dialogakte des Agenten, wie Reflexion oder Informationsbereitstellung. Durch die Integration dieser multimodalen Signale in Echtzeit ermöglicht das System dem virtuellen Agenten, sozial und kontextuell angemessene Gesichtsausdrücke auszudrücken. Indem dieser virtuelle Agent sein nonverbales Verhalten (NVB) auf den Kontext der Interaktion ausrichtet, ist er darauf ausgelegt, soziale Beziehungen zu fördern und die Initiierung intrinsischer Motivation während des gesamten Interviewprozesseszu unterstützen.

Zusätzlich integriert die Plattform ein speziell für MI entwickeltes Dialogsystem namens DREAM16. DREAM besteht aus einem Dialogmanager, der den nächsten Dialogakt des Agenten basierend auf dem aktuellen Dialogzustand und dem Profil des Nutzers auswählt. Tatsächlich zeigten unsere Analysen des AnnoMI-Korpus drei Profile von MI-Patienten: Offen für Veränderung (wenn der Patient motiviert ist, sich zu verändern und Unterstützung zu suchen), Rezeptiv (wenn der Patient noch keine Veränderung in Betracht gezogen hat) und Widerstandsfähig (wenn der Patient keine Veränderung beabsichtigt)13. Vor der Interaktion mit dem virtuellen Agenten werden den Nutzern gemäß ihren Antworten auf den Decision Balance Scale (DBS) Fragebogen17 eines dieser drei Profile zugewiesen. Dieses Dialogsystem wird durch ein großes Sprachmodell (LLM) ergänzt, das die verbale Ausgabe des Agenten generiert, entsprechend dem vom Dialogmanager ausgewählten Dialogakt. Diese Komponente ermöglicht eine kontextuelle Anpassung des Dialogs und markiert eine Verbesserung gegenüber starreren, regelbasierten Ansätzen6. Während neuere Studien die Nutzung von LLMs zur Erzeugung von MI-konsistenten Dialogen untersucht haben, berücksichtigen sie Nutzerprofile18,19 nicht. Im Gegensatz dazu passt sich dieses Modul dynamisch an das Profil des Benutzers an, was die Beziehung im Vergleich zu diesen Basissystemen verbessert.

Die Integration dieser Modelle in die Greta 2.0-Plattform ermöglicht dynamische MI-Interventionen. Seine modulare Implementierung ermöglicht eine unabhängige Bewertung der Auswirkungen jedes Modells. In diesem Artikel stellen wir die Methode vor, die zur Durchführung von Experimenten verwendet wird, die die Beiträge der MODIFF-8- und DREAM-Modelle zum MI-Dialog bewerten, der von der verwendeten Plattform geliefert wird. Diese Methode kann auch verwendet werden, um maßgeschneiderte MI-Interventionen zwischen den Sitzungen mit MI-Praktikern durchzuführen. Es erfordert einen Windows-Computer mit einer 16-GB-GPU und die Installation von Open-Source-Software. Mit dieser Methode zeigen wir, dass unsere Anpassungsmodelle die wahrgenommene Qualität des MI-Lieferagenten verbessern und den Beziehungsaufbau fördern. Wir beobachten auch eine Verbesserung der Motivation der Patienten, ihr Verhalten zu ändern, wenn der Agent angepasste Verhaltensweisen auf verbaler und nonverbaler Ebene sowie auf Ebene der Gesprächsstrategien verwendet. Die in diesem Artikel vorgestellten Ergebnisse zeigen die positive Auswirkung einer individuellen Anpassung der MI-Intervention des Ermittlers auf jeden Patienten.

Zur Unterstützung des Designs dieses Systems wurde eine ausführliche Literaturübersicht durchgeführt, um die theoretischen und praktischen Grundlagen des Ernährungscoachings zu erforschen, einschließlich motivierender Interviews, Verhaltensänderungsmodellen und Nutzertypologien. Diese Übersichtsarbeit führte zur Entwicklung einer qualitativen Wissensbasis, die um die Schnittstelle zweier Schlüsseldimensionen strukturiert ist: 1) die Bereitschaft der Nutzer für Veränderungen gemäß dem Transtheoretischen Modell19 , das 5 Phasen identifiziert: Vorkontemplation, Kontemplation, Vorbereitung, Handlung und Erhaltung, und 2) ihre Essverhaltensprofile20 basierend auf Ernährung und psychologisch zusammenhängenden Faktoren. Es wurden drei Profile identifiziert: der intuitive Esser (d. h. er hört auf seine Hunger- und Sättigungssignale, führt eine abwechslungsreiche und überwiegend pflanzliche Ernährung, priorisiert hochwertige, oft biologische Lebensmittel), der emotionale Esser (d. h. bewältigt Stress, Einsamkeit und Freude durch häufiges Naschen von Süßigkeiten oder fetthaltigen Lebensmitteln, oft mit Schuldgefühlen) und der restriktive Esser (d. h. besessen von Nahrungsmittelkontrolle). Sie zählen Kalorien, folgen häufigen Diäten mit Jo-Jo-Effekten und könnten eine Essstörung haben.

Für jede Kombination aus Stufe und Profil wurden kontextspezifische Dialogstrategien vorgeschlagen, darunter maßgeschneiderte SMART-Ziele, motivierende Formulierungen und konkrete Verhaltensvorschläge. Das Ziel war es, dem virtuellen Agenten zu ermöglichen, seine Interventionen dynamisch sowohl auf psychologischer Bereitschaft als auch auf persönliche Tendenzen anzupassen. Diese Grundlage sorgt für ein höheres Maß an Personalisierung und Empathie in der Interaktion, was entscheidend ist, um die Nutzerbindung und eine langfristige Verhaltensänderung aufrechtzuerhalten.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Methode erhielt ethische IRB-Zulassung vom INSEAD-Institut (Institut européen d'administration des affaires) mit den Annahmenummern: INSEAD 2024-78 und INSEAD 2025-23. Alle Teilnehmer gaben eine informierte Zustimmung ab und wurden für ihre Experimentzeit entschädigt.

1. Rekrutierung von Teilnehmern

  1. Aufruf für Teilnehmer über die Mailinglisten des Instituts. Keine Einschränkungen für die Teilnehmer, außer Vertrautheit mit digitalen Oberflächen und fließende Französischkenntnisse. Drei Teilnehmer wurden aufgrund von Ressourcenverlusten im Internet ausgeschlossen, was die globale Systemantwortlatenz signifikant erhöhte.

2. Vorinstallationsanforderungen

  1. Benutze einen Windows-Computer. Wir verwenden eine Intel i7 CPU, 20 Kerne, 28 Threads (50 % Auslastung), 32 GB RAM (20 % Auslastung), 32 GB Nvidia RTX 5000 GPU (20 % Auslastung).
  2. Installieren Sie Java SE Development Kit 8 (https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html). Visual C++ Redistributable für Visual Studio 2013 installieren (https://www.microsoft.com/en-us/download/details.aspx?id=40784).
  3. Beantrage eine Cereproc-Lizenz (https://app.cereproc.com/). Installiere OpenFace (https://github.com/TadasBaltrusaitis/OpenFace). Hol dir eine Webcam.

3. Greta-Installation

  1. Laden Sie die Softwareversion von https://github.com/isir/greta/releases herunter. Kompilieren Sie mit NetBeans (detaillierte Anweisungen unter: https://github.com/isir/greta/wiki/Quick-start).

4. Konfiguration des Mistral-API-Schlüssels

  1. Hol dir einen Mistral-API-Schlüssel von https://console.mistral.ai/api-keys.
  2. Erstellen Sie die Datei: greta\bin\Common\Data\LLM\MICounselorRL\api_key.txt. Füge den API-Schlüssel in die erstellte Datei ein.

5. DeepGram-API-Schlüssel-Konfiguration

  1. Holen Sie sich einen DeepGram-API-Schlüssel von https://console.deepgram.com/.
  2. Erstellen Sie die Datei: greta\bin\Common\Data\DeepASR\DeepGram\api_key.txt. Fügen Sie den API-Schlüssel in die erstellte Datei ein.

6. Import des MODIFF-Modells

  1. Lade die Modellgewichte von https://drive.google.com/file/d/1n3udJf5pSNnFmxs_kt_zcFcF0m7zoLLr/view?usp=sharing herunter und lege die Datei in greta\bin\Common\Data\MODIFF ein.
  2. Lade dlib-Gesichtserkennungsmodelle von https://dlib.net/files/mmod_human_face_detector.dat.bz2 und https://dlib.net/files/shape_predictor_5_face_landmarks.dat.bz2 herunter und entkomprimiere sie dann in bin/Common/Data/TurnManagement/dlib_models.
  3. Lade alle VAP-Modelle in Model/VAP von https://drive.google.com/drive/folders/10_MTPkRyJCoFLDt4LO_M9kRgoreh6gEF?usp=sharing herunter und platziere sie in bin/Common/Data/TurnManagement/models/.

7. Einführung von Greta 2.0

  1. Start Modular.jar. Klicken Sie auf Datei > öffnen > Greta > Advanced > 20250128 Greta - Expé Lucie_full.xml.
  2. Stellen Sie sicher, dass die Konfiguration mit Abbildung 1 übereinstimmt.

8. Start von OpenFace

  1. Starte OpenFace offline ZeroMQ.exe. Eine spezielle Version von OpenFace ermöglicht die direkte Kommunikation mit der Greta-Plattform über das ZeroMQ-Protokoll über Port 5000.
  2. Im Reiter Aufzeichnen deaktivieren Sie alles außer Broadcast with ZeroMQ. Es ermöglicht der Software, die extrahierten Signale (AUs, Blick, Kopfbewegungen ...) an die Greta-Plattform zu senden.
  3. Im Datei-Tab klicken Sie auf Webcam öffnen. Autorisieren Sie die Live-Feature-Extraktion über die verfügbare Webcam.
  4. Wählen Sie die zu verwendende Webcam aus und warten Sie, bis die Webcam geladen ist (siehe Abbildung 2). Sobald die Webcam geladen ist, startet das Tool automatisch die Live-Feature-Extraktion und sendet die Daten an die Greta-Plattform.

9. Start von MODIFF-8

  1. Im OpenFace2 Output Stream Reader klicken Sie auf die Schaltfläche "Verbinden " und warten Sie darauf, dass die Liste der verfügbaren Funktionen, die von OpenFace gesendet wurden, ausgefüllt werden (siehe Abbildung 3).
  2. Klicken Sie auf "Alle > Set auswählen, um die Funktionen zu überprüfen, die Sie möchten, dass die Plattform kontinuierlich von Openface erhält.
  3. Unter Modiff klicke auf Launch und warte auf die Meldung: Connected to server at localhost 5560.
  4. Klicken Sie auf Verbinden. Dieser Schritt aktiviert die Verbindung zwischen dem Gesichtsausdrucksgenerierungsmodul Modiff und dem Greta OpenFace-Datenempfänger.
  5. Unter Filter klicken Sie auf Ausführen, sodass der virtuelle Agent die vom Modiff-Modul generierten Daten ausführen kann.
  6. Im MODIFF-Fenster klicke auf Aktivieren. Warte 90 Sekunden, bis sich das Modell stabilisiert.

10. Einführung der ASR

  1. Im DeepGram-Fenster drücken Sie Aktivieren.

11. Start von DREAM

  1. Wählen Sie die Condition RL , um DREAM zu verwenden, und Baseline, um ein einfaches LLM zu verwenden.
  2. Im MI Counsellor RL-Fenster klicke auf Aktivieren. Warte 30 Sekunden, bis das Modell startet.

12. Das Zimmer einrichten

  1. Benutze einen großen Monitor auf einen Tisch mit einem Stuhl davor. Stellen Sie eine Webcam auf den Monitor, der zum Stuhl zeigt. Stellen Sie ein Richtmikrofon auf den Tisch vor dem Stuhl.

13. Begrüßung des Teilnehmers

  1. Begrüßen Sie den Teilnehmer in einem privaten Raum (siehe Abbildung 4). Informieren Sie den Teilnehmer gemäß der Rede in Ergänzungsakte 1.
  2. Lassen Sie den Teilnehmer den DBS-Fragebogen auf einer 5-stufigen Likert-Skala ausfüllen (siehe Elemente in Tabelle 1).
  3. Bitten Sie den Teilnehmer, ins Mikrofon zu sprechen. Stellen Sie sicher, dass die Webcam den Kopf und den Oberkörper des Teilnehmers erfasst

14. Identifizieren Sie das Teilnehmerprofil

  1. Wenn der DBS-Wert negativ ist, klassifizieren Sie den Teilnehmer als Widerstandsfähig gegen Veränderungen. Wenn der DBS-Wert zwischen 0 und 2 liegt, klassifizieren Sie den Teilnehmer als Rezeptiv. Ansonsten klassifizieren Sie den Teilnehmer als offen für Veränderungen.

15. Legt das Thema und das Profil fest

  1. Im MI Counsellor RL-Fenster sollten Sie das Thema festlegen, das nach Wahl des Teilnehmers diskutiert werden soll. Setzen Sie das Profil wie in Schritt 14 angegeben.

16. Starte den Dialog

  1. Im MI Counsellor RL-Fenster klicken Sie auf Start, damit der Agent die Diskussion mit dem Teilnehmer initiiert. Wenn man auf diesen Button klickt, wird der Dialog DREAM, und multimodale Verhaltensweisen, die MODIFF-Modelle haben, steuern automatisch das Verhalten des Agenten.

17. Während des Dialogs

  1. Überwachen Sie den Antwortabsatz des MI Counsellor-Fensters, um sicherzustellen, dass die LLM-Ausgabe nicht schädlich ist.
  2. Im DeepGram-Fenster klicken Sie auf Zuhören , nachdem der Zug des Agenten beendet ist.
  3. Wenn die Rede nicht erkannt wird, füllen Sie den Absatz "Anfrage" im MI Counsellor RL-Fenster mit der Rede des Teilnehmers aus und klicken Sie auf Senden. Dies erzeugt automatisch die Antwort des Agenten.
  4. Warte auf die Antwort des Teilnehmers.
  5. Wiederhole 17.1 bis 17.4, bis der Dialog endet. Der Dialog hört von selbst auf.

18. Nach der Intervention

  1. Bitten Sie den Teilnehmer, die Fragebögen nach der Intervention auszufüllen (siehe Punkte 1-9 in Tabelle 1). Befragen Sie den Teilnehmer anhand der Rede in Ergänzungsakte 1.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Im präsentierten Protokoll sammelten wir Interaktionstranskripte und Nutzerfeedback mithilfe von Fragebögen, die auf die von uns gewünschten Verhaltensweisen zugeschnitten waren. Wir verglichen die Ergebnisse der Interaktion mit oder ohne unsere Modelle.

Verwendung des Protokolls zur Bewertung der Auswirkungen der adaptiven Expressionsgenerierung von MODIFF-8
Das MODIFF-8-Modul wurde entwickelt, um die soziale Reaktionsfähigkeit des virtuel...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In diesem Artikel stellen wir ein Protokoll zur Durchführung maßgeschneiderter Motivational Interviewing Interventionen vor und zum Testen individueller Verhaltensgenerierungsmodule innerhalb eines kontrollierten und reproduzierbaren Interaktionsrahmens. Diese Methode basiert auf der modularen Architektur der Greta 2.0-Plattform, die die Kontrolle über die am Agentenverhalten beteiligten Komponenten bietet und es Forschern ermöglicht, bestimmte Module einfach ein- oder auszuschalten. Die...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren haben nichts offenzulegen.

Danksagungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Arbeit wurde teilweise durch die Projekte ANR-DFG-JST Panorama, ANR-JST-CREST TAPAS (19-JSTS-0001-01), Enhancer (ANR-22-EXEN-0004) und PEPR-Ensemble PC3 (ANR-22-EXEN-0004) finanziert. Die in diesem Artikel präsentierte Bewertung wurde von der Idex Sorbonne Université im Rahmen der staatlichen Unterstützung der Programme Investments for the Future finanziert. Diese Arbeit wurde auch durch einen französischen Regierungszuschuss unterstützt, der von der Agence Nationale de la Recherche im Rahmen des France 2030-Programms verwaltet wird, mit Referenzen ANR-22-EXEN-0004 (PEPR eNSEMBLE / MATCHING) und 22-PESN-0009 (PEPR AUTONOM-HEALTH).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
ComputerDellComputer mit einem Intel Core i7-14700 Prozessor und einem Nvidia RTX5000
Mikrofon-HeadsetEposEin Headset mit Mikrofon
WebcamLogitechZur Extraktion von Gesichtsausdrücken
Webcam2LogitechFür Videoaufnahmen

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Miller, W. R., Rollnick, S. Motivational Interviewing: Helping People Change. , Guilford Press. (2012).
  2. Towards a chatbot for digital counselling. Cameron, G., et al. Proc 31st Br Comp Soc Human Comp Interact Conf, , 1-7 (2017).
  3. Denecke, K., Vaaheesan, S., Arulnathan, A. A Mental Health Chatbot for Regulating Emotions (SERMO) - Concept and Usability Test. IEEE Transact Emerging Topics Comput. 9 (3), 1170-1182 (2021).
  4. Fiske, A., Henningsen, P., Buyx, A. Your Robot Therapist Will See You Now: Ethical Implications of Embodied Artificial Intelligence in Psychiatry, Psychology, and Psychotherapy. J Med Internet Res. 21 (5), e13216(2019).
  5. Taking the time to care: empowering low health literacy hospital patients with virtual nurse agents. Bickmore, T. W., Pfeifer, L. M., Jack, B. W. Proc SIGCHI Conf Human Factors Comp Syst, , 1265-1274 (2009).
  6. Fitzpatrick, K. K., Darcy, A., Vierhile, M. Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial. JMIR Mental Health. 4 (2), e19(2017).
  7. An Affectively Aware Virtual Therapist for Depression Counseling. Ring, L., Bickmore, T., Pedrelli, P. ACM SIGCHI Conf Human Factors Comput Syst (CHI) Workshop Comput Mental Health, , 1-4 (2016).
  8. Managing Chronic Conditions with a Smartphone-based Conversational Virtual Agent. Bickmore, T. W., et al. Proc 18th Int Conf Intelligent Virtual Agents, , 119-124 (2018).
  9. Mercado, J., Espinosa-Curiel, I. E., Martínez-Miranda, J. Embodied Conversational Agents Providing Motivational Interviewing to Improve Health-Related Behaviors: Scoping Review. J Med Internet Res. 25, e52097(2023).
  10. Masterson Creber, R., et al. Motivational interviewing to improve self-care for patients with chronic heart failure: MITI-HF randomized controlled trial. Patient Educ Couns. 99 (2), 256-264 (2016).
  11. Beyond Words: Decoding Facial Expression Dynamics in Motivational Interviewing. Younsi, N., Pelachaud, C., Chaby, L. Proc 2024 Joint Int Conf Comp Linguistics Lang Resources Evaluation, , 2365-2374 (2024).
  12. Galland, L., Pecune, F., Pelachaud, C. EMMI - Empathic Multimodal Motivational Interviews: Automatic Multimodal Features Extraction And Patient Type Definition. Lang Resources Evaluation. , (2025).
  13. Galland, L., Pelachaud, C., Pecune, F. EMMI -- Empathic Multimodal Motivational Interviews Dataset: Analyses and Annotations. arXiv. , (2024).
  14. Greta 2.0: Social Interactive Agent system, optimized for neural network integration. Saga, T., Galland, L., Younsi, N., Pelachaud, C. Proc ACM Int Conf Intelligent Virtual Agents, , 1-10 (2025).
  15. Younsi, N., Pelachaud, C., Chaby, L. Modiff-8 to Better Motivate: Live Adaptive Human-Socially Interactive Agent Interaction. SSRN. , (2025).
  16. Galland, L., Pelachaud, C., Pecune, F. Tailored Conversations beyond LLMs: A RL-Based Dialogue Manager. ACL ARR. , (2025).
  17. Velicer, W. F., DiClemente, C. C., Prochaska, J. O., Brandenburg, N. Decisional balance measure for assessing and predicting smoking status. J Personality Social Psychol. 48 (5), 1279-1289 (1985).
  18. Virtual Agents for Alcohol Use Counseling: Exploring LLM-Powered Motivational Interviewing. Steenstra, I., Nouraei, F., Arjmand, M., Bickmore, T. Proc ACM Int Conf Intelligent Virtual Agents, , 1-10 (2024).
  19. Galvão Gomes da Silva, J., et al. Experiences of a Motivational Interview Delivered by a Robot: Qualitative Study. J Med Internet Res. 20 (5), e116(2018).
  20. Torre, I., Goslin, J., White, L. If your device could smile: People trust happy-sounding artificial agents more. Comp Human Behav. 105, 106215(2020).
  21. Rapport and facial expression. 2009 3rd Int Conf Affective Comp Intelligent Interact Workshops. Wang, N., Gratch, J. , 1-6 (2009).
  22. Guy, L., Jean-Noël, G., Val, M., Cross, E. S. Tell me more! Assessing interactions with social robots from speech. Paladyn, J Behav Robotics. 12 (1), 136-159 (2020).
  23. Krämer, N., Kopp, S., Becker-Asano, C., Sommer, N. Smile and the world will smile with you-The effects of a virtual agent's smile on users' evaluation and behavior. Int J Human-Comp Studies. 71 (3), 335-349 (2013).
  24. Huang, L., Morency, L. P., Gratch, J. Virtual Rapport 2.0. Intell Virtual Agents. , 68-79 (2011).
  25. Kramer Schmidt, L., Andersen, K., Nielsen, A. S., Moyers, T. B. Lessons learned from measuring fidelity with the Motivational Interviewing Treatment Integrity code (MITI 4). J Subst Abuse Treatment. 97, 59-67 (2019).
  26. Madson, M. B., Mohn, R. S., Schumacher, J. A., Landry, A. S. Measuring Client Experiences of Motivational Interviewing during a Lifestyle Intervention. Meas Evaluat Counseling Dev. 48 (2), 140-151 (2015).
  27. Burgoon, J. K. Expectancy Violations Theory. Int Encycl Interpersonal Comm. , 1-9 (2015).
  28. Baker, Z. G., Watlington, E. M., Knee, C. R. The role of rapport in satisfying one's basic psychological needs. Motivat Emot. 44 (2), 329-343 (2020).
  29. Ryan, R. M., Deci, E. L. Self-Determination Theory. Encycl Quality Life Well-Being Res. , 6229-6235 (2023).
  30. SMART-DREAM: To Condition or Not to Condition A Study on the Impact of LLM Conditioning on Motivational Interview Dialog Virtual Agent. Galland, L., Pelachaud, C., Pecune, F. Proc ACM Int Conf Intelligent Virtual Agents, , 1-9 (2025).
  31. Can Virtual Human Build Rapport and Promote Learning. Wang, N., Gratch, J. Proc 2009 Conf Artif Intelligence Educat, , 737-739 (2009).
  32. Eeckhout, C., Francaux, M., Heeren, A., Philippot, P. Mesure de la balance décisionnelle en vue de pratiquer une activité physique régulière (BDAP) : adaptation et validation francophone de l'échelle Decisional Balance for Exercise. Eur Rev Appl Psychol. 63 (3), 185-191 (2013).
  33. Carey, K. B., Maisto, S. A., Carey, M. P., Purnine, D. M. Measuring Readiness-to-Change Substance Misuse Among Psychiatric Outpatients I. Reliability and Validity of Self-Report Measures. J Studies Alcohol. 62 (1), 79-88 (2001).
  34. Skantze, G. Turn-taking in Conversational Systems and Human-Robot Interaction: A Review. Comp Speech Lang. 67, 101178(2021).
  35. Cross, R., Greaves, C., Withall, J., Kritz, M., Stathi, A. A qualitative longitudinal study of motivation in the REtirement in ACTion (REACT) physical activity intervention for older adults with mobility limitations. Int J Behav Nutrit Phys Activity. 20 (1), 50(2023).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Gro es SprachmodellEchtzeit InteraktionDialogmanagerAnpassung des Gesichtsausdrucksbest rkendes Lernenmultimodale Interaktionsoziale Rapportbildung

Verwandte Artikel