Agent virtuel pour l’entretien motivationnel en temps réel en intégrant le comportement non verbal adaptatif et les modèles de langage

Nos recherches étudient l’interaction multimodale en se concentrant sur l’adaptation du comportement verbal et non verbal d’un agent virtuel, comme l’expression faciale lors de l’interaction. Des analyses récentes en apprentissage automatique, en particulier les grands modèles de langage, permettent une interaction homme-machine plus naturelle et flexible. Pour commencer, préparez un ordinateur Windows pour l’expérience.

Installez Java SE Development Kit 8 à partir de la source officielle de distribution. Ensuite, installez Visual C+Redistributable pour Visual Studio 2013. Demandez une licence CereProc via le portail de candidature en ligne.

Installez OpenFace depuis le dépôt fourni. Procurez-vous une webcam pour la capture vidéo. Ensuite, téléchargez la version logicielle Greta depuis le dépôt spécifié.

Compilez le logiciel à l’aide de NetBeans en suivant les instructions fournies. Obtenez une clé d’interface de programmation Mistral depuis la console en ligne. Créez le fichier, puis collez la clé de l’interface de programmation dans le fichier créé.

Maintenant, obtenez une clé d’interface de programmation Deepgram depuis la console en ligne. Créez le chemin du fichier et collez la clé de l’interface de programmation dans le fichier créé. Pour l’importation de modèles MoDiff, téléchargez d’abord les poids MoDiff depuis la source fournie.

Placez le fichier téléchargé dans le dossier de données MoDiff. Prochain lancement : Modular JAR. Cliquez sur Fichier, Ouvrir, Greta, Avancé, et choisissez 20250128 Greta Expe Lucie_full.xml.

Assurez-vous que la configuration affichée correspond à la configuration attendue. Maintenant, lance le programme ZeroMQ hors ligne OpenFace. Dans l’onglet Enregistrement, décochez toutes les options sauf diffusion avec ZeroMQ.

Dans l’onglet Fichier, cliquez sur Ouvrir la webcam. Autorisez l’extraction en direct des fonctionnalités à l’aide de la webcam disponible. Sélectionnez la webcam à utiliser.

Attendez que la webcam soit chargée et que l’extraction des fonctionnalités en direct commence automatiquement. Ensuite, dans le lecteur de flux de sortie OpenFace2, cliquez sur Connecter. Attendez que la liste des fonctionnalités disponibles se remplisse.

Cliquez sur Sélectionner Tout, puis configurez pour valider les fonctionnalités sélectionnées. Sous MoDiff, cliquez sur Lancer et attendez le message de confirmation de connexion. Ensuite, appuyez sur Connect pour activer la connexion entre MoDiff et le récepteur de données.

Sous Filtre, cliquez sur Exécuter pour permettre l’exécution des données générées. Dans la fenêtre MoDiff, cliquez sur Activer. Attendez 90 secondes que le modèle se stabilise.

Pour lancer ASR, dans la fenêtre Dee gram, appuyez sur Activer. Ensuite, sélectionnez la condition RL pour utiliser rêve ou référence pour utiliser un modèle de langage grand et simple. Dans la fenêtre RL du conseiller MI, cliquez sur Activer.

Attendez 30 secondes que le modèle démarre. Posez un grand moniteur sur la table avec une chaise placée devant. Placez une webcam au-dessus de l’écran, face à la chaise.

Placez un micro directionnel sur la table devant la chaise. Faites remplir au participant le questionnaire de l’Échelle d’Équilibre de la Décision ou DBS à l’aide d’une échelle Likert en cinq étapes. Ensuite, demandez au participant de parler dans le micro.

Pour commencer, identifiez le profil du participant et évaluez le score DBS. Classez le participant comme résistant, hésitant ou ouvert au changement en fonction du score. Dans la fenêtre Conseiller MI RL, choisissez le thème de discussion choisi par le participant.

Cliquez sur Démarrer pour permettre à l’agent d’initier la discussion avec le participant. Surveillez la section des réponses de la fenêtre du conseiller MI pour détecter des résultats nuisibles. Dans la fenêtre Deepgram, cliquez sur Écouter après que l’agent ait terminé son tour.

Si la parole n’est pas reconnue, saisissez la parole du participant dans le champ de demande et cliquez sur Envoyer. Attendez la réponse du participant. Demandez au participant de remplir les questionnaires post-intervention.

Ensuite, faites un débriefing du participant à l’aide du discours préparé. Les utilisateurs interagissant avec l’agent par des expressions faciales adaptatives ont exprimé plus de sentimentalité positive dans leur divulgation que les utilisateurs dans les autres conditions comportementales. Aucune différence significative n’a été observée entre les trois conditions d’expression dans les scores subjectifs des questionnaires évaluant l’attitude, la relation sociale et la qualité de l’entretien motivationnel.

La condition d’expression faciale inadaptée, c’est-à-dire lorsque la contingence interpersonnelle n’est plus respectée, était généralement notée inférieure à la fois à l’inexpressive, c’est-à-dire lorsque l’agent ne montre aucune expression, et à l’adaptative, c’est-à-dire que l’expression de l’agent est guidée par nos conditions de modèle à travers des mesures subjectives. L’attitude perçue a eu un effet direct fort sur la qualité perçue des entretiens. La relation entre l’attitude perçue et la qualité de l’entretien motivationnel était en partie médiée par la relation sociale, qui représente 43 % de l’effet.

Les participants interagissant avec le gestionnaire de dialogue adaptatif des rêves ont rapporté un rapport significativement plus élevé que ceux interagissant avec la base du grand modèle de langage simple. Le gestionnaire de dialogue de rêves a montré une meilleure adaptation à différents profils de participants que le modèle de base dans les scores de motivation mesurés par l’Échelle d’Équilibre Décisionnel. Les conditions de référence et les conditions de rêve ont toutes deux conduit à évaluer par le client les scores d’entretien motivationnel au-dessus du seuil thérapeutique.

Notre constatation montre que l’adaptation des comportements verbaux et non verbaux a significativement amélioré l’efficacité de l’agent et la perception des agents interactifs sociaux. Notre plateforme permet d’évaluer d’autres composantes adaptatives, telles que la génération de gestes et l’expression d’autres sujets de dialogue. Les recherches futures porteront sur l’interaction à long terme et l’adaptation continue à travers plusieurs séances de dialogue.