Name: 通过整合自适应非语言行为和语言模型实现实时动机访谈的虚拟代理 (视频) | JoVE Journal
Uploaded: 2025-12-23T14:15:00.000+00:00
Duration: 7 min 14 s
Description: 探索Greta 2.0虚拟代理平台，利用大语言模型和扩散模型实现自适应语言与非语言行为，用于实时动机访谈。该平台可提升数字治疗中的用户参与度和治疗质量。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作部分由 ANR-DFG-JST Panorama、ANR-JST-CREST TAPAS（19-JSTS-0001-01）、Enhancer（ANR-22-EXEN-0004）和 PEPR-Ensemble PC3（ANR-22-EXEN-0004）项目资助。本文所展示的评估工作由索邦大学卓越大学计划（Idex Sorbonne Université）资助，属于法国“未来投资计划”国家支持项目的一部分。本工作还获得了法国政府资助，该资助由法国国家科研署（Agence Nationale de la Recherche）管理，属于“法国2030”计划的一部分，项目编号为 ANR-22-EXEN-0004（PEPR eNSEMBLE / MATCHING）和 22-PESN-0009（PEPR AUTONOM-HEALTH）。

该方法已获得欧洲工商管理学院（INSEAD）机构审查委员会（IRB）的伦理批准，批准编号为：INSEAD 2024-78 和 INSEAD 2025-23。所有参与者均签署了知情同意书，并因其参与实验的时间获得了相应报酬。
1. 受试者招募
<ol>
	<li>通过研究所的邮件列表招募参与者。对参与者无其他限制，只需熟悉数字界面并能流利使用法语。有三名参与者因网络资源中断被排除，这显著增加了整个系统的响应延迟。</li>
</ol>
2. 预安装要求
<ol>
	<li>使用一台 Windows 计算机。我们使用的配置为 Intel I7 CPU，20 核，28 线程（使用率 50%），内存 32GB（使用率 20%），32GB 显存的 Nvidia RTX 5000 GPU（使用率 20%）。</li>
	<li>安装 Java SE 开发工具包 8（https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html）。安装适用于 Visual Studio 2013 的 Visual C++ 可再发行组件（https://www.microsoft.com/en-us/download/details.aspx?id=40784）。</li>
	<li>申请 Cereproc 许可证（https://app.cereproc.com/）。安装 OpenFace（https://github.com/TadasBaltrusaitis/OpenFace）。准备一个网络摄像头。</li>
</ol>
3. Greta 的安装
<ol>
	<li>从&#160;https://github.com/isir/greta/releases 下载软件版本。使用 NetBeans 进行编译（详细说明请见：https://github.com/isir/greta/wiki/Quick-start）。</li>
</ol>
4. Mistral API 密钥配置
<ol>
	<li>从 https://console.mistral.ai/api-keys 获取 Mistral API 密钥。</li>
	<li>创建文件：greta\bin\Common\Data\LLM\MICounselorRL\api_key.txt。将 API 密钥粘贴到所创建的文件中。</li>
</ol>
5. DeepGram API 密钥配置
<ol>
	<li>从&#160;https://console.deepgram.com/ 获取 DeepGram API 密钥。</li>
	<li>创建文件：greta\bin\Common\Data\DeepASR\DeepGram\api_key.txt。将 API 密钥粘贴到所创建的文件中。</li>
</ol>
6. MODIFF 模型导入
<ol>
	<li>从&#160;https://drive.google.com/file/d/1n3udJf5pSNnFmxs_kt_zcFcF0m7zoLLr/view?usp=sharing 下载模型权重，并将文件放入 greta\bin\Common\Data\MODIFF 目录中。</li>
	<li>从&#160;https://dlib.net/files/mmod_human_face_detector.dat.bz2 和 https://dlib.net/files/shape_predictor_5_face_landmarks.dat.bz2 下载并解压 dlib 人脸检测模型，然后将其放入 bin/Common/Data/TurnManagement/dlib_models 目录中。</li>
	<li>从&#160;https://drive.google.com/drive/folders/10_MTPkRyJCoFLDt4LO_M9kRgoreh6gEF?usp=sharing 下载 model/VAP 目录下的所有 VAP 模型，并将其放入 bin/Common/Data/TurnManagement/models/ 目录中。</li>
</ol>
7. 启动 Greta 2.0
<ol>
	<li>启动 Modular.jar。点击 文件 &#62; 打开 &#62; Greta &#62; 高级 &#62; 20250128 Greta - Expé Lucie_full.xml。</li>
	<li>确保配置与 图 1 一致。</li>
</ol>
8. 启动 OpenFace
<ol>
	<li>启动 OpenFace Offline ZeroMQ.exe。特定版本的 OpenFace 可通过 5000 端口使用 ZeroMQ 协议与 Greta 平台直接通信。</li>
	<li>在“记录”选项卡中，取消勾选除“使用 ZeroMQ 广播”之外的所有选项。该设置允许软件发送提取的信号（动作单元、视线、头部运动） &#8230;) 到 Greta 平台。</li>
	<li>在“文件”选项卡中，单击 打开摄像头. 授权使用可用的网络摄像头进行实时特征提取。</li>
	<li>选择要使用的网络摄像头，并等待摄像头加载完成（参见 图2). 摄像头加载完成后，该工具将自动启动实时特征提取，并将数据发送至 Greta 平台。</li>
</ol>
9. 启动 MODIFF-8
<ol>
	<li>在 OpenFace2 输出流读取器中，点击 连接 按钮，并等待来自 OpenFace 的可用特征列表加载完成（见 图 3）。</li>
	<li>点击 全选 &#62; 设置，以确认您希望平台持续从 OpenFace 接收的特征集。</li>
	<li>在 Modiff 模块下，点击 启动 ，并等待显示消息：“Connected to server at localhost 5560”。</li>
	<li>点击 连接。此步骤将激活面部表情生成模块 Modiff 与 Greta OpenFace 数据接收器之间的连接。</li>
	<li>在 Filter 模块下，点击 执行，以允许虚拟代理执行 Modiff 模块生成的数据。</li>
	<li>在 MODIFF 窗口中，点击 启用。等待 90 秒，使模型趋于稳定。</li>
</ol>
10. 启动ASR
<ol>
	<li>在 DeepGram 窗口中，按下 启用。</li>
</ol>
11. 启动 DREAM
<ol>
	<li>选择条件 RL 以使用 DREAM，或选择 Baseline 以使用普通的大语言模型（LLM）。</li>
	<li>在 MI 咨询师 RL 窗口中，点击 启用。等待 30 秒，使模型启动。</li>
</ol>
12. 准备房间
<ol>
	<li>使用大尺寸显示器，放置在桌面上，并在前方放置一把椅子。将网络摄像头置于显示器顶部，镜头对准椅子。在椅子前方的桌面上放置一个指向性麦克风。</li>
</ol>
13. 欢迎参与者
<ol>
	<li>将参与者迎接到一个私密房间（参见图4）。按照补充文件1中的发言内容向参与者进行简要说明。</li>
	<li>请参与者填写采用5级李克特量表的DBS问卷（问卷条目见表1）。</li>
	<li>要求参与者对着麦克风讲话。确保网络摄像头能够捕捉到参与者的头部和上半身。</li>
</ol>
14. 确定参与者特征
<ol>
	<li>如果DBS评分呈负值，则将参与者分类为抗拒改变；如果DBS评分为0至2之间，则将参与者分类为可接受改变；否则，将参与者分类为乐于改变。</li>
</ol>
15. 设置主题和配置文件
<ol>
	<li>在MI咨询师强化学习界面中，将讨论主题设置为参与者所选择的主题，将用户画像设置为步骤14中确定的画像。</li>
</ol>
16. 开始对话
<ol>
	<li>在 MI 咨询师强化学习（RL）窗口中，点击 开始，使虚拟代理启动与参与者的对话。点击此按钮后，对话系统 DREAM 和多模态行为模型 MODIFF 将自动驱动代理的行为。</li>
</ol>
17. 对话过程中
<ol>
	<li>监控 MI 咨询师窗口中的“回答”段落，确保大语言模型（LLM）输出无害。</li>
	<li>在 DeepGram 窗口中，等待代理发言结束后，点击 Listen。</li>
	<li>若语音未被识别，请在 MI 咨询师 RL 窗口的“请求”段落中填写参与者的发言内容，然后点击 Send。系统将自动生成代理的回应。</li>
	<li>等待参与者的回答。</li>
	<li>重复步骤 17.1 至 17.4，直至对话结束。对话将自动终止。</li>
</ol>
18. 干预后
<ol>
	<li>要求参与者完成干预后的问卷调查（参见表1中的项目1-9）。使用补充文件1中的陈述对参与者进行事后说明。</li>
</ol>

<ol><li>Miller, W. R., Rollnick, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aMiller%2C+WR+%22Motivational+Interviewing%3A+Helping+People+Change%22">Motivational Interviewing: Helping People Change</a>. , Guilford Press. (2012).</li>
<li>Towards a chatbot for digital counselling. Cameron, G., et al. Proc 31st Br Comp Soc Human Comp Interact Conf, , 1-7 (2017).</li>
<li>Denecke, K., Vaaheesan, S., Arulnathan, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Mental+Health+Chatbot+for+Regulating+Emotions+%28SERMO%29+-+Concept+and+Usability+Test%5BTitle%5D)+AND+%22IEEE+Transact+Emerging+Topics+Comput%22%5BJournal%5D)">A Mental Health Chatbot for Regulating Emotions (SERMO) - Concept and Usability Test.</a> IEEE Transact Emerging Topics Comput. 9 (3), 1170-1182 (2021).</li>
<li>Fiske, A., Henningsen, P., Buyx, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Your+Robot+Therapist+Will+See+You+Now%3A+Ethical+Implications+of+Embodied+Artificial+Intelligence+in+Psychiatry%2C+Psychology%2C+and+Psychotherapy%5BTitle%5D)+AND+%22J+Med+Internet+Res%22%5BJournal%5D)">Your Robot Therapist Will See You Now: Ethical Implications of Embodied Artificial Intelligence in Psychiatry, Psychology, and Psychotherapy.</a> J Med Internet Res. 21 (5), e13216(2019).</li>
<li>Taking the time to care: empowering low health literacy hospital patients with virtual nurse agents. Bickmore, T. W., Pfeifer, L. M., Jack, B. W. Proc SIGCHI Conf Human Factors Comp Syst, , 1265-1274 (2009).</li>
<li>Fitzpatrick, K. K., Darcy, A., Vierhile, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Delivering+Cognitive+Behavior+Therapy+to+Young+Adults+With+Symptoms+of+Depression+and+Anxiety+Using+a+Fully+Automated+Conversational+Agent+%28Woebot%29%3A+A+Randomized+Controlled+Trial%5BTitle%5D)+AND+%22JMIR+Mental+Health%22%5BJournal%5D)">Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial.</a> JMIR Mental Health. 4 (2), e19(2017).</li>
<li>An Affectively Aware Virtual Therapist for Depression Counseling. Ring, L., Bickmore, T., Pedrelli, P. ACM SIGCHI Conf Human Factors Comput Syst (CHI) Workshop Comput Mental Health, , 1-4 (2016).</li>
<li>Managing Chronic Conditions with a Smartphone-based Conversational Virtual Agent. Bickmore, T. W., et al. Proc 18th Int Conf Intelligent Virtual Agents, , 119-124 (2018).</li>
<li>Mercado, J., Espinosa-Curiel, I. E., Martínez-Miranda, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Embodied+Conversational+Agents+Providing+Motivational+Interviewing+to+Improve+Health-Related+Behaviors%3A+Scoping+Review%5BTitle%5D)+AND+%22J+Med+Internet+Res%22%5BJournal%5D)">Embodied Conversational Agents Providing Motivational Interviewing to Improve Health-Related Behaviors: Scoping Review.</a> J Med Internet Res. 25, e52097(2023).</li>
<li>Masterson Creber, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Motivational+interviewing+to+improve+self-care+for+patients+with+chronic+heart+failure%3A+MITI-HF+randomized+controlled+trial%5BTitle%5D)+AND+%22Patient+Educ+Couns%22%5BJournal%5D)">Motivational interviewing to improve self-care for patients with chronic heart failure: MITI-HF randomized controlled trial.</a> Patient Educ Couns. 99 (2), 256-264 (2016).</li>
<li>Beyond Words: Decoding Facial Expression Dynamics in Motivational Interviewing. Younsi, N., Pelachaud, C., Chaby, L. Proc 2024 Joint Int Conf Comp Linguistics Lang Resources Evaluation, , 2365-2374 (2024).</li>
<li>Galland, L., Pecune, F., Pelachaud, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EMMI+-+Empathic+Multimodal+Motivational+Interviews%3A+Automatic+Multimodal+Features+Extraction+And+Patient+Type+Definition%5BTitle%5D)+AND+%22Lang+Resources+Evaluation%22%5BJournal%5D)">EMMI - Empathic Multimodal Motivational Interviews: Automatic Multimodal Features Extraction And Patient Type Definition.</a> Lang Resources Evaluation. , (2025).</li>
<li>Galland, L., Pelachaud, C., Pecune, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EMMI+--+Empathic+Multimodal+Motivational+Interviews+Dataset%3A+Analyses+and+Annotations%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">EMMI -- Empathic Multimodal Motivational Interviews Dataset: Analyses and Annotations.</a> arXiv. , (2024).</li>
<li>Greta 2.0: Social Interactive Agent system, optimized for neural network integration. Saga, T., Galland, L., Younsi, N., Pelachaud, C. Proc ACM Int Conf Intelligent Virtual Agents, , 1-10 (2025).</li>
<li>Younsi, N., Pelachaud, C., Chaby, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modiff-8+to+Better+Motivate%3A+Live+Adaptive+Human-Socially+Interactive+Agent+Interaction%5BTitle%5D)+AND+%22SSRN%22%5BJournal%5D)">Modiff-8 to Better Motivate: Live Adaptive Human-Socially Interactive Agent Interaction.</a> SSRN. , (2025).</li>
<li>Galland, L., Pelachaud, C., Pecune, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tailored+Conversations+beyond+LLMs%3A+A+RL-Based+Dialogue+Manager%5BTitle%5D)+AND+%22ACL+ARR%22%5BJournal%5D)">Tailored Conversations beyond LLMs: A RL-Based Dialogue Manager.</a> ACL ARR. , (2025).</li>
<li>Velicer, W. F., DiClemente, C. C., Prochaska, J. O., Brandenburg, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Decisional+balance+measure+for+assessing+and+predicting+smoking+status%5BTitle%5D)+AND+%22J+Personality+Social+Psychol%22%5BJournal%5D)">Decisional balance measure for assessing and predicting smoking status.</a> J Personality Social Psychol. 48 (5), 1279-1289 (1985).</li>
<li>Virtual Agents for Alcohol Use Counseling: Exploring LLM-Powered Motivational Interviewing. Steenstra, I., Nouraei, F., Arjmand, M., Bickmore, T. Proc ACM Int Conf Intelligent Virtual Agents, , 1-10 (2024).</li>
<li>Galvão Gomes da Silva, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Experiences+of+a+Motivational+Interview+Delivered+by+a+Robot%3A+Qualitative+Study%5BTitle%5D)+AND+%22J+Med+Internet+Res%22%5BJournal%5D)">Experiences of a Motivational Interview Delivered by a Robot: Qualitative Study.</a> J Med Internet Res. 20 (5), e116(2018).</li>
<li>Torre, I., Goslin, J., White, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((If+your+device+could+smile%3A+People+trust+happy-sounding+artificial+agents+more%5BTitle%5D)+AND+%22Comp+Human+Behav%22%5BJournal%5D)">If your device could smile: People trust happy-sounding artificial agents more.</a> Comp Human Behav. 105, 106215(2020).</li>
<li>Rapport and facial expression. 2009 3rd Int Conf Affective Comp Intelligent Interact Workshops. Wang, N., Gratch, J. , 1-6 (2009).</li>
<li>Guy, L., Jean-Noël, G., Val, M., Cross, E. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tell+me+more%21+Assessing+interactions+with+social+robots+from+speech%5BTitle%5D)+AND+%22Paladyn%2C+J+Behav+Robotics%22%5BJournal%5D)">Tell me more! Assessing interactions with social robots from speech.</a> Paladyn, J Behav Robotics. 12 (1), 136-159 (2020).</li>
<li>Krämer, N., Kopp, S., Becker-Asano, C., Sommer, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Smile+and+the+world+will+smile+with+you-The+effects+of+a+virtual+agent%27s+smile+on+users%27+evaluation+and+behavior%5BTitle%5D)+AND+%22Int+J+Human-Comp+Studies%22%5BJournal%5D)">Smile and the world will smile with you-The effects of a virtual agent's smile on users' evaluation and behavior.</a> Int J Human-Comp Studies. 71 (3), 335-349 (2013).</li>
<li>Huang, L., Morency, L. P., Gratch, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+Rapport+2.0%5BTitle%5D)+AND+%22Intell+Virtual+Agents%22%5BJournal%5D)">Virtual Rapport 2.0.</a> Intell Virtual Agents. , 68-79 (2011).</li>
<li>Kramer Schmidt, L., Andersen, K., Nielsen, A. S., Moyers, T. B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Lessons+learned+from+measuring+fidelity+with+the+Motivational+Interviewing+Treatment+Integrity+code+%28MITI+4%29%5BTitle%5D)+AND+%22J+Subst+Abuse+Treatment%22%5BJournal%5D)">Lessons learned from measuring fidelity with the Motivational Interviewing Treatment Integrity code (MITI 4).</a> J Subst Abuse Treatment. 97, 59-67 (2019).</li>
<li>Madson, M. B., Mohn, R. S., Schumacher, J. A., Landry, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Measuring+Client+Experiences+of+Motivational+Interviewing+during+a+Lifestyle+Intervention%5BTitle%5D)+AND+%22Meas+Evaluat+Counseling+Dev%22%5BJournal%5D)">Measuring Client Experiences of Motivational Interviewing during a Lifestyle Intervention.</a> Meas Evaluat Counseling Dev. 48 (2), 140-151 (2015).</li>
<li>Burgoon, J. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Expectancy+Violations+Theory%5BTitle%5D)+AND+%22Int+Encycl+Interpersonal+Comm%22%5BJournal%5D)">Expectancy Violations Theory.</a> Int Encycl Interpersonal Comm. , 1-9 (2015).</li>
<li>Baker, Z. G., Watlington, E. M., Knee, C. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+rapport+in+satisfying+one%27s+basic+psychological+needs%5BTitle%5D)+AND+%22Motivat+Emot%22%5BJournal%5D)">The role of rapport in satisfying one's basic psychological needs.</a> Motivat Emot. 44 (2), 329-343 (2020).</li>
<li>Ryan, R. M., Deci, E. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Self-Determination+Theory%5BTitle%5D)+AND+%22Encycl+Quality+Life+Well-Being+Res%22%5BJournal%5D)">Self-Determination Theory.</a> Encycl Quality Life Well-Being Res. , 6229-6235 (2023).</li>
<li>SMART-DREAM: To Condition or Not to Condition A Study on the Impact of LLM Conditioning on Motivational Interview Dialog Virtual Agent. Galland, L., Pelachaud, C., Pecune, F. Proc ACM Int Conf Intelligent Virtual Agents, , 1-9 (2025).</li>
<li>Can Virtual Human Build Rapport and Promote Learning. Wang, N., Gratch, J. Proc 2009 Conf Artif Intelligence Educat, , 737-739 (2009).</li>
<li>Eeckhout, C., Francaux, M., Heeren, A., Philippot, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mesure+de+la+balance+d%C3%A9cisionnelle+en+vue+de+pratiquer+une+activit%C3%A9+physique+r%C3%A9guli%C3%A8re+%28BDAP%29+%3A+adaptation+et+validation+francophone+de+l%27%C3%A9chelle+Decisional+Balance+for+Exercise%5BTitle%5D)+AND+%22Eur+Rev+Appl+Psychol%22%5BJournal%5D)">Mesure de la balance décisionnelle en vue de pratiquer une activité physique régulière (BDAP) : adaptation et validation francophone de l'échelle Decisional Balance for Exercise.</a> Eur Rev Appl Psychol. 63 (3), 185-191 (2013).</li>
<li>Carey, K. B., Maisto, S. A., Carey, M. P., Purnine, D. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Measuring+Readiness-to-Change+Substance+Misuse+Among+Psychiatric+Outpatients+I.+Reliability+and+Validity+of+Self-Report+Measures%5BTitle%5D)+AND+%22J+Studies+Alcohol%22%5BJournal%5D)">Measuring Readiness-to-Change Substance Misuse Among Psychiatric Outpatients I. Reliability and Validity of Self-Report Measures.</a> J Studies Alcohol. 62 (1), 79-88 (2001).</li>
<li>Skantze, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Turn-taking+in+Conversational+Systems+and+Human-Robot+Interaction%3A+A+Review%5BTitle%5D)+AND+%22Comp+Speech+Lang%22%5BJournal%5D)">Turn-taking in Conversational Systems and Human-Robot Interaction: A Review.</a> Comp Speech Lang. 67, 101178(2021).</li>
<li>Cross, R., Greaves, C., Withall, J., Kritz, M., Stathi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+qualitative+longitudinal+study+of+motivation+in+the+REtirement+in+ACTion+%28REACT%29+physical+activity+intervention+for+older+adults+with+mobility+limitations%5BTitle%5D)+AND+%22Int+J+Behav+Nutrit+Phys+Activity%22%5BJournal%5D)">A qualitative longitudinal study of motivation in the REtirement in ACTion (REACT) physical activity intervention for older adults with mobility limitations.</a> Int J Behav Nutrit Phys Activity. 20 (1), 50(2023).</li>
</ol>

作者无任何利益冲突需要披露。

本文介绍了一种在受控且可重复的交互框架内，实施个性化动机性访谈干预并测试个体行为生成模块的实验方案。该方法基于 Greta 2.0 平台的模块化架构，能够控制智能体行为所涉及的各个组件，使研究人员可轻松开启或关闭特定模块。这种灵活性使 Greta 2.0 非常适用于在人机多模态交互中进行实验性操控以及对新功能进行有针对性的评估。本方案可用于两个目的：测试 Greta 平台中新模块的有效性（例如，生成自动手势的模块），或提供质量达到治疗阈值以上的个性化动机性访谈。如实验结果所示，采用这些适应性模型可增强用户对智能体的感知体验及其行为改变的动机水平。
该平台的一个关键应用是在人类专家会话间隙期间提供动机性访谈（MI）的对话支持，特别是在缺乏经过MI培训人员的环境中。该平台支持非专家监督，从而提高了MI干预的可及性。同时，它还为系统性测试新的行为模块（如全身姿态生成、注视行为和轮流发言策略）提供了研究环境。由于该平台采用预先验证的对话结构以及集成的表情生成模块（DREAM和MODIFF-8），无需从零开始设计和验证新的交互内容，避免了这一耗时过程对实验结果有效性的影响。
<p c...

动机性访谈（MI）是一种协作式的治疗方法，旨在促进行为改变。在MI会话期间，MI实践者帮助患者阐明并增强其改变的动机1。为此，他们采用对话策略（如反映性倾听或提问），并辅以非语言行为（如微笑或特定的头部和身体姿势）来加强沟通效果。
近年来，心理健康问题的发生频率不断上升，心理健康服务的需求与可用资源之间出现了差距2。这导致患者在获得治疗前需要等待更长时间2,3。为缓解这一问题，一种提出的解决方案是使用能够为候诊患者模拟动机性访谈（MI）的虚拟代理。通过提供即时支持和干预，这些虚拟代理有助于减轻等待期带来的影响，特别是在需要多次会话的治疗情境中4。多项研究已证明此类代理或聊天机器人具有有效性5,6,7,8,9，其目标并非取代MI专家，而是作为治疗过程中的补充工具。例如，它们可在治疗会话之间提供MI干预。
尽管以往的动机性访谈（MI）代理通常表现出有限的适应性行为，但MI本质上是一种合作且具有适应性的沟通方式。因此，开发能够根据情境调整其对话的代理，可显著提高治疗的有效性10。在MI会话过程中，治疗师会根据患者的反应、动机水平或参与程度11,12，以及其个体特征13，动态调整其言语（对话策略）和非言语行为。根据患者动机水平的不同，治疗师将相应地调整其干预方式。因此，个性化与适应性对于开发高效的MI虚拟代理至关重要。
Greta 2.0 平台14 是一个支持实时交互的模块化虚拟代理框架。该平台最近已得到扩展，能够实现在交互过程中动态适应生成式人工智能模型的能力。
该平台包含一个名为 MODIFF-8 的模型15，可生成实时面部表情，并动态适应用户自身的面部表情。该基于扩散的模型在动机性访谈（MI）情境下收集的多模态数据上进行训练，即AnnoMI语料库，该语料库由治疗师与来访者之间的咨询会话视频组成，视频采集自YouTube和Viméo等流媒体平台，并以对话行为进行标注（一种话语分类，用于表示所执行的行为，例如提问、问候）&#8230;）以及动作单元（人类面部表情的分类体系）。这些数据不仅基于用户当前的面部表情，还结合了交互过程中识别出的、与动机性访谈相关的对话行为，进而调控生成内容，这些对话行为关联到所采用的会话策略。其中包括与动机性访谈相关的用户对话行为，例如改变意图表达（change talk），以及虚拟代理自身的对话行为，例如反映或提供信息。通过实时整合这些多模态信号，系统使虚拟代理能够表现出符合社会情境和对话语境的面部表情。通过使其非言语行为（NVB）与交互情境相协调，该虚拟代理旨在促进社会亲和关系的建立，并在整个访谈过程中支持个体内在动机的激发15.
此外，该平台集成了一个专为动机性访谈（MI）设计的对话系统，称为 DREAM16。DREAM 包含一个对话管理器，能够根据当前对话状态和用户画像来选择代理的下一个对话行为。事实上，我们对 AnnoMI 语料库的分析揭示了三种 MI 患者画像：愿意改变型（当患者有改变动机并寻求支持时）、接受型（当患者尚未考虑改变时）和抗拒型（当患者无意改变时）13。在与虚拟代理互动之前，用户会根据其对决策平衡量表（DBS）问卷的回答被分配到上述三种画像之一17。该对话系统结合了一个大型语言模型（LLM），用于生成代理的言语输出，对应于对话管理器所选定的对话行为。这一组件实现了对话的上下文适应性，相较于更僵化的基于规则的方法有所改进6。尽管近期研究已探索使用 LLM 生成符合 MI 原则的对话，但这些研究未考虑用户画像18,19。相比之下，本模块能够动态适应用户的画像，从而在建立融洽关系方面优于这些基线系统。
将这些模型集成到 Greta 2.0 平台中，实现了动态的动机性访谈（MI）干预。其模块化实现方式允许独立评估每个模型的影响。本文介绍了用于开展实验的方法，以评估 MODIFF-8 和 DREAM 模型对平台所提供 MI 对话的贡献。该方法也可用于在 MI 实践者会话间隙提供个性化的 MI 干预。该方法需要配备 16 GB GPU 的 Windows 计算机，并安装开源软件。通过使用该方法，我们证明了所提出的适应性模型能够提升用户对 MI 传递代理感知质量的评价，并增强医患关系的建立。我们还观察到，当代理在言语和非言语层面以及会话策略层面采用适应性行为时，患者改变自身行为的动机有所增强。本文呈现的结果表明，针对每位患者个性化定制代理的 MI 干预具有积极影响。
为支持本系统的设计，我们进行了深入的文献综述，以探讨营养指导的理论与实践基础，包括动机性访谈、行为改变模型以及用户类型学。该综述促成了一个定性知识库的建立，该知识库围绕两个关键维度的交叉点进行组织：1）用户根据跨理论模型19所处的改变准备阶段，该模型确定了5个阶段：前意向阶段、意向阶段、准备阶段、行动阶段和维持阶段；2）基于饮食及心理相关因素的进食行为特征20。研究识别出三种类型：直觉型进食者（即能够感知自身的饥饿与饱腹信号，保持多样化且以植物性食物为主的饮食，优先选择高质量、通常是有机的食物）、情绪型进食者（即通过频繁摄入甜食或高脂食物来应对压力、孤独或喜悦，事后常感到内疚）以及限制型进食者（即过度关注食物控制，经常计算卡路里，频繁节食并出现体重反复波动，可能伴有进食障碍）。
针对每个阶段与用户特征的组合，提出了相应的情境化对话策略，包括量身定制的 SMART 目标、动机表达方式以及具体的行為建议。其目标是使虚拟代理能够根据用户的 心理准备程度和个人倾向，动态调整其干预方式。这一基础工作确保了交互过程中更高程度的个性化与共情能力，这对于维持用户参与度及实现长期行为改变至关重要。

<table><tbody><tr><td>计算机</td><td>Dell</td><td></td><td>配备 Intel Core i7-14700 处理器和 Nvidia RTX5000 显卡的计算机</td></tr><tr><td>带麦克风的耳机</td><td>Epos</td><td></td><td>带麦克风的耳机</td></tr><tr><td>网络摄像头</td><td>Logitech</td><td></td><td>用于面部表情提取</td></tr><tr><td>网络摄像头2</td><td>Logitech</td><td></td><td>用于视频录制</td></tr></tbody></table>

融合自适应非语言行为与语言模型的实时动机性访谈虚拟代理

Virtual Agent for Real-Time Motivational Interviewing by Integrating Adaptive Nonverbal Behavior and Language Models

对治疗支持日益增长的需求正不断超过现有专业人员的承载能力。一种能够执行动机性访谈（MI）的虚拟代理为帮助患者在与人类治疗师会话的间隔期间实现行为改变目标提供了有前景的解决方案。MI本质上是一种合作且具有适应性的沟通形式。因此，开发一种能够根据情境调整其对话策略的代理，可显著提升治疗效果。在MI会话过程中，人类治疗师会根据患者的反应及其个人特征，调整自身的言语和非言语行为。根据患者动机水平的不同，治疗师将相应地调整其干预方式。因此，个性化与适应性对于开发有效的MI虚拟代理至关重要。本文介绍了一种能够通过实时动态调整言语和非言语行为来开展MI会话的虚拟代理。该系统依托最先进的模型，实现了MI交互功能。该虚拟代理基于Greta 2.0平台构建，其非言语行为通过一种名为MODIFF的扩散模型生成，该模型能够适应用户的面部表情及其行为改变准备度。这些面部表情特征是在一个MI语料库上训练获得，并通过专门的用户研究进行了验证。对话内容由最先进的大语言模型（LLM）生成，并由专为MI设计的对话管理器进行增强，该管理器采用强化学习方法，并经过用户测试验证。此外，该对话管理器能够适应不同用户特征。最终构建的平台为开源系统，支持生成实时、多模态的MI对话，为数字化辅助的治疗性交互提供了新工具。

在本方案中，我们采用针对拟测量行为调整的问卷，收集了交互文本记录和用户反馈。我们比较了使用模型与不使用模型时的交互结果。
使用该方案评估 MODIFF-8 自适应表情生成的影响 
MODIFF-8 模块旨在通过使虚拟代理生成既符合语境又与用户行为同步的面部表情，从而增强其社交反应能力15。该设计背后的核心假设是，适应性的非语言行为，尤其是与交流内容相协调的面部表情，在动机性访谈（MI）过程中有助于建立融洽关系并促进自我表露19,20,21。
为了评估这种实时自适应能力的影响，我们开展了一项用户研究。通过索邦大学行为实验室的INSEAD招募平台，我们招募了63名参与者（N = 63；年龄18-45岁；男性30名，女性33名）。该研究采用被试间设计，在三个实验...

我们提出一个开源的虚拟代理平台，用于开展实时动机性访谈，该平台结合了先进的语言模型和扩散模型，能够根据用户的行为和特征进行自适应调整。通过使用Greta 2.0平台，该系统支持多种主题，包括以营养和运动为重点的干预措施，为增强数字化治疗互动提供了一种灵活且经过验证的工具。

治疗支持的需求不断增长，已逐渐超出现有专业人员的服务能力。一种能够执行……的虚拟代理

我们的研究探讨多模态交互，重点在于调整虚拟代理在交互过程中的言语和非言语行为，例如面部表情。近年来，机器学习特别是大语言模型的分析进展，使得人机交互更加自然和灵活。首先，为实验准备一台 Windows 计算机。从官方分发渠道安装 Java SE 开发工具包 8。然后安装 Visual Studio 2013 的 Visual C++ 可再发行组件。通过在线申请门户申请 CereProc 许可证。从提供的代码仓库安装 OpenFace。准备一个网络摄像头用于视频采集。接着，从指定的代码仓库下载 Greta 软件版本。按照提供的说明，使用 NetBeans 编译软件。从在线控制台获取 Mistral 应用编程接口密钥。创建文件，然后将应用编程接口密钥粘贴到所创建的文件中。现在，从在线控制台获取一个 Deepgram 应用编程接口密钥。创建文件路径，并将应用编程接口密钥粘贴到所创建的文件中。对于 MoDiff 模型的导入，首先从提供的源下载 MoDiff 模型权重。将下载的文件放入 MoDiff 数据文件夹中。然后启动 Modular JAR，依次点击 File（文件）、Open（打开）、Greta（格蕾塔）、Advanced（高级），并选择 20250128 Greta Expe Lucie_full.xml。确保显示的配置与预期设置一致。现在启动 OpenFace 离线 ZeroMQ 程序。在“Record”选项卡中，除“通过 ZeroMQ 广播”外，取消勾选所有其他选项。在“文件”选项卡中，点击“打开网络摄像头”。授权使用可用的网络摄像头进行实时特征提取。选择要使用的网络摄像头。等待网络摄像头加载完成，实时特征提取将自动开始。接着，在 OpenFace2 输出流读取器中，单击“连接”。等待可用特征列表加载完成。单击“全选”，然后设置以验证所选特征。在 MoDiff 下，单击“启动”并等待连接确认消息。然后按“连接”以激活 MoDiff 与数据接收器之间的连接。在“筛选器”中，单击“执行”以允许生成数据的运行。在 MoDiff 窗口中，单击“启用”。等待 90 秒，直至模型稳定。要启动 ASR，请在 Dee gram 窗口中点击“Enable”。然后选择条件 RL 以使用 dream，或选择 baseline 以使用普通的大型语言模型。在 MI Counselor RL 窗口中，点击“Enable”。等待模型启动30秒。将一台大型显示器放在桌面上，并在显示器前方放置一把椅子。将网络摄像头置于显示器顶部，使其面向椅子。将一个指向性麦克风放在椅子前方的桌面上。让受试者使用五级李克特量表完成决策平衡量表（Decision Balance Scale，DBS）问卷。然后要求受试者对着麦克风讲话。首先，确定参与者特征并评估其 DBS 评分。根据评分将参与者分类为抗拒型、犹豫型或开放型。在 MI 咨询师 RL 窗口中，选择参与者选定的讨论主题。单击“开始”以允许智能体与参与者启动对话。在 MI Counselor 窗口中监控回答部分是否存在有害输出。在 Deepgram 窗口中，待智能体完成发言后，单击“收听”。如果语音未被识别，请将参与者的言语输入请求字段，然后点击发送。等待参与者的回答。请参与者完成干预后的问卷调查。然后使用准备好的发言对参与者进行事后说明。与具有自适应面部表情的智能体进行互动的用户，在其陈述中表现出比其他行为条件下的用户更积极的情感。在评估态度、社会融洽度和动机性访谈质量的主观问卷评分中，三种表情条件之间未观察到显著差异。面部表情不匹配的条件（即人际反应一致性不再被遵守时）在主观测量的各项指标中，普遍评分低于无表情条件（即代理对象不显示任何表情）和适应性条件（即代理对象的表情由本研究模型驱动）。感知到的态度对感知到的访谈质量具有显著的直接影响。感知到的态度与动机性访谈质量之间的关系，有43%的部分通过社会融洽关系的中介作用得以解释。与自适应梦境对话管理器互动的参与者报告的融洽关系显著高于与普通大语言模型基线互动的参与者。在使用决策平衡量表测量的动机得分方面，梦境对话管理器在适应不同参与者特征方面优于基线模型。基线条件和梦境条件均产生的动机性访谈客户评估得分高于治疗阈值。我们的研究结果表明，调整语言和非语言行为显著提高了智能体的有效性，并改善了人们对社交交互智能体的感知。我们的平台能够评估其他自适应组件，例如手势生成及其他对话主题的表达。未来的研究将聚焦于长期交互以及跨多个对话会话的持续自适应。

virtual-agent-for-real-time-motivational-interviewing-integrating

Research

科研

JoVE Journal

Behavior

行为

通过整合自适应非语言行为和语言模型实现实时动机访谈的虚拟代理

本研究采用事件相关电位（ERPs）探讨代理类型（人类/人工智能）和语言风格（幽默/理性）如何影响网约车服务补救满意度，旨在揭示其神经认知机制。...

幽默还是理性？代理人类型与语言风格影响网约车服务失败补救满意度的神经机制

本文介绍了可用于研究与身体相关的自我感知/自我表征的虚拟手和虚拟脸错觉范式。这些范式已在多项研究中被使用，证明在特定条件下，虚拟的手或脸可以被整合进个体的身体表征中，表明身体表征具有相当的灵活性。...

创建虚拟手部和虚拟面部错觉以研究自我表征

视觉世界范式通过监测参与者在倾听或说出口语时其在视觉工作区中的眼动，来研究心理语言学中的多种在线加工问题，包括诸如析取语句等语义复杂的陈述。...

利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

本文介绍了一种用于开发脑卒中功能评估计算机自适应测试系统（CAT-FAS）的实验方案。CAT-FAS...

脑卒中功能评估的计算机自适应测试系统

利用新型的 FishSim 动画工具链，我们提出了一种在帆鳍花鳉求偶选择模仿行为研究中非侵入性地视觉操控公共信息的实验方案。FishSim...

使用 FishSim 动画工具链研究鱼类行为：以帆鳍花鳉中配偶选择模仿为例

本文介绍了一种将阅读理解能力的方差分解为语言能力和解码能力各自独特作用及共同作用的实验方案。...

分解阅读理解中的方差以揭示语言与解码能力的独特及共同效应

本文描述了一种用于分析动态在线社交互动（在线情境下）的新方法，并以一项针对戒除酒精和药物成瘾的在线康复社区的研究为例进行了说明。...

整合计算机化语言分析与社会网络分析以捕捉在线社区中的成瘾康复资本

我们提出一种实验方案，通过对语义异常句子进行多次重复以增强受试者的预期，从而分离整合难度与意外性这两个相互交织的因素。这种分离有助于探究语言研究中诱发事件相关电位（ERP）效应（如N400）的主要成因。...

事件相关电位研究中分离异常句子中期望效应与整合难度的混杂影响

采用偏好注视范式的眼动追踪研究可用于探究婴儿对外部视觉世界的初步认知及其注意力发展。...

使用眼动追踪与偏好注视范式探究婴儿对视觉语言的敏感性

本文描述了实时脑电图触发的经颅磁刺激技术，用于研究和调控人类大脑网络。...

基于脑状态的脑刺激：实时脑电图触发的经颅磁刺激

探索Greta 2.0虚拟代理平台，利用大语言模型和扩散模型实现自适应语言与非语言行为，用于实时动机访谈。该平台可提升数字治疗中的用户参与度和治疗质量。

融合自适应非语言行为与语言模型的实时动机性访谈虚拟代理

探索更多视频