融合自适应非语言行为与语言模型的实时动机性访谈虚拟代理
2025年12月23日
我们提出一个开源的虚拟代理平台，用于开展实时动机性访谈，该平台结合了先进的语言模型和扩散模型，能够根据用户的行为和特征进行自适应调整。通过使用Greta 2.0平台，该系统支持多种主题，包括以营养和运动为重点的干预措施，为增强数字化治疗互动提供了一种灵活且经过验证的工具。
我们的研究探讨多模态交互，重点在于调整虚拟代理在交互过程中的言语和非言语行为，例如面部表情。近年来，机器学习特别是大语言模型的分析进展，使得人机交互更加自然和灵活。首先，为实验准备一台 Windows 计算机。
从官方分发渠道安装 Java SE 开发工具包 8。然后安装 Visual Studio 2013 的 Visual C++ 可再发行组件。通过在线申请门户申请 CereProc 许可证。
从提供的代码仓库安装 OpenFace。准备一个网络摄像头用于视频采集。接着，从指定的代码仓库下载 Greta 软件版本。
按照提供的说明，使用 NetBeans 编译软件。从在线控制台获取 Mistral 应用编程接口密钥。创建文件，然后将应用编程接口密钥粘贴到所创建的文件中。
现在，从在线控制台获取一个 Deepgram 应用编程接口密钥。创建文件路径，并将应用编程接口密钥粘贴到所创建的文件中。对于 MoDiff 模型的导入，首先从提供的源下载 MoDiff 模型权重。
将下载的文件放入 MoDiff 数据文件夹中。然后启动 Modular JAR，依次点击 File（文件）、Open（打开）、Greta（格蕾塔）、Advanced（高级），并选择 20250128 Greta Expe Lucie_full.xml。
确保显示的配置与预期设置一致。现在启动 OpenFace 离线 ZeroMQ 程序。在“Record”选项卡中，除“通过 ZeroMQ 广播”外，取消勾选所有其他选项。
在“文件”选项卡中，点击“打开网络摄像头”。授权使用可用的网络摄像头进行实时特征提取。选择要使用的网络摄像头。
等待网络摄像头加载完成，实时特征提取将自动开始。接着，在 OpenFace2 输出流读取器中，单击“连接”。等待可用特征列表加载完成。
单击“全选”，然后设置以验证所选特征。在 MoDiff 下，单击“启动”并等待连接确认消息。然后按“连接”以激活 MoDiff 与数据接收器之间的连接。
在“筛选器”中，单击“执行”以允许生成数据的运行。在 MoDiff 窗口中，单击“启用”。等待 90 秒，直至模型稳定。
要启动 ASR，请在 Dee gram 窗口中点击“Enable”。然后选择条件 RL 以使用 dream，或选择 baseline 以使用普通的大型语言模型。在 MI Counselor RL 窗口中，点击“Enable”。
等待模型启动30秒。将一台大型显示器放在桌面上，并在显示器前方放置一把椅子。将网络摄像头置于显示器顶部，使其面向椅子。
将一个指向性麦克风放在椅子前方的桌面上。让受试者使用五级李克特量表完成决策平衡量表（Decision Balance Scale，DBS）问卷。然后要求受试者对着麦克风讲话。
首先，确定参与者特征并评估其 DBS 评分。根据评分将参与者分类为抗拒型、犹豫型或开放型。在 MI 咨询师 RL 窗口中，选择参与者选定的讨论主题。
单击“开始”以允许智能体与参与者启动对话。在 MI Counselor 窗口中监控回答部分是否存在有害输出。在 Deepgram 窗口中，待智能体完成发言后，单击“收听”。
如果语音未被识别，请将参与者的言语输入请求字段，然后点击发送。等待参与者的回答。请参与者完成干预后的问卷调查。
然后使用准备好的发言对参与者进行事后说明。与具有自适应面部表情的智能体进行互动的用户，在其陈述中表现出比其他行为条件下的用户更积极的情感。在评估态度、社会融洽度和动机性访谈质量的主观问卷评分中，三种表情条件之间未观察到显著差异。
面部表情不匹配的条件（即人际反应一致性不再被遵守时）在主观测量的各项指标中，普遍评分低于无表情条件（即代理对象不显示任何表情）和适应性条件（即代理对象的表情由本研究模型驱动）。感知到的态度对感知到的访谈质量具有显著的直接影响。感知到的态度与动机性访谈质量之间的关系，有43%的部分通过社会融洽关系的中介作用得以解释。
与自适应梦境对话管理器互动的参与者报告的融洽关系显著高于与普通大语言模型基线互动的参与者。在使用决策平衡量表测量的动机得分方面，梦境对话管理器在适应不同参与者特征方面优于基线模型。基线条件和梦境条件均产生的动机性访谈客户评估得分高于治疗阈值。
我们的研究结果表明，调整语言和非语言行为显著提高了智能体的有效性，并改善了人们对社交交互智能体的感知。我们的平台能够评估其他自适应组件，例如手势生成及其他对话主题的表达。未来的研究将聚焦于长期交互以及跨多个对话会话的持续自适应。
查看完整文字稿并访问数千部科学视频
概述
本研究介绍了一个开源的虚拟代理平台，该平台旨在进行实时动机性访谈，利用先进的语言模型和扩散模型来适应用户行为。该平台Greta 2.0支持多种干预主题，包括营养与运动，可增强数字化治疗互动。
关键研究组成部分
科学领域
- 人机交互
- 动机性访谈
- 数字疗法
背景
- 机器学习的最新进展已改善了人类与虚拟代理之间的自然交互。
- 虚拟代理的适应性行为可增强用户参与度和治疗效果。
- 在动机性访谈情境中，面部表情和言语线索至关重要。
- 该研究探讨了多模态交互在治疗环境中的整合应用。
研究目的
- 评估虚拟代理在实施动机性访谈中的有效性。
- 评估自适应语言和非语言行为对用户体验的影响。
- 探讨参与者特征与代理自适应反应之间的关系。
使用的方法
- 安装虚拟代理设置所需的软件和工具。
- 配置网络摄像头和麦克风以实现实时交互。
- 使用决策平衡量表评估参与者改变的准备程度。
- 通过主观指标分析用户反馈和交互质量。
主要结果
- 与基线模型相比，参与者在与自适应代理互动时报告了更高的亲和感。
- 自适应行为导致用户在自我表露中表现出更积极的情感倾向。
- 在不同表情条件下，主观测量指标未发现显著差异。
- 自适应互动提升了感知的访谈质量和社交亲和度。
结论
- 同时调整语言和非语言行为可显著提升虚拟代理的有效性。
- 未来的研究将聚焦于长期互动及更多自适应组件。
- 该平台提供了一种经过验证的工具，可用于探索多种治疗性对话主题。
常见问题
行业应用价值
利用自适应虚拟代理进行数字化介导的动机性访谈（MI），可应对行为健康干预中可扩展性的挑战，为患者参与提供可复制且标准化的方法。通过实时调整语言和非语言线索，可提高对用户反应的预测置信度，并为数字疗法提供可靠的靶点验证支持。该平台使企业研发团队能够针对不同患者特征评估和优化数字干预策略，推动基于风险调整的投资组合进展。
生物制药研发中的战略应用
早期发现与靶点验证
- 能够在受控且可重复的环境中，系统性地验证数字治疗假设。
- 支持对针对行为改变目标的自适应沟通策略进行功能验证。
- 通过分离语言和非语言自适应对用户参与度的影响，促进机制层面的风险降低。
- 为数字健康干预措施的组合筛选提供定量输出结果。
筛选与检测方法开发
- 为下游行为筛选工作流程准备经过验证的数字化交互系统。
- 标准化动机性访谈（MI）会话的实施过程，确保用户反应的可重复性和定量评估。
- 支持在多个用户画像基础上对自适应代理性能进行可扩展的评估。
- 支持对数字化治疗候选方案进行可靠的基准测试，以推动进一步开发。
转化与临床前研究
- 将数字智能体的输出与经过验证的行为终点对齐，支持转化连续性。
- 基于定量的用户参与度指标，实现数字干预措施的风险调整式推进。
- 为评估数字治疗有效性的转化生物标志物提供平台。
- 在临床部署前，为数字健康解决方案提供预测性风险降低支持。
流程与工作流整合
这种自适应的动机性访谈代理平台适用于数字治疗发现的连续过程，涵盖从早期假设验证到行为干预的临床前验证。
- 发现生物学：支持对适应性沟通策略及其对行为改变准备度影响的假设检验。
- 筛查：提供标准化、可重复的动机性访谈（MI）会话，并生成定量的参与度指标，用于比较分析。
- 分析：提供经过验证的测量指标，如共情度、情感倾向和动机评分，用于不同条件间的评估。
- 转化研究：通过将数字代理输出与已确立的行为终点对齐，弥合发现研究与临床前验证之间的鸿沟。
- 企业级复用：提供一个开源、模块化的平台，可在多样化的研发项目中重复评估数字治疗策略。
运营与企业影响
- 科学价值：提高对数字干预结果的预测可信度，并减少用户与智能体交互中的机制模糊性。
- 操作价值：标准化数字动机性访谈（MI）的递送，确保在不同研究间具有可重复性和可扩展性。
- 战略价值：支持基于数据的数字治疗候选产品推进或终止决策，提升资本使用效率。
- 组合影响：支持在企业研发管线中对数字健康解决方案进行基于风险调整的优先排序和推进。
实施注意事项
- 需要具备机器学习、行为科学和数字健康分析方面的专业知识。
- 需要具备实时视频、音频采集和多模态数据处理的基础设施。
- 要求跨团队对动机性访谈（MI）会话协议和结局指标进行标准化。
- 必须验证在不同用户特征和行为终点间的适应性。
- 实际限制包括需要持续验证自适应模型以及用户参与度指标。
