Agente virtual para entrevistas motivacionales en tiempo real mediante la integración de modelos adaptativos de comportamiento no verbal y lenguaje

Nuestra investigación investiga la interacción multimodal con un enfoque en adaptar el comportamiento verbal y no verbal de un agente virtual, como la expresión facial durante la interacción. Análisis recientes en aprendizaje automático, especialmente en modelos de lenguaje grandes, permiten una interacción humano-ordenador más natural y flexible. Para empezar, prepara un ordenador con Windows para el experimento.

Instala Java SE Development Kit 8 desde la fuente oficial de distribución. Luego instala Visual C+Redistributable para Visual Studio 2013. Solicita una licencia CereProc a través del portal de solicitud en línea.

Instala OpenFace desde el repositorio proporcionado. Consigue una cámara web para grabar vídeo. A continuación, descarga la versión de software de Greta desde el repositorio especificado.

Compila el software usando NetBeans siguiendo las instrucciones proporcionadas. Obtén una clave de interfaz de programación de aplicaciones Mistral desde la consola online. Crea el archivo y luego pega la clave de la interfaz de programación de aplicaciones en el archivo creado.

Ahora, descarga una clave de interfaz de programación de aplicaciones Deepgram desde la consola online. Crea la ruta del archivo y pega la clave de la interfaz de programación de aplicaciones en el archivo creado. Para importar modelos de MoDiff, primero descarga los pesos de los modelos de MoDiff desde la fuente proporcionada.

Coloca el archivo descargado en la carpeta de datos de MoDiff. Próximo lanzamiento: Modular JAR. Haz clic en Archivo, Abrir, Greta, Avanzado y elige 20250128 Greta Expe Lucie_full.xml.

Asegúrate de que la configuración mostrada coincida con la configuración esperada. Ahora inicia el programa ZeroMQ offline de OpenFace. En la pestaña Grabar, desmarca todas las opciones excepto broadcast con ZeroMQ.

En la pestaña Archivo, haz clic en Abrir Webcam. Autoriza la extracción de funciones en directo usando la cámara web disponible. Selecciona la cámara web que vas a usar.

Espera a que la webcam esté cargada y la extracción de funciones en directo comience automáticamente. A continuación, en el lector de flujo de salida OpenFace2, haz clic en Conectar. Espera a que aparezca la lista de funciones disponibles.

Haz clic en Seleccionar Todo y luego configura para validar las características seleccionadas. En MoDiff, haz clic en Iniciar y espera el mensaje de confirmación de conexión. Luego pulsa Connect para activar la conexión entre MoDiff y el receptor de datos.

En Filtrar, haz clic en Ejecutar para permitir la ejecución de los datos generados. En la ventana de MoDiff, haz clic en Activar. Espera 90 segundos a que el modelo se estabilice.

Para lanzar ASR, en la ventana de Dee gramos, pulse Activar. Luego selecciona la condición RL para usar sueño o línea base para usar un modelo de lenguaje grande y sencillo. En la ventana de RL del Consejero MI, haz clic en Activar.

Espera 30 segundos a que empiece el modelo. Coloca un monitor grande sobre la mesa con una silla delante. Coloca una webcam encima del monitor mirando hacia la silla.

Coloca un micrófono direccional sobre la mesa delante de la silla. Haz que el participante complete la Escala de Balance de Decisión o cuestionario DBS utilizando una escala Likert de cinco pasos. Luego pide al participante que hable al micrófono.

Para empezar, identifica el perfil del participante y evalúa la puntuación DBS. Clasifica al participante como resistente, vacilante o propenso al cambio según la puntuación. En la ventana de Consejero MI RL, elige el tema de discusión elegido por el participante.

Haz clic en Iniciar para permitir que el agente inicie la conversación con el participante. Vigila la sección de respuestas de la ventana del Asesor MI para detectar resultados perjudiciales. En la ventana de Deepgram, haz clic en Escuchar después de que el agente termine su turno.

Si no se reconoce el habla, introduce el discurso del participante en el campo de solicitud y haz clic en Enviar. Espera la respuesta del participante. Pide al participante que complete los cuestionarios posteriores a la intervención.

Luego informa al participante usando el discurso preparado. Los usuarios que interactuaban con el agente mediante expresiones faciales adaptativas expresaban más sentimentalismo positivo en su revelación que los usuarios en otras condiciones de comportamiento. No se observaron diferencias significativas entre las tres condiciones de expresión en las puntuaciones subjetivas de cuestionarios que evaluaron la actitud, la relación social y la calidad de la entrevista motivacional.

La condición de expresión facial desajustada, es decir, cuando la contingencia interpersonal ya no se respeta, generalmente se valoraba por debajo tanto de la inexpresiva, es decir, cuando el agente no muestra expresión, como de la adaptativa, es decir, la expresión del agente está impulsada por nuestras condiciones modelo a través de medidas subjetivas. La actitud percibida tuvo un fuerte efecto directo en la calidad percibida de las entrevistas. La relación entre la actitud percibida y la calidad de la entrevista motivacional estuvo parcialmente mediada por la relación social, que representa el 43% del efecto.

Los participantes que interactuaron con el gestor adaptativo de diálogo de sueños reportaron una relación significativamente mayor que aquellos que interactuaron con la línea base del modelo de lenguaje grande y simple. El gestor de diálogo de sueños mostró una mejor adaptación a diferentes perfiles de participantes que el modelo base en las puntuaciones de motivación medidas por la Escala de Equilibrio Decisional. Tanto la condición de referencia como la de sueño produjeron la evaluación por parte del cliente de puntuaciones en entrevistas motivacionales por encima del umbral terapéutico.

Nuestro hallazgo muestra que adaptar el comportamiento verbal y no verbal mejoró significativamente la eficacia del agente y mejoró la percepción de los agentes interactivos sociales. Nuestra plataforma permite la evaluación de otros componentes adaptativos, como la generación de gestos y la expresión de otros temas de diálogo. La investigación futura se centrará en la interacción a largo plazo y la adaptación continua a lo largo de múltiples sesiones de diálogo.