Agente virtuale per l'intervista motivazionale in tempo reale integrando modelli adattivi di comportamento non verbale e di linguaggio

La nostra ricerca indaga l'interazione multimodale con un focus sull'adattamento del comportamento verbale e non verbale di un agente virtuale, come l'espressione facciale durante l'interazione. Analisi recenti nel machine learning, in particolare nei grandi modelli linguistici, permettono un'interazione uomo-computer più naturale e flessibile. Per cominciare, prepara un computer Windows per l'esperimento.

Installa Java SE Development Kit 8 dalla fonte di distribuzione ufficiale. Poi installa il Visual C+Redistributable per Visual Studio 2013. Richiedi una licenza CereProc tramite il portale online delle domande.

Installa OpenFace dal repository fornito. Procurati una webcam per la cattura video. Successivamente, scarica la versione software di Greta dal repository specificato.

Compila il software utilizzando NetBeans seguendo le istruzioni fornite. Ottieni una chiave di interfaccia di programmazione Mistral dalla console online. Crea il file, poi incolla la chiave dell'interfaccia di programmazione applicativa nel file creato.

Ora, scarica una chiave di interfaccia di programmazione Deepgram dalla console online. Crea il percorso del file e incolla la chiave dell'interfaccia di programmazione applicativa nel file creato. Per l'importazione dei modelli MoDiff, scarica prima i pesi dei modelli MoDiff dalla fonte fornita.

Metti il file scaricato nella cartella dati MoDiff. Prossimo lancio: Modular JAR. Clicca su File, Apri, Greta, Avanzato e scegli 20250128 Greta Expe Lucie_full.xml.

Assicurati che la configurazione visualizzata corrisponda a quella prevista. Ora avvia il programma offline ZeroMQ di OpenFace. Nella scheda Record, deseleziona tutte le opzioni tranne broadcast con ZeroMQ.

Nella scheda File, clicca su Apri Webcam. Autorizza l'estrazione live delle funzionalità utilizzando la webcam disponibile. Seleziona la webcam da usare.

Aspetta che la webcam sia caricata e l'estrazione delle funzionalità in tempo reale inizi automaticamente. Successivamente, nel lettore di flusso di output OpenFace2, clicca su Connetti. Aspetta che la lista delle funzionalità disponibili venga popolata.

Clicca su Seleziona Tutti e poi imposta la validazione delle caratteristiche selezionate. Sotto MoDiff, clicca su Avvio e attendi il messaggio di conferma della connessione. Poi premi Connect per attivare la connessione tra MoDiff e il ricevitore dati.

Sotto Filtro, clicca su Esegui per consentire l'esecuzione dei dati generati. Nella finestra di MoDiff, clicca su Abilita. Aspetta 90 secondi che il modello si stabilizzi.

Per avviare ASR, nella finestra Dee gram, premi Attiva. Poi seleziona la condizione RL per usare sogno o baseline per usare un modello di linguaggio di grandi dimensioni semplici. Nella finestra RL del Consulente MI, clicca su Abilita.

Aspetta 30 secondi che il modello inizi. Metti un grande monitor sul tavolo con una sedia davanti. Posiziona una webcam sopra il monitor rivolto verso la sedia.

Metti un microfono direzionale sul tavolo davanti alla sedia. Fai compilare al partecipante il questionario Decision Balance Scale o DBS utilizzando una scala Likert in cinque fasi. Poi chiedi al partecipante di parlare al microfono.

Per cominciare, identifica il profilo del partecipante e valuta il punteggio DBS. Classifica il partecipante come resistente, esitante o soggetto al cambiamento in base al punteggio. Nella finestra RL del Consulente MI, scegli il tema di discussione scelto dal partecipante.

Clicca Start per permettere all'agente di avviare la discussione con il partecipante. Monitora la sezione risposte della finestra del Consulente MI per eventuali risultati dannosi. Nella finestra di Deepgram, clicca su Ascolta dopo che l'agente ha terminato il suo turno.

Se il discorso non viene riconosciuto, inserisci il discorso del partecipante nel campo richiesta e clicca su Invia. Aspetta la risposta del partecipante. Chiedi al partecipante di compilare i questionari post-intervento.

Poi debriefa il partecipante usando il discorso preparato. Gli utenti che interagiscono con l'agente tramite espressioni facciali adattive hanno espresso una sentimentalità positiva maggiore nella loro rivelazione rispetto agli utenti nelle altre condizioni comportamentali. Non sono state osservate differenze significative tra le tre condizioni di espressione nei punteggi soggettivi dei questionari che valutano atteggiamento, rapporto sociale e qualità dell'intervista motivazionale.

La condizione di espressione facciale disadatta, cioè quando la contingenza interpersonale non viene più rispettata, era generalmente valutata più bassa sia dell'inespressiva, cioè quando l'agente non mostra espressione, sia dell'adattativa, cioè l'espressione dell'agente è guidata dalle nostre condizioni modello attraverso misure soggettive. L'atteggiamento percepito ha avuto un forte effetto diretto sulla qualità percepita del colloquio. La relazione tra atteggiamento percepito e qualità dell'intervista motivazionale è stata parzialmente mediata dal rapporto sociale, rappresentando il 43% dell'effetto.

I partecipanti che interagiscono con il gestore di dialogo adattiva dei sogni hanno riportato un rapporto significativamente più alto rispetto a quelli che interagiscono con la base del modello linguistico semplice e grande. Il dream dialogue manager ha mostrato una migliore adattabilità a profili diversi dei partecipanti rispetto al modello di base nei punteggi motivazionali misurati dalla Decisional Balance Scale. Sia le condizioni di base che quelle oniriche hanno prodotto la valutazione da parte dei clienti dei punteggi delle interviste motivazionali superiori alla soglia terapeutica.

La nostra scoperta mostra che adattare comportamenti verbali e non verbali ha migliorato significativamente l'efficacia dell'agente e la percezione degli agenti sociali interattivi. La nostra piattaforma consente la valutazione di altri componenti adattivi, come la generazione dei gesti e l'espressione di altri argomenti di dialogo. Le ricerche future si concentreranno sull'interazione a lungo termine e sull'adattamento continuo attraverso più sessioni di dialogo.