適応的非言語行動と言語モデルを統合したリアルタイム動機付け面接のためのバーチャルエージェント
2025年12月23日
私たちは、最先端の言語と拡散モデルを組み合わせ、ユーザーの行動やプロフィールに適応するオープンソースのバーチャルエージェントプラットフォームを提示し、リアルタイムのモチベーショナルインタビューを行います。Greta 2.0プラットフォームを活用し、栄養やスポーツに焦点を当てた介入など多様なトピックをサポートし、デジタル治療的相互作用を強化するための柔軟で検証済みのツールを提供します。
本研究は、バーチャルエージェントの言語的および非言語的行動、例えば相互作用中の表情の適応に焦点を当てたマルチモーダル相互作用を調査しています。特に大規模言語モデルを中心とした機械学習の最近の解析は、より自然で柔軟な人間とコンピュータの相互作用を可能にします。まずは、実験のためにWindowsコンピュータを準備します。
公式ディストリビューションソースからJava SE Development Kit 8をインストールしてください。次にVisual Studio 2013用のVisual C+Redistributableをインストールしてください。オンライン申請ポータルからCereProcのライセンスを申請してください。
提供されたリポジトリからOpenFaceをインストールしてください。ビデオ撮影用のウェブカメラを用意しましょう。次に、指定されたリポジトリからGretaソフトウェアのリリースをダウンロードします。
NetBeansを使って提供された手順に従ってソフトウェアをコンパイルしてください。オンラインコンソールからMistralアプリケーションプログラミングインターフェースキーを取得してください。ファイルを作成し、アプリケーションプログラミングインターフェースキーを作成したファイルに貼り付けます。
さて、オンラインコンソールからDeepgramのアプリケーションプログラミングインターフェースキーを取得しましょう。ファイルパスを作成し、アプリケーションプログラミングインターフェースキーを作成したファイルに貼り付けます。MoDiffモデルのインポートには、まず提供されたソースからMoDiffモデルの重みをダウンロードしてください。
ダウンロードしたファイルをMoDiffのデータフォルダに入れます。次はModular JARをリリースします。ファイルをクリックし、開く、Greta、Advanced、そしてGreta Expe Lucie_full.xml 20250128を選択します。
表示される設定が予想されるセットアップと一致していることを確認してください。では、OpenFaceのオフラインZeroMQプログラムを開始してください。レコードタブで、ZeroMQでのブロードキャスト以外のすべてのオプションをオフにしてください。
「ファイル」タブで「ウェブカメラを開く」をクリックしてください。利用可能なウェブカメラを使ってライブの特徴抽出を許可してください。使用するウェブカメラを選択します。
ウェブカメラが読み込まれてライブフィーチャー抽出が自動的に始まるまで待ちましょう。次に、OpenFace2の出力ストリームリーダーで「接続」をクリックします。利用可能な機能リストが表示されるのを待ちましょう。
「すべて選択」をクリックし、選択した機能を検証する設定をしてください。MoDiffで「起動」をクリックし、接続確認メッセージを待ちます。次に「接続」を押してMoDiffとデータ受信機の接続を有効にします。
フィルターの下で「実行」をクリックして生成データの実行を許可します。MoDiffウィンドウで「Enable」をクリックします。モデルが安定するまで90秒待ちます。
ASRを起動するには、Deeグラムウィンドウで「Enable」を押してください。次に、dreamを使う条件をRLまたは単純な大規模言語モデルに条件を選びます。MIカウンセラーRLウィンドウで「有効化」をクリックしてください。
モデルが始まるまで30秒待ちます。大きなモニターをテーブルの上に置き、前に椅子を置きます。モニターの上に椅子の方を向くウェブカメラを設置します。
椅子の前のテーブルに指向性マイクを置いてください。参加者に意思決定バランススケール(DBS)アンケートに5段階リッカートスケールを用いて回答させます。次に、参加者にマイクに向かって話すよう促します。
まず、参加者のプロフィールを特定し、DBSスコアを評価します。スコアに基づいて参加者を抵抗、ためらい、または変化に寛容なと分類します。MIカウンセラーRLのウィンドウで、参加者が選んだディスカッションテーマを選びます。
「スタート」をクリックして、エージェントが参加者とのディスカッションを開始できるようにします。MIカウンセラーの回答欄で有害な内容がないか監視してください。ディープグラムのウィンドウで、エージェントのターンが終わった後に「聞く」をクリックしてください。
発言が認識されない場合は、参加者の発言をリクエスト欄に入力し、「送信」をクリックします。参加者の答えを待ちましょう。参加者に介入後のアンケートに記入してもらいます。
その後、用意したスピーチを使って参加者にブリーフィングを行います。適応型表情でエージェントと交流したユーザーは、他の行動条件の利用者よりも、開示においてより肯定的な感傷性を示しました。態度、社会的信頼関係、動機付け面接の質を評価する主観的質問票スコアにおいて、3つの表現条件間で有意な差は認められませんでした。
対人関係性が尊重されなくなるミスマッチした表情条件は、一般的に表現が乏しいもの(エージェントが表情を示さない状態)と適応的(主観的指標を横断してモデル条件に左右される表現)よりも低く評価されました。態度の認識は面接の質に強い直接的な影響を与えました。態度の認識と動機付け面接の質の関係は、社会的信頼関係によって部分的に媒介され、効果の43%を占めました。
適応型夢対話マネージャーと交流した参加者は、単純な大規模言語モデルのベースラインと交流した参加者よりも有意に高い信頼関係を示しました。夢対話マネージャーは、意思決定バランススケールで測定された動機スコアにおいて、ベースラインモデルよりも参加者プロファイルの違いにより良い適応を示しました。ベースラインおよび夢の状態の両方で、動機付け面接スコアのクライアント評価が治療閾値を超えました。
私たちの発見は、言語的および非言語的行動を適応させることでエージェントの効果が大幅に向上し、社会的インタラクティブエージェントの知覚も改善されたことを示しています。私たちのプラットフォームは、ジェスチャー生成や他の対話トピックの表現など、他の適応要素の評価を可能にします。今後の研究は、複数の対話セッションにおける長期的な相互作用と継続的な適応に焦点を当てる予定です。
完全なトランスクリプトを表示し、数千本の科学動画にアクセス
概要
本研究では、高度な言語モデルと拡散モデルを利用してユーザーの行動に適応し、リアルタイムで動機づけ面接を行うために設計されたオープンソースの仮想エージェントプラットフォームを提示します。このプラットフォーム「Greta 2.0」は、栄養やスポーツを含むさまざまな介入トピックをサポートし、デジタル治療における相互作用を向上させます。
研究の主要構成要素
科学分野
- ヒューマンコンピュータインタラクション
- 動機づけ面接
- デジタル治療
背景
- 機械学習の最近の進展により、人間と仮想エージェントとの間の自然な相互作用が向上しています。
- 仮想エージェントにおける適応的行動は、ユーザーのエンゲージメントと治療成果を高める可能性があります。
- 動機づけ面接の場面において、表情や言語的キューは極めて重要です。
- 本研究では、治療的文脈におけるマルチモーダル相互作用の統合について検討します。
研究の目的
- 動機づけ面接を実施する上でのバーチャルエージェントの有効性を評価すること。
- 適応的な言語的および非言語的行動がユーザーエクスペリエンスに与える影響を評価すること。
- 参加者のプロファイルとエージェントの適応的応答との関係を調査すること。
使用された手法
- バーチャルエージェントのセットアップに必要なソフトウェアおよびツールのインストール。
- リアルタイムインタラクションのためのウェブカメラおよびマイクの実装。
- 参加者の変化への準備性を評価するための意思決定バランススケール（Decision Balance Scale）の使用。
- 主観的尺度を用いたユーザーフィードバックおよびインタラクションの質の分析。
主な結果
- ベースラインモデルと比較して、適応型エージェントとのやり取りにおいて、参加者はより高いラポール（信頼関係）を報告した。
- 適応的な行動により、ユーザーによる自己開示における感情的な傾向がより肯定的になった。
- 異なる表現条件間において、主観的評価に有意な差は見られなかった。
- 適応的なインタラクションにより、知覚されたインタビューの質と社会的ラポールが向上した。
結論
- 言語的および非言語的行動の両方を適応させることで、バーチャルエージェントの効果が大幅に向上します。
- 今後の研究では、長期的な相互作用およびさらなる適応コンポーネントに焦点を当てます。
- 本プラットフォームは、さまざまな治療的な対話トピックを探索するための検証済みツールを提供します。
よくある質問
産業上の重要性
適応型バーチャルエージェントを用いたデジタル媒介型の動機づけ面接（MI）は、行動健康介入におけるスケーラビリティの課題を解決し、患者エンゲージメントに対する再現性と標準性を備えたアプローチを提供します。言語的および非言語的なキューの両方をリアルタイムで適応させることで、ユーザーの反応に対する予測信頼性が向上し、デジタル治療薬における強固な標的バリデーションがサポートされます。本プラットフォームにより、企業の研究開発チームは多様な患者プロファイルにわたってデジタル介入戦略を評価および最適化することが可能となり、リスク調整後のポートフォリオの推進が促進されます。
バイオ医薬品研究開発における戦略的応用
初期創薬およびターゲットバリデーション
- 制御された再現可能な環境において、デジタル治療の仮説を体系的に検証することを可能にします。
- 行動変容ターゲットに対する適応的なコミュニケーション戦略の機能的妥当性を検証します。
- 言語的および非言語的な適応がユーザーエンゲージメントに与える影響を分離することで、メカニズム上のリスク低減を促進します。
- デジタルヘルス介入のポートフォリオ選別（トリアージ）のための定量的なアウトプットを提供します。
スクリーニングおよびアッセイの開発
- 下流の行動スクリーニングワークフローに向けて、検証済みのデジタル相互作用システムを準備します。
- MIセッションの提供を標準化し、ユーザー反応の再現性と定量的な評価を保証します。
- 複数のユーザープロファイルにわたる適応型エージェントのパフォーマンスの拡張可能な評価を可能にします。
- さらなる開発に向けたデジタル治療候補の信頼性の高いベンチマーキングをサポートします。
トランスレーショナル・前臨床研究
- デジタルエージェントの出力を検証済みの行動エンドポイントと整合させ、トランスレーショナルな連続性をサポートします。
- 定量的なユーザーエンゲージメント指標に基づき、リスク調整されたデジタル介入の推進を可能にします。
- デジタル治療の有効性に関するトランスレーショナルバイオマーカーを評価するためのプラットフォームを提供します。
- 臨床展開前のデジタルヘルスソリューションにおける予測的なリスク低減をサポートします。
パイプラインおよびワークフローの統合
この適応型MIエージェントプラットフォームは、初期の仮説検証から行動介入の前臨床検証に至るまで、デジタル治療法探索のコンティニュアムに適合します。
- 探索生物学： 適応的コミュニケーション戦略の仮説検証と、それが行動変容の準備性に与える影響をサポートします。
- スクリーニング： 定量的エンゲージメント指標を備えた、標準化かつ再現可能なMIセッションを提供し、比較分析を可能にします。
- 分析： ラポール、センチメント、モチベーションスコアなどの検証済み測定値を提供し、条件間の評価を可能にします。
- トランスレーショナルリサーチ： デジタルエージェントの出力を確立された行動エンドポイントと整合させることで、探索研究と前臨床検証を橋渡しします。
- エンタープライズ再利用： オープンソースのモジュール式プラットフォームを提供し、多様なR&Dプログラムにわたってデジタル治療戦略の繰り返し評価を可能にします。
運用および企業への影響
- 科学的価値：デジタル介入の結果に対する予測の信頼性を高め、ユーザーとエージェントの相互作用におけるメカニズム的な曖昧さを軽減する。
- 運用的価値：デジタルMI（動機付け面接）の提供を標準化し、研究間での再現性と拡張性を確保する。
- 戦略的価値：デジタル治療候補に対するデータ駆動型のgo/no-go判断を可能にし、資本効率を向上させる。
- ポートフォリオへの影響：企業パイプライン内におけるデジタルヘルスソリューションのリスク調整後の優先順位付けと推進を支援する。
実施上の検討事項
- 機械学習、行動科学、およびデジタルヘルス分析の専門知識が必要です。
- リアルタイムのビデオおよびオーディオキャプチャ、ならびにマルチモーダルデータ処理のためのインフラストラクチャが必要です。
- MIセッションのプロトコルおよびアウトカム評価に関するチーム間の標準化が求められます。
- 多様なユーザープロフィールおよび行動エンドポイントにわたる適応性を検証する必要があります。
- 実用上の制限として、適応モデルおよびユーザーエンゲージメント指標の継続的な検証が必要となります。
