この研究では、VRデバイスがサポートする没入型でインタラクティブな実験機能をユーザーに提供する、WebVRベースのオンライン仮想現実(VR)ラボラトリーシステムについて説明します。提案されたシステムは、オンライン実験へのユーザー参加のリアリズムを高めるのに役立つだけでなく、幅広いオンラインラボフレームワークにも適用できます。
方法論記事
この研究では、VRデバイスがサポートする没入型でインタラクティブな実験機能をユーザーに提供する、WebVRベースのオンライン仮想現実(VR)ラボラトリーシステムについて説明します。提案されたシステムは、オンライン実験へのユーザー参加のリアリズムを高めるのに役立つだけでなく、幅広いオンラインラボフレームワークにも適用できます。
オンラインラボは、工学教育において重要な役割を果たしています。この作業では、WebVRベースの仮想実験室システムについて説明します。ユーザーは、仮想現実(VR)デバイスを介してシミュレートされた実験室環境に入り、物理的な実験室での実践的な実験と同様に、実験装置と対話します。さらに、提案されたシステムでは、ユーザーは独自の制御アルゴリズムを設計し、さまざまな制御パラメータの影響を観察して、実験の理解を深めることができます。提案された仮想実験室の特徴を説明するために、この論文では、二重倒立振り子システムの実験である例が示されています。実験結果は、提案されたシステムが、ユーザーが没入型でインタラクティブな方法で実験を行うことを可能にし、ユーザーにプリンシパルデザインから実験操作までの完全な実験プロセスを提供することを示しています。また、あらゆるバーチャルラボを教育やトレーニングのためのWebVRベースのバーチャルラボに変えるソリューションも提供されています。
インターネットの進歩とモバイルデバイスの人気に伴い、オンライン教育の需要が高まっています1。特に、流行が蔓延している時期には、従来の教育機関は対面式の指導を効果的に行う上で課題に直面することが多く、これは重要な教育的アプローチとしてのオンライン教育の重要性を浮き彫りにしています2。理論コースは、オンラインプラットフォームに比較的簡単に移行できます。これらは、リモートビデオ会議ソフトウェアや大規模公開オンラインコース(MOOC)3などのツールを使用して実施できます。しかし、実践的なコースでは、従来の研究室で実践的な実験を行う必要があるため、より大きな課題に直面しています。
研究者は、実験装置をオンラインで利用できるようにするという課題に取り組むために多大な貢献をしてきました。過去20年間にわたり、オンラインラボ4,5の概念と技術について広範な研究が行われてきました。オンラインラボには、通常、リモートラボ6、バーチャルラボ7、およびハイブリッドラボ8が含まれます。これらのオンラインラボアプローチは、制御工学9、機械工学10、ソフトウェア工学11など、さまざまな工学分野で広く応用されています。
オンラインラボ12での実験操作の利便性の点では大きな進歩が見られましたが、ユーザーは従来のラボ環境と比較して、リアリズムや同様の実践的な操作が不足していると依然として感じており、これが全体的なエクスペリエンス13に影響を与えています。このユーザーエクスペリエンスの不一致は、オンラインラボ環境でのリアリズムとエンゲージメントを強化するためのさらなる研究開発の取り組みを動機付けています。
上記の問題を解決するために、バーチャルリアリティ(VR)技術がバーチャルラボ14 に適用され、バーチャルラボ15の没入感と双方向性が向上した。VRベースのバーチャルラボは、ユーザーに現実に近い実験体験を提供します。ユーザーは、アバター16を通じて建築教育プロセスのグループ課題を完了することができ、従来の教室環境と同じように、建築測量プロセスを没入型で一緒に実行できます。さらに、VRベースの仮想実験室は、ユーザーが仮想実験室の没入型環境に入り、VRヘッドセットとハンドル17を装着して仮想実験装置と対話することを可能にし、ユーザーの実践能力18を向上させる。さまざまな教育目的のために、さまざまな仮想環境を設計できます。例えば、VRをゲーミフィケーション理論と組み合わせることで、一般市民向けの工学教育を充実させ、持続可能な開発などの理解しにくい知識の普及効率を向上させることができる19。
オンラインラボ、特にバーチャルラボと同様に、WebVRベースのバーチャルラボには多くの利点があります。まず、従来の実験室の時間とスペースの制限を打ち破り、ユーザーはいつでもどこでも実験を行うことができます20。第二に、オンラインラボは、実験操作21で起こりうる危険や事故を回避するために、より安全な実験環境を提供できる。第三に、仮想実験室は、ユーザーの実験範囲と経験を拡大するために、より多くの実験リソースとシミュレーション状況を提供することもできます22。最も重要なことは、WebVRベースの仮想実験室は、ユーザーの学習関心とイニシアチブを刺激し、実験経験と参加を向上させることができるということである23。
他のVRベースのバーチャルラボと比較して、WebVRベースのバーチャルラボは、VRベースのバーチャルラボとWebベースのオンラインラボのメリットをシームレスに組み合わせています。Virtual Instrument Systems in Reality(VISIR)24 は、実際の回路基板を構築することにより、基本的なアナログ電子リモートラボを構築します。ユーザーは、Webインターフェースでシミュレートされた実験を実行して、実際の回路基板の実験を完了することができます。Weblab-Deusto8 は、ユーザーが他のプラグインに頼らずにWebプラットフォーム内の水タンクの3次元(3D)モデルを操作できる、水タンクField Programmable Gate Array(FPGA)ラボを構築します。このホワイトペーパーで提案されているシステムは、WebVRをモジュラーコンポーネントとして既存の仮想ラボインフラストラクチャにシームレスに統合する機能を導入しています。この統合は、実験室の元の建築フレームワークを破壊することなく達成できるため、実験室の基本構造と機能が維持されます。この統合は、フロントエンドとバックエンドが分離されたオンラインラボのフレームワークにも適用できます。
本稿で提案するシステムは、NCSLabシステムの柔軟性、双方向性、モジュール性、およびクロスプラットフォーム機能を継承したNetworked Control System Laboratory(NCSLab)25に基づいて実装されています。ユーザーは、さまざまなモジュールに従って実験を行うことができ、アルゴリズムや設定インターフェースをカスタマイズすることもでき、自己実現のための十分なスペースをユーザーに提供できます。オンライン実験は、ユーザーが実行したアルゴリズムに従ってリアルタイムで実行されます。ユーザーは、VR実験を行う際に仮想モデルと対話して実験アルゴリズムの入力を変更したり、コンポーネントを介して制御アルゴリズムのパラメータを変更したりできるため、ユーザーは制御アルゴリズムの原理をよりリアルに体験できます。
WebVRベースの仮想実験室は、オンライン教育に大きな可能性をもたらします。没入型の実験体験を提供し、従来の実験室の限界を克服し、ユーザー間で実践的な実践スキルと革新的な思考を促進することができます。
この研究は、武漢大学の人間研究倫理委員会のガイドラインを満たしており、すべての実験データについてインフォームドコンセントが得られました。この論文では、二重倒立振子システムの実験ステップについて説明し、すべてのステップをWebVRベースのNCSLabで実行します。
1. WebVRベースのNCSLabシステムにアクセスする
2. アクセス方法の選択
3. 実験手順
今回紹介するVR実験システムは、VRデバイスを用いた没入型実験を行うことで、ユーザーと実験装置とのインタラクションを強化するものです。さらに、システムはWebベースであるため、ユーザーがローカル環境を構成する必要がありません。この設計により、システムのスケーラビリティが確保され、大規模なアプリケーションやトレーニング、教育目的に適しています。
従来の実験室環境では、ユーザーはソフトウェアおよびハードウェアデバイスを個人的に構成およびインストールする必要があり、これはかなりの時間とリソースを消費する可能性があります26。しかし、バーチャルラボでは、クラウドコンピューティングと仮想化技術を活用して、ラボ環境をクラウドに移行します。ユーザーは、Webブラウザを介して対応するWebサイトにアクセスするだけで、ラボが提供する機能とリソースを利用できます。
図 3 は、ユーザーがさまざまなアプローチを使用して WebVR 実験に参加できることを示しています。VRデバイスが手元にないユーザーでも、ブラウザの拡張機能を使ってすぐに実験を行うことができます。VRデバイスにアクセスできるユーザーは、実験に没頭し、実験装置と直接対話できるため、実験プロセスを探索する際のリアリズムが向上します。これら2つの異なるWebVR実験の方法は、ユーザーにより多くの選択肢を提供し、提案されたシステムをより幅広いユーザーが利用できるようにします。
二重倒立振り子の例は、提案されたWebVRベースの仮想実験室が、追加のソフトウェアのインストールや構成を必要とせずに、Webブラウザで直接実行できることを示しています。このアプローチにより、ユーザーの不便が軽減されるだけでなく、システムのスケーラビリティも大幅に向上します。さらに、ユーザーはVRデバイスを使用して実験装置との没入型インタラクションを行うこともできます。ハンドルコントローラーを使用してシステムパラメータを調整することで、ユーザーは実地体験を向上させるだけでなく、理論的な知識と実践的なスキルも向上させます。
実験には総勢21名の学生が参加し、提案システムの適用性と有効性をさらに検証するためのアンケートを実施しました。自動化や制御工学のバックグラウンドを持つ学生も含まれており、これらの学生は全員、以前にNCSLabの仮想実験に参加したことがあり、仮想実験の基本的な知識はありましたが、WebVRベースのNCSLabのVR実験には参加していませんでした。匿名の統計データを採用することにより、アンケートに記入する際の参加者のプライバシーとセキュリティを保証し、アンケートデータの信頼性を確保します。
アンケートの結果は 図5に示されており、データは、この論文で提案されているシステムが、デバイスとのリアリズムとインタラクションの点で良好に機能し、従来のマウスとキーボードの仮想実験と比較して大幅な改善を達成していることを示しています。また、参加者からのフィードバックからは、このシステムによって学生の学習に対する興味や実験スキルが向上するだけでなく、実験内容の理解が深まり、学習成果が向上することが示されました。
注目に値するのは、ほとんどの学生が、この種の実験が現在のコースや実験に適用できるだけでなく、他のコースや実験にも適用できる可能性があると信じていたことです。
本稿で提案するシステムは、実験装置のモデリングに3DS Maxソフトウェアを使用し、実験シーンをUnityエンジンソフトウェア27 を用いてレンダリングし、ユーザーがVR装置を用いて装置と対話することを可能にするものである。最後に、実験シーンはWebGL(Web Graphics Library)形式にパッケージ化され、モジュール化されたコンポーネントの形でオンラインラボシステムにシームレスに統合され、WebVRベースのバーチャルラボシステムを構築します。

図1:二重倒立振子システムの制御アルゴリズム設計。 ユーザーは、左側のモジュールライブラリからさまざまなモジュールを選択して、二重倒立振子システムの制御アルゴリズムを構築できます。モジュールの選択と接続は、MATLAB/Simulinkの場合と同様です。二重倒立振子システムの領域では、多数の制御方法が豊富にあります。現在のシステムでは、線形二次レギュレータ(LQR)制御アプローチが選択され、この図はLQRコントローラに従って形成されたフィードバックマトリックスを示しています。 この図の拡大版を表示するには、ここをクリックしてください。

図2:二重倒立振子システムを監視するための構成設計。 ユーザーは、上記のコンポーネントライブラリからコンポーネントを選択して、監視構成を設計できます。VR 実験が必要な場合は、3D モデル コンポーネントを選択する必要があります。ユーザーは、二重倒立振子の角度方向と位置の変化を視覚的に追跡するためのチャートコンポーネント、またはコントローラーパラメーターを調整するための入力コンポーネントを柔軟に選択できます。コンポーネントをダブルクリックすると、ユーザーはパラメータ設定のためのシステム変数間の関連付けを確立できます。二重倒立振り子システム内では、チャートのパラメータは、カートのセット位置と実際の位置の両方、および一次振子と二重振子の角度を網羅するように構成されています。監視構成の設計が完了したら、まず [実験の開始] ボタンをクリックして実験をアクティブ化する必要があります。その後、3D モデル コンポーネントの右下隅にある VR ボタンをクリックして、VR 実験を開始できます。 この図の拡大版を表示するには、ここをクリックしてください。

図3:VRヘッドセットとWebVRエミュレータ拡張機能を使用した二重倒立振子システム実験の実施。 ユーザーは、VR デバイスや WebVR エミュレータ拡張機能を通じて WebVR 実験を行うことができます。キューブは、ハンドルを使用して二重倒立振り子の設定値を設定するように制御されます。立方体の位置が決定されると、二重反転振り子は着実に設定値方向に向かって移動し、最終的に設定位置で安定します。3Dモデルの右側には、カートの位置と1次振子と二重振子の角度を記録したチャートがあります。このチャートでは、主要なシステムパラメータの変化の傾向を観察することもできます。 この図の拡大版を表示するには、ここをクリックしてください。

図4:二重倒立振子システムの構造。 ベースの上には立方体があり、立方体の位置がカートの設定値です。ユーザーはキューブを手に取り、ハンドルで位置を調整できます。交流(AC)サーボモーターがベルトを回転させると、カートはベルトの推進力の下でガイドレールに沿って進行します。この動きと連動して、1次振り子と二重振子も対応する変位と回転を受けます。 この図の拡大版を表示するには、ここをクリックしてください。

図5:調査票のデータ結果。 アンケートは6つの質問で構成されており、それぞれについて詳細に説明されています。各質問には、1から5のスケールで、大まかに言うと、強く同意しない、反対、中立、同意、強く同意する、の5つの選択肢がありました。合計21件の有効回答が収集されました。平均値と標準偏差は、これらのスコアから計算され、明確さと解釈のために図にグラフィカルに示されました。 この図の拡大版を表示するには、ここをクリックしてください。
提示されたプロトコルは、ユーザがオンラインでVR実験を行うことを可能にするが、また、大規模なアプリケーションの推進を助長する低コストのPCコントローラ28を使用することを可能にする仮想実験室システムを説明する。ユーザーは、原理やアルゴリズムから実際の実験操作まで、実験プロセス全体についての知識を得ることができます。このシステムにより、ユーザーは実験に没頭でき、従来のマウスやキーボード入力への依存を排除できます。このシステムは、実験プロセスを観察し、実験装置を実際に操作するための没入型体験を提供します。
このシステムは、従来のインターフェースを超えて、実験装置と対話するためのより直感的で魅力的な方法をユーザーに提供します。物理的な実験室での実践的な実験と同様に、この仮想実験室は実験操作を可能な限り忠実に再現するよう努めています。このオンラインアクセスアプローチにより、バーチャルラボには以下のメリットがあります。
柔軟性と利便性:ユーザーは、特定の物理的なラボの場所やスケジュールに制限されることなく、Webブラウザを介していつでもどこでも仮想ラボにアクセスできます。このアプローチにより、リモート学習の利便性が大幅に向上します2。
スケーラビリティと費用対効果:バーチャルラボは、大規模なアプリケーションの要求を満たすために、簡単に拡張し、追加のコンピューティングリソースと実験機器を提供できます。ユーザーは高価なハードウェアデバイスを自分で購入して保守する必要がなく、Webベースのリソースを使用して実験を行うことができるため、コスト投資を削減できます3。
セキュリティ:バーチャルラボは、強化されたセキュリティ対策を提供できます。実験中の誤操作による事故を心配する必要がなく、安全性をある程度確保できる29。
VR技術を活用することで、ユーザーは模擬実験室に入り込み、物理的な実験室と同様に、ハンドルを使って物体と対話したり、実験を行ったりすることができます。 図3に示すように、ユーザーはハンドルを使用してキューブを持ち上げて移動し、二重倒立振り子システムのカートの設定値を設定できる。この形式のインタラクションは、仮想実験室の体験に新たなレベルのリアリズムとインタラクティブ性を追加するだけでなく、ユーザーの実験に対する理解も高めます。
さらに、このシステムは、ユーザーに実験を探索する機会を提供します。彼らは独自の制御アルゴリズムを設計し、さまざまな制御パラメータの影響を観察できるため、実験原理30をより深く理解するのに役立ちます。ユーザーの参加意識とアクティブラーニングを育みます。
現在、VRラボは主に特定のシナリオ向けに設計および利用されており、大規模なアプリケーションのためのフレームワークがありません。ユーザーは、あらかじめ決められた手順に従って実験を行うことに限られることが多く、自分のアイデアを実装する機会は限られています。対照的に、WebVRベースの仮想実験室は、実験コンテンツをコンポーネントモジュールとして仮想実験室にシームレスに統合します。このアプローチは、幅広いアプリケーションフレームワークに適合する汎用性が高いだけでなく、ユーザーが実験装置を操作し、好みやニーズに応じてカスタマイズされた実験を実施できるようにします。
それにもかかわらず、特定の問題は注目と解決に値します。これには、仮想リソースのより広範なリポジトリの必要性や、物理デバイスと比較して仮想デバイスの動的動作をシミュレートする精度の向上の必要性が含まれます。今後は、さまざまな分野の専門家と協力することで、Virtual Resource Repositoryを拡充していく予定です。これにより、自然科学から工学まで幅広い実験内容をカバーし、さまざまなユーザーのニーズに応えていきます。また、ユーザーには、当社のシステムの構築に積極的に参加していただくようお願いいたします。リポジトリへの提案だけでなく、今後はユーザー調査やインタビューも実施し、ユーザーが期待するリソースの種類や領域をより深く理解する予定です。動的動作をシミュレートするという精度の課題に対処するために、機械学習ベースの手法やより複雑な数学的モデルなどの高度なモデリング手法を使用して、仮想デバイス表現の精度を向上させます。さらに、実世界のシステムは不確実性を特徴としていることが多いため、精度を維持しながら仮想デバイスシミュレーションのアプローチに組み込む必要があります。これにより、現実世界のより現実的な表現が可能になります。
要約すると、提案された仮想実験室システムは、ユーザーが没入型でインタラクティブな方法でVR実験に参加することを可能にします。可能な限り現実的な実験体験を提供することで、原理や設計から実験操作まで、実験プロセスに対するユーザーの理解を深めます。また、このシステムのオンラインアクセスは、柔軟で便利、かつ安全な実験環境を提供し、大規模な科学研究や教育トレーニングのための有望なソリューションとなっています。
著者は何も開示していません。
この研究は、一部は中国国家自然科学基金会(National Natural Science Foundation of China Under Grant 62103308 and Grant 62073247)、一部はGrant 2042023kf0095、一部はChina Postdoctoral Science Foundation(中国ポスドク科学基金会)のGrant 2022T150496、一部はWuhan University Experiment Technology Project Funding(WHU-2022-SYJS-10)の支援を受けました。
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| 3DS Max | Autodesk | 3ds Max プロフェッショナル 3D モデリング、レンダリング、アニメーション ソフトウェアにより、広大な世界とプレミアムなデザインを作成できます。 https://www.autodesk.com/ca-en/products/3ds-max/overview | |
| Meta Quest 2 | Meta Platforms | 10036728220341 | meta quest 2 は、ユーザーが WebVR コンテンツを体験できるスタンドアロンのバーチャル リアリティ ヘッドセットです。 |
| https://www.meta.com/it/quest/products/quest-2/ Unity | Unity Technologies | Unity は、リアルタイム 3D インタラクティブコンテンツの制作と運用のためのプラットフォームです。 ゲーム開発者、アーティスト、建築家、自動車デザイナー、映画、テレビなど、すべてのクリエイターが Unity を使用してアイデアを実現しています。 Unity プラットフォームは、リアルタイムのインタラクティブ 2D を作成、運用、実現するためのソフトウェアソリューションの完全なスイートを提供します携帯電話、タブレット、PC、ゲーム機、拡張現実、仮想現実デバイス上の3Dコンテンツ https://unity.com/cn |
このJoVE記事のテキストまたは図の再利用許可をリクエスト
許可をリクエスト