Name: バーチャルリアリティフライトシミュレータを使用した飛行性能と眼球運動パターンの評価 (動画) | JoVE Journal
Uploaded: 2023-05-19T13:50:00.000+00:00
Duration: 3 min 49 s
Description: 学ぶVRフライトシミュレータを用いたパイロットの眼球運動と飛行指標によるパフォーマンス評価法。低コストで柔軟性が高く、宇宙飛行士選考など多様な研究ニーズに対応可能です。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

著者は、パイロット参加者の募集に協力してくれたLi Yan氏に非常に感謝しており、Bu Lingyun氏の絵を描く仕事に感謝しています。この研究は、中国国家自然科学基金会(助成金番号T2192931、72071185)、国家脳プロジェクト(助成金番号STI2030-Major Projects2022ZD0208500)、ヒューマンファクター工学国家重点研究所プロジェクト(助成金番号SYFD062003)、ヒューマンファクター工学国家重点研究所プロジェクト(6142222210201)、および2022年軍事兵站研究助成金の主要プロジェクトおよび空軍装備総合の主要プロジェクトの支援を受けました研究(課題番号KJ2022A000415)。

著者らは、財務上の開示や利益相反を宣言していません。

現在の研究では、飛行経験のある参加者が、VRベースのフライトシミュレーターで飛行経験のない参加者よりも優れた飛行パフォーマンスを発揮したかどうかを評価しました。さらに重要なことに、これらの参加者により最適化された眼球運動パターンが、より優れた飛行パフォーマンスで見つかるかどうかを評価しました。結果は、着陸前のピッチ角 1 秒、基準線までの平均距離、および基準線までの距離の標準偏差という 3 つの主要な飛行 QAR 指標において、飛行経験のある参加者とない参加者の間で大きな違いがあります (図 9B-D)。これらの結果は、飛行経験のある参加者は飛行偏差が少なく、飛行性能がより安定していることを示しています。同時に、飛行経験のある参加者とない参加者の間では、対気速度計、垂直速度計、高度計の 3 つの主要な計器の AOI で大きな違いがあります (図 8A-C)。さらに、飛行経験のある参加者...

欧州航空安全機関(2012)は、フライトシミュレータを訓練施設、飛行およびナビゲーションプログラムのトレーナー、飛行訓練機器、および完全なフライトシミュレータとして分類しています1。現在までに、低レベルのテーブルトップシステムから非常に複雑なモーションベースのフルフライトシミュレータ2まで、さまざまなフライトシミュレータをトレーニングに利用できます。従来のシミュレータには、フライトダイナミクスモデル、システムシミュレーション、ハードウェアコックピット、外部可視化、およびオプションのモーションシミュレーション3が含まれています。
これらの伝統的なフライトシミュレーターには、効果的な飛行訓練機器としていくつかの利点があります。ただし、各システムの駆動にはかなりの電気エネルギーが必要であり、特にフルフライトシミュレータは高温高圧の流体または空気圧を必要とし、多くの電力を消費し、多くのノイズを生成するため、コストは高く、環境にやさしくありません4。
ただし、シンプルなデスクトップ シミュレーター システムは柔軟性があり、低コストであり、フル フライト シミュレーター2 よりも没入感が低く、相互作用が少なくなっています。したがって、デスクトップシステムとフルフライトシミュレータの利点(つまり、テーブルトップシミュレーションの柔軟性と、フルフライトシミュレータに近い没入感とインタラクションレベル)を組み合わせた新しいフライトシミュレータを開発することが不可欠です。
コンピュータ技術、特にバーチャルリアリティ(VR)技術の発展に伴い、新たなVR技術に基づく新しいタイプのフライトシミュレータが現実のものとなりつつあります。VRベースのフライトシミュレータは、柔軟性、携帯性、低コストで、従来のフライトシミュレータ5よりも必要なスペースが少なくて済みます。研究者は、過去20年間でVR技術に基づくフライトシミュレーターを作成してきました6,7,8,9,10,11;しかし、これらのVRフライトシミュレーターは飛行訓練がメインで、パイロット選択用のものはほとんどありません。それでも、コスト削減と技術の向上により、VRベースのシミュレーターは変化し、個人の選択が可能になりつつあります。いくつかの研究では、さまざまな領域での個人選択にVRベースのシミュレーターが使用されています:Schijvenら12は、バーチャルリアリティシミュレーターを使用して外科研修生を選択しました。Huangら13は、空軍パイロットの募集のために、バーチャルリアリティ技術に基づく心理学選択手段を開発した。Wojciechowski氏とWojtowicz14氏は、VR技術に基づいて、無人航空機(UAV)パイロットとしての候補者の能力を評価しました。パイロットの選定が航空業界にとって重要であることを考えると、大規模なパイロットの選定はシミュレータのコストや携帯性シミュレータシステムの要求の影響を受けやすいため、パイロットの選定に焦点を当てた新しいVRベースのフライトシミュレータの開発が急務となっています。
目の動きは、パイロットのパフォーマンスの手がかりとなります。さまざまな研究により、アイスキャンモードが上級パイロットと初心者パイロットのパフォーマンスを区別することがわかっています。専門家と初心者の間でスキャンパターンを比較することにより、専門家の効率的で構造的な眼球運動行動と初心者の不適切なスキャン方法を区別できます。いくつかの航空研究によると、パイロットのアイスキャニング戦略は、専門知識のレベルに大きく関連していることがわかっています15,16,17,18,19,20,21,22,23,24。Bellenkes et al.25によると、専門家の固定期間は初心者よりも短く、楽器への固定頻度は高いとのことです。Kasarskisら26は、ほぼ同じ結論を導き出しました。彼は、熟練したパイロットは初心者よりも固定が多く、持続時間が短いことを発見し、熟練したパイロットは初心者よりも優れた視覚モードを持っていることを示唆しました。別の研究では、Lorenzら。27は、専門家が初心者よりもコックピットの外を見るのに多くの時間を費やしていることを発見しました。これらの結果は、新人の選択において大きな実用的価値があります。
飛行性能評価は、パイロットの選択にとってもう一つの重要な要素です。しかし、パイロットの飛行性能評価には、専門家の意見の相反、選択基準の増加、統一された選択理論などの問題があります。運転分野では、Horreyら28は、運転性能を評価するためのさまざまな実験条件で、中心線からの車線逸脱の絶対値を比較しました。航空分野に戻ると、フライトクイックアクセスレコーダー(QAR)は、フライト29中のあらゆる種類のパイロット操作パラメータ、航空機パラメータ、環境、および警告情報を記録します。より具体的には、QARインジケータとして、ピッチ角は航空機30の左右軸を中心とした回転角度であり、基準線(または中心基準線)は赤線と緑線28のちょうど真ん中にある。これら 2 つの飛行パラメータは、現在の研究での経験の有無にかかわらず、参加者の飛行パフォーマンスを評価するために使用されます。これらのQARデータは、飛行性能の評価に利用できるが、私たちの知る限りでは、科学研究におけるパーソナルトレーニングや選抜にはほとんど使用されていない31,32。
眼球運動パターンの測定は、飛行性能を評価および予測し、パイロットのトレーニングと選択を導くために使用できます。Gerathewohl33 は、目はパイロットの最も重要な感覚器官であり、飛行情報の80%を処理していると述べました。パイロットは、コックピット内の計器から視覚情報を取得し、それをコヒーレントな画像に統合してフライト22を管理しなければならない。さらに、最適なスキャン動作は、より優れた飛行性能を達成するために不可欠である15。しかし、現在、眼球運動と飛行性能の関係を定量的に研究するためのアイトラッカーを統合した手頃な価格のフライトシミュレータはありません。
現在の研究では、飛行経験のある参加者が飛行経験のない参加者よりも飛行パフォーマンスが優れているかどうかを評価するために、新しいVRフライトシミュレーターを開発しました。VRフライトシミュレータは、アイトラッキングとフライトダイナミクスシステムを統合し、視線運動パターン解析と飛行性能評価を可能にします。特に、VRフライトシミュレータは、時間のかかるフレームカウントなしで、関心領域(AOI)ベースの眼球運動を分析するために、ガラスのような又はデスクトップのアイトラッカーではなく、VRアイトラッカー34を使用することに言及する価値がある。
最後に、本研究は、アイスキャンパスから客観的な飛行性能データまで、将来のパイロット選択のためのオムニバス測定につながる可能性があります。仮想フライトシミュレーターの助けを借りて、フライト選択のコストが大幅に削減され、広範なデータ収集に基づいてパイロットの規範を形成できます。この作業は、フライト選択のニーズに対する従来のシミュレーターとデスクトップシミュレーターの間のギャップを埋めるものです。

<table><tbody><tr><td>3D engine SDK</td><td>Epic Games</td><td>Unreal Engine 4 GameAnalytics Unreal SDK</td><td>この SDK は、ゲーム用に設計された強力でありながら柔軟な無料の分析ツールです。</td></tr><tr><td>CPU</td><td>Intel</td><td>IntelCore i9</td><td>メインストリーム市場で最も強力なCPUの1つ。</td></tr><tr><td>アイトラッキングSDK</td><td>Tobii</td><td>Tobii XR SDK</td><td>このSDKは、デバイスに依存しないアイトラッキングデータへのアクセスを提供し、Tobiiアイトラッキングハードウェアを使用するデバイスに限定されない、さまざまなハードウェアベンダーのヘッドセットの開発を可能にします。</td></tr><tr><td>アイトラッキングソフトウェア</td><td>研究チーム</td><td></td>によって開発された、<td>仮想現実HMDを使用している人の目の動きを追跡するプログラム。</td></tr><tr><td>FlySimulator プログラム</td><td>研究チーム</td><td></td>によって開発された<td>、VR HMD とハンドヘルド コントローラーを使用して、仮想環境での飛行体験をシミュレートするソフトウェア。</td></tr><tr><td>グラフィックカード</td><td>NVIDIA</td><td>GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock&nbsp;&nbsp; 24 GB メモリサイズ GDDR6X メモリタイプ</td><td>主流市場で最も強力なグラフィックカードの 1 つ。</td></tr><tr><td>オペレーティングシステム (OS)</td><td>Microsoft</td><td>Windows XP</td><td>マイクロソフト社が開発・独占的に配布するオペレーティングシステム (OS</td></tr><tr><td>) レプリカコントロールパネル</td><td>THRUSTMASTER</td><td>2960720 2971004 2962072 2960748 2960769</td><td>米空軍 A-10C 攻撃機 HOTAS</td></tr><tr><td>レプリカジョイスティック</td><td>THRUSTMASTER</td><td>2960720</td><td>米空軍 A-10C 攻撃機 HOTAS</td></tr><tr><td>レプリカペダル</td><td>THRUSTMASTER</td><td></td><td>TPR振り子舵</td></tr><tr><td>レプリカスロットル</td><td>THRUSTMASTER</td><td></td><td>米国空軍A-10C攻撃機HOTAS</td></tr><tr><td>スクリーンはPCに接続</td><td>されていますRedmi</td><td>RMMNT27NF、27インチ、1920 X 1080解像度比</td><td>スクリーンにより、実験者はVR HMD</td></tr><tr><td>スクリーンレコーディングソフトウェア</td><td>OBSプロジェクト</td><td>OBSスタジオバージョン28.0</td><td>で何が起こっているかを同時に見ることができますビデオ録画とライブストリーミングのための無料のオープンソースソフトウェア</td></tr><tr><td>統計的検出力分析ソフトウェア</td><td>オープンソースの</td><td>G*powerバージョン3.1.9.6</td><td>統計的検出力とサンプルサイズを推定するための無料でユーザーフレンドリーなツール。</td></tr><tr><td>統計ソフトウェア</td><td>IBM</td><td>SPSS Version 24.0</td><td>強力な統計ソフトウェアプラットフォーム</td></tr><tr><td>多用途統計ツール</td><td>GraphPad Software</td><td>GraphPad Prism バージョン 9.4.0</td><td>統計学者ではなく科学者向けに設計された多用途統計ツール</td></tr><tr><td>VRアプリストア</td><td>HTC Corporation</td><td>VIVE Software 2.0.17.6 / 2.1.17.6</td><td>バーチャルリアリティのアプリストアで、お客様はお気に入りのコンテンツや必要なコンテンツを探索、作成、接続、体験できます。</td></tr><tr><td>VRヘッドマウントディスプレイ(HMD)</td><td>HTC株式会社</td><td>VIVE Pro Eye</td><td>精密視線追尾VRヘッドセット</td></tr><tr>VR<td>ソフト</td><td>Steam</td><td>Steam VR Version 1.23</td><td>VRコンテンツをハードウェア上で体験できるツール</td></tr></tbody></table>

バーチャルリアリティフライトシミュレータを使用した飛行性能と眼球運動パターンの評価

Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator

パイロットの効率的で経済的なパフォーマンス評価は、航空業界にとって重要になっています。バーチャルリアリティ(VR)の発達と視線追跡技術の組み合わせにより、これらのニーズを満たすソリューションが現実のものとなりつつあります。これまでの研究では、VRベースのフライトシミュレータが検討されており、主に技術検証と飛行訓練に焦点を当てていました。本研究では、3D没入型シーンにおける視線運動と飛行指標に基づいてパイロットの飛行性能を評価するための新しいVRフライトシミュレータを開発しました。実験中には、プロのパイロット23名と飛行経験のない大学生23名の計46名が参加しました。実験結果は、飛行経験のある参加者とない参加者の間で飛行性能に大きな差があり、前者が後者よりも高かった。対照的に、飛行経験のある人は、より構造化された効率的な眼球運動パターンを示しました。これらの飛行性能の微分結果は、現在のVRフライトシミュレータが飛行性能評価手法として妥当性を有することを実証しています。飛行経験によるさまざまな眼球運動パターンは、将来の飛行選択の基礎となります。ただし、このVRベースのフライトシミュレーターには、従来のフライトシミュレーターと比較してモーションフィードバックなどの欠点があります。このフライトシミュレータプラットフォームは、見かけの低コストを除いて、非常に柔軟性があります。研究者の多様なニーズ(例えば、状況認識、VR酔い、関連するスケールの追加による作業負荷の測定など)を満たすことができます。

今回の実験では、飛行経験のある専門家23名と飛行経験のない初心者23名が選ばれました。参加者は25歳から58歳(専門家: M =32.52歳、 SD =7.28歳、初心者: M =29.57歳、 SD =5.74歳)であった。参加者全員の性別は男性でした。すべての初心者は清華大学(学生または教員)から採用され、すべての専門家は中国東方航空からでした。
目の動き 計器の AOI、対気速度計、垂直速度計、高度計、およびエンジン速度計の目視移動データは、Shapiro-Wilk 検定 (すべての p 値 &lt;0.05) に従って正規分布していません。したがって、マンホイットニーU検定が使用されました。その結果、専門家(M = 60.79%、 SD = 7.72)は、初心者(M = 53.31%、 SD = 12.89; U = 141, p &lt;...

新しいバーチャルリアリティフライトシミュレータが構築され、飛行性能と眼球運動パターンの効率的かつ低コストな評価が可能になりました。また、人間工学やその他の研究のための高い可能性を秘めた研究ツールも提供します。

Efficient and economical performance evaluation of pilots has become critical to the aviation industry. With the development of virtual reality (VR) and ...

現在の研究では、3D没入型シナリオの目の動きとフライトパフォーマーのインジケーターに基づいてパイロットのパフォーマーを評価するための新しいVRフライトシミュレーターを開発しました。フライトシミュレータのプラットフォームは、低コストに加えて、高い柔軟性を備えています。研究者の多様なニーズにお応えします。この方法は、パイロットだけでなく、一部の宇宙飛行士にも適用できます。まず、フライト シミュレータをインストールします。スロットルコントロールパネルを結合し、1つのユニットとして扱います。スロットル、ジョイスティック、ペダルをUSB経由でフライトシミュレーターPCモジュールに接続します。続いて、ヘッドマウントディスプレイまたはHMDをリンクボックスを介してフライトシミュレーターPCモジュールに接続します。ベースステーションとバーチャルリアリティまたはVRコントローラーを PC.To 上のVRソフトウェアを介してHMDに接続し、VR用の立ち位置のみのプレイエリアを設定し、HMDの電源がオンになってコンピューターに接続されていることを確認します。基地局を斜めに配置して、HMDを固定したまま常に基地局の監視範囲内に配置できるようにすることで、安定したVR環境を維持します。次に、コンピューター上のVRソフトウェアが提供するプロンプトに従って、立っているだけのプレイエリアを設定します。チューニングされたフライトコントロールモジュールと大画面ディスプレイをVRHMDと同じコンピューターに接続します。交通パターンや地図の説明、VRフライトシミュレーターの使い方など、タスクやシミュレーターの操作を参加者に紹介します。各参加者にVR HMDを装着し、目の動きを調整し、デバイスの高さ、瞳孔間距離、視線ポイントを調整します。次に、画面録画ソフトウェアを開き、飛行訓練用のフライシミュレーターを起動します。フライトペダル、ジョイスティック、スロットルの使い方を参加者に指導し、フライトの基準線にできるだけ近づくように操縦します。完了したら、フライトスロットルとエンジンスイッチボタンをリセットします。その後、録音を停止します。正式な飛行実験を行うには、参加者用のVR HMDを装着し、OBSスタジオを起動して画面の録画を開始します。計器の AOI、対気速度、垂直速度、高度、およびエンジン速度計の眼球運動データは、初心者と比較して、対気速度計、高度計、垂直速度計、および姿勢計の平均値付近で、専門家が視線移動データの分布が均一であることを示しました。専門家の飛行パフォーマンスデータは、主に、総飛行時間、基準線からの平均距離、着陸の1秒前のピッチ角、および初心者と比較した基準線からの距離の標準偏差に関する平均値を中心にしていました。すべての参加者の目の瞬間を調整し、それに応じてデバイスの高さ、瞳孔間距

evaluating-flight-performance-eye-movement-patterns-using-virtual

Research

JoVE Journal

Behavior

行動

臨床ルーチンで区別することは困難である変数代償戦略に起因する可能性が最も高い日常生活の中でさまざまな制約について報告脳卒中後の視覚障害を有する患者。我々は、さまざまな代償頭と眼球運動 -...

クリニックでの運転シミュレーション：視野欠損患者における日常生活活動における視覚探索行動のテスト

意思決定とナビゲーション ネットワーク コンピューター実験室を使用してマルチ...

意思決定科学の複数の参加者とナビゲーション実験ネットワーク デスクトップ仮想現実のセットアップ

バーチャル ・ リアリティ (VR) 実験を実装し、綿密な計画を必要とすることは困難にすることができます。このプロトコルでは、設計および実装 VR 実験人間の参加者から生理学的データを収集する方法について説明します。このプロセスを加速する仮想環境 (イブ)...

仮想現実実験生理学的対策

この実験的プロトコルは、健康な成人における仮想プリズム適応療法(VPAT)の使用と、VPATと機能的近赤外分光法との関連を示し、VPATが皮質活性化に及ぼす影響を決定する。結果は、VPATが実現可能であり、従来のプリズム適応療法と同様の行動適応を誘発する可能性があることを示唆している。...

仮想プリズム適応療法:健康成人における検証のためのプロトコル

目標は、一方的な空間無視、急性脳卒中生存者の23〜46%に影響を与える症候群を検出し、特徴付ける新しいバーチャルリアリティタスクを設計、構築、および試験し、神経疾患の研究と管理におけるバーチャルリアリティの役割を拡大することでした。...

一方的な空間無視を評価するためのバーチャルリアリティツール:データ収集のための新しい機会

人間の観察者の制御された物理的回転は、特定の実験的、娯楽的、および教育的用途にとって望ましい。本稿では、オフィスの回転椅子をバーチャルリアリティ環境における物理的な回転を制御するための媒体に変換する方法を概説する。...

バーチャルリアリティ環境における人間の観察者の制御された回転

バーチャルリアリティ環境での運動イメージは、ブレイン・コンピュータ・インターフェース・システムにおいて幅広い用途があります。この原稿では、参加者が想像した動きをバーチャルリアリティ環境で行うのに似たパーソナライズされたデジタルアバターを使用して、没入感と身体の所有権を高める方法について概説しています。...

バーチャルリアリティ対応のブレインコンピュータインターフェース環境における具現化されたデジタルツインによる運動イメージ性能

アイトラッキングは、情報処理をプローブするための非侵襲的な方法です。この記事では、アイトラッキングを使用して、短時間パイロットのフライトシミュレーション緊急タスク中の視線行動を研究する方法について説明します(つまり、&lt;350飛行時間)。...

複雑な航空タスク中のアイトラッキングによる情報処理への洞察

ここでは、仮想現実環境での動作中のマウス皮質の2光子イメージングに関わる実験手順について説明します。...

仮想現実環境をナビゲートマウスにおける二光子カルシウムイメージング

私たちは、初期の変成過程でManduca...

昆虫飛翔挙動監視のための早期変成挿入技術

学ぶVRフライトシミュレータを用いたパイロットの眼球運動と飛行指標によるパフォーマンス評価法。低コストで柔軟性が高く、宇宙飛行士選考など多様な研究ニーズに対応可能です。

バーチャルリアリティフライトシミュレータを使用した飛行性能と眼球運動パターンの評価

さらに動画を探す