Yöntem makalesi

Sanal Gerçeklik Uçuş Simülatörü Kullanarak Uçuş Performansını ve Göz Hareketi Örüntülerini Değerlendirme

2K görüntüleme

⸱

DOI:

10.3791/65170

⸱

19 Mayıs 2023

 ,  ,  ,  ,  ,  ,  , 
1Psychology Department, School of Social Sciences, Tsinghua University, 2Faculty of Psychology, Beijing Normal University, 3National Key Laboratory of Human Factors Engineering, the China Astronaut Research and Training Center, 4Department of Military Medical Psychology, Air Force Medical University

Bu makalede

Özet

Uçuş performansının ve göz hareketi modellerinin verimli ve düşük maliyetli bir şekilde değerlendirilmesini sağlayan yeni bir sanal gerçeklik uçuş simülatörü inşa edildi. Ayrıca ergonomi ve diğer araştırmalar için yüksek potansiyelli bir araştırma aracı sağlar.

Özet

Pilotların verimli ve ekonomik performans değerlendirmesi, havacılık endüstrisi için kritik hale gelmiştir. Sanal gerçekliğin (VR) gelişmesi ve göz izleme teknolojisinin birleşimi ile bu ihtiyaçları karşılayacak çözümler gerçeğe dönüşüyor. Önceki çalışmalar, esas olarak teknoloji doğrulama ve uçuş eğitimine odaklanan VR tabanlı uçuş simülatörlerini araştırdı. Mevcut çalışma, pilotların uçuş performansını 3D sürükleyici bir sahnede göz hareketi ve uçuş göstergelerine dayalı olarak değerlendirmek için yeni bir VR uçuş simülatörü geliştirdi. Deney sırasında 46 katılımcı işe alındı: 23 profesyonel pilot ve uçuş deneyimi olmayan 23 üniversite öğrencisi. Deney sonuçları, uçuş deneyimi olan ve olmayan katılımcılar arasında uçuş performansında önemli farklılıklar gösterdi, birincisi ikincisinden daha yüksekti. Buna karşılık, uçuş tecrübesi olanlar daha yapılandırılmış ve verimli göz hareketi paternleri gösterdi. Uçuş performansının farklılaşmasının bu sonuçları, mevcut VR uçuş simülatörünün bir uçuş performansı değerlendirme yöntemi olarak geçerliliğini göstermektedir. Uçuş deneyimi ile farklı göz hareketi modelleri, gelecekteki uçuş seçimi için temel sağlar. Bununla birlikte, bu VR tabanlı uçuş simülatörü, geleneksel uçuş simülatörlerine kıyasla hareket geri bildirimi gibi eksikliklere sahiptir. Bu uçuş simülatörü platformu, görünen düşük maliyet dışında oldukça esnektir. Araştırmacıların farklı ihtiyaçlarını karşılayabilir (örneğin, ilgili ölçekler ekleyerek durum farkındalığını, VR hastalığını ve iş yükünü ölçmek).

Giriş

Avrupa Havacılık Güvenliği Ajansı (2012), uçuş simülatörlerini eğitim tesisleri, uçuş ve seyrüsefer programı eğitmenleri, uçuş eğitim ekipmanları ve tam uçuş simülatörleri olarak sınıflandırmaktadır1. Bugüne kadar, düşük seviyeli masa üstü sistemlerinden son derece karmaşık hareket tabanlı tam uçuş simülatörlerinekadar eğitim için bir dizi uçuş simülatörü mevcuttur 2. Geleneksel simülatör, bir uçuş dinamiği modeli, bir sistem simülasyonu, bir donanım kokpiti, harici bir görselleştirme ve isteğe bağlı bir hareket simülasyonu3 içerir.

Bu geleneksel uçuş simülatörleri, etkili uçuş eğitim ekipmanı olarak bazı avantajlara sahiptir. Bununla birlikte, maliyetleri yüksek ve çevre dostu değildir, çünkü her sistemin tahriki önemli miktarda elektrik enerjisi gerektirir, özellikle yüksek sıcaklık ve yüksek basınçlı sıvı veya hava basıncı gerektiren, çok fazla güç tüketen ve çokfazla gürültü üreten tam bir uçuş simülatörü 4.

Bununla birlikte, basit bir masaüstü simülatör sistemi, tam bir uçuş simülatörü2'den daha düşük daldırma ve daha az etkileşim ile esnek ve düşük maliyetlidir. Bu nedenle, masaüstü sistemlerin ve tam uçuş simülatörlerinin avantajlarını birleştiren yeni uçuş simülatörleri geliştirmek esastır (başka bir deyişle, bir masa üstü simülasyonunun esnekliği ve tam bir uçuş simülatörüne yakın daldırma ve etkileşim seviyesi).

Bilgisayar teknolojisinin, özellikle sanal gerçeklik (VR) teknolojisinin gelişmesiyle birlikte, ortaya çıkan VR teknolojisine dayalı yeni bir uçuş simülatörü türü gerçeğe dönüşüyor. VR tabanlı uçuş simülatörü esnek, taşınabilir, düşük maliyetlidir ve geleneksel uçuş simülatörlerinden daha az alan gereksinimine sahiptir5. Araştırmacılar son 20 yılda VR teknolojisine dayalı uçuş simülatörleri oluşturdular 6,7,8,9,10,11; ancak, bu VR uçuş simülatörleri esas olarak uçuş eğitimi içindir ve pilot seçimi için çok az vardır. Yine de, maliyet düşürme ve teknolojinin gelişmesiyle birlikte, VR tabanlı simülatörler değişiyor ve kişisel seçim için uygun hale geliyor. Bazı çalışmalar, farklı alanlarda kişisel seçim için VR tabanlı simülatörler kullanmıştır: Schijven ve ark.12, bir sanal gerçeklik simülatörü kullanarak cerrahi kursiyerleri seçti. Huang ve ark.13, hava kuvvetleri pilotu alımı için sanal gerçeklik teknolojisine dayalı bir psikoloji seçim aracı geliştirdi. Wojciechowski ve Wojtowicz14, bir adayın VR teknolojisine dayalı bir insansız hava aracı (İHA) pilotu olarak yeteneklerini değerlendirdi. Pilot seçiminin havacılık endüstrisi için kritik olduğu göz önüne alındığında, büyük ölçekli pilot seçimi, simülatörün maliyetine ve taşınabilirlik simülatör sistemindeki taleplere duyarlı olduğundan, pilot seçimine odaklanan yeni bir VR tabanlı uçuş simülatörü geliştirmek için baskı yapıyor.

Göz hareketleri, bir pilotun performansı için ipuçları sağlar. Farklı çalışmalar, göz tarama modunun uzman ve acemi pilotlar arasındaki performansı ayırt ettiğini bulmuştur. Uzmanlar ve acemiler arasındaki tarama modelini karşılaştırarak, uzmanların verimli ve yapısal göz hareketi davranışları ve yeni başlayanların yetersiz tarama yöntemleri ayırt edilebilir. Çeşitli havacılık çalışmaları, pilotların göz tarama stratejisinin 15,16,17,18,19,20,21,22,23,24 uzmanlık düzeyi ile büyük ölçüde ilişkili olduğunu bulmuştur. Bellenkes ve ark.25'e göre, uzmanların fiksasyonlarının süresi daha kısadır ve enstrümanlar üzerindeki fiksasyonlarının sıklığı acemilere göre daha yüksektir. Hemen hemen aynı sonuç, uzman pilotların acemilere göre daha kısa sürelerle birlikte daha fazla fiksasyona sahip olduğunu keşfeden Kasarskis ve ark.26 tarafından çıkarıldı ve uzman pilotların acemilerden daha iyi bir görsel moda sahip olduğunu öne sürdü. Başka bir çalışmada, Lorenz ve ark.27, uzmanların kokpitin dışına bakmak için acemilerden daha fazla zaman harcadığını buldu. Bu sonuçlar, yeni gelenlerin seçiminde büyük pratik değere sahiptir.

Uçuş performans değerlendirmesi, pilot seçimi için bir diğer kritik faktördür. Bununla birlikte, pilot uçuş performans değerlendirmesinde aşağıdaki sorunlar mevcuttur: çelişkili uzman görüşleri, daha fazla seçim normu ve birleşik bir seçim teorisi. Sürüş alanında, Horrey ve ark.28, sürüş performansını değerlendirmek için farklı deneysel koşullar için merkez hattından şeritten ayrılmanın mutlak değerini karşılaştırdı. Havacılık alanına geri dönersek, uçuş hızlı erişim kaydedici (QAR),29. uçuş sırasında her türlü pilot manipülasyon parametresini, uçak parametrelerini, ortamları ve uyarı bilgilerini kaydeder. Daha spesifik olarak, QAR göstergeleri olarak, eğim açısı, uçağın30 sol ve sağ eksenleri etrafındaki dönüş açısıdır ve referans çizgisi (veya merkez referans çizgisi) kırmızı ve yeşil çizgilerin28 tam ortasındadır; Bu iki uçuş parametresi, mevcut çalışmada deneyimi olan veya olmayan katılımcıların uçuş performansını değerlendirmek için kullanılır. Bu QAR verileri uçuş performansını değerlendirmek için kullanılabilir, ancak en iyi bilgimize göre, bilimsel araştırmalarda kişisel eğitim ve seçim için nadiren kullanılmıştır31,32.

Göz hareketi modellerinin ölçümleri, uçuş performansını değerlendirmek ve tahmin etmek ve pilot eğitimi ve seçimine rehberlik etmek için kullanılabilir. 33 yaşındaki Gerathewohl ise gözün pilotun en önemli duyu organı olduğunu ve uçuş bilgilerinin yüzde 80'ini işlediğini belirtti. Pilotlar,22 numaralı uçuşu yönetmek için kokpitteki aletlerden görsel bilgi edinmeli ve bunları tutarlı bir görüntüye entegre etmelidir. Ayrıca, daha iyi uçuş performansı elde etmek için optimum tarama davranışı esastır15. Bununla birlikte, hiçbir uygun fiyatlı uçuş simülatörü şu anda göz hareketleri ve uçuş performansı arasındaki ilişkinin nicel çalışmalarını kolaylaştırmak için bir göz izleyici entegre etmemektedir.

Mevcut çalışma, uçuş deneyimi olan katılımcıların uçuş deneyimi olmayanlara göre daha iyi uçuş performansına sahip olup olmadığını değerlendirmek için yeni bir VR uçuş simülatörü geliştirdi. VR uçuş simülatörü, göz izleme ve göz hareketi paterni analizine ve uçuş performansı değerlendirmesine izin veren bir uçuş dinamiği sistemini entegre eder. Özellikle, VR uçuş simülatörünün, zaman alıcı kare sayımı olmadan ilgi alanı (AOI) tabanlı göz hareketini analiz etmek için cam benzeri veya masaüstü göz izleyici değil, bir VR göz izleyici34 kullandığını belirtmekte fayda var.

Son olarak, mevcut çalışma, göz tarama yolundan objektif uçuş performans verilerine kadar gelecekte pilot seçimi için çok yönlü bir ölçüme yol açabilir. Sanal uçuş simülatörünün yardımıyla, uçuş seçiminin maliyeti önemli ölçüde azalacak ve kapsamlı veri toplamaya dayalı olarak pilotların normu oluşturulabilecektir. Çalışma, uçuş seçimi ihtiyaçları için geleneksel ve masaüstü simülatörler arasındaki boşluğu dolduruyor.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

Burada açıklanan tüm yöntemler Tsinghua Üniversitesi Kurumsal İnceleme Kurulu (IRB) tarafından onaylanmıştır ve tüm katılımcılardan bilgilendirilmiş onam alınmıştır. Tamamlandıktan sonra, tüm katılımcılara 12 dolar (veya eşit değerde bir hediye) ödendi.

1. Katılımcı seçimi

  1. Katılımcı sayısının G*Powertarafından verilen ve 21'e eşit olan beklenen örneklem boyutunu karşıladığından emin olmak için G*Power yazılımı 35 ( Malzeme Tablosuna bakınız) kullanarak önceki bir güç analizi çalışmasına göre katılımcıları işe alın.
    NOT: G*Power tarafından verilen beklenen örneklem büyüklüğü, belirtilen etki büyüklüğüne, anlamlılık düzeyine ve kullanılan istatistiksel teste dayalı olarak istenen bir istatistiksel güç düzeyine ulaşmak için bir çalışmada ihtiyaç duyulan tahmini katılımcı sayısını ifade eder. Beklenen örneklem büyüklüğü, araştırma planlamasında önemli bir husustur. Araştırmacıların çalışma tasarımlarının fizibilitesini ve maliyet etkinliğini belirlemelerine yardımcı olur ve çalışmanın anlamlı etkileri tespit etmek için yeterli istatistiksel güce sahip olmasını sağlar.
  2. Hiçbir katılımcının epilepsi, kalp veya beyin hastalığı, yakın zamanda endokrin veya psikiyatrik ilaç veya ciddi cilt alerjisi öyküsü olmadığından emin olun.
  3. Katılımcıların görmelerinin normal veya normale düzeltilmiş olduğunu ve renk körlüğü veya renk zayıflığı gibi herhangi bir görme bozukluğu olmadığını doğrulamak için Snellen göz çizelgesini (metrik sistem 6/6'yı kullanın)36 kullanın.
  4. Katılımcıların hiçbirinin son 24 saat içinde uçma yeteneklerini etkileyebilecek alkol veya uyuşturucu tüketmediğinden emin olun.
  5. Deneyden önce katılımcıların en az 6 saat uyuduklarından ve zihinsel durumlarının iyi olduğundan emin olun.

2. Uçuş simülatörü donanımı

  1. Uçuş simülatörünün tüm donanımının eksiksiz olduğunu kontrol edin. İşlevine göre, bu donanım üç modül halinde düzenlenmiştir (Tablo 1) (bkz.
    NOT: Araştırmacıların, elektrostatik indüksiyonun oluşturduğu riskten kaçınmak için ekipmana dokunmadan önce metal bir çubuğa dokunmaları gerekir.
    1. Tablo 2'nin yardımıyla VR, HMD (başa takılan ekran) ve göz izleme modülünün bileşenlerini kontrol edin.
    2. Tüm uçuş simülatörü PC modülü bileşenlerinin aşağıdaki minimum gereksinimleri karşıladığından emin olun: 3.6G Hz işlemci, 4G dahili bellek, 64 bit işletim sistemi ve grafik kartı. Sistem tüm uçuş kontrolörlerini destekleyecektir.
    3. Uçuş kontrol modülünün bileşenlerini kontrol edin ve cihazın parametre konfigürasyonunun Tablo 3 ile tutarlı olduğundan emin olun.
  2. Uçuş simülatörünün donanımını Şekil 1'deki düzene göre kurun. Şekil 2 , donanımın nasıl bağlandığını göstermektedir.
    1. Gaz kelebeği ve kontrol paneline fiziksel olarak katılın ve bunları bir ünite olarak değerlendirin.
    2. Gaz kelebeğini, joystick'i ve pedalı USB üzerinden uçuş simülatörü PC modülüne bağlayın.
    3. HMD'yi bağlantı kutusu aracılığıyla uçuş simülatörü PC modülüne bağlayın.
    4. Baz istasyonlarını ve VR denetleyicilerini PC'deki VR yazılımı aracılığıyla HMD'ye bağlayın.
VR başa takılan ekran (HMD) ve göz izleme modülü1. Baz İstasyonu
2. Sanal Gerçeklik HMD
Uçuş Simülatörü PC modülü3. Uçuş Simülatörü PC
Uçuş kontrol modülü4. Uçuş Gaz Kelebeği
5. Uçuş Joystick'i
6. Uçuş Pedalı

Tablo 1: Uçuş simülatörü donanımının üç modülünün bileşenleri.

Ana bileşenAksesuar -lar
Sanal Gerçeklik HMD TeknolojisiKulaklık kablosu (takılı)
Yüz yastığı (ekli)
Temizlik bezi
Kulaklık delik kapağı × 2
Bağlantı kutusuGüç adaptörü
DisplayPort kablosu
USB 3.0 kablosu
Montaj pedi
Kontrolörler (2018) × 2Güç adaptörleri × 2
Boyunluklar × 2
Mikro USB kabloları × 2
Baz İstasyonu 2.0 × 2Güç adaptörleri × 2
Montaj Kiti (2 montaj, 4 vida ve 4 duvar dübeli)

Tablo 2: VR HMD ve göz izleme modülünün bileşenlerinin listesi.

AygıtParametre yapılandırması
Uçuş Joystick'iOn dokuz eylem düğmesi
Bir adet 8 yönlü "bakış açısı" şapkası
Birkaç 3D manyetik sensör
Bir adet 5 helezon yay sistemi
Bir adet 16 bit çözünürlük (65536 x 65536 değerleri).
Uçuş Kontrol PaneliOn beş eylem düğmesi
Bir TRIM tekerleği
Beş programlanabilir LED
Uçuş Gaz KelebeğiOn yedi eylem düğmesi
Basma düğmeli bir fare şapkası
Bir adet 8 yönlü "bakış açısı" şapkası
Birkaç 3D manyetik sensör
İki adet 14 bit çözünürlük
Uçuş Pedalı2,5 kg ile 5 kg arası gerginlik
35° ile 75° arasındaki açı

Tablo 3: Uçuş kontrol modülünün cihazlarının parametre konfigürasyonu.

figure-protocol-1
Şekil 1: VR uçuş simülatörü donanımının yerleşimi. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-2
Resim 2: Uçuş simülatörü donanımının bağlantısı. (A) Uçuş kontrol modülü. Gaz kelebeği ve kontrol paneli fiziksel olarak birleştirilir ve bir ünite olarak ele alınır. Bu çalışmada "gaz kelebeği" terimi kullanılıyorsa, hem gaz kelebeğini hem de kontrol panelini ifade eder. (B) Uçuş simülatörü PC modülü. Adım 2.2'de belirtilen gereksinimleri karşılayan bir bilgisayar. (C) HMD ve göz izleme modülü. Göz izleme için yazılım geliştirme kitleri (SDK'lar) ve 3D motor, aynı bilgisayara yüklendiğinde senkronize halde tutulur. Bu nedenle, göz izleme işlevleri ve işletim sistemi etkileşime girer ve birlikte çalışır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

3. Uçuş simülatörü yazılımı

  1. Deney başlamadan önce tüm yazılımların ( Malzeme Tablosuna bakın) yüklendiğinden emin olun. Deneyde kullanılan tüm yazılımlar ile ilgili bilgiler Tablo 4'te gösterilmiştir.
AdAçıklama
VR yazılımıDonanımda VR içeriğini deneyimlemek için yaygın olarak kullanılan bir araç.
VR uygulama mağazasıMüşterilerin sevdikleri ve ihtiyaç duydukları içeriği keşfedebilecekleri, oluşturabilecekleri, bağlantı kurabilecekleri ve deneyimleyebilecekleri sanal gerçeklik için uygulama mağazası.
Göz izleme yazılımıAraştırma ekibi tarafından Göz izleme ve 3D motor SDK'ları aracılığıyla geliştirilen göz izleme yazılımı.
Uçuş SimülatörüAraştırma ekibi tarafından geliştirilen uçuş simülatörü yazılımının ana programı.
Ekran kayıt yazılımıVideo kaydı ve canlı akış için ücretsiz ve açık kaynaklı bir yazılım.

Tablo 4: Deneyde kullanılan tüm yazılımlar hakkında bilgiler.

4. Uçuş simülatörünü başlatmadan önce hazırlık

NOT: Göz izleme programı ilk kez çalıştırılıyorsa, Şekil 3'e göre ek adımları gerçekleştirin. Göz izleme programı, ilk çalıştırmadan sonra otomatik olarak etkinleşecektir.

figure-protocol-3
Şekil 3: Göz izleme programını ilk kez çalıştırırken ek adımlar. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

  1. HMD'nin açık ve bilgisayara bağlı olduğundan emin olun.
  2. HMD'nin her zaman baz istasyonunun izleme menzili içinde olmasını sağlamak için baz istasyonunu çapraz olarak yerleştirin. Sabit bir VR ortamı sağlamak için baz istasyonunu sabit tutun.
  3. Bilgisayardaki VR yazılımı tarafından verilen istemlere göre yalnızca ayakta duran bir oyun alanı oluşturun.
    NOT: İstem, oda ölçeğinde bir alana izin verir veya yalnızca ayakta duran bir oyun alanı oluşturur. Yalnızca ayakta durma modu genellikle yürüme gerektirmeyen VR sahnelerini deneyimlemek için kullanılır ve kullanıcının hareket etmek için sınırlı alanı olduğunda seçilebilir. Bu nedenle, bu deneyde sadece ayakta durulabilen bir oyun alanı oluşturun.
  4. Göz izleme kalibrasyonunu ayarlayın. Göz izleme sistemi, katılımcı her değiştirildiğinde yeniden kalibre edilmelidir.
    1. Katılımcıların kontakt lens kullanmadığını onaylayın, bu da göz izlemenin arızalanmasına neden olur.
    2. VR denetleyicilerini kullanarak göz izleme kalibrasyon programını açın (Malzeme Tablosuna bakın).
    3. Cihaz yüksekliğini, gözbebekleri arası mesafeyi (IDP) ve bakış noktasını sistemin yönlendirdiği şekilde ayarlayın.
    4. Göz izleme kalibrasyonunun etkinliğini doğrulamak için katılımcının gözlerinin her noktayı saat yönünde 2 saniye boyunca aydınlatmasını sağlayın.
  5. Ayarlanmış uçuş kontrol modülünü ve geniş ekranı (yani en az 27 inçlik bir monitör) VR HMD ile aynı bilgisayara bağlayın. Ekran, deneycinin VR HMD'de neler olduğunu aynı anda görüntülemesini sağlar.

5. Deneysel prosedür

NOT: Deney dört adıma ayrılmıştır: "bilgi toplamak", "görevi ve işlemi tanıtmak", "deneyden önce pratik yapmak" ve "resmi bir deney yapmak". Deneysel süreç Şekil 4'te özetlenmiştir.

figure-protocol-4
Şekil 4: Deneyin akış şeması. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

  1. Katılımcılardan bilgi toplayın (15 dk).
    1. Katılımcıların ödeme bilgileri ile ödeme detayları formunu doldurun.
    2. Katılımcıları bilgilendirilmiş onam belgesini okumaları ve imzalamaları konusunda bilgilendirin.
  2. Katılımcılara görevi ve simülatörü tanıtın (5 dk).
    1. Katılımcılara trafik düzenini ve haritasını açıklayın (Şekil 5).
    2. Katılımcılara VR uçuş simülatörünü nasıl kullanacakları konusunda talimat verin.
    3. Katılımcılara, bir uçuşu simüle ederken rahatsızlık hissederlerse deneyden ayrılabileceklerini bildirin.
  3. Katılımcılardan VR uçuş simülatörünü kullanarak pratik yapmalarını isteyin (15 dk).
    1. VR HMD'yi katılımcılara takın ve göz hareketlerini kalibre edin. Cihaz yüksekliğini, gözbebekleri arası mesafeyi (IDP) ve bakış noktasını sistem tarafından talimat verildiği şekilde ayarlayın.
    2. Ekran kayıt yazılımını açın.
    3. Katılımcılara uçuş eğitiminde yardımcı olmak için FlySimulator programını başlatın.
    4. Katılımcılara, uçağı referans uçuş çizgisine mümkün olduğunca yakın yönlendirmek için uçuş pedalını, joystick'i ve gaz kelebeğini uyum içinde kullanmaları talimatını verin (Şekil 5).
    5. FlySimulator programından çıktıktan sonra uçuş gazı ve motor değiştirme düğmelerini sıfırlayın ve denek uygulamayı tamamladıktan sonra ekranı kaydetmeyi durdurun.
  4. Resmi uçuş deneyleri yapın (20 dk).
    1. Katılımcılar için VR HMD'yi takın ve ekranı kaydetmeye başlamak için OBS Studio'yu çalıştırın.
    2. FlySimulator programını başlatın, uygun bir perspektif seçin, motoru çalıştırın, park frenini bırakın ve uçuş gazını tam olarak ayarlayın.
    3. FlySimulator programından çıkın, ardından uçuş gaz kelebeği ve motor değiştirme düğmelerini sıfırlayın. Ekran kaydını durdurun.

figure-protocol-5
Resim 5: VR uçuş simülatörü için trafik düzeni. Eğim açısı, uçağın sol ve sağ eksenleri etrafındaki dönüş açısıdır ve referans çizgisi (veya merkez referans çizgisi) kırmızı ve yeşil çizgilerin tam ortasındadır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

6. Veri analizi

  1. Göz hareketi verilerini analiz edin.
    1. Bu çalışmada beş ilgi alanı (AOI) bölgesini ayırın; AOI'lerin hesaplanması hakkında daha fazla bilgi için, uçuş kokpiti aletine karşılık gelen uçuş kokpitinin gerçek paneline dayalı olarak Şekil 6'ya bakın (Şekil 7).
    2. Bu çalışmada kullanılan VR okülomotorun ekipman özelliği göz önüne alındığında, AOI bölgesi37'deki bekleme süresinin yüzdesini kullanarak AOI fark testini hesaplayın.
      NOT: Ortalama bekleme süresi yüzdesi, bir AOI içinde bakmak için harcanan kümülatif yüzdenin, toplam sabitleme süresine bölünmesi ve katılımcılar arasında ortalamasının alınmasıdır.
  2. Python 3.10 kullanarak özel olarak geliştirilmiş programlama komut dosyalarıyla uçuş performansı verilerini analiz edin. Performans metrikleri için temel algoritma, Ulusal Havacılık ve Uzay Dairesi (NASA) tarafından sağlanan 35 BAE-146 uçak QAR verisinden esinlenen QAR analiz yönteminden uyarlanmıştır38.
    NOT: Bu çalışma için uçuş performans göstergeleri: toplam uçuş süresi (her katılımcı için kalkıştan inişe kadar geçen toplam sürenin saniye cinsinden), inişten 1 s önceki eğim açısı (uçağın inişten 1 s önceki eğim açısı, ham verilerden elde edilen, derece cinsinden), referans çizgisine olan ortalama mesafe (uçuş sırasında uçak ile referans çizgisi arasındaki uzamsal mesafenin ortalama hatası, metre cinsinden) ve referans çizgisine olan mesafenin standart sapması (uçuş sırasında düzlem ile referans çizgisi arasındaki uzamsal mesafenin metre cinsinden standart sapması).
  3. İstatistiksel analizleri yapın.
    1. Verilerin normalliğini doğrulamak için Shapiro-Wilk testi39'u kullanın.
    2. Tanımlayıcı istatistikler, Mann-Whitney U testi ve Student t-testi için istatistiksel yazılım (Materyal Tablosuna bakınız) kullanın.
    3. Veri dağılımının şeklini daha iyi belirtmek için keman grafiklerini tasvir edin40.
      NOT: Cohen'in d'si kullanılarak ölçülen etki büyüklüğünün açıklaması şu şekildedir: 0.1 çok küçük, 0.2 küçük, 0.5 orta, 0.8 büyük, 1.2 çok büyük ve 2.0 çok büyük41,42. Anlamlılık düzeyi p < 0.05 olarak belirlenmiştir.

figure-protocol-6
Şekil 6: AOI önişleme ve akış sürecinin hesaplanması. Bölüm 1'den 4'e kadar, bu çalışmanın pilotların göz hareketi verilerini bağımsız örneklem t-testine kadar nasıl işlediğini açıklamaktadır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-7
Şekil 7: Uçuş aletinin AOI bölümünün şematik diyagramı. Aletlerin işlevi: (A) Hava hızı göstergesi, uçağın havaya göre hızını gösterir. (B) İrtifa göstergesi, uçağın eğim ve yuvarlanma irtifasını gösterir. (C) Dikey hız göstergesi, uçağın kalkış veya alçalma hızını gösterir. (D) İrtifa göstergesi, uçağın barometrik irtifasını gösterir. (E) Motor devri göstergesi, uçak motorunun hızını gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Mevcut deney için uçuş tecrübesi olan 23 uzman ve uçuş tecrübesi olmayan 23 acemi seçildi. Katılımcılar 25 ile 58 yaşları arasındaydı (uzmanlar: M = 32.52 yıl, SS = 7.28 yıl; acemiler: M = 29.57 yıl, SS = 5.74 yıl). Tüm katılımcıların cinsiyeti erkekti. Tüm acemiler Tsinghua Üniversitesi'nden (öğrenciler veya öğretim üyeleri) işe alındı ve tüm uzmanlar China Eastern Airlines'tandı.

Göz hareketi
Cihazın AOI'lerinin, hava hızı göstergesinin...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

Mevcut çalışma, uçuş deneyimi olan katılımcıların, VR tabanlı bir uçuş simülatöründe uçuş deneyimi olmayanlara göre daha iyi uçuş performansına sahip olup olmadığını değerlendirdi. Daha da önemlisi, daha iyi uçuş performansına sahip bu katılımcılarda daha optimize edilmiş bir göz hareketi modelinin bulunup bulunamayacağını değerlendirdi. Sonuçlar, uçuş deneyimi olan ve olmayan katılımcılar arasında üç temel uçuş QAR göstergesinde önemli farklılıklara sahiptir: inişten 1 s önceki eğim açısı, referans çizgisine olan ortala...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarlar herhangi bir finansal açıklama veya çıkar çatışması beyan etmediler.

Teşekkürler

Yazarlar, pilot katılımcıları işe almadaki yardımları için Bay Li Yan'a inanılmaz derecede minnettarlar ve Bayan Bu Lingyun'a resim çizme konusundaki çalışmaları için teşekkür ediyorlar. Araştırma, Çin Ulusal Doğa Bilimleri Vakfı (hibe numarası T2192931, 72071185), Ulusal Beyin Projesi (hibe numarası STI2030-Major Projects2022ZD0208500), İnsan Faktörleri Mühendisliği Ulusal Anahtar Laboratuvar Projesi (hibe numarası SYFD062003), İnsan Faktörleri Mühendisliği Ulusal Anahtar Laboratuvar Projesi (hibe numarası 6142222210201) ve 2022 yılı Askeri Lojistik Araştırma Büyük Projeleri Hibe ve Hava Kuvvetleri Ekipmanı Anahtar Projesi tarafından desteklenmiştir. Araştırma (hibe numarası KJ2022A000415).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
3D motor SDK'sıEpic GamesUnreal Engine 4
GameAnalytics Unreal SDK		Bu SDK, oyunlar için tasarlanmış güçlü ancak esnek bir ücretsiz analiz aracıdır.
İşlemciIntelIntelCore i9Ana akım pazardaki en güçlü CPU'lardan biri.
Göz izleme SDK'sıTobiiTobii XR SDK'sıBu SDK, birçok farklı donanım satıcısından kulaklıkların geliştirilmesine olanak sağlamak için göz izleme verilerine cihazdan bağımsız erişim sağlar ve Tobii Göz İzleme donanımını kullanan cihazlarla sınırlı değildir.
Göz izleme yazılımıAraştırma ekibiBir kişinin sanal gerçeklik HMD'sini kullanırken gözlerinin hareketini izleyen bir program.
FlySimulator programıAraştırma ekibiVR HMD ve el kumandaları kullanarak sanal bir ortamda uçuş deneyimlerini simüle eden bir yazılım.
Ekran kartıNVIDIAGeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock   
24 GB Bellek Boyutu
GDDR6X Bellek Türü		Ana akım piyasadaki en güçlü grafik kartlarından biri.
İşletim sistemi (OS)MicrosoftWindows XP- Microsoft Corporation tarafından geliştirilen ve özel olarak dağıtılan bir işletim sistemi (OS)
Replica kontrol paneli:THRUSTMASTER2960720 2971004 2962072 2960748 2960769 ABD Hava Kuvvetleri A-10C saldırı uçağı, HOTAS
Replika joystickTHRUSTMASTER2960720ABD Hava Kuvvetleri A-10C saldırı uçağı, HOTAS
Replica pedalıTHRUSTMASTERTPR sarkaç
dümen Replika gaz kelebeğiTHRUSTMASTERU.S. Air Force A-10C saldırı uçağı HOTAS
PC'ye bağlı ekranRedmiRMMNT27NF, 27 inç, 1920 X 1080 çözünürlük oranı Ekran,deneycinin VR HMD'de neler olduğunu aynı anda görüntülemesini sağlar
Ekran kayıt yazılımıOBS ProjesiOBS Studio Sürüm 28.0Video kaydı ve canlı akış için ücretsiz ve açık kaynaklı bir yazılım
İstatistiksel güç analizi yazılımıAçık KaynakG*power Sürüm 3.1.9.6İstatistiksel gücü ve örneklem boyutunu tahmin etmek için ücretsiz ve kullanıcı dostu bir araç.
İstatistiksel yazılımIBMSPSS Sürüm 24.0Güçlü bir istatistiksel yazılım platformu
Çok yönlü istatistik aracıGraphPadYazılımı GraphPad Prism Sürüm 9.4.0İstatistikçiler için değil, bilim adamları için özel olarak oluşturulmuş çok yönlü bir istatistik aracı
VR uygulama mağazası HTCCorporationVIVE Yazılımı 2.0.17.6 / 2.1.17.6Müşterilerin sevdikleri ve ihtiyaç duydukları içeriği keşfedebilecekleri, oluşturabilecekleri, bağlantı kurabilecekleri ve deneyimleyebilecekleri bir sanal gerçeklik uygulama mağazası.
VR başa takılan ekran (HMD)HTC CorporationVIVE Pro EyeHassas göz izleme özelliğine sahip bir VR başlığı
VR yazılımıSteamSteam VR Sürüm 1.23Donanımda VR içeriğini deneyimlemek için bir araç
tarafından geliştirilen tarafından geliştirilen : ,

Kaynaklar

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. Flight Simulation. , Cambridge University Press. Cambridge, New York. (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , Lawrence Erlbaum Associates. Mahwah, New Jersey. 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , The Hague. The Netherlands. (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , Honolulu, Hawaii. 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , Shaker Verlag. Aachen. 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , Dallas, Texas. 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , CN111920428-A (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , Pisa, Italy. (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439(2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061(2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , Columbus, Ohio. (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , Dearborn, Michigan. October 8-10 (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , Springer International Publishing. Vancouver, British Columbia, Canada. 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192(2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, Č, Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027(2022).
  35. Faul, F., Erdfelder, E., Lang, A. -G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , Retrieved on December 20,2022 from https://github.com/tanvcodes/qar_analytics (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , Erlbaum, Hillsdale, NJ. (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26(2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. NASA Task Load Index (TLX). , (1986).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

U u Performans De erlendirmesiPilot De erlendirmesiG z zleme TeknolojisiU u Deneyimi Kar la t rmas3D S r kleyici Sim lasyonU u Kontrol Mod lDurumsal Fark ndal k l mVR Hastal De erlendirmesi

İlgili makaleler