Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

Öğrenme Süreçlerine Dahil Olan Yetişkinlerin Davranış Analizi için Kullanılan Göz İzleme Teknolojisi ve Veri Madenciliği Teknikleri

Published: June 10, 2021 doi: 10.3791/62103

Summary

Öğrenme süreçlerine katılan yetişkinlerin (18 ila 70 yaş arası) davranışsal analizi için bir protokol sunuyoruz, Kendi Kendini Düzenleyen Öğrenme (SRL) için tasarlanmış görevleri üstleniyoruz. Katılımcılar, üniversite öğretmenleri ve öğrencileri ile Deneyim Üniversitesi'nden yetişkinler göz takip cihazları ile izlendi ve veriler veri madenciliği teknikleri ile analiz edildi.

Abstract

Öğrenme görevleriyle uğraşan yetişkinlerin davranışsal analizi, yetişkin eğitimi alanında önemli bir zorluktur. Günümüzde, sürekli teknolojik değişimlerin ve bilimsel gelişmelerin olduğu bir dünyada, hem örgün hem de yaygın eğitim ortamlarında yaşam boyu öğrenme ve eğitime ihtiyaç vardır. Bu zorluğa yanıt olarak, denetimli (esas olarak tahmin) ve denetimsiz (özellikle küme analizi) öğrenme için sırasıyla göz izleme teknolojisinin ve veri madenciliği tekniklerinin kullanılması, kullanıcılar arasında öğrenme biçimlerinin tespiti ve/veya öğrenme tarzlarının sınıflandırılması için yöntemler sağlar. Bu çalışmada, farklı yaşlarda (18 ila 69 yaş) ve öğrenme süreci boyunca farklı noktalarda (başlangıç ve bitiş) önceden bilgisi olan ve olmayan yetişkinler arasında öğrenme stillerinin incelenmesi için bir protokol önerilmiştir. İstatistiksel varyans analizi teknikleri, katılımcılar arasında öğrencinin türüne ve göreve ilişkin önceki bilgilere göre farklılıkların tespit edilebileceği anlamına gelir. Aynı şekilde, denetimsiz öğrenme kümeleme tekniklerinin kullanılması, farklı gruplardaki katılımcılar arasında benzer öğrenme biçimlerine ışık oluşturur. Tüm bu veriler, bilgi işlem zincirinin farklı noktalarında her görevin sunumu için öğretmenden kişiselleştirilmiş önerileri kolaylaştıracaktır. Aynı şekilde öğretmenin öğretim materyallerini benzer özelliklere sahip her öğrencinin veya öğrenci grubunun öğrenme ihtiyaçlarına uyarlaması daha kolay olacaktır.

Introduction

Öğrenmede davranış analizine uygulanan göz izleme metodolojisi
Göz izleme metodolojisi, diğer fonksiyonel kullanımların yanı sıra, özellikle görev çözünürlüğü sırasında insan davranışının incelenmesine uygulanır. Bu teknik, öğrenme görevlerinin tamamlanması sırasında izleme ve analizi kolaylaştırır1. Özellikle, öğrencilerin farklı konulardaki (Tarih, Matematik, Fen Bilimleri vb.) öğrenme sürecinin farklı noktalarındaki (başlangıç, gelişim ve bitiş) dikkat düzeyleri göz izleme teknolojisi kullanılarak incelenebilir. Buna ek olarak, görev öğrenme sürecine rehberlik eden bir sesle video kullanımını içeriyorsa, Kendi Kendini Düzenleyen Öğrenme (SRL) kolaylaştır edilir. Bu nedenle, SRL'nin (video kullanımını içeren) görevlerin analizinde göz izleme teknolojisinin uygulanması, öğrenmenin nasıl geliştirildiğini anlamak için önemli bir kaynak olarak önerilmektedir2,3,4. Bu kombinasyon aynı zamanda öğretim yöntemleri arasındaki farkların (SRL olsun veya olmasın, vb.) farklı öğrenci türleriyle (önceden bilgisi olsun veya olmasın vb.) kontrol edilebileceği anlamına gelir. 5.Buna karşılık, çok kanallı bilgilerin sunumu (sözel, yazılı veya resimsel olsun, hem işitsel hem de görsel bilgilerin eşzamanlı sunumu) yukarıda belirtilen değişkenlerden ilgili ve ilgili olmayan bilgilerin kaydedilmesi ve analizini kolaylaştırabilir6. Multimedya öğrenme kanallarına maruz kalan önceden bilgi sahibi olan öğrenciler, önceden çok az bilgisi olan veya hiç bilgisi olmayanlardan daha etkili bir şekilde öğreniyor gibi görünmektedir. Konuyla ilgili önceden yüksek düzeyde bilgi sahibi olan öğrenciler, metinsel ve grafiksel bilgileri daha etkili bir şekilde entegre edecektir7. Bu işlevsellik, görüntüleri içerenmetinlerin 8 öğrenilirken gözlemlenmiştir9. Göz izleme teknolojisi, dikkatin nereye ve ne kadar süreyle odaklanıldığı hakkında bilgi sunar. Bu veriler, bir görevin tamamlanması sırasında çözüm sürecinin basit gözlemlenmesinden daha kesin bir şekilde bir öğrenme sürecinin gelişimi hakkında fikir verir. Ayrıca, bu göstergelerin analizi, öğrencinin derin veya yüzeysel öğrenme geliştirip geliştirmediğinin incelenmesini kolaylaştırır. Ayrıca, bu veriler ile öğrenme sonuçları arasındaki ilişki, göz izleme teknolojisi4,10ile elde edilen bilgilerin doğrulanmasını kolaylaştırır. Aslında, SRL ile birlikte bu teknik Yükseköğretimde ve Yetişkin Eğitiminde11 öğrenme ortamında, hem düzenlenmiş hem de düzenlenmemiş derslerde giderek daha fazla kullanılmaktadır12.

Göz izleme teknolojisi farklı ölçümler sunar: mesafe, hız, hızlanma, yoğunluk, dağılım, açısal hız, İlgi Alanları (AOI) arasındaki geçişler, AOI'nin sıralı sırası, fiksasyonlarda ziyaretler, saccades, tarama yolu ve ısı haritası parametreleri. Bununla birlikte, bu verilerin yorumlanması karmaşıktır ve denetimli (gerileme, karar ağaçları vb.) ve denetimsiz (k-means küme teknikleri vb.) kullanılmasını gerektirir. 13,14 veri madenciliği tekniği. Bu ölçümler, zaman içinde aynı konunun davranışını izlemek veya birkaç konu ile aynı görev15ile performansları arasında bir karşılaştırma için, önceki bilgiye sahip katılımcılar ile önceki bilgisi olmayan arasındaki farkı analiz ederek uygulanabilir16. Son araştırmalar11,17 acemi çırakların uyaranlara daha uzun süre sabitlendiğini ortaya koydu (yani, benzer tarama yolu desenleri kaydedilirken daha büyük bir sabitleme sıklığı vardır). Ortalama fiksasyon süresi uzmanlar için acemilere göre daha uzundu. Uzmanlar, dikkatlerini bilgilerin orta noktalarına (proksimal ve merkezi), ısı haritalarındaki AOI içindeki görselleştirme noktalarında da görülebilecek farklılıklara sundular.

Göz takibinde ölçümlerin yorumlanması
Son çalışmalar18, bilgi edinmenin uyaranlar üzerindeki oküler fiksasyonların sayısıyla ilgili olduğunu belirtmiştir. Bir diğer önemli metrik, [10 ms, 100 ms] aralıklarla bir fiksasyonun hızlı ve ani hareketi olarak tanımlanan saccade'dir. Sharafi ve ark. (2015)18, öğrencinin bilgi kodlama aşamasına bağlı olarak saccade sayısında farklılıklar buldu. Bir diğer ilgili parametre, katılımcının araştırmacı tarafından tanımlanan AOI içindeki öğrenme görevinin çözümü için gerçekleştirdiği adımların kronolojik sırasını yakalayan bir ölçüm olan taramayoludur 18. Benzer şekilde, göz izleme teknolojisi, katılımcının fiksasyon sayısıyla ilgili görünen anlayış düzeyini tahmin etmek için kullanılabilir. Son çalışmalar, bakış davranışındaki değişkenliğin görüntünün özelliklerine (konum, yoğunluk, renk ve yönelim), görevi gerçekleştirme talimatlarına ve katılımcının bilgi işleme türüne (öğrenme stili) göre belirlendiğini belirtmiştir. Bu farklılıklar, öğrencinin farklı AOI19ile etkileşimi analiz ederek tespit edilir. Farklı metriklerden toplanan verileri analiz etmek için nicel20 (frekans analizi) ve/veya nitel veya dinamik21 (tarama yolu) teknikleri kullanılabilir. Eski teknikler geleneksel istatistiksel tekniklerle (frekans analizi, ortalama fark, varyans farkı vb.) analiz edilir ve ikincisi Makine Öğrenimi teknikleri ile analiz edilir (Dize düzenleme yöntemleri21 , 22ve kümeleme17ileÖklidmesafeleri). Bu tekniklerin uygulanması, deneklerin farklı özelliklerini göz önünde bulundurarak kümelenmeyi kolaylaştırır. Bir çalışma17, öğrenci ne kadar uzman olursa, uygulanan mekansal ve zamansal bilgi işleme stratejisinin o kadar etkili olduğunu buldu. Bu çalışmada kullanılan ölçüm parametrelerinin açıklayıcı bir tablosuna aşağıdaki Tablo 1'debaşvurulabilir.

Tablo 1: Sáiz, Zaparaín, Marticorena ve Velasco'dan (2019) uyarlanan göz izleme tekniği ile elde edilebilen çoğu temsili parametre. 20   Bu Tabloyu indirmek için lütfen tıklayınız.

Göz izleme metodolojisinin öğrenme sürecinin çalışmasına uygulanması
Yukarıda açıklanan teknolojik gelişmelerin ve veri analizi tekniklerinin kullanımı, bilgi işlemenin farklı aşamalarında (görev başlatma, bilgi işleme ve görev çözümü) problem çözme sırasında öğrencilerin davranış analizine daha fazla hassasiyet katacaktır. Hepsi bireysel davranış analizini kolaylaştıracak, bu da benzer özelliklere sahip öğrencilerin gruplandırılmasına izin verecek24. Aynı şekilde tahmin teknikleri (karar ağaçları, regresyon teknikleri vb.) 25, hem fiksasyon sayısı hem de her öğrencinin görev çözüm sonuçları ile ilgili olarak öğrenmeye uygulanabilir. Bu işlevsellik, her öğrencinin nasıl öğrendiği konusunda ve farklı gruplar içinde kişiselleştirilmiş öğrenme programlarının önerildi (öğrenme güçlüğü çeken veya olmayan kişiler26). Bu nedenle, bu tekniğin kullanımı kişiselleştirme ve öğrenme optimizasyonuna katkıda bulunacaktır27. Toplum bilgisi sürekli ilerlediklerinden ve ilerlediklerinden, yaşam boyu öğrenme sürekli bir gelişim döngüsü olarak anlaşılmalıdır. Evrimsel psikoloji, çözüm becerilerinin ve bilgi işlemedeki etkinliğin yaşla birlikte azaldığını gösterir. Özellikle, yetişkinler arasında saccade sıklığı, genliği ve göz hareketlerinin hızının yaşla birlikte azaldığı bulunmuştur. Ek olarak, daha büyük yaşlarda, dikkat, çalışma belleğindeki eksikliklerle ilgili görsel sahnelerin alt alanlarına odaklanır14. Bununla birlikte, aktivasyon daha büyük yaşlarda ön ve prefrontal alanlarda artar ve bu da görev çözünürlüğündeki bu açıkları telafi eder gibi görünmektedir. Bu husus, önceki bilgi düzeyini ve konunun uygulayabileceği bilişsel telafi stratejilerini içerir. Deneyimli katılımcılar, otomatik gözetim süreçlerinin uygulanması nedeniyle dikkati daha etkili yönettiklerinden daha verimli öğrenirler28. Ek olarak, öğrenilecek bilgiler SRL teknikleri ile verilirse, yukarıda belirtilen eksiklikler hafifletilir17. Bu tür tekniklerin kullanılması, görsel izleme kalıplarının hem önceden bilgisi olmayan konularda hem de önceden bilgisi olan konularda çok benzer olduğu anlamına gelir7.

Özetle, gelişmiş öğrenme (göz izleme) teknolojilerinin kullanımıyla elde edilen SRL'deki çok kanallı verilerin analizi, bilişsel, üst bilişsel ve motivasyonel süreçler arasındaki etkileşimi ve bunların öğrenme üzerindeki etkilerini anlamanın anahtarıdır29. Sonuçların ve öğrenmedeki farklılıkların incelenmesi, her ikisi de öğrenci için daha etkili ve tatmin edici olması muhtemel kişiselleştirilmiş öğrenmeyi sağlayacak olan öğrenme materyallerinin ve akıllı özel ders sistemlerinin tasarımı üzerinde etkileri vardır30.

Bu araştırmada iki soruşturma sorusu soruldu: (1) Öğrenme sonuçlarında ve öğrenciler ile uzman ve uzman olmayan öğretmenler arasında, resmi dereceleri olan öğrenciler ile resmi olmayan derecelere sahip öğrenciler arasında farklılaşan oküler fiksasyon parametrelerinde (Deneyim Üniversitesi - Yetişkin eğitimi) önemli farklılıklar olacak mı? ve (2) Her katılımcının öğrenme sonuçları ve oküler fiksasyon parametrelerine sahip kümeleri, katılımcıların türüyle (resmi dereceleri olan öğrenciler, resmi olmayan derecelere sahip öğrenciler (Deneyim Üniversitesi - Yetişkin eğitimi) ve öğretmenler) çakışacak mı?

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Bu protokol, Burgos Üniversitesi (İspanya) Biyoetik Komitesi'nin nº Nº IR27/2019 usul düzenlemelerine uygun olarak gerçek gerçekleştirildi. Katılımlarından önce, katılımcılar araştırma amaçlarından tamamen haberdar olmuş ve hepsi de bilgilendirilmiş onaylarını sunmuşlardı. Katılımlarından dolayı maddi tazminat almadılar.

1. Katılımcı alımı

  1. Yükseköğretim ortamında (örgün ve yaygın eğitim) 18 ila 69 yaş arası bir yaş derecesine sahip iki ortamda (öğrenci ve öğretmenler) bir grup yetişkin arasından katılımcı alın.
  2. Normal veya normale düzeltilmiş görme ve işitmeye sahip katılımcıları dahil edin.
  3. Nörolojik, psikiyatrik ve uyku bozuklukları, eğitimsel özel ihtiyaçlarla ilgili engelliler, algısal zorluklar (görme ve işitme bozukluğu) ve bilişsel engelli katılımcıları hariç tutun.
    NOT: Bu çalışmada 40 katılımcı, Deneyim Üniversitesi'nden 6 öğrenci (bir katılımcı görme güçlüğü nedeniyle deneyim üniversitesinden öğrenci kategorisinde hariç tutulmuş), sağlık bilimleri, mühendislik ve tarih ve miras disiplinlerinde 25 üniversite profesörü ve sağlık bilimleri, mühendislik ve tarih ve miras derslerini takip eden 9 lisans ve yüksek lisans öğrencisi ile çalıştık. Katılımcıların bilişsel, işitme veya görme problemleri yoktu ve hepsi normal veya normale düzeltilmiş görme vardı (Tablo 2). Bu nedenle, katılımcılardan biri deneye başlamadan önce ortadan kaldırıldı, çünkü üzerinde nistagmus tespit edildi ve bu nedenle görev 39 katılımcının bir örneğine uygulandı. Katılımcılar hiçbir maddi veya mesleki tazminat almadılar; bu nedenle katılımcıların motivasyonları yüksekti, çünkü sadece bu göz izleme yönteminin kültürel mirasla ilgili bir öğrenme sürecinde, özellikle de Avrupa manastırlarının kökeninde nasıl çalıştığını bilmeye olan ilgilerine dayanıyordu.

Tablo 2. Numunenin özellikleri.  Bu Tabloyu indirmek için lütfen tıklayınız.

2. Deneysel Prosedür

  1. Oturum 1: Bilgilendirilmiş onay, kişisel veri ve arka plan bilgilerinin toplanması
    1. Bilgilendirilmiş onay alın. Testlerden önce, her katılımcıyı çalışmanın amaçları ve verilerinin toplanması, tedavisi ve depolanmasını bildirin. Her katılımcının anlaşması, bilgilendirilmiş onam formu imzalanarak verilir.
      NOT: Bu çalışmaya katılım gönüllülük esasına dayalı dırdır meydana gelen bu çalışmada herhangi bir maddi ödül Bu yönüyle görevlerin tamamlanmasının ekonomik motivasyonunun olmaması sağlandı. Göreve başlamadan önce, alanında uzman olan görüşmeci, yaş, cinsiyet, meslek ve konuyla ilgili önceden bilgi sahibi olmak üzere bir anketi doldurur, bu durumda Avrupa'daki manastırların kökeni ve tarihsel gelişimi (bkz. Tablo 3). Bu çalışma, yaşam boyunca İnsanlığın Kültürel Mirası hakkında yetişkin öğrenme üzerine bir Avrupa Projesi'nin (2019-1-ES01-KA204-095615-Koordinatör 6) bir parçasıdır; bu nedenle bu tür bir görev seçildi. Her araştırmacı, çalışma alanına bağlı olarak konuyu seçecektir.

Tablo 3. Mülakat anketi.  Bu Tabloyu indirmek için lütfen tıklayınız.

  1. Oturum 2: Kalibrasyon
    1. Göz izleme teknolojisinin nasıl çalıştığı ve bilgilerin nasıl toplanacağı, kaydedileceği ve kalibre edileceğini katılımcıya bildirin: "Avrupa manastırlarının kökeni ve gelişimi ile ilgili öğrenme görevinin tamamlandığını gözlemlemek için göz izleme teknolojisini kullanacağız. Göz takibi, aktiviteyi gerçekleştirirken bakışlarınızı takip etmenizi sağlayan bir teknolojidir ve bu çalışmada sadece göz takibi kaydedildiği için hiçbir yan etkisi yoktur, invaziv değildir".
    2. Katılımcıya geçerli bir testin uygun konumlandırma gerektirdiğini açıklayın. Katılımcının monitörden belirli bir mesafede [45 ila 60 cm] oturmasını sağlamak. Mesafe katılımcının yüksekliğine, yüksekliği ne kadar düşük olursa, mesafe o kadar kısa olur.
    3. Katılımcıya, ekranın önemli noktalarında bir dizi noktanın görüneceğini ve her nokta göründüğünde katılımcının bunu gözlerle gözlemlemesi gerektiğini bildirin. Katılımcı "enter" imlecini kullanarak bir noktadan diğerine geçebilir. Kalibrasyon aşaması 10-15 dakika süreye sahiptir.
      NOT: Görev çözünürlüğü alıştırma için göz izleme iViewer XTM, SMI Experimenter Center 3.0 ve SMI Be Gaze ile 1680×1050 çözünürlüğünde bir monitör kullanılmıştır. Bu ekipman her gözün oküler hareketlerini, koordinatlarını ve gözbebeği çaplarını kaydeder. Bu çalışmada 60 Hz uygulanmış, tarama yolu ölçümleri ve dinamik tarama yolu ölçümleri kullanılmış ve AOI istatistikleri belirlenmiştir.
    4. Kalibrasyon ayarını kontrol edin. Testi denetleyen profesyonel, kontrol ekranındaki kalibrasyon ayarını analiz eder.
      1. Göz izleme iViewer XTM'de bulunan kalibrasyon sistemi aracılığıyla kalibrasyon gerçekleştirin. Bu göreve başlamadan önce, her katılımcı ekranda dört köşedeki (yukarı-sağ, yukarı-sol, aşağı-sağ, aşağı-sol) dört noktanın görsel bir takibini gerçekleştiriyor. Daha sonra, yazılım bu uyaranların doğru konumunun bir yürütme doğrulama işlemine sahiptir ve derece olarak parametre ayarı hakkında bilgi verir. Bu ayarlama sağ ve sol gözde 0,6º ± 1 arasında yer alırsa, kalibrasyonun doğru olduğu kabul edilir ve görev yürütme başlar. sürecin bir örneği Şekil 1'de doğrulanabilir.
        NOT: Sağ ve sol gözdeki dereceler 0,6º ± 1 standart sapma olarak ayarlandığında doğru görev tamamlama dikkate alınır. Bu çalışmada üniversite profesörleri grubu arasında 0.6º ± 1 ayar kriterini aşan iki kalibrasyon tespit edilmiş ve bu nedenle iki katılımcı çıkarılmıştır. Bu nedenle ilk örneklemdeki 25 katılımcı 23 katılımcıya düşürüldü.

Figure 1
Şekil 1. Göz izleme kalibrasyonu işlemi Bu rakamın daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

  1. Oturum 3: Öğrenme görevini gerçekleştirme
    1. Görevin içeriğini katılımcıya açıklayın. Öğretim psikolojisi uzmanı, katılımcıya görevin nelerden oluşacağını ve nasıl gerçekleştirileceğini şöyle açıklıyor: "Video 1:14 saniye uzunluğunda ve 5 seslendirme görüntüsünden oluşuyor. Sonunda, katılımcı videoda sunulan bilgilerin anlaşılıp anlaşılmadığını kontrol etmek için küçük bir bulmacayı tamamlamaya davet edilir".
    2. Video klibi izleyin. Görevde kullanılan video aşağıdaki bağlantıda görüntülenebilir: https://youtu.be/HlGGgrYDTFs.
      NOT: Görev, Avrupa manastırlarının kökenleri hakkında bilgi sunan bir video izlemekten ibarettir. Bilgiler bir uzman, bir Sanat Tarihi öğretmeni tarafından detaylandırılmıştır. Bilgiler, bir SRL uzman öğretmeninin video boyunca sözlü vurgu kullanarak en önemli içeriklerde ısrar ettiği için, anahat olarak sunulan görüntüler ve yazılı bilgiler içeren görsel ve başka bir ses olmak üzere iki kanalda düzenleniyor.
    3. Moodle tabanlı bir sanal platformda bulmacayı gerçekleştirmek. Bulmaca simgesine tıklayarak, bilginin edinilip edinilmediğini kontrol etmek için katılımcıyı bulmacanın tamamlanabileceği sanal bir platforma götürür. Bulmaca Şekil 2'de sunulmuştur.

Figure 2
Şekil 2. Edinilen bilgileri kontrol etmek için bulmaca. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

  1. Oturum 4: Veri analizi
    1. İlgi Alanları'nı (AOI) seçin. AOI'ler videoda tanımlanır ve ilgili olmayan bilgileri içeren AOI'lere karşı ilgili bilgileri içeren AOI'lere ayrılır.
      NOT: AOI ataması, sunulan bilgilerle ilgili olarak hangilerinin ilgili veya ilgisiz AOI olduğuna karar veren deneyci tarafından gerçekleştirilir.
    2. AOI Fiksasyonları parametreleriyle ilgili veritabanını ayıklayın ("Olay Başlangıç Deneme Süresi", "Olay Sonu Deneme Süresi" ve "Olay Süresi"); "Fiksasyon Pozisyonu X", "Fiksasyon Pozisyonu Y", "Fiksasyon Ortalama Öğrenci Boyutu", "Fiksasyon Ortalama Öğrenci Boyutu Y piksel", "Fiksasyon Ortalama Öğrenci Çapı", "Fiksasyon Dağılımı X" ve "Fiksasyon Dağılımı Y").
    3. Veritabanını istatistiksel bir işleme yazılım paketine alın ve seçenek çözümle ve sınıflandırseçeneğini seçin, ardından k-means kümesiseçeneğini izleyin. Daha sonra istatistiksel yazılım paketinde, örneğin SPSS, ardından 'ANOVA' seçeneğini seçin, katılımcılar arasındaki farkları (yetişkin gruplarının türü ve önceki bilginin derecesi) AOI Fiksasyon parametreleri ile ilgili olarak analiz etmek için31.
      NOT: Kümeleme veya küme analizi 'denetimsiz' bir makine öğrenimi tekniğidir ve k-araçları içinde, amacı her gözlemin en yakın ortalama değere sahip gruba ait olduğu bir dizi n gözlemini k gruplarına bölmek olan bir gruplandırma yöntemidir. Bu denemede, k-, öğrenme görevindeki katılımcı kümelerini denetlemek için kümelemenin kullanıldığı anlamına gelir. Bu yazışma önemlidir, çünkü öğretmene veya terapistlere, tanının ötesine geçen kullanıcıların homojen fonksiyonel gelişimi hakkında bilgi sunarak, fonksiyonel gelişimin bazı alanlarında benzer müdahale programları önermek için bilgi sağlar. Bu seçeneğin eğitim veya terapötik hizmetin ve kişisel ve maddi kaynaklarının tam kullanımını kolaylaştırması bekmektedir.
    4. Turuncu32gibi bir görselleştirme yazılımı kullanarak işlenen verilerin (açıklayıcı ve küme analizi) görselleştirme çözümlemesi gerçekleştirin.
    5. Ayrıntılı İstatistik parametrelerine ilişkin verileri ayıklayın: Durma Süresi, Bakış Süresi, Saptırma Süresi, Bakış Sayısı, Fiksasyon Sayısı, Ortalama Fiksasyon ve Süre, ardından bu veritabanını istatistiksel bir yazılım paketine içe aktarın. İstatistik paketinde 'ANOVA' seçeneğini seçin ve ardından işlenen verilerin görselleştirme analizini yapın (araçlar). Katılımcı grupları için bir örümcek grafiği ve belirli çubuk grafikler oluşturmak üzere elektronik tabloyu kullanın.
  2. Oturum 5: Kişiselleştirilmiş öğrenme önerileri
    1. Küme analizinde tespit edilen katılımcılar arasında öğrenme kazanımlarını iyileştirmek için daha düşük puanları nedeniyle bir müdahale programı gerçekleştirin.
      NOT: Deneysel Prosedürde izlenen aşamaların bir özeti Şekil 3'te gösterilmiştir.

Figure 3
Şekil 3. Deneysel prosedürün aşamaları. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Bu çalışma için işe alınan 36 katılımcı, yaşları [18 ile 69] arasında değişen üç yetişkin grubundan (deneyim üniversitesi öğrencileri, üniversite profesörleri ve lisans ve yüksek lisans öğrencileri)(Tablo 2)alındı. Protokol Burgos Üniversitesi'nde 20 aydan fazla test edildi. Gelişmenin ana hatları Tablo 4'te görülebilir.

Tablo 4. Öğrenme davranışı analizi protokolünün geliştirilmesinin ana hatları.  Bu Tabloyu indirmek için lütfen tıklayınız.

İlk olarak, fiksasyonların bakış pozisyonu parametreleri analiz edildi (Tablo 5). Bu çalışmada, bir video kullanarak, başlangıç ve bitiş saati tüm katılımcılar için aynıydı: 0 ms'yi başlat ve 1:14 sn'yi bitir, süre 1:14 s.

Tablo 5. Fiksasyonlar parametre sonuçları.  Bu Tabloyu indirmek için lütfen tıklayınız.

Şekil 4, üç grup tarafından sabitleme parametrelerine göre geliştirilen görevlerin bir grafiğini gösterir. Katılımcı grupların her birinde (Deneyim Öğrencileri, Üniversite Öğretmenleri ve Yüksek Lisans ve Yüksek Lisans Öğrencileri) kadın ve erkeklerden oluşan grup görevleri farklı şekillerde tamamladı.

Figure 4
Şekil 4. Üç grubun grafiği ve fiksasyon parametreleriyle ilgili görevin geliştirilmesi. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Daha sonra üç grup (Deneyim Üniversitesi öğrencileri, Üniversite profesörleri ve Üniversite öğrencileri) arasındaki fiksasyon pozisyonlarının parametrelerinde önemli farklılıklar olup olmadığını kontrol etmek için iki faktörlü sabit etkili ANOVA (katılımcı türü ve önceki bilgiler) uygulandı. Fiksasyon parametrelerinin hiçbirinde önemli bir fark bulunmadı, ancak düşük efekt değerlerine sahip olmasına rağmen, Fiksasyon Ortalama Öğrenci Boyutu Y, Fiksasyon Ortalama Öğrenci Çapı ve Fiksasyon Dağılımı X için farklılıklara doğru bir eğilim kaydedildi (bkz. Tablo 6).

Tablo 6. İki faktörlü sabit efektli ANOVA (katılımcı türü ve önceden bilgi) ve etki değeri.  Bu Tabloyu indirmek için lütfen tıklayınız.

Daha sonra, k-means kümesi, fiksasyon pozisyonları, önceki bilgiler ve bulmaca sonuçlarının parametrelerindeki sonuçlarla ilgili olarak ilk araştırma grubunda (Deneyim Üniversitesi öğrencileri, Üniversite profesörleri ve Üniversite öğrencileri) farklı gruplaşmalar olup olmadığını incelemek için uygulanmıştır. Üç küme bulundu (Tablo 7). Şekil 5'te kümelerin görselleştirilmesi görülebilir.

Tablo 7. Son Küme Merkezleri.  Bu Tabloyu indirmek için lütfen tıklayınız.

Daha sonra, her katılımcıya atanan grup üyeliği kümesinin değerleri arasında, katılımcının kategori türüne (Deneyim Üniversitesi öğrencileri, Üniversite profesörleri ve Üniversite öğrencileri) göre bir çapraz tablo hazırlanmıştır (Tablo 8). Şekil 5, sabitleme konumu parametreleri için üç gruba göre kümeler içindeki katılımcıların konumunu gösterir.

Tablo 8. Katılımcı * Servis Talebi ÇaprazLamaNın Küme Numarası.  Bu Tabloyu indirmek için lütfen tıklayınız.

Aşağıdaki göz izleme ölçüm parametreleri için iki faktörlü sabit etkili ANOVA, "katılımcı grubu" ve "arka plan" gerçekleştirildi: Görev başlangıç aşamasında (Slayt 1) ve görev sonu aşamasında (Slayt 5)(Tablo 6)elde edilen Bekleme Süresi, Bakış Süresi, Saptırma Süresi, Bakış Sayısı, Fiksasyon Sayısı, Ortalama ve Süre. Saptırma Süresi 1'deki arka plan bilgisi değişkeni (her AOI'ye eklenen her uyaran için giriş, bekleme ve çıkış süresini analiz etme) bağlı olarak önemli farklılıklar bulunmuştur. Bu nedenle, bilgi erişiminin ilk aşamasında "katılımcı grubu" değişkenine bağlı olarak farklı AOI'lere girme, kalma ve çıkma yolunun farklı olduğu sonucuna varılabilir(F2,32 = 4.07, p = 0.03, η2 = 0.23). Ortalama Fiksasyon Süresi parametresinde de farklılıklar bulunmuştur (daha uzun fiksasyonlar, katılımcının farklı AOI'lerdeki bilgi içeriğini analiz etmek ve yorumlamak için daha fazla zaman harcamasına atıfta bulunur (F2,32 = 3.53, p = 0.04, η2 = 0.21). Bonferroni'nin ortalama fark testi, grup (Deneyim Üniversitesi öğrencileri) ve Üniversite Profesörleri grubu arasında olduğu tespit edilen grup üyeliği için uygulanmıştır [ortalama fark = 0,04, p = 0,04 CI%95 (0,03-2,75)]. Araçlar, katılımcıların veri girişi aşamasında AOI'leri analiz etmek ve yorumlamak için daha fazla zaman harcadığı grup 1 (Deneyim Üniversitesi öğrencileri) için daha yüksekti (bkz. Tablo 9 ve Şekil 6).

Tablo 9. Göz izleme ölçüm parametreleri için iki faktörlü sabit efektler ANOVA (katılımcı türü ve önceki bilgi) ve etki değeri: Bekleme Süresi, Bakış Süresi, Saptırma Süresi, Bakış Sayısı, Fiksasyon Sayısı, Ortalama Fiksasyon ve Süre.  Bu Tabloyu indirmek için lütfen tıklayınız.

Figure 6
Şekil 6. Üç grubun grafiği ve görev işlemenin başlangıcında ve sonunda önceki bilgi değişkenlerine göre sabitleme parametrelerini içeren görevi geliştirmeleri. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Bu çalışmada bulunan sonuçlara dayanarak, görev çözümlü öğrenme kazanımlarını iyileştirmek için kişiselleştirilmiş bir öğrenme programının geliştirilmesi önerildi. Bu program, toplam katılımcıların% 85,43'ünü temsil eden öğrenme sonuçlarını kontrol etmek için testte 5 üzerinden 3 puan aldıkları için küme 3'te gruplanan katılımcılarla yapılan çalışmalara odaklanmıştır. Üç çalışma grubundan katılımcılar (Deneyim Üniversitesi Öğrencileri; Üniversite Öğretmenleri ve Yüksek Lisans & Yüksek Lisans Öğrencileri) bu kümede bulunmuştur. Program, kavramların bir uzantısının ve spesifikasyonunun yapılacağı videoda üzerinde çalışılan kavramların güçlendirilmesine odaklanacaktır.

Figure 5
Şekil 5. Üç gruptaki fiksasyon parametrelerinin küme analizi (Üniversite öğrencilerini, Üniversite profesörlerini ve Üniversite öğrencilerini deneyimleyin). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

EK DOSYALAR

Öğrenme güçlüğü çeken çocuklarda fonksiyonel yeteneklerin gözlemlenmesine atıfta bulunan görüntülerin kullanıldığı videoyu kaydetme yetkileri eklenmiştir.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Araştırma sonuçları, ilgili uyaranlardaki ortalama fiksasyon süresinin daha önce bilgisi olan katılımcılar arasında daha uzun olduğunu gösterdi. Aynı şekilde, bu gruba dikkat çekmek, orta bilgi noktaları (proksimal ve distal)7. Bu çalışmanın sonuçları, katılımcıların bilgileri işleme biçimindeki farklılıkları ortaya koydu. Ayrıca, işlemeleri her zaman ilk gruplandırma ile bağlantılı değildi (Deneyim Üniversitesi Öğrencileri, Üniversite Öğretmenleri ve Yüksek Lisans Ve Yüksek Lisans Öğrencileri). Bu farklılıklar, öğrenme videosunda sunulan görüntülerdeki sabitlemelerde katılımcıların X eksenindeki görsel konumlarının analizi açısından bulunmuştur. Küme 2'de, Konum X fiksasyonu, Pozisyon Y fiksasyonu, Ortalama Pupil Çapı fiksasyonu, X ve Y ekseni sabitleme dağılımının en yüksek frekansları bulunmuştur. Bu gerçek, küme 2 üyelerinin kendilerinin Üniversite Öğretmenleri grubunun üyeleri olduğu, konu hakkında daha önce bilgi sahibi olduğu ve sonuç doğrulama testinde en yüksek puanı aldığı gerçeğiyle çakışmaktadır. Aynı şekilde, araştırmaya katılanların çoğunun (%85,43), köken grubuna bakılmaksızın, doğrulama testinde en düşük sonuçları elde ettikleri küme 3'te olduğunu belirtmek önemlidir.

Bu protokolün bir diğer ilgili yönü de bilgilerin SRL ile bir videoda sunulmasıdır. Bu sunum şekli, bir yandan dikkatleri yönlendirip odaklar, diğer yandan her katılımcının bireysel eylemlerini en aza indirir, yani bilgiye ulaşma yolunu birleştirir. Gerektiğinde, olası açıkları veya işlemedeki zorlukları telafi edebilecek bir husustur. Bu ifadenin kanıtı, üç grup arasındaki öğrenme kazanımlarında önemli bir fark tespit edildiği ve ortalama performans aralığının [3.60, 4.86] 5 olarak tespit edildiğidir. İşlemenin saptırma süresi (her AOI'ye eklenen her uyaran için giriş, kalıcılık ve çıktı süresini analiz etmek için kullanılan bir parametre) ve Ortalama Fiksasyon Süresi (bu parametre, katılımcının farklı AOI'lerdeki bilgilerin içeriğini analiz etmek ve yorumlamak için daha fazla zaman harcadığını gösteren daha uzun fiksasyonları ifade eder) parametrelerinde önemli farklılıklar bulundu, ancak sonunda değil. Bu parametrelerde en uzun süreler, bu çalışmada Yüksek Lisans ve Yüksek Lisans Öğrencileri ve Deneyim Üniversitesi öğrencileri grubu arasında tespit edilmiştir. Bu sonuçlar diğer çalışmaların sonuçları ile desteklenmektedir4,12,15. Son olarak, bu protokol öğrencinin kodlama aşamasına bağlı olarak bilgi işleme sırasındaki farklılıkları incelemek için uygulanabilir.

Yukarıdakilere dayanarak, ilk sonuç, görevlerin tamamlanması sırasında göz izleme metodolojisinin kullanılmasının bilgi işleme çalışması için yararlı veriler sağladığıdır1,2. Aynı şekilde, göz izleme teknolojisinden çıkarılan ve denetimsiz öğrenme teknikleri (kümeleme) ile analiz edilen veriler, önceden belirlenmiş parametrelere göre kümelerin bilgisini kolaylaştırmıştır11,15. Bu husus, her katılımcıda bilgi işlemenin incelenmesi ve daha etkili öğrenmeye yol açması beklenen kişiselleştirilmiş eğitim yanıtları3,4,5,6,22,23 ile ilgili teklif için çok önemlidir23.

Deneysel sonuçların diğer araştırmaların sonuçlarını aşağıdakilerle ilgili olarak yeniden teyit ettiğini belirtmek de önemlidir: acemi uzman değişkenlerine ve katılımcı yaşına göre işleme farklılıkları ve bu değişkenlerin etkilerini en aza indiren ve katılımcıların beklenen performansını artıran SRL materyallerinin kullanımı 7,8,9,10.

Bununla birlikte, kolaylık örneklemesi uygulandığından ve çalışma Sanat Tarihi ile ilgili belirli içeriğe odaklandığından, bu sonuçların herhangi bir genelleştirilmesini dikkatli bir şekilde ele almak gerekir. Bu nedenle, örneklem gelecekteki araştırmalarda genişletilecek ve bulgular diğer disiplinlerde kontrol edilecektir.

Girişte belirtildiği gibi, SRL metodolojisi ile çeşitli bilgi kanalları (işitsel, görsel veya her ikisi) aracılığıyla bilgilerin multimodal bir şekilde sunulması, göz izleme teknolojisi ve makine öğrenimi tekniklerinin kullanımı ile birlikte, katılımcıların her kullanıcının eğitim ihtiyaçlarına göre kişiselleştirilmiş öğrenme tasarımı sunmak ve sonuç olarak tüm öğrenciler arasında başarılı öğrenmeyi ve gelişimini teşvik etmek için bilgileri işleme şeklini anlamanın anahtarıdır29,30.

Özetle, göz izleme tekniğinin kullanımı, temel olarak malzemeden kişisel kaynaklara maliyet faktörleri nedeniyle eğitim çerçevelerinde olağan uygulamanın bir metodolojisi değildir. Bununla birlikte, kullanımı azar azar artmaya başlıyor ve otomatik olarak kontrol edilen öğrenmedeki görevlerin gözlemlenmesinde her zamanki kullanımını görmek önemlidir. Bu göz izleme teknolojisinin avantajı, öğrencinin güvenilirlik ve geçerlilik avantajlarına sahip olan görevle etkileşiminin kaydedillenmesine izin ver, bu durumda, öğrenme sürecinin basit gözlemi üzerinde. Buna ek olarak, göz izleme metodolojisi kayıtlı bilgi görselleştirmenin farklı tekniklerini sunar ve veri tabanlarındaki bu bilgiler bilgisayar programları veya daha güçlü araçlarla da analiz edilebilir. Bu nedenle, doğal bağlamlarda çok çeşitli soruşturma olanakları açar.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Yazarlar rakip finansal çıkarları olmadığını beyan ederler.

Acknowledgments

Çalışma, Avrupa Komisyonu tarafından finanse edilen "SmartArt Erasmus+ Yetişkin Eğitiminde Kendi Kendini Düzenleyen Öğrenme" Projesi kapsamında geliştirilmiştir 2019-1-ES01-KA204-095615-Koordinatör 6. Görev tamamlama aşamasının videosu Rut Velasco Sáiz'in önceden bilgilendirilmiş onayına sahipti. Öğretmen ve öğrencilerin görev uygulama aşamasına katılımını takdirle karşılıyoruz.

Materials

Name Company Catalog Number Comments
iViewer XTM iViewer
SMI Experimenter Center 3.0 SMI
SMI Be Gaze SMI

DOWNLOAD MATERIALS LIST

References

  1. van Marlen, T., van Wermeskerken, M., Jarodzka, H., van Gog, T. Effectiveness of eye movement modeling examples in problem solving: The role of verbal ambiguity and prior knowledge. Learning and Instruction. 58, 274-283 (2018).
  2. Taub, M., Azevedo, R., Bradbury, A. E., Millar, G. C., Lester, J. Using sequence mining to reveal the efficiency in scientific reasoning during STEM learning with a game-based learning environment. Learning and Instruction. 54, 93-103 (2018).
  3. Cloude, E. B., Taub, M., Lester, J., Azevedo, R. The Role of Achievement Goal Orientation on Metacognitive Process Use in Game-Based Learning. Artificial Intelligence in Education. Isotani, S., Millan, E., Ogan, A., Hastings, P., McLaren, B., Luckin, R. , Springer International Publishing. Switzerland. 36-40 (2019).
  4. Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  5. Sáiz-Manzanares, M. C., Rodríguez-Diez, J. J., Marticorena-Sánchez, R., Zaparín-Yáñez, M. J., Cerezo-Menéndez, R. Lifelong learning from sustainable education: An analysis with eye tracking and data mining techniques. Sustainability. 12 (5), 2-18 (2020).
  6. Alemdag, E., Cagiltay, K. A systematic review of eye tracking research on multimedia learning. Computers & Education. 125, 413-428 (2018).
  7. Ho, H. N. J., Tsai, M. -J., Wang, C. -Y., Tsai, C. -C. Prior knowledge and online inquiry-based science reading: evidence from eye tracking. International Journal of Science and Mathematics Education. 12, 525-554 (2014).
  8. Catrysse, L., Gijbels, D., Donche, V. It is not only about the depth of processing: What if eye am not interested in the text. Learning and Instruction. 58, 284-294 (2018).
  9. Mayer, R. E. Using multimedia for e-learning. Journal of Computer Assisted Learning. 33 (5), 403-423 (2017).
  10. Prokop, M., Pilař, L., Tichá, I. Impact of think-aloud on eye-tracking: A comparison of concurrent and retrospective think-aloud for research on decision-making in the game environment. Sensors. 20 (10), (2020).
  11. DuMouchel, W. Data Squashing: Constructing Summary Data Sets. Handbook of Massive Data Sets. Abello, J., Pardalos, P. M., Resende, M. G. C. , Springer. Boston, MA, US. 579-591 (2002).
  12. Stull, A. T., Fiorella, L., Mayer, R. E. An eye-tracking analysis of instructor presence in video lectures. Computers in Human Behavior. 88, 263-272 (2018).
  13. König, S. D., Buffalo, E. A. A nonparametric method for detecting fixations and saccades using cluster analysis: Removing the need for arbitrary thresholds. Journal of Neuroscience Methods. 30 (227), 121-131 (2014).
  14. Maltz, M., Shinar, D. Eye Movements of Younger and Older Drivers. Human Factors. 41 (1), 15-25 (1999).
  15. Burch, M., Kull, A., Weiskopf, D. AOI rivers for visualizing dynamic eye gaze frequencies. Computer Graphics Forum. 32 (3), 281-290 (2013).
  16. Dzeng, R. -J., Lin, C. -T., Fang, Y. -C. Using eye-tracker to compare search patterns between experienced and novice workers for site hazard identification. Safety Science. 82, 56-67 (2016).
  17. Kurzhals, K., Weiskopf, D. Space-time visual analytics of eye-tracking data for dynamic stimuli. IEEE Transactions on Visualization and Computer Graphics. 19 (12), 2129-2138 (2013).
  18. Sharafi, Z., Soh, Z., Guéhéneuc, Y. -G. A systematic literature review on the usage of eye-tracking in software engineering. Information and Software Technology. 67, 79-107 (2015).
  19. Dalrymple, K. A., Jiang, M., Zhao, Q., Elison, J. T. Machine learning accurately classifies age of toddlers based on eye tracking. Scientific Reports. 9 (1), 6255 (2019).
  20. Seifert, L., Cordier, R., Orth, D., Courtine, Y., Croft, J. L. Role of route previewing strategies on climbing fluency and exploratory movements. PLoS One. 12 (4), 1-22 (2017).
  21. Takeuchi, H., Habuchi, Y. A quantitative method for analyzing scan path data obtained by eye tracker. IEEE Symposium on Computational Intelligence and Data Mining, CIDM 2007. , Honolulu, HI, USA. 283-286 (2007).
  22. Takeuchi, H., Matsuda, N. Scan-path analysis by the string-edit method considering fixation duration. 6th International Conference on Soft Computing and Intelligent Systems, and 13th International Symposium on Advanced Intelligence Systems, SCIS/ISIS 2012. , Kobe, Japan. 1724-1728 (2012).
  23. Sáiz, M. C., Marticorena, R., Anaiz, Á, Zaparaín, M. J. Task analysis with eye tracking technology. srl at Smartart. II Congress of the International Scientific Association of Psychopedagogy Proceedings. Peralbo, M., Risso, A., Barca, A., Duarte, B., Almeda, L., Brenlla, J. C. , Asociacion Cientifica Internacional de Psicopedagogia. Coruña, Spain. 4093-4104 (2019).
  24. Khedher, A. B., Jraidi, I., Frasson, C. Tracking Students' Analytical Reasoning Using Visual Scan Paths. IEEE 17th International Conference on Advanced Learning Technologies (ICALT). , IEEE. Timisoara, Romania. 53-54 (2017).
  25. Xia, C., Han, J., Qi, F., Shi, G. Predicting Human Saccadic Scanpaths Based on Iterative Representation Learning. IEEE Trans Image Process. 8 (7), 3502-3515 (2019).
  26. Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. Journal of Visualized Experiments. , e60331 (2020).
  27. Scherer, R., Siddiq, F., Tondeur, J. The technology acceptance model (TAM): A meta-analytic structural equation modeling approach to explaining teachers' adoption of digital technology in education. Computers & Education. 128 (0317), 13-35 (2019).
  28. Bruder, C., Eißfeldt, H., Maschke, P., Hasse, C. Differences in monitoring between experts and novices. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 57 (1), 295-298 (2013).
  29. Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  30. Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29 (1), 1-28 (2019).
  31. IBM Corp. SPSS Statistical Package for the Social Sciences (SPSS) (Version 24). , Madrid, Spain. (2016).
  32. Orange Software Package. , Available from: https://orange.biolab.si/docs/ (2020).

Tags

Davranış Sayı 172 göz takibi kendi kendini düzenleyen öğrenme görev analizi davranış analizi veri madenciliği
Öğrenme Süreçlerine Dahil Olan Yetişkinlerin Davranış Analizi için Kullanılan Göz İzleme Teknolojisi ve Veri Madenciliği Teknikleri
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Sáiz Manzanares, M. C., PayoMore

Sáiz Manzanares, M. C., Payo Hernanz, R. J., Zaparaín Yáñez, M. J., Andrés López, G., Marticorena Sánchez, R., Calvo Rodríguez, A., Martín, C., Rodríguez Arribas, S. Eye-tracking Technology and Data-mining Techniques used for a Behavioral Analysis of Adults engaged in Learning Processes. J. Vis. Exp. (172), e62103, doi:10.3791/62103 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter