Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

Eye-tracking technologie en datamining technieken gebruikt voor een gedragsanalyse van volwassenen die betrokken zijn bij leerprocessen

Published: June 10, 2021 doi: 10.3791/62103

Summary

We presenteren een protocol voor een gedragsanalyse van volwassenen (18 tot 70 jaar oud) die zich bezighouden met leerprocessen en taken uitvoeren die zijn ontworpen voor zelfregulerend leren (SRL). De deelnemers, universiteitsdocenten en studenten, en volwassenen van de University of Experience, werden gemonitord met eye-tracking apparaten en de gegevens werden geanalyseerd met datamining technieken.

Abstract

Gedragsanalyse van volwassenen die zich bezighouden met leertaken is een grote uitdaging op het gebied van volwasseneneducatie. Tegenwoordig is er in een wereld van voortdurende technologische veranderingen en wetenschappelijke vooruitgang behoefte aan levenslang leren en onderwijs binnen zowel formele als niet-formele onderwijsomgevingen. Als antwoord op deze uitdaging biedt het gebruik van eye-tracking technologie en datamining technieken, respectievelijk, voor begeleid (voornamelijk voorspelling) en onbewaakt (specifiek clusteranalyse) leren, methoden voor het detecteren van vormen van leren bij gebruikers en/of de classificatie van hun leerstijlen. In deze studie wordt een protocol voorgesteld voor de studie van leerstijlen bij volwassenen met en zonder voorkennis op verschillende leeftijden (18 tot 69 jaar) en op verschillende punten in het leerproces (begin en einde). Statistische analyse-van-variantietechnieken betekenen dat verschillen tussen de deelnemers kunnen worden gedetecteerd per type curseur en voorkennis van de taak. Evenzo werpt het gebruik van niet-onder toezicht opgestelde clusteringtechnieken licht op vergelijkbare vormen van leren onder de deelnemers in verschillende groepen. Al deze gegevens vergemakkelijken gepersonaliseerde voorstellen van de docent voor de presentatie van elke taak op verschillende punten in de keten van informatieverwerking. Het zal ook gemakkelijker zijn voor de leraar om lesmateriaal aan te passen aan de leerbehoeften van elke student of groep studenten met vergelijkbare kenmerken.

Introduction

Eye-tracking methodologie toegepast op gedragsanalyse in het leren
Eye-tracking methodologie, onder andere functioneel gebruik, wordt toegepast op de studie van menselijk gedrag, met name tijdens taakomzetting. Deze techniek vergemakkelijkt monitoring en analyse tijdens de voltooiing van leertaken1. In het bijzonder kunnen de aandachtsniveaus van studenten op verschillende punten van het leerproces (start, ontwikkeling en einde) in verschillende vakken (geschiedenis, wiskunde, wetenschap, enz.) worden bestudeerd met behulp van eye-trackingtechnologie. Bovendien, als de taak het gebruik van video's met een stem omvat die het leerproces begeleidt, wordt zelfregulerend leren (SRL) vergemakkelijkt. Daarom wordt de implementatie van eye-trackingtechnologie in de analyse van taken waarvoor SRL (inclusief het gebruik van video's) wordt voorgesteld als een belangrijke bron om te begrijpen hoe leren wordt ontwikkeld2,3,4. Deze combinatie betekent ook dat de verschillen tussen instructiemethoden (met of zonder SRL, enz.) kunnen worden gecontroleerd met verschillende soorten studenten (met of zonder voorkennis, enz.) 5. De presentatie van meerkanaalsinformatie (gelijktijdige presentatie van zowel auditieve als visuele informatie, zowel mondeling, schriftelijk als picturaal) kan daarentegen zowel de registratie als de analyse van relevante versus niet-relevante informatie uit de bovengenoemde variabelenvergemakkelijken 6. Studenten met voorkennis die zijn blootgesteld aan multimediale leerkanalen lijken effectiever te leren dan studenten met weinig of geen voorkennis. Studenten met een hoge mate van voorkennis van de leerstof zullen tekstuele en grafische informatie effectiever integreren7. Deze functionaliteit is waargenomen bij het leren van teksten8 die afbeeldingen9bevatten . Eye-tracking technologie biedt informatie over waar de aandacht op gericht is en voor hoe lang. Deze gegevens geven inzicht in de ontwikkeling van een leerproces op een preciezere manier dan door de eenvoudige observatie van het oplossingsproces tijdens de voltooiing van een taak. Ook vergemakkelijkt de analyse van deze indicatoren de studie of de student diep of oppervlakkig leren ontwikkelt. Bovendien vergemakkelijkt de relatie tussen deze gegevens en de leerresultaten de validering van de verkregen informatie met eye-trackingtechnologie4,10. In feite wordt deze techniek samen met SRL steeds vaker gebruikt in het hoger onderwijs en in leeromgevingen voor volwassenenonderwijs11, zowel op gereglementeerde als op niet-gereglementeerde cursussen12.

Eye-tracking technologie biedt verschillende statistieken: afstand, snelheid, versnelling, dichtheid, dispersie, hoeksnelheid, overgangen tussen Areas of Interest (AOI), sequentiële volgorde van AOI, bezoeken in de fixaties, saccades, scanpad en heatmapparameters. De interpretatie van deze gegevens is echter complex en vereist het gebruik van onder toezicht (regressie, beslissingsbomen, enz.) en zonder toezicht (k-middelen clustertechnieken, enz.) 13,14 datamining technieken. Deze statistieken kunnen worden toegepast voor het monitoren van het gedrag van hetzelfde onderwerp in de loop van de tijd of voor een vergelijking tussen verschillende onderwerpen en hun prestaties met dezelfde taak15, door het verschil tussen deelnemers met voorkennis te analyseren ten opzichte van geen voorkennis16. Recent onderzoek11,17 heeft aangetoond dat beginnende leerlingen langer fixeren op de stimuli (d.w.z. er is een grotere fixatiefrequentie terwijl vergelijkbare scanpadpatronen worden geregistreerd). De gemiddelde duur van fixatie was langer voor experts dan voor beginners. De experts presenteerden hun aandachtspunt op de middelste punten van de informatie (proximaal en centraal), verschillen die ook te zien zijn in de visualisatiepunten binnen de AOI op de heatmaps.

Interpretatie van statistieken in eye tracking
Recente studies18 hebben aangetoond dat informatieverwerving verband houdt met het aantal oculaire fixaties op de stimuli. Een andere belangrijke metriek is de saccade, die wordt gedefinieerd als de snelle en plotselinge beweging van een fixatie met een interval van [10 ms, 100 ms]. Sharafi et al. (2015)18 vonden verschillen in het aantal saccades, afhankelijk van de informatiecoderingsfase van de student. Een andere relevante parameter is het scanpad, een metriek die de chronologische volgorde van de stappen vastlegt die de deelnemer uitvoert voor de oplossing van de leertaak binnen de AOI die door de onderzoeker is gedefinieerd18. Op dezelfde manier kan eye-tracking-technologie worden gebruikt om het begripsniveau van de deelnemer te voorspellen, wat gerelateerd lijkt te zijn aan het aantal fixaties. Recente studies hebben aangetoond dat variabiliteit in kijkgedrag wordt bepaald door de eigenschappen van het beeld (positie, intensiteit, kleur en oriëntatie), de instructies voor het uitvoeren van de taak en het type informatieverwerking (leerstijl) van de deelnemer. Deze verschillen worden gedetecteerd door de interactie van de student met de verschillende AOI19te analyseren. Kwantitatieve20 (frequentieanalyse) en/of kwalitatieve of dynamische21 (scanpad) technieken kunnen worden gebruikt om de gegevens te analyseren die zijn verzameld uit de verschillende statistieken. De eerste technieken worden geanalyseerd met traditionele statistische technieken (frequentieanalyse, gemiddeld verschil, variantieverschil, enz.) en de laatste worden geanalyseerd met Machine Learning-technieken (Euclidische afstanden met snaarbewerkingsmethoden21,22en clustering17). De toepassing van deze technieken vergemakkelijkt clustering, door rekening te houden met verschillende kenmerken van de onderwerpen. Uit een studie17 bleek dat hoe deskundiger de student, hoe effectiever de ruimtelijke en temporele informatieverwerkingsstrategie die wordt geïmplementeerd. Een beschrijvende tabel van de meetparameters die in deze studie zijn gebruikt , kan hieronder in tabel 1worden geraadpleegd .

Tabel 1: Meest representatieve parameters die kunnen worden verkregen met de eye-tracking-techniek, aangepast van Sáiz, Zaparaín, Marticorena en Velasco (2019). 20   Klik hier om deze tabel te downloaden.

Toepassing van de eye-tracking methodologie op de studie van het leerproces
Het gebruik van de technologische vooruitgang en de hierboven beschreven technieken voor gegevensanalyse5 zal een grotere precisie toevoegen aan de gedragsanalyse van leerlingen tijdens het oplossen van problemen in de verschillende fasen van informatieverwerking (taakinitiatie, informatieverwerking en taakoplossing). Het zal allemaal individuele gedragsanalyse vergemakkelijken, wat op zijn beurt de groepering van studenten met vergelijkbare kenmerken mogelijk zal maken24. Evenzo voorspellende technieken (beslissingsbomen, regressietechnieken, enz.) 25 kan worden toegepast op leren, zowel met betrekking tot het aantal vastleggingen als met de taakomzettingsresultaten van elke student. Deze functionaliteit is een zeer belangrijke vooruitgang in de kennis van hoe elke student leert en voor het voorstel van gepersonaliseerde leerprogramma's binnen verschillende groepen (mensen met of zonder leerproblemen26). Daarom zal het gebruik van deze techniek bijdragen aan het bereiken van personalisatie en optimalisatie van leren27. Levenslang leren moet worden opgevat als een cyclus van voortdurende verbetering, aangezien de kennis van de samenleving voortdurend vordert en vordert. Evolutionaire psychologie geeft aan dat resolutievaardigheden en effectiviteit in informatieverwerking afnemen met de leeftijd. In het bijzonder, saccade frequentie, amplitude, en snelheid van oogbewegingen bij volwassenen zijn gebleken te verminderen met de leeftijd. Bovendien is op oudere leeftijd de aandacht gericht op de lagere gebieden van visuele scènes, die verband houden met tekorten in het werkgeheugen14. Niettemin neemt de activering op oudere leeftijd toe in de frontale en prefrontale gebieden, wat deze tekorten in taakoplossing lijkt te compenseren. Dit aspect omvat het niveau van voorkennis en de cognitieve compensatiestrategieën die het onderwerp kan toepassen. Ervaren deelnemers leren efficiënter, omdat ze de aandacht effectiever beheren, dankzij de toepassing van geautomatiseerde supervisieprocessen28. Bovendien worden, indien de te leren informatie via SRL-technieken wordt verstrekt, de bovengenoemde tekortkomingen verholpen17. Het gebruik van dergelijke technieken betekent dat visuele volgpatronen zeer vergelijkbaar zijn, zowel bij onderwerpen zonder voorkennis als bij onderwerpen met voorkennis7.

Samengevat is de analyse van multimodale multichannel gegevens over SRL verkregen met behulp van geavanceerde leertechnologieën (eye-tracking) essentieel om de interactie tussen cognitieve, metacognitieve en motiverende processen en hun impact op leren te begrijpen29. De resultaten en de studie van verschillen in leren hebben implicaties voor het ontwerp van leermaterialen en intelligente bijlessystemen, die beide gepersonaliseerd leren mogelijk maken dat waarschijnlijk effectiever en bevredigender zal zijn voor de student30.

In dit onderzoek werden twee onderzoeksvragen gesteld: (1) Zullen er significante verschillen zijn in de leerresultaten en in de oculaire fixatieparameters tussen studenten en deskundige versus niet-deskundige docenten kunstgeschiedenis die studenten met officiële diploma's onderscheiden versus studenten met niet-officiële diploma's (University of Experience - Adult education)? en (2) Zullen clusters van elke deelnemer met leerresultaten en oculaire fixatieparameters samenvallen met het type deelnemers (studenten met officiële graden, studenten met niet-officiële graden (University of Experience - Volwassenenonderwijs) en docenten)?

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Dit protocol is uitgevoerd in overeenstemming met de procedurevoorschriften van het Bio-ethiekcomité van de Universiteit van Burgos (Spanje) nº Nº IR27/2019. Voorafgaand aan hun deelname waren de deelnemers volledig op de hoogte gebracht van de onderzoeksdoelstellingen en hadden ze allemaal hun geïnformeerde toestemming gegeven. Zij kregen geen financiële compensatie voor hun deelname.

1. Werving van deelnemers

  1. Rekruteer deelnemers uit een groep volwassenen binnen twee omgevingen (studenten en docenten), met een leeftijdscategorie van 18 tot 69 jaar in de omgeving van het hoger onderwijs (formeel en niet-formeel onderwijs).
  2. Neem deelnemers met normaal of gecorrigeerd tot normaal zicht en gehoor op.
  3. Sluit deelnemers met neurologische, psychiatrische en slaapstoornissen, handicaps in verband met speciale onderwijsbehoeften, waarneembare problemen (verminderd gezichtsvermogen en gehoor) en cognitieve handicaps uit.
    OPMERKING: In deze studie werkten we met een steekproef van 40 deelnemers, 6 studenten van de University of Experience (één deelnemer werd uitgesloten in de categorie studenten van de universiteit van ervaring vanwege visuele problemen), 25 universiteitshoogleraren in de disciplines gezondheidswetenschappen, engineering en geschiedenis en erfgoed, en 9 niet-gegradueerde en masterstudenten die cursussen volgen in gezondheidswetenschappen, engineering en geschiedenis en erfgoed. De deelnemers hadden geen cognitieve, gehoor- of visuele problemen en ze hadden allemaal een normaal of gecorrigeerd tot normaal zicht (tabel 2). Daarom werd een van de deelnemers geëlimineerd voordat het experiment begon, omdat nystagmus op hem was gedetecteerd en daarom werd de taak toegepast op een steekproef van 39 deelnemers. De deelnemers ontvingen geen financiële of professionele vergoeding; daarom was de motivatie van de deelnemers hoog, omdat het alleen gebaseerd was op hun interesse om te weten hoe deze eye-tracking methode werkt tijdens een leerproces met betrekking tot cultureel erfgoed, met name de oorsprong van Europese kloosters.

Tabel 2. Kenmerken van het monster.  Klik hier om deze tabel te downloaden.

2. Experimentele procedure

  1. Sessie 1: Verzameling van geïnformeerde toestemming, persoonsgegevens en achtergrondkennis
    1. Geïnformeerde toestemming verkrijgen. Informeer elke deelnemer vóór de test over de doelstellingen van het onderzoek en de verzameling, behandeling en opslag van hun gegevens. De instemming van elke deelnemer wordt gegeven door ondertekening van het formulier voor geïnformeerde toestemming.
      OPMERKING: Deelname aan dit onderzoek was vrijwillig en er was geen financiële beloning. Dit aspect zorgde ervoor dat de voltooiing van de taken geen economische motivatie had. Alvorens met de taak te beginnen, vult de interviewer, een expert in het veld, een vragenlijst in met vragen over leeftijd, geslacht, beroep en voorkennis van het onderwerp, in dit geval de oorsprong en historische ontwikkeling van kloosters in Europa (zie tabel 3). Deze studie maakt deel uit van een Europees project (2019-1-ES01-KA204-095615-Coördinator 6) over volwasseneneducatie over het cultureel erfgoed van de mensheid gedurende het hele leven; daarom is voor dit soort taken gekozen. Elke onderzoeker kiest het onderwerp, afhankelijk van zijn of haar werkveld.

Tabel 3. Interview vragenlijst.  Klik hier om deze tabel te downloaden.

  1. Sessie 2: Kalibratie
    1. Informeer de deelnemer over hoe eye-tracking technologie werkt en hoe de informatie zal worden verzameld en geregistreerd en gekalibreerd: "We zullen eye-tracking technologie gebruiken om de voltooiing van de leertaak over de oorsprong en de ontwikkeling van Europese kloosters te observeren. Eye tracking is een technologie waarmee u uw blik kunt volgen terwijl u de activiteit uitvoert en het heeft geen bijwerkingen, noch is het invasief, omdat in deze studie alleen eye tracking wordt geregistreerd".
    2. Leg de deelnemer uit dat een geldige test een goede positionering vereist. Laat de deelnemer op een bepaalde afstand [45 tot 60 cm] van de monitor zitten. De afstand is afhankelijk van de hoogte van de deelnemer, hoe lager de hoogte, hoe korter de afstand.
    3. Informeer de deelnemer dat er een reeks punten op de hoofdpunten van het scherm verschijnt en dat de deelnemer deze met de ogen moet observeren als elk punt verschijnt. De deelnemer kan van het ene punt naar het andere gaan met behulp van de "enter" cursor. De kalibratiefase heeft een duur van 10-15 minuten.
      OPMERKING: Voor de taakresolutieoefening werden een Eye-tracking iViewer XTM, SMI Experimenter Center 3.0 en SMI Be Gaze en een monitor met een resolutie van 1680×1050 gebruikt. Deze apparatuur registreert oculaire bewegingen, hun coördinaten en pupildiameters van elk oog. In deze studie werden 60 Hz toegepast, scanpadstatistieken en dynamische scanpadstatistieken gebruikt en AOI-statistieken bepaald.
    4. Controleer de kalibratie-instelling. De professional die de test begeleidt, analyseert de kalibratie-instelling op het bedieningsscherm.
      1. Voer kalibratie uit via het kalibratiesysteem dat is opgenomen in de Eye-tracking iViewer XTM. Voordat deze taak wordt gestart, realiseert elke deelnemer een visuele follow-up van vier punten op een scherm naar de vier hoeken (omhoog-rechts, omhoog-links, omlaag-rechts, omlaag-links). Daarna heeft de software een uitvoeringsverificatieproces van de juiste positie van deze stimuli en geeft informatie over de parameteraanpassing in graden. Als deze aanpassing zich tussen 0,6º ± 1 in het rechter- en linkeroog bevindt, wordt aangenomen dat de kalibratie correct is en begint de taakuitvoering. Een voorbeeld van het proces kan worden geverifieerd in figuur 1.
        OPMERKING: Bij een juiste voltooiing van de taak wordt rekening gehouden met de graden in het rechter- en linkeroog op 0,6º ± 1 standaardafwijking. In deze studie werden twee kalibraties gedetecteerd onder de groep universiteitshoogleraren die het aanpassingscriterium van 0,6º overschreed ± 1 en twee deelnemers werden daarom verwijderd. De 25 deelnemers aan de eerste steekproef werden derhalve teruggebracht tot 23 deelnemers.

Figure 1
Figuur 1. Proces van eye-tracking kalibratie Klik hier om een grotere versie van deze afbeelding te bekijken.

  1. Sessie 3: De leertaak uitvoeren
    1. Leg de inhoud van de taak uit aan de deelnemer. Een expert in instructiepsychologie legt de deelnemer uit waaruit de taak zal bestaan en hoe deze moet worden uitgevoerd: "De video is 1:14 seconden lang en bestaat uit 5 voice-over beelden. Aan het einde wordt de deelnemer uitgenodigd om een kleine kruiswoordpuzzel te voltooien om te controleren of de informatie in de video is begrepen".
    2. Bekijk de videoclip. De video die in de taak wordt gebruikt, kan worden bekeken via de volgende link: https://youtu.be/HlGGgrYDTFs.
      OPMERKING: De taak bestaat uit het bekijken van een video die informatie biedt over de oorsprong van Europese kloosters. De informatie is uitgewerkt door een specialist, een docent Kunstgeschiedenis. De informatie is georganiseerd in twee kanalen, een visual die afbeeldingen en geschreven informatie bevat die als contouren wordt gepresenteerd en een andere audio omdat een SRL-gespecialiseerde leraar tijdens de video spreekt en aandringt op de belangrijkste inhoud met verbale nadruk.
    3. Het uitvoeren van de kruiswoordpuzzel op een moodle-gebaseerd virtueel platform. Door op het kruiswoordraadselpictogram te klikken, gaat de deelnemer naar een virtueel platform waar het kruiswoordraadsel kan worden voltooid, om te controleren of de kennis is opgedaan. De kruiswoordpuzzel wordt gepresenteerd in figuur 2.

Figure 2
Figuur 2. Kruiswoordpuzzel om de opgedane kennis te controleren. Klik hier om een grotere versie van deze afbeelding te bekijken.

  1. Sessie 4: Data-analyse
    1. Kies de Gebieden van Belang (AOI). AOIs worden gedefinieerd in de video en zijn onderverdeeld in AOIs die relevante informatie bevatten versus AOIs die niet-relevante informatie bevatten.
      OPMERKING: De AOI-toewijzing wordt gerealiseerd door de experimenteerder die beslist welke de relevante of irrelevante AOIs zijn met betrekking tot de gepresenteerde informatie.
    2. De database extraheren met betrekking tot de parameters voor AOI-fixaties ("Event Start Trial Time", "Event End Trial Time" en "Event Duration"; "Fixatiepositie X", "Fixatiepositie Y", "Fixatie gemiddelde pupilgrootte", "fixatie gemiddelde pupilgrootte Y px", "fixatie gemiddelde pupildiameter", "fixatiedispersie X" en "fixatiedispersie Y").
    3. Importeer de database in een softwarepakket voor statistische verwerking en selecteer de optie analyseren en vervolgens classificeren, gevolgd door de optie k-means cluster. Selecteer vervolgens cross-table in het statistische softwarepakket, bijvoorbeeld SPSS, gevolgd door de optie 'ANOVA', om de verschillen tussen de deelnemers (type volwassen groepen en mate van voorkennis) met betrekking tot hun AOI Fixatieparameters te analyseren31.
      OPMERKING: Clustering of clusteranalyse is een 'onbegeleide' machine learning-techniek, en binnen k-means is het een groeperingsmethode, die tot doel heeft een reeks n-waarnemingen in k-groepen te verdelen, waarbij elke waarneming tot de groep behoort met de dichtstbijzijnde gemiddelde waarde. In dit experiment wordt k-means clustering gebruikt om de clusters van deelnemers aan de leertaak te controleren. Deze correspondentie is belangrijk, omdat het de leraar of therapeut informatie biedt over de homogene functionele ontwikkeling van gebruikers die verder gaat dan de diagnose, door informatie te verstrekken om vergelijkbare interventieprogramma's voor te stellen op sommige gebieden van functionele ontwikkeling. Deze optie zal naar verwachting het volledige gebruik van de educatieve of therapeutische dienst en de persoonlijke en materiële middelen ervan vergemakkelijken.
    4. Voer een visualisatieanalyse uit van de gegevens (beschrijvende en clusteranalyse) die worden verwerkt met behulp van een visualisatiesoftware zoals Orange32.
    5. Extraheer de gegevens over de parameters van gedetailleerde statistieken: verblijftijd, weergaveduur, omleidingsduur, aantal blikken, aantal fixatie, gemiddelde fixatie en duur en importeer die database vervolgens in een statistisch softwarepakket. Selecteer de optie 'ANOVA' in het statistische pakket en voer vervolgens een visualisatieanalyse uit van de verwerkte gegevens (middelen). Gebruik het werkblad om een spinnendiagram en specifieke staafgrafieken voor de groepen deelnemers te genereren.
  2. Sessie 5: Gepersonaliseerde leervoorstellen
    1. Voer een interventieprogramma uit om de leerresultaten te verbeteren bij de deelnemers die in de clusteranalyse zijn gedetecteerd, vanwege hun lagere scores.
      OPMERKING: Figuur 3geeft een overzicht van de fasen die in de experimentele procedure zijn gevolgd .

Figure 3
Figuur 3. Fasen van de experimentele procedure. Klik hier om een grotere versie van deze afbeelding te bekijken.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

De 36 deelnemers die voor deze studie werden aangeworven, waren afkomstig van drie groepen volwassenen (studenten van de ervaringsuniversiteit, universiteitsprofessoren en niet-gegradueerde en masterstudenten) met leeftijden variërend tussen [18 en 69] jaar (tabel 2). Het protocol werd gedurende 20 maanden getest aan de Universiteit van Burgos. Een overzicht van de ontwikkeling is te zien in tabel 4.

Tabel 4. Overzicht van de ontwikkeling van het protocol voor de analyse van leergedrag.  Klik hier om deze tabel te downloaden.

Eerst werden de parameters van de blikpositie van de fixaties geanalyseerd (Tabel 5). In dit onderzoek was de begin- en eindtijd met behulp van een video voor alle deelnemers hetzelfde: start 0 ms en einde 1:14 s, duur 1:14 s.

Tabel 5. Resultaten van de parameter Fixaties.  Klik hier om deze tabel te downloaden.

Figuur 4 toont een grafiek van de taken die de drie groepen hebben ontwikkeld met betrekking tot de fixatieparameters. De groep mannen en vrouwen in elk van de deelnemende groepen (University of Experience Students, University Teachers en Graduate &Amp; Master's Students) voltooide de taken elk op verschillende manieren.

Figure 4
Figuur 4. Grafiek van de drie groepen en hun ontwikkeling van de taak met betrekking tot de fixatieparameters. Klik hier om een grotere versie van deze afbeelding te bekijken.

Vervolgens werd een ANOVA met twee factoren met vaste effecten (type deelnemer en voorkennis) toegepast om te controleren of er significante verschillen waren in de parameters van fixatieposities tussen de drie groepen (university of experience-studenten, universiteitshoogleraren en universiteitsstudenten). Er werden geen significante verschillen gevonden in een van de fixatieparameters, maar er werd een trend waargenomen naar verschillen voor fixatiegemiddelde pupilgrootte Y, fixatiegemiddelde pupildiameter en fixatiedispersie X, zij het met lage effectwaarden (zie tabel 6).

Tabel 6. Twee-factor vaste-effecten ANOVA (type deelnemer en voorkennis) en effectwaarde.  Klik hier om deze tabel te downloaden.

Vervolgens werd het k-means cluster toegepast om te onderzoeken of er verschillende gegroepeerde groepen waren in de initiële onderzoeksgroep (University of Experience studenten, Universiteitshoogleraren en Universitaire studenten) met betrekking tot de resultaten in de parameters van fixatieposities, voorkennis en de kruiswoordpuzzelresultaten. Er zijn drie clusters gevonden (tabel 7). Een visualisatie van de clusters is te zien in figuur 5.

Tabel 7. Laatste clustercentra.  Klik hier om deze tabel te downloaden.

Vervolgens werd een kruistabel opgesteld tussen de waarden van het cluster van groepslidmaatschap dat aan elke deelnemer is toegewezen met betrekking tot het categorietype deelnemer (studenten van de University of Experience, hoogleraren en universiteitsstudenten) (tabel 8). Figuur 5 toont de positie van de deelnemers binnen de clusters ten opzichte van de drie groepen voor de fixatiepositieparameters.

Tabel 8. Deelnemer * Clusternummer van de kruistabel van de aanvraag.  Klik hier om deze tabel te downloaden.

Een ANOVA met twee factoren met een vast effect, "deelnemersgroep" en "achtergrond", werd uitgevoerd voor de volgende oogtraceringsmetingsparameters: Verblijftijd, Weergaveduur, Omleidingsduur, Aantal blikken, Aantal fixatie, Gemiddelde en Duur verkregen in de beginfase van de taak (dia 1) en in de eindfase van de taak (dia 5) (Tabel 6). Er werden significante verschillen gevonden, afhankelijk van de achtergrondkennisvariabele in Omleidingsduur 1 (analyse van de input-, dwell- en outputtijd voor elke stimulus die in elke AOI werd ingevoegd). Daarom kan worden geconcludeerd dat de manier van betreden, blijven en verlaten in de verschillende AOIs anders was, afhankelijk van de variabele "deelnemersgroep" tijdens de beginfase van de toegang tot informatie (F2,32 = 4,07, p = 0,03, η2 = 0,23). Verschillen werden ook gevonden in de parameter Gemiddelde fixatieduur (langere fixaties verwijzen naar de deelnemer die meer tijd besteedt aan het analyseren en interpreteren van de informatie-inhoud binnen de verschillende AOIs (F2,32 = 3,53, p = 0,04, η2 = 0,21). Bonferroni's gemiddelde verschiltest werd toegepast om het groepslidmaatschap vast te stellen, waarmee werd vastgesteld dat ze tussen de groep (University of Experience-studenten) en de groep universiteitshoogleraren zaten [gemiddeld verschil = 0,04, p = 0,04 BI 95% (0,03-2,75)]. De middelen waren hoger voor groep 1 (studenten van de University of Experience) waar deelnemers tijdens de data entry fase meer tijd besteedden aan het analyseren en interpreteren van de AOIs (zie tabel 9 en figuur 6).

Tabel 9. Twee-factor vaste-effecten ANOVA (type deelnemer en voorkennis) en effectwaarde voor de eye-tracking meetparameters: Dwell Time, Glance Duration, Diversion Duration, Glances Count, Fixation Count, Average Fixation and Duration.  Klik hier om deze tabel te downloaden.

Figure 6
Figuur 6. Grafiek van de drie groepen en hun ontwikkeling van de taak met fixatieparameters met betrekking tot de voorkennisvariabelen aan het begin en aan het einde van de taakverwerking. Klik hier om een grotere versie van deze afbeelding te bekijken.

Op basis van de resultaten van deze studie werd de ontwikkeling van een gepersonaliseerd leerprogramma voorgesteld om de leerresultaten voor taakresolutie te verbeteren. Dit programma was gericht op het werk met de deelnemers gegroepeerd in cluster 3, omdat ze scores van 3 punten van 5 in de test behaalden om de leerresultaten te controleren, wat 85,43% van de totale deelnemers vertegenwoordigde. Deelnemers uit de drie studiegroepen (University of Experience Students; Universitaire docenten en graduate & masterstudenten) werden gevonden in dit cluster. Het programma zal zich richten op de versterking van de concepten waaraan in de video wordt gewerkt en waarvoor een uitbreiding en specificatie van de concepten zal worden gemaakt.

Figure 5
Figuur 5. Clusteranalyse van de fixatieparameters in de drie groepen (Ervaringsstudenten, Universiteitshoogleraren en Universiteitsstudenten). Klik hier om een grotere versie van deze afbeelding te bekijken.

AANVULLENDE BESTANDEN

De toestemmingen voor het opnemen van de video van waaruit beelden zijn gebruikt om te verwijzen naar de observatie van functionele vaardigheden bij kinderen met leerproblemen zijn bijgevoegd.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Uit de onderzoeksresultaten bleek dat de gemiddelde fixatieduur op de relevante stimuli langer was bij deelnemers met voorkennis. Evenzo ligt de aandacht voor deze groep op de middelste punten van informatie (proximaal en distaal)7. De resultaten van dit onderzoek hebben verschillen aan het licht gekomen in de manier waarop deelnemers de informatie verwerkten. Bovendien was hun verwerking niet altijd gekoppeld aan de initiële groepering (University of Experience Students, University Teachers en Graduate &Amp; Master's Students). Deze verschillen werden gevonden met betrekking tot de analyse van de visuele positie van de deelnemers op de X-as in de fixaties op de beelden die in de leervideo worden gepresenteerd. In cluster 2 werden de hoogste frequenties van positie X-fixatie, positie Y-fixatie, gemiddelde pupildiameterfixatie, X- en Y-asfixatiedispersie gevonden. Dit feit valt samen met het feit dat de leden van cluster 2 zelf lid waren van de groep Universitaire Docenten, voorkennis hadden van het onderwerp en de hoogste score behaalden in de resultatenverificatietest. Evenzo is het relevant erop te wijzen dat de meeste deelnemers aan het onderzoek (85,43%), ongeacht hun groep van herkomst, zich in cluster 3 bevinden waar zij de laagste resultaten in de verificatietest hebben behaald.

Een ander relevant aspect van dit protocol is de presentatie van de informatie in een video met SRL. Deze vorm van presentatie begeleidt en richt enerzijds de aandacht en minimaliseert anderzijds de individuele acties van elke deelnemer, dat wil zeggen dat het de manier van toegang tot de informatie verenigt. Waar nodig is het een aspect dat mogelijke tekorten of moeilijkheden bij de verwerking kan compenseren. Het bewijs van deze verklaring is dat er geen significante verschillen werden gedetecteerd in leerresultaten tussen de drie groepen, waarbij het gemiddelde prestatie-interval [3,60, 4,86] werd vastgesteld op 5. Significante verschillen werden alleen gevonden in de parameters van OmleidingSduur van de verwerking (een parameter die wordt gebruikt om de invoer, de permanentie en de uitvoertijd te analyseren voor elke stimulus die in elke AOI wordt ingevoegd) en van gemiddelde fixatieduur (deze parameter verwijst naar langere fixaties, wat aangeeft dat de deelnemer meer tijd besteedt aan het analyseren en interpreteren van de inhoud van de informatie binnen de verschillende ACI's) op het eerste moment van de verwerking, maar niet aan het einde ervan. De langste tijden in deze parameters werden gedetecteerd bij de groep van de Graduate & Master's Students en de University of Experience Students in deze studie. Deze resultaten worden ondersteund door de conclusies van andere studies4,12,15. Ten slotte kan dit protocol worden toegepast op studieverschillen tijdens informatieverwerking, afhankelijk van de coderingsfase van de student.

Op basis van het bovenstaande is de eerste conclusie dat het gebruik van de eye-tracking-methodologie tijdens de voltooiing van de taken nuttige gegevens verschafte voor de studie van de informatieverwerking1,2. Evenzo vergemakkelijkten de gegevens die werden geëxtraheerd uit eye-trackingtechnologie en geanalyseerd met niet-toezichtsleertechnieken (clustering) de kennis van clusters volgens de vooraf bepaalde parameters11,15. Dit aspect is zeer relevant voor de studie van de informatieverwerking bij elke deelnemer en voor het voorstel betreffende gepersonaliseerde onderwijsreacties3,4,5,6,22,23 , wat naar verwachting zal leiden tot effectiever leren23.

Het is ook belangrijk erop te wijzen dat de experimentele resultaten de resultaten van ander onderzoek bevestigden met betrekking tot: verschillen in verwerking volgens beginners-expertvariabelen en de leeftijd van de deelnemers , en het gebruik van SRL-materialen die de effecten van deze variabelen minimaliseren en de verwachte prestaties van de deelnemers7,8,9,10verhogen .

Het is echter noodzakelijk om elke generalisatie van deze resultaten met voorzichtigheid te behandelen, aangezien gemaksbemonstering werd toegepast en het werk gericht was op specifieke inhoud met betrekking tot kunstgeschiedenis. Daarom zal de steekproef in toekomstig onderzoek worden uitgebreid en zullen de bevindingen in andere disciplines worden gecontroleerd.

Zoals aangegeven in de inleiding, is de presentatie van informatie op een multimodale manier via verschillende informatiekanalen (auditief, visueel of beide) met SRL-methodologie, samen met het gebruik van eye-trackingtechnologie en machine learning-technieken, de sleutel tot het begrijpen van de manier waarop de deelnemers de informatie verwerken om een gepersonaliseerd leerontwerp aan te bieden volgens de onderwijsbehoeften van elke gebruiker en bijgevolg succesvol leren en de ontwikkeling ervan bij alle studenten te bevorderen29,30.

Kortom, het gebruik van de eye-tracking-techniek is geen methodologie van gebruikelijke toepassing in onderwijskaders, fundamenteel te wijten aan kostenfactoren van materiaal tot persoonlijke middelen. Het gebruik ervan begint echter beetje bij beetje toe te nemen en het is belangrijk om het gebruikelijke gebruik ervan te zien bij de observatie van taken in autoreguleerd leren. Het voordeel van deze eye-tracking technologie is dat het de opname mogelijk maakt van de interactie van de leerling met de taak die voordelen heeft van betrouwbaarheid en geldigheid, in dit geval op de eenvoudige observatie van het leerproces. Daarnaast biedt de eye-tracking methodologie verschillende technieken van geregistreerde informatievisualisatie en deze informatie in databanken kan ook worden geanalyseerd met computerprogramma's of krachtigere tools. Daarom opent het een breed scala aan mogelijkheden voor onderzoek in natuurlijke contexten.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

De auteurs verklaren dat ze geen concurrerende financiële belangen hebben.

Acknowledgments

Het werk is ontwikkeld binnen het project "Self-Regulated Learning in SmartArt Erasmus+ Adult Education" 2019-1-ES01-KA204-095615-Coordinator 6, gefinancierd door de Europese Commissie. De video van de voltooiingsfase van de taak had de voorafgaande geïnformeerde toestemming van Rut Velasco Sáiz. We waarderen de deelname van docenten en studenten aan de taakuitvoeringsfase.

Materials

Name Company Catalog Number Comments
iViewer XTM iViewer
SMI Experimenter Center 3.0 SMI
SMI Be Gaze SMI

DOWNLOAD MATERIALS LIST

References

  1. van Marlen, T., van Wermeskerken, M., Jarodzka, H., van Gog, T. Effectiveness of eye movement modeling examples in problem solving: The role of verbal ambiguity and prior knowledge. Learning and Instruction. 58, 274-283 (2018).
  2. Taub, M., Azevedo, R., Bradbury, A. E., Millar, G. C., Lester, J. Using sequence mining to reveal the efficiency in scientific reasoning during STEM learning with a game-based learning environment. Learning and Instruction. 54, 93-103 (2018).
  3. Cloude, E. B., Taub, M., Lester, J., Azevedo, R. The Role of Achievement Goal Orientation on Metacognitive Process Use in Game-Based Learning. Artificial Intelligence in Education. Isotani, S., Millan, E., Ogan, A., Hastings, P., McLaren, B., Luckin, R. , Springer International Publishing. Switzerland. 36-40 (2019).
  4. Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  5. Sáiz-Manzanares, M. C., Rodríguez-Diez, J. J., Marticorena-Sánchez, R., Zaparín-Yáñez, M. J., Cerezo-Menéndez, R. Lifelong learning from sustainable education: An analysis with eye tracking and data mining techniques. Sustainability. 12 (5), 2-18 (2020).
  6. Alemdag, E., Cagiltay, K. A systematic review of eye tracking research on multimedia learning. Computers & Education. 125, 413-428 (2018).
  7. Ho, H. N. J., Tsai, M. -J., Wang, C. -Y., Tsai, C. -C. Prior knowledge and online inquiry-based science reading: evidence from eye tracking. International Journal of Science and Mathematics Education. 12, 525-554 (2014).
  8. Catrysse, L., Gijbels, D., Donche, V. It is not only about the depth of processing: What if eye am not interested in the text. Learning and Instruction. 58, 284-294 (2018).
  9. Mayer, R. E. Using multimedia for e-learning. Journal of Computer Assisted Learning. 33 (5), 403-423 (2017).
  10. Prokop, M., Pilař, L., Tichá, I. Impact of think-aloud on eye-tracking: A comparison of concurrent and retrospective think-aloud for research on decision-making in the game environment. Sensors. 20 (10), (2020).
  11. DuMouchel, W. Data Squashing: Constructing Summary Data Sets. Handbook of Massive Data Sets. Abello, J., Pardalos, P. M., Resende, M. G. C. , Springer. Boston, MA, US. 579-591 (2002).
  12. Stull, A. T., Fiorella, L., Mayer, R. E. An eye-tracking analysis of instructor presence in video lectures. Computers in Human Behavior. 88, 263-272 (2018).
  13. König, S. D., Buffalo, E. A. A nonparametric method for detecting fixations and saccades using cluster analysis: Removing the need for arbitrary thresholds. Journal of Neuroscience Methods. 30 (227), 121-131 (2014).
  14. Maltz, M., Shinar, D. Eye Movements of Younger and Older Drivers. Human Factors. 41 (1), 15-25 (1999).
  15. Burch, M., Kull, A., Weiskopf, D. AOI rivers for visualizing dynamic eye gaze frequencies. Computer Graphics Forum. 32 (3), 281-290 (2013).
  16. Dzeng, R. -J., Lin, C. -T., Fang, Y. -C. Using eye-tracker to compare search patterns between experienced and novice workers for site hazard identification. Safety Science. 82, 56-67 (2016).
  17. Kurzhals, K., Weiskopf, D. Space-time visual analytics of eye-tracking data for dynamic stimuli. IEEE Transactions on Visualization and Computer Graphics. 19 (12), 2129-2138 (2013).
  18. Sharafi, Z., Soh, Z., Guéhéneuc, Y. -G. A systematic literature review on the usage of eye-tracking in software engineering. Information and Software Technology. 67, 79-107 (2015).
  19. Dalrymple, K. A., Jiang, M., Zhao, Q., Elison, J. T. Machine learning accurately classifies age of toddlers based on eye tracking. Scientific Reports. 9 (1), 6255 (2019).
  20. Seifert, L., Cordier, R., Orth, D., Courtine, Y., Croft, J. L. Role of route previewing strategies on climbing fluency and exploratory movements. PLoS One. 12 (4), 1-22 (2017).
  21. Takeuchi, H., Habuchi, Y. A quantitative method for analyzing scan path data obtained by eye tracker. IEEE Symposium on Computational Intelligence and Data Mining, CIDM 2007. , Honolulu, HI, USA. 283-286 (2007).
  22. Takeuchi, H., Matsuda, N. Scan-path analysis by the string-edit method considering fixation duration. 6th International Conference on Soft Computing and Intelligent Systems, and 13th International Symposium on Advanced Intelligence Systems, SCIS/ISIS 2012. , Kobe, Japan. 1724-1728 (2012).
  23. Sáiz, M. C., Marticorena, R., Anaiz, Á, Zaparaín, M. J. Task analysis with eye tracking technology. srl at Smartart. II Congress of the International Scientific Association of Psychopedagogy Proceedings. Peralbo, M., Risso, A., Barca, A., Duarte, B., Almeda, L., Brenlla, J. C. , Asociacion Cientifica Internacional de Psicopedagogia. Coruña, Spain. 4093-4104 (2019).
  24. Khedher, A. B., Jraidi, I., Frasson, C. Tracking Students' Analytical Reasoning Using Visual Scan Paths. IEEE 17th International Conference on Advanced Learning Technologies (ICALT). , IEEE. Timisoara, Romania. 53-54 (2017).
  25. Xia, C., Han, J., Qi, F., Shi, G. Predicting Human Saccadic Scanpaths Based on Iterative Representation Learning. IEEE Trans Image Process. 8 (7), 3502-3515 (2019).
  26. Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. Journal of Visualized Experiments. , e60331 (2020).
  27. Scherer, R., Siddiq, F., Tondeur, J. The technology acceptance model (TAM): A meta-analytic structural equation modeling approach to explaining teachers' adoption of digital technology in education. Computers & Education. 128 (0317), 13-35 (2019).
  28. Bruder, C., Eißfeldt, H., Maschke, P., Hasse, C. Differences in monitoring between experts and novices. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 57 (1), 295-298 (2013).
  29. Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  30. Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29 (1), 1-28 (2019).
  31. IBM Corp. SPSS Statistical Package for the Social Sciences (SPSS) (Version 24). , Madrid, Spain. (2016).
  32. Orange Software Package. , Available from: https://orange.biolab.si/docs/ (2020).

Tags

Gedrag eye tracking zelfregulerend leren taakanalyse gedragsanalyse datamining
Eye-tracking technologie en datamining technieken gebruikt voor een gedragsanalyse van volwassenen die betrokken zijn bij leerprocessen
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Sáiz Manzanares, M. C., PayoMore

Sáiz Manzanares, M. C., Payo Hernanz, R. J., Zaparaín Yáñez, M. J., Andrés López, G., Marticorena Sánchez, R., Calvo Rodríguez, A., Martín, C., Rodríguez Arribas, S. Eye-tracking Technology and Data-mining Techniques used for a Behavioral Analysis of Adults engaged in Learning Processes. J. Vis. Exp. (172), e62103, doi:10.3791/62103 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter