Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

Multimodaal protocol voor de beoordeling van metacognitie en zelfregulering bij volwassenen met leerproblemen

doi: 10.3791/60331 Published: September 27, 2020

Summary

Het huidige werk stelt een multimodaal evaluatieprotocol voor dat zich richt op metacognitieve, zelfregulering van leren en emotionele processen, die de basis vormen voor de moeilijkheden bij volwassenen met id's.

Abstract

Leerstoornissen (ID's) omvatten aandoeningen van degenen die moeite hebben met leren en het gebruik van academische vaardigheden, het vertonen van prestaties onder de verwachtingen voor hun chronologische leeftijd op het gebied van lezen, schrijven en / of wiskunde. Elk van de aandoeningen die deel uit de ID's te betrekken verschillende tekorten; in die heterogeniteit zijn echter enkele overeenkomsten te vinden, zoals het leren van zelfregulering en metacognitie. In tegenstelling tot in de vroege leeftijd en later onderwijsniveaus, zijn er nauwelijks evidence-based evaluatie protocollen voor volwassenen met ID's. ID's beïnvloeden academische prestaties, maar hebben ook ernstige gevolgen in professionele, sociale en familiale contexten. In antwoord hierop stelt het huidige werk een multimodaal evaluatieprotocol voor dat gericht is op metacognitieve, zelfregulering van leren en emotionele processen, die de basis vormen van de moeilijkheden bij volwassenen met ID's. De beoordeling wordt uitgevoerd door analyse van het online leerproces met behulp van verschillende methoden, technieken en sensoren (bijvoorbeeld eye tracking, gezichtsuitdrukkingen van emotie, fysiologische reacties, gelijktijdige verbalisaties, logbestanden, schermopnames van interacties tussen mens en machine) en off-line methoden (bijvoorbeeld vragenlijsten, interviews en zelfrapportagemaatregelen). Deze theoretisch gedreven en empirisch gebaseerde richtlijn heeft tot doel een nauwkeurige beoordeling van LD's op volwassen leeftijd te bieden om effectieve preventie- en interventievoorstellen te ontwerpen.

Introduction

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

Specifieke leerstoornissen (SLDs) omvatten aandoeningen van degenen die moeite hebben met leren en het gebruik van academische vaardigheden, het vertonen van prestaties onder de verwachtingen voor hun chronologische leeftijd op het gebied van lezen, schrijven en / of wiskunde1,2. Er zijn verschillende schattingen van prevalentiepercentages, afhankelijk van de geanalyseerde leeftijd, taal en cultuur, maar ze liggen tussen 5% en 15%1,3. Binnen de wereldwijde categorie van neuroontwikkelingsstoornissen in het Diagnostic and Statistical Manual of Mental Disorders (5e Ed.) 1, is het ook noodzakelijk om zich te concentreren op de incidentie van Attention-Deficit / Hyperactivity Disorder (hierna "ADHD" genoemd) omdat het een veel voorkomende aandoening is die aanleiding heeft gegeven tot verschillende controverses over hoe het te benaderen in de afgelopen jaren. Op basis van de DSM-51kan het worden gedefinieerd als een patroon van hardnekkig gedrag van onoplettendheid en/of hyperactiviteit-impulsiviteit. Ook autisme spectrum stoornis (hierna "ASS) is een categorie in hetzelfde handboek dat studenten die neuroontwikkelingsstoornissen presenteren als gevolg van multifactoriële disfuncties van het centrale zenuwstelsel, die resulteren in kwalitatieve disfuncties in drie fundamentele gebieden van de ontwikkeling van de persoon omvat: sociale interactie, communicatie en belangen en gedrag1,2.

Op deze lijnen, een nieuw concept is ontstaan af te stappen van het gevoel van tekort en het aanbieden van een meer positieve benadering van deze aandoeningen in overeenstemming te zijn met de huidige ideeën van neuroontwikkelingsproblemen als zeer coëxistenten en overlappende4. Uit deze nieuwe modellen wordt begrepen dat de vaardigheden die betrokken zijn bij cognitieve processen op hoog niveau, die het mogelijk maken om iemands gedrag te beheren en te reguleren om een gewenst doel te bereiken, cruciaal zijn voor zelfregulering en dus voor activiteiten van het dagelijks leven, inclusief de academische5. In de context van volwassenheid, neurodiversiteit is geëvolueerd tot verschillende soorten problemen, waaronder ADHD en ASS, evenals dyslexie, dyspraxie, en / of dyscalculie. Daarom benaderen we deze neurodiversiteit vanuit een brede opvatting van leerproblemen (ID's). De toename van studenten met deze diversiteit ingeschreven in het postsecundair onderwijs is goed gedocumenteerd en is deels te wijten aan de stijging van de middelbare school afstuderen tarieven voor studenten met een handicap6, maar tegelijkertijd is er minder onderzoek over het leerproces van deze studenten dan nodig7.

Elk van de wanordelijke aandoeningen omvat verschillende tekorten en manifestaties; in die heterogeniteit is echter enige gemeenschappelijkheid te vinden in termen van LD, zoals metacognitieve, zelfregulerende en emotionele storing8,9,10,11. Drie fundamentele grondslagen in de literatuur van het leren in het algemeen, en LDs in het bijzonder, die de basis vormen van succesvol leren en een essentiële rol spelen in deze bekende moeilijkheden op academisch niveau12. Naast deze, andere benaderingen begrijpen dat er een zekere gemeenschappelijkheid tussen tekorten in uitvoerende functies, zoals problemen in automatische verwerking of werkgeheugen, die zich voordoen in verschillende aandoeningen zoals ADHD en leesstoornissen13 of ADHD en ASS5. Er is echter nog werk aan de winkel op dit gebied, aangezien niet alle studies dezelfde conclusies trekken over deze gemeenschappelijke punten met betrekking tot uitvoerende functies. Dit kan te wijten zijn aan de variaties die worden gepresenteerd door de steekproeven waaruit de studies zijn gebaseerd en de evaluatieprocedures van de uitvoerende functies die in de onderzoeken worden gebruikt5,14.

In onderwijstermen heeft deze gevarieerde mix niet alleen invloed op de kwaliteit van het leren, vanwege de fundamentele aard van de getroffen functies, maar ook verschijnselen zoals schooluitval, verandering van graad, enz., met economische gevolgen voor overheden en universiteiten15. Het uitvalpercentage voor studenten met een ID is hoger dan voor studenten in de algemene bevolking16, maar ook hoger dan de uitvalpercentages voor een andere categorie van psychologische handicaps, behalve voor studenten met emotionele stoornissen17. Daarentegen neemt het aantal studenten met een ID met een opleiding tot post-leerplicht (beroepsopleiding, hogeschool, enz.) met15toe , met name in het hoger onderwijs19,20,21,22. Bovendien zou men goed kunnen aannemen dat er veel meer studenten met LD dan degenen die officieel passeren studentendiensten en meestal make-up van de prevalentie statistieken23.

Deze moeilijkheden worden niet altijd ontdekt tijdens de kindertijd, vooral bij volwassenen geboren voordat deze aandoeningen werden overwogen in het reguliere academische systeem, en de symptomen van deze aandoeningen blijven gedurende het hele leven van mensen bestaan en veroorzaken problemen op het werk, onderwijs en persoonlijk leven24. Onderzoek heeft aangetoond dat, hoewel mensen een aantal van hun moeilijkheden kunnen overwinnen, de meeste blijven kampen met leren tijdens de volwassenheid en hun persistentie is nog steeds problematisch op die hogere onderwijsniveaus25.

Paradoxaal genoeg zijn er, in tegenstelling tot eerdere onderwijsniveaus en vroegere tijden, nauwelijks evidence-based instrumenten of evaluatieprotocollen voor volwassenen met id's. Ondanks de wildgroei van diagnostische instrumenten om ID's te evalueren tijdens de kindertijd, is de beschikbaarheid van geldige, betrouwbare instrumenten en methodologieën voor de volwassen bevolking aanzienlijk beperkt24. Uit een recente literatuurstudie over leerstoornissen in het hoger onderwijs bleek dat de meeste informatie die in dit verband wordt verzameld, wordt gedaan door middel van interviews, en slechts af en toe zelfrapportagevragenlijsten worden gebruikt26. Zelfrapportagemethodologie en interviews, hoewel waardevol, zijn niet voldoende om metacognitieve, zelfregulering en emotionele vaardighedenprocessen nauwkeurig te beoordelen, in feite onder andere vanwege het procesnatuur. Het belang van schalen en interviewmethodologie voor het meten van deze processen is onmiskenbaar27,28, maar dat geldt ook voor de daarmee gepaard gaande problemen van validiteit29 en onverenigbaarheid met andere innovatieve beoordelingsmethoden30. Een bijkomend probleem bij de detectie van ID's is de bias in de diagnose van de aandoening als gevolg van het ontbreken van uitgebreide beoordelingsprotocollen. Het feit dat professionals geen referentieprotocol hebben op basis van objectieve variabelen, veroorzaakt vaak veel vals-positieve en vals-negatieve gevallen van LDs31.

In reactie op zowel de schaarste aan instrumenten voor volwassenen als de noodzaak om de bestaande methodologie te verbeteren, stelt de huidige studie een multimodaal evaluatieprotocol voor dat gericht is op metacognitieve, zelfregulering en emotionele processen, die de basis vormen voor de moeilijkheden bij volwassenen met id's. In overeenstemming met de huidige literatuur stellen we een stap in de richting van integratieve en multichannel meting32,33. De beoordeling wordt uitgevoerd door middel van een analyse van het online leerproces met behulp van verschillende methoden, technieken en sensoren (bijvoorbeeld hypermedialeeromgeving, virtual reality, eye tracking, gezichtsuitdrukkingen van emotie, fysiologische reacties, logbestanden, schermopnames van interacties tussen mens en machine) en off-line methoden (bijvoorbeeld vragenlijsten, interviews en zelfrapportagemaatregelen). Deze gemengde methodologie levert bewijs van de inzet van doelprocessen voor, tijdens en na het leren dat kan worden getriasticuleerd om het begrip van hoe studenten leren en waar het probleem ligt te verbeteren, als er een34.

Het evaluatieprotocol wordt uitgevoerd over twee sessies. De sessies kunnen worden gedaan in een vergadering of kan gedeeltelijke toepassingen nodig, afhankelijk van de persoon. De eerste is gericht op de detectie of bevestiging van ID's en wat voor specifieke vorm van wanorde we worden geconfronteerd, en de tweede is ontworpen om in te gaan op de metacognitieve, zelfregulering, en emotionele processen van elk individueel geval in de diepte.

Sessie 1 is bedoeld als een diagnostische of bevestigingsbeoordeling van de leerstoornissen van de deelnemer: SLD, ADHD en/of ASS (hoog functioneren) om te bepalen welk soort specifieke problemen de deelnemers hebben. Deze beoordeling is om twee redenen van essentieel belang. 1) Volwassenen met leerstoornissen hebben zelden accurate informatie over hun disfunctioneel gedrag. Sommigen van hen vermoeden dat ze een LD hebben, maar zijn nooit geëvalueerd. Anderen kunnen zijn beoordeeld toen ze kinderen waren, maar hebben geen rapporten of verdere informatie. 2) Er kunnen verschillen zijn met eerdere diagnoses (bijvoorbeeld een eerdere diagnose van dyslexie in tegenstelling tot een actuele diagnose van aandachtstekort en trage verwerkingssnelheid; eerdere ASS-diagnose in tegenstelling tot de huidige beperkte intellectuele vermogen, enz.). De deelnemer wordt geïnterviewd en vragenlijsten en gestandaardiseerde tests worden toegepast. Deze sessie wordt hier uitgevoerd door therapeuten met ervaring in het diagnosticeren van ontwikkelings- en leerproblemen in de onderzoeks- en klinische context in verschillende kantoren van een Spaanse psychologiefaculteit. De sessie begint met een gestructureerd interview dat biografische informatie verzamelt, samen met de aanwezigheid van symptomen in verband met SLDs die worden genoemd in de DSM-51. Daarna wordt de referentie intellectuele vaardigheidstest WAIS-IV35 gebruikt in geval van toepassing van uitsluitingscriteriums en omdat het zeer waardevolle informatie biedt voor leerproblemen van de schalen "werkgeheugen" en "verwerkingssnelheid"36. Daarnaast wordt de PROLEC SE-Revised Test37 uitgebreid gebruikt om leesstoornissen te evalueren (lexicale, semantische en/of syntactische leesprocessen), een van de meest voorkomende en invaliderende problemen voor het leren in de huidige academische contexten, die overlapt met andere aandoeningen zoals ADHD38. Deze evaluatie verzamelt leesnauwkeurigheid, snelheid en vloeiendheid, samen met leeshandige personen, en nog belangrijker, waarin het leesproces van de fout optreedt37 (deze test is geëvalueerd met pre-universitaire studenten. Momenteel zijn er geen tests in Spanje die zijn aangepast aan de algemene volwassen bevolking, dus deze test werd geselecteerd omdat het het dichtst bij de doelgroep ligt). Vervolgens screenen we symptomen van ADHD via de World Health Organization Adult ADHD Self-Report Scale (ASRS)39 en verfijnen we de evaluatie van deze aandoening, waarbij we multimodaliteit introduceren met een geavanceerde virtual reality continue prestatietest voor de evaluatie van aandachtsprocessen en werkgeheugen bij volwassenen, het Nesplora Aquarium31,40. Deze test is een zeer nuttig hulpmiddel bij de diagnose van ADHD bij volwassenen en adolescenten ouder dan 16 jaar in een ecologisch scenario, het verstrekken van objectieve, betrouwbare gegevens. Het evalueert selectieve en aanhoudende aandacht, impulsiviteit, reactietijd, auditieve en visuele aandacht, doorzettingsvermogen, kwaliteit van aandachtsgerichtheid, motorische activiteit, werkgeheugen en kosten van taakverandering. Bovendien, samen met de WAIS-IV35 als geheel voor het verzamelen van informatie over de intellectuele vermogen van de deelnemer, besteden we speciale aandacht aan de schalen "werkgeheugen" en "verwerkingssnelheid" omdat ze gerelateerd zijn aan leerproblemen en de resultaten van deze schalen worden gebruikt in de uiteindelijke beslissing. Tot slot nemen we de Autisme Spectrum Quotient (AQ-Short)41 in het protocol, de korte versie van de betrouwbare AQ-Adult van Baron-Cohen, Wheelwright, Skinner, Martin en Clubley42.

Sessie 2 richt zich op een multimodale beoordeling van het leerproces van de deelnemer. De sleutel tot het begrijpen van complex leren ligt in het begrijpen van de inzet van cognitieve, metacognitieve, motiverende en affectieve processen van studenten43. Daartoe werken deelnemers met MetaTutor, waar het gebruik van metacognitieve en cognitieve strategieën wordt waargenomen terwijl ze aan het leren zijn. MetaTutor is een hypermediale leeromgeving die is ontworpen om zelfregulerend leren van studenten op te sporen, te modelleren en te bevorderen terwijl u verschillende wetenschapsonderwerp44leert. Het ontwerp van MetaTutor is gebaseerd op uitgebreid onderzoek door Azevedo en collega's43,45,46,47 en behoort tot een nieuwe trend in de meting van SRL, de zogenaamde derde golf, die wordt gekenmerkt door gecombineerd gebruik van meet- en geavanceerde leertechnologieën33. Het gebruik van MetaTutor biedt ook multimodale tracegegevens, waarin maatregelen zoals, eye tracking, emotionele fysiologische reacties (galvanische huidrespons (GSR) en gezichtsuitdrukkingen van emoties)48, log-data en vragenlijsten. Al deze maatregelen worden gecombineerd om een dieper begrip van de deelnemers SRL en metacognitie te bereiken.

Eye tracking biedt inzicht in wat onmiddellijk de aandacht trekt, welke doelelementen worden genegeerd, waarin orderelementen worden opgemerkt of hoe elementen zich verhouden tot anderen; elektrodermale activiteit laat ons weten hoe emotionele opwindingsveranderingen in reactie op de omgeving; gezichts-emotie-herkenning maakt de automatische herkenning en analyse van gezichtsuitdrukkingen mogelijk; en data logging verzamelt en slaat de interactie van de student met de leeromgeving voor verdere analyse. Met betrekking tot de vragenlijsten, de Mini International Personality Item Pool49 informeert over een scala aan activiteiten en gedachten die mensen ervaren in het dagelijks leven de beoordeling van elk van de vijf belangrijkste persoonlijkheidskenmerken (extraversie, aangenaamheid, gewetensvolheid, neuroticisme en openheid). De Connotatieve Aspecten van Epistemological Beliefs50 geeft informatie over de overtuigingen van deelnemers over kennis. De Rosenberg Self-esteem schaal laat zien hoe de deelnemers zich voelen over zichzelf in totaal51. De Emotion Regulation Questionnaire52 geeft informatie over de emotieregulatie van de deelnemers. De Achievement Emotions Questionnaire (AEQ)53 informeert over emoties die doorgaans worden ervaren aan de universiteit.

Kortom, het beoordelen van id's tijdens de volwassenheid is bijzonder moeilijk. Onderwijs en ervaring stellen veel volwassenen in staat om hun tekorten te compenseren en vertonen later ongedifferentieerde of gemaskerde symptomen, waarop wetenschappelijke kennis nog steeds schaars is. Rekening houdend met de kritische onderzoekskloof die ontstaat, is dit huidige werk erop gericht om theoretisch gestuurde, empirisch gebaseerde richtlijnen voor een nauwkeurige beoordeling van ID's tijdens de volwassenheid te waarborgen om effectieve preventie- en interventieacties te ontwerpen.

Om lezers te helpen beslissen of de beschreven methode geschikt is of niet, is het noodzakelijk om aan te geven dat het protocol niet geschikt is voor mensen met een verstandelijke beperking, omdat hun diagnose de diagnose van leerproblemen ongeldig maakt. Bovendien is het vanwege de singulariteiten van de gebruikte apparatuur en het formaat van het tonen van de leerinhoud nog steeds niet mogelijk om mensen met een motorische handicap (bovenste ledematen, nek en/of gezicht), gehoor- of visuele beperking te evalueren. Ook zou het niet geschikt zijn voor deelnemers met ernstige psychiatrische stoornissen. Het zou het gebruik van geneesmiddelen vereisen die informatieverwerking of de fysiologische uitdrukking van emoties kunnen veranderen.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

De onderzoeksethiekcommissie van het Vorstendom Asturië en de Universiteit van Oviedo keurde dit protocol goed.

1. Sessie 1: diagnosebeoordeling

OPMERKING: In deze sessie van het protocol worden evaluatietests van verschillende uitgevers gebruikt, die hun eigen specifieke toepassings- en interpretatiehandleidingen hebben. Aangezien deze tests, of andere soortgelijke, algemeen bekend zijn bij de wetenschappelijke gemeenschap op het gebied van psychologie en onderwijs, is de procedure om ze toe te passen niet stap voor stap gedetailleerd (bijvoorbeeld, gezien het doel van dit document, heeft het geen zin om elke stap van de WAIS-IV35-aanvraag in detail te beschrijven).

  1. Geïnformeerde toestemming
    1. Leg de deelnemers de ethische en vertrouwelijkheidsaspecten van het onderzoek uit en vraag hen om de individuele geïnformeerde toestemming te erkennen en te ondertekenen.
  2. Gestructureerd interview
    1. Leg de volgende instructies uit aan de deelnemer: "Nu ga ik je interviewen om belangrijke informatie te krijgen over je leven en academische kwesties. Er zijn open en gesloten vragen, maar je me onderbreken wanneer je maar wilt. Laat het me weten als je me nodig hebt om een punt te verduidelijken. Na dit eerste gesprek kan ik u vragen om een aantal evaluatietests en vragenlijsten te doen. Ik zal u de specifieke instructies voor elk vertellen. Ben je er klaar voor?"
    2. Verzamel de biografische informatie samen met de aanwezigheid van symptomen in verband met SLD en uitsluitingscriteria die worden genoemd in de DSM-51 na het interviewscript (zie Supplementair bestand A ).
  3. Eerste beslissingspunt met betrekking tot het gestructureerde gesprek (uitsluitingscriteria)
    1. Rond de beoordeling af als de deelnemer voldoet aan de initiële uitsluitingscriteria, dat wil zeggen dat hij/zij uitlegt dat hij een motorische handicap (bovenste segmenten), zintuiglijke handicap (visueel of auditief), een diagnose van een verstandelijke beperking of een ernstige psychische stoornis heeft.
    2. Zet de beoordeling voort als het erop lijkt dat de deelnemer een SLD heeft of denkt te hebben en niet voldoet aan uitsluitingscriteria.
  4. Intellectuele bekwaamheid
    1. Pas de WAIS-IV35-test toe om informatie te verzamelen over de intellectuele bekwaamheid van de deelnemer volgens de instructies in de handleiding.
  5. Tweede beslissingspunt met betrekking tot intellectuele bekwaamheid (uitsluitingscriteria)
    1. Voltooi de beoordeling als de deelnemer de instructies van de test niet begrijpt, als deze niet kan worden geëvalueerd, of als hij een IQ van minder dan 70 heeft.
    2. Ga verder met de beoordeling als de persoon een normale of beperkte intellectuele vaardigheid heeft.
      OPMERKING: De limiet van het IQ dat in het huidige onderzoek is geaccepteerd, is vastgesteld als een score van meer dan 70.
  6. Adhd
    1. Vraag de deelnemer om de zes items van de zelfgerapporteerde screeningsvragenlijst van de Adult-v1.1 in te vullen. (ASRS39) van de World Health Organization (WHO) International Composed Diagnostic Interview.
      OPMERKING: Deze vragenlijst geeft informatie over de aanwezigheid van symptomen in verband met ADHD die worden genoemd in de DSM-IV54.
    2. Pas de Nesplora Aquarium test40 toe als de deelnemer 12 of meer scoort in de vorige ASRS36 vragenlijst.
  7. Leesproblemen
    1. Breng de PROLEC SE-R Screening Test van leesproblemen37 volg de instructies in de handleiding.
  8. Autisme spectrum stoornis (niveau 1)
    1. Vraag de deelnemer om de 28 items van de Autisme Spectrum Quotient (AQ-Short) vragenlijst van Hoekstra et al.41 in te vullen
      OPMERKING: Deze vragenlijst geeft informatie over de aanwezigheid van symptomen in verband met sociaal gedrag, sociale vaardigheden, routine, schakelen, verbeelding en getallen/patronen.
  9. Analyseer de resultaten.
    1. Analyseer het interview, vragenlijsten en testresultaten van elke deelnemer en bepaal of ze aanzienlijke leerproblemen hebben of niet of lopen het risico ze te hebben.
      OPMERKING: Twee leden van de expertcommissie (de evaluator en een ander lid van het onderzoeksteam) analyseren het leerprofiel van elke deelnemer en beslissen of ze een student zijn met SLD, ADHD en/of ASS of niet of het risico lopen ze te hebben. Geen enkele test kan het oordeel van de deskundige vervangen.
  10. Eindbeslissingspunt
    1. Maak de beoordeling af als de deelnemer duidelijk geen student is met leerproblemen.
    2. Vervolg de beoordeling als de deelnemer een persoon is met ID's (of risicovol) en ga naar sessie 2.

2. Sessie 2: multimodale beoordeling

LET OP: Sessie 2 moet worden gedaan tussen 1 en 7 dagen na sessie 1.

  1. Bereid de deelnemer voor.
    1. Herinner de deelnemers eraan dat de sessie ongeveer 2 uur duurt en dat ze een aantal vragenlijsten en taken in de MetaTutor-leeromgeving gaan invullen terwijl sommige apparaten hun prestaties tijdens de sessie registreren.
    2. Vraag de deelnemers hun haar vast te binden, hun nek te zuiveren, hun bril te verwijderen en kauwgom te verwijderen indien van toepassing.
      LET OP: Als de deelnemer een bril draagt, lang haar of pony heeft die een deel van hun gezicht bedekken, kan de oogtracker zijn ogen niet lezen.
    3. Stel MetaTutor voor aan de deelnemers. Leg uit dat het doel van de sessie is om autonoom te leren over de bloedsomloop met behulp van de tool.
    4. Zorg ervoor dat de luidsprekers zijn aangesloten en werken.
      LET OP: De deelnemer kan ook een hoofdtelefoon gebruiken indien gewenst.
  2. Galvanische huidresponsvoorbereiding en kalibratie
    OPMERKING: Vergeet niet dat er vele soorten GSRs vervaardigd door verschillende bedrijven. Gebruik het volgens de specificaties van de leverancier.
    1. Reinig de GSR en de vingers van de deelnemer met alcohol.
    2. Leg de GSR-sensoren met de vinger/polsband op de wijs- en ringvingers met de connectoren aan de vingertopzijde of volgens de instructies van de fabrikant.
    3. Vraag de deelnemer om zijn hand rustig op tafel te leggen en te proberen 5 minuten te ontspannen.
    4. Open de software in de computer.
    5. Controleer of de registratiegrafiek werkt. Controleer de registratiegrafiek die zich registreert.
    6. Klik op Experiment uitvoeren > Snelheid 10 per seconde > Duur > 10 > Minuut. Nota de informatie gedurende tien minuten om de basislijn vast te stellen.
      OPMERKING: Tarief 10 per seconde betekent de frequentie waarmee maatregelen worden genomen.
    7. Minimaliseer het scherm.
    8. Ga verder met de kalibratie van andere apparaten en sla de informatie na 10 minuten op in een CSV-bestand.
  3. Eye tracking en webcam voorbereiding en kalibratie
    OPMERKING: Vergeet niet dat er vele soorten eye tracking en webcam vervaardigd door verschillende bedrijven. Gebruik ze volgens de specificaties van de leverancier.
    1. Open de software in de laptop aan de zijkant en in de computer.
      LET OP: De oogbewegingen worden vastgelegd op de pc waar de deelnemer aan werkt, maar de gegevens worden geregistreerd op de zijkant laptop. Bovendien kan de onderzoeker in de zijlaptop de bewegingen zien die de deelnemer maakt en indien nodig de positie van de deelnemer corrigeren.
    2. Geef aan welke sessie wordt opgenomen (Metatutor in dit geval) en de registratiegegevens van de deelnemer: Bestand > Recent experiment > Metatutor > Registratiegegevens van de deelnemer opnemen > OK.
    3. Controleer of de twee computers met elkaar zijn verbonden en of de eye tracking infraroodlampjes zijn ingeschakeld en klaar om de beweging van de ogen vast te leggen.
    4. Pas de webcam op de computer aan de positie van de deelnemer aan.
    5. Vraag de deelnemer om naar voren te zitten en zo neutraal mogelijk te zijn, hoewel de verwachting is dat hun gezichtsuitdrukkingen tijdens de leersessie zullen variëren.
      OPMERKING: Tijdens de leersessie wordt een video van het gezicht van de deelnemer opgenomen met de webcam die later wordt geanalyseerd met behulp van een desktop-app55.
    6. Vraag de deelnemer om stil te staan en te staren naar de verschillende punten van het scherm met hun neus in lijn met / iets over de rand van het bureau (op 90 °).
    7. Klik op Opnemen > De registratiegegevens van de deelnemer schrijven > Ok om het kalibratieproces te starten.
    8. Vraag de deelnemer om op de spatiebalk te drukken en de punten op het scherm met zijn ogen te volgen.
    9. Zorg ervoor dat de ogen van de deelnemer, wanneer u naar het scherm kijkt, gecentreerd zijn voordat u naar de volgende stap gaat, met behulp van de zijlaptop om deze informatie te controleren.
      LET OP: De blik van de deelnemer is gecentreerd wanneer de bewegingen van hun ogen worden geregistreerd op het zijlapscherm met twee witte cirkels. Wanneer de blik het registratiegebied verlaat, waarschuwt de software met gele pijlen (indien lichtjes afgeweken), met rode pijlen (indien afgeweken veel) of zonder witte cirkels (als niet registrerend). Het pad van de beweging van de ogen wordt gereflecteerd met een geel licht (attentional focus) en het spoor door het scherm met een groene lijn.
    10. Vraag de deelnemers om hun gezicht niet aan te raken of hun hoofd zoveel mogelijk in hun handen te laten rusten.
    11. Minimaliseer het scherm.
  4. Multimodale tracking van de leersessie
    1. Maximaliseer het GSR-scherm en klik op Experiment uitvoeren > Snelheid 10 per seconde > Duur > 5 > uren > Opnemen en het scherm opnieuw minimaliseren.
    2. Maximaliseer het oogtracking- en webcamscherm, zorg ervoor dat de software correct werkt, klik op Opnemen op de computer en op de laptop aan de zijkant om de sessie te registreren en op te nemen en het scherm opnieuw te minimaliseren.
      OPMERKING: Zodra de apparaten zijn gekalibreerd, vergeet dan niet om te beginnen met het opnemen van de evaluatiesessie in elk van hen. Vanaf dit punt wordt de volledige interactie van de deelnemer met het leergereedschap opgenomen tot het einde van de sessie.
  5. Vragenlijsten en leersessie in MetaTutor
    1. Open de software in de pc en vul de registratiegegevens van de deelnemer in. Volledige id > Experimenter > Dag > Vragenlijsten ja > Doorgaan.
      LET OP: Alle logboeken worden tijdens de sessie geregistreerd in een logboek met bestandsgegevens.
    2. Leg de deelnemer uit dat hij de instructies in de tool moet opvolgen en dat hij alleen tijdens de leersessie met de computer in wisselwerking staat. Leg uit dat de onderzoeker in de volgende kamer zal zijn voor het geval er iets gebeurt.
      1. Vraag de deelnemer naar sociodemografische en academische informatie. Volledige naam > Geslacht > Leeftijd > Etnische groep > Onderwijsniveau > Universiteit > Graad > GPA > Informatie over biologiecursussen die zijn gevolgd indien van toepassing > Doorgaan. Voordat u op Doorgaanklikt, legt u de deelnemers uit dat zij alle instructies moeten volgen die de tool hen geeft. Ook dat ze alleen interactie met de computer tijdens de leersessie.
      2. Vraag de deelnemer enkele vragenlijsten in te vullen.
        LET OP: De deelnemer moet vijf metacognitieve en zelfregulerende leervragenlijsten invullen: a) The Mini International Personality Item Pool49; b) De connotatieve aspecten van epistemologische overtuigingen50; c) De Rosenberg Self-esteem Schaal51; d) Vragenlijst52van de emotieverordening ; e) De Achievement Emotions Questionnaire (AEQ)53 en één vragenlijst over algemene kennis over de bloedsomloop.
      3. Toon de deelnemer de interface van MetaTutor en de verschillende onderdelen.
        1. Leg de deelnemer uit dat het inhoudsgebied is waar de leerinhoud gedurende de hele sessie in tekstvorm wordt weergegeven.
        2. Laat de deelnemer zien dat hij/zij door een inhoudsopgave aan de zijkant van het scherm kan navigeren om naar verschillende pagina's te gaan.
        3. Laat de deelnemer zien dat het algemene leerdoel tijdens de sessie boven aan het scherm wordt weergegeven.
        4. Laat de deelnemer zien dat de ingestelde subdoelenaandonderdeels bovenaan in het scherm worden weergegeven en dat ze subdoelen kunnen beheren of ze hier prioriteit kunnen geven.
        5. Laat de deelnemer zien dat er een timer in de linkerbovenhoek van het scherm zich bevindt, geeft de resterende tijd in de sessie weer.
        6. Toon de deelnemer de lijst met zelfregulerende processen, die worden weergegeven in een palet aan de rechterkant van het scherm, en de deelnemer kan erop klikken tijdens de sessie om plannings-, monitoring- en leerstrategieën te implementeren.
        7. Laat de deelnemer de statische afbeeldingen zien die relevant zijn voor inhoudspagina's naast de tekst om leerlingen te helpen informatie uit verschillende bronnen te coördineren.
        8. Laat de deelnemer de tekst zien die op het toetsenbord is ingevoerd en hoe de interacties van studenten met agents worden weergegeven en opgenomen in dit deel van de interface.
        9. Laat de deelnemer de vier kunstmatige agenten zien die studenten tijdens de sessie helpen bij het leren.
          LET OP: Deze agenten zijn Gavin de Gids, Pam de Planner, Mary de Monitor, en Sam de Strategizer.
      4. Vraag de deelnemer om op Start te klikken om de leersessie te beginnen wanneer ze klaar zijn.
        OPMERKING: De deelnemer werkt met de tool.
      5. Zodra de sessie is afgelopen, vraag de deelnemer om de kennisvragenlijst opnieuw in te vullen.

3.

  1. Sla aan het einde van de sessie de opgenomen gegevens van GSR, eye tracking/webcam en Metatutor op, samen met de registratiegegevens van de deelnemer. Haal de gegevens in een CSV-bestand uit voor eenvoudiger gebruik.
  2. Verwijder de GSR-sensoren uit de hand van de deelnemer en maak de galvanische sensoren weer schoon met alcohol.
  3. Bedank de deelnemers voor hun medewerking en neem afscheid.

4. Analyse van leerproblemen

  1. Analyseer de leerprestaties van elke deelnemer op basis van de verschillende rapporten die zijn geproduceerd (zie sectie Resultaten) om een multimodaal profiel te verkrijgen.
    OPMERKING: Ten minste twee leden van de expertcommissie analyseren het leerproces van elke deelnemer. Hoewel de evaluatie uitvoerig kan worden uitgevoerd met behulp van nieuwe instrumenten en instrumenten, kan geen enkel verslag het oordeel van de deskundige vervangen.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

Deze sectie illustreert de representatieve resultaten van het protocol, inclusief een voorbeeld van gezamenlijke resultaten van sessie 1 en een voorbeeld van elke bron van informatie uit sessie 2.

De resultaten over aandoeningen worden verzameld in sessie 1 door middel van diagnostische tests rekening houdend met de procedures en cut-off punten die zijn gespecificeerd voor de diagnostische beoordeling van de leerproblemen van deelnemers (SLD, ADHD, en ASS). De deskundigencommissie beslist of de deelnemer leerproblemen heeft of het risico loopt deze al dan niet te krijgen (zie een voorbeeld van besluitvorming in figuur 1). Als de deelnemer leerstoornissen vertoont en deelneemt aan sessie 2, worden gegevens uit alternatieve bronnen verzameld.

Tijdens sessie 2 verzamelt het protocol resultaten uit vijf verschillende bronnen: de GSR van de deelnemers, gezichtsemoties, oogbewegingen, vragenlijsten en loggegevens.

Ten eerste krijgen we een maat van de GSR als een indicatie van emotionele opwinding tijdens de leersessie (kalm/opgewonden)56. Leerstoornissen zijn gekoppeld aan angst bij volwassenen, en verschillende studies hebben aangetoond dat studenten met leerstoornissen van de eerste klas tot de universiteit hogere angstsymptomen melden, die fungeren als een factor in verminderde prestaties57,58,59. Er is echter geen een-op-een relatie tussen begrip en herstel; elk geval moet individueel worden geanalyseerd door de expertcommissie, rekening houdend met de specifieke basislijn van elke deelnemer. Figuur 2 toont twee paradigmatische gevallen die ons kunnen laten zien of angstregulering een belangrijk punt is voor interventie.

Ten tweede krijgen we een opname van het gezicht van de deelnemer tijdens de sessie die ons de verschillende emoties laten zien die ze voelden tijdens het leerproces om de theoretische relatie met metacognitie en zelfregulering te overwegen. Er is een verscheidenheid van gezichts-emotie-herkenning software om die informatie te verzamelen. In het huidige protocol gebruiken we een tool55, die emotieherkenning omvat, het vertrouwen teruggeven over een reeks emoties voor elk gezicht in de video (walging, angst, woede, geluk, minachting, neutraal, verdriet en verbazing). Deze emoties worden begrepen als cross-cultureel en universeel gecommuniceerd met specifieke gezichtsuitdrukkingen60. Deelnemers hadden de neiging om alle gedetecteerde emoties te ervaren tijdens de sessie, maar we kunnen een algemene index voor elke informatie over de algemene trend te verkrijgen. Positieve activerende emoties zoals geluk, verrassing en plezier, worden verondersteld om zowel intrinsieke als extrinsieke motivatie te bevorderen, het gebruik van flexibele leerstrategieën te vergemakkelijken en zelfregulering te bevorderen. Omgekeerd worden negatieve deactiverende emoties, zoals verveling en verdriet, geopperd om de motivatie en de inspanningsgerichte verwerking van informatie uniform te verminderen, wat negatieve effecten op leerresultaten oplevert. Voor neutrale deactiverende en negatieve activerende emoties, zoals woede, angst, minachting en walging, worden de relaties verondersteld complexer te zijn. In het bijzonder kunnen woede en angst de intrinsieke motivatie ondermijnen, maar kan een sterke extrinsieke motivatie opwekken om te investeren in investeringen om falen te voorkomen, wat betekent dat de effecten op het leren van studenten niet negatief hoeven te zijn53 (zie figuur 3). De resultaten geven de mate van toeval met een van de geanalyseerde emoties, het toewijzen van waarden tussen 0 en 1 aan elk van hen.

Ten derde gebruiken we gegevens van eye-tracking. Eye-trackers vangen blikinformatie vast in termen van fixaties en saccades(figuur 4). In het huidige protocol zijn we geïnteresseerd in het analyseren van fixaties, met name het aandeel van fixatietijd en patroon van fixaties. Voor dat doel hebben we zeven interessegebieden (AO's) gedefinieerd in de MetaTutor-interface voor zelfreguleringsbeoordeling (gelabeld met rechthoeken in figuur 5):AOI1 Timer, AOI2-doel- en subdoelen, AOI3 Agent/avatar voor steigers, AOI4-inhoudsopgave, AOI5-tekstinhoud, AOI6-afbeeldingsinhoud, AOI7-leerstrategieënpalet.

In termen van beoordeling voor beknopte interventie begeleiding, kunnen we afleiden van de volgende.

Fixaties in AOI1 geven tijdbeheer- en/of resourcebeheerstrategieën aan. Verminderde of massale fixaties in AOI1 duiden onjuiste time management vaardigheden aan. Het moet onmiddellijk worden gecontroleerd.

Fixaties in AOI2 duiden planning, instelling en prioritering van doelen en subdoelen aan. Eerdere studies tonen aan dat deze specifieke AOI, samen met de AOI7, is vooral belangrijk voor de beoordeling van leren met MetaTutor61. Aangezien deze informatie beknopt, kort en visueel is, mag het aandeel fixaties niet erg hoog zijn (figuur 6).

Fixaties in AOI3 Agent laten zien dat de deelnemer gebruik maakt van de aanwijzingen en feedback die de agenten tijdens de interactie geven in reactie op de doelen, gedrag, zelfevaluaties en voortgang van deelnemers. Het is vermeldenswaard dat een gebrek aan fixaties op de Agent AOI zorgvuldig moet worden overwogen, omdat leerlingen mogelijk niet altijd naar een agent hoeven te kijken om zijn audioprompts en feedback61te verwerken. Deze AOI moet af en toe worden gecontroleerd. Avatars spreken niet vaak, dus er moet een klein percentage van fixaties in vergelijking met andere gebieden, maar het zou weerspiegelen dat ze een interactie met de agent hebben vastgesteld (figuur 6).

Fixaties in AOI4 en/of overgangen tussen tekst en beeld/grafiek (AOI5 en AOI6) wijzen op het strategiegebruik van deelnemers voor de coördinatie van informatiebronnen (COIS), gekoppeld aan conceptuele winsten45. De lengte van fixaties op teksten en afbeeldingen geeft aan dat integratieprocessen bijdragen aan nauwkeurige mentale representaties van de gepresenteerde informatie62. COIS wordt ge operationaliseerd als een reeks van twee overgangen tussen oogfixaties op tekst- en afbeeldings-/grafiekgebieden (bijvoorbeeld tekst/grafiek/tekst). AOI4 moet worden gecontroleerd met een bepaalde frequentie. Aangezien de informatie duidelijk, kort en visueel is, mag het aandeel fixaties niet erg hoog zijn. Het hoogste percentage fixaties moet in AOI5 en AOI6 liggen. Het onderwerp moet het grootste deel van hun tijd besteden aan het beoordelen van de inhoud (d.w.z. de geschreven teksten) en een opmerkelijke hoeveelheid tijd besteden aan de afbeeldingen en grafieken om beide bronnen van kennis te coördineren en te integreren (figuur 6).

Fixaties op AOI7 geven het gebruik van cognitieve strategieën aan (notities maken, een samenvatting schrijven, een gevolgtrekking maken) en metacognitieve strategieën (activeren van voorkennis, evalueren van inhoudsrelevantie, beoordeling van begrip en kennis)63. Het is redelijk dat de deelnemer de beschikbare middelen of leerstrategieën met enige frequentie bekijkt(figuur 6).

Voor de daaropvolgende analyse is het noodzakelijk om zich te concentreren op gegevens met betrekking tot studenten die interactie hebben met MetaTutor, met uitzondering van de delen van de interactie waarin deelnemers systeemtutorials bekijken. De verzamelde gegevens kunnen luidruchtig zijn en moeten deskundig worden gevalideerd. De belangrijkste bron van ruis is te wijten aan de deelnemers weg te kijken van het scherm, die de eye-tracker interpreteert als ongeldige gegevens; in dit geval is het raadzaam om de overeenkomstige segmenten uit blikgegevens te verwijderen. Figuur 6 toont een deelnemer met metacognitieve storingen en een deelnemer met een adaptief gebruik van strategieën op dit niveau.

Ten vierde worden vragenlijsten samen met de rest van de informatie geanalyseerd en volgens de instructies van de auteurs gescoord. Ze leveren gegevens op het niveau van de deelnemers van het gevoel van eigenwaarde en emotionele regelgeving. Een gunstig niveau van eigenwaarde of juiste emotionele regulatie strategieën vergemakkelijkt leerprocessen64. Voorbeelden van interpretatie zien (figuur 7).

Ten slotte worden alle interacties van lerenden met inhoud, agentia en de leeromgeving vastgelegd in logboeken voor verdere gedetailleerde analyse naar aanleiding van het schema in figuur 8. De MetaTutor log data biedt ons een breed scala aan mogelijkheden om onder andere het aantal keren dat leerlingen zelfregulerende leerstrategieën hebben geïmplementeerd (bijvoorbeeld het nemen van notities, samenvattingen, het monitoren van de voortgang naar het doel, inhoudsevaluatie, oordelen van het leren, gevoelens van weten, planning, activering van voorkennis, enz.), of deze strategieën zelf of extern werden gegenereerd door de externe steigers, en de tijd die elke deelnemer besteedde aan het bekijken van materiaal in MetaTutor dat relevant/irrelevant was voor hun huidige actieve subdoelstelling65,66. Patroon mining, Process Mining, Association Rules, en andere potentiële benaderingen67,68 zou een maatregel van studenten het gebruik van cognitieve en metacognitieve monitoring en regelgeving gedurende de leersessie.

Figure 1
Figuur 1. Voorbeeld van het maken van beslissingspunten van sessie 1. Deze case toont een deelnemer die leerproblemen heeft gehad sinds de kindertijd, meestal in leesprocessen. De deskundige kan zien dat deze leeshandige personen belangrijker zijn in lexicale en syntactische processen(b). Bovendien wordt opgemerkt dat de deelnemer geen motorische, zintuiglijke of mentale handicap heeft. Opgemerkt wordt dat de deelnemer een normaal intellectueel vermogen heeft en geen risico loopt in relatie tot autismespectrumstoornis of ADHD(a)omissies, commissies en reactietijd, in visuele en auditieve kanalen, minder dan 60 zijn, dus zijn in het normale bereik). In dit geval worden leesproblemen gedetecteerd en worden uitsluitingscriteria niet nageleefd, dus wordt aangenomen dat de deelnemer SLD heeft vanwege leesbeperkingen. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 2
Figuur 2. Resultaten van een stabiel activeringsniveau en instabiel activeringsniveau tijdens de leersessie. Dit beeld vertegenwoordigt de resultaten van twee deelnemers. Deelnemer A met stabiele activeringsniveaus en deelnemer B met instabiele activeringsniveaus tijdens de leersessie, omdat de B-lijn van de deelnemer onregelmatiger is en met veel pieken. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 3
Figuur 3. Beeld van emotieherkenning. a)Voorbeeld van neutrale emotie; b) Voorbeeld van verdriet emotie; en c) Voorbeeld van geluk emotie trend. In de gele cirkel is het mogelijk om de emotie trend te zien. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 4
Figuur 4. Voorbeeld met overgangsgegevens tussen tekst en grafiek (AOI5 en AOI6) tijdens een MetaTutor-leersessie. Cirkels en lijnen vertegenwoordigen gebieden van fixatie en overgangen tussen gebieden. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 5
Figuur 5. Interessegebieden (AO's) van de MetaTutor-interface voor de zelfreguleringsbeoordeling: AOI1 tot AOI7. AOI1 Timer, AOI2 Goal and Sub-goals, AOI3 Agent, AOI4 Content van inhoud, AOI5-tekstinhoud, AOI 6-afbeeldingsinhoud, AOI7-leerstrategieënpalet. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 6
Figuur 6. Percentage fixaties in de MetaTutor-interface AOIs uitgedrukt als een percentage. a) Voorbeeld van een deelnemer die zelfregulering inzet; b) Voorbeeld van een deelnemer die zelfregulerend gedrag implementeert. Verhouding van de fixaties in elk gebied (waarden tussen 0 en 1). a) Echte gegevens van een deelnemer die meer dan 80% van de tijd besteedt aan het lezen van de geschreven tekst (AOI5) hij ondermatigt de middelen die zijn ontworpen om hem te helpen begrijpen dat de inhoud (AOI6); hij beoordeelt nauwelijks de inhoudsregeling om te controleren wat hij reeds heeft geleerd en wat er nog te leren valt (AOI4); verwaarloost leerdoelen en subdoelen (AOI2) en hij beoordeelt zelden het palet van leerstrategieën (AOI7). Bovendien controleert hij niet de tijd die aan de taak is toegewezen (AOI1) en negeert hij de avatars die hem proberen te helpen (AOI3); b) Echte gegevens van een deelnemer die de helft van de tijd (50% ongeveer) het lezen van de geschreven tekst (AOI5) en vaak beoordelingen van de grafiek ontworpen om hem te helpen om de inhoud te begrijpen (AOI6). Hoewel hij het grootste deel van zijn tijd besteedt aan inhoud, bekijkt hij het inhoudsschema regelmatig om te controleren wat hij heeft geleerd en wat hij nog te leren heeft (AOI4); hij besteedt aandacht aan leerdoelen en subdoelstellingen (AOI2) om ervoor te zorgen dat hij ze bereikt en gaat hij naar het learning strategies palette (AOI7) wanneer dat nodig is. Daarnaast houdt hij de tijd in de gaten zonder zich er al te veel zorgen over te maken (AOI1) en legt hij enige interactie met agents (AOI3) vast. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 7
Figuur 7. Voorbeeld van interpretatie van de vragenlijsten resultaten. In grafisch links) Rosenberg gevoel van eigenwaarde schaal51, hogere scores wijzen op een hoger gevoel van eigenwaarde (minimum = 10; maximum = 40). In grafisch recht), Emotion Regulation Questionnaire52, cognitieve Herwaardering (minimaal = 7; maximum = 42); Expressieve onderdrukking (minimaal = 4; maximum = 28). Hogere scores wijzen op een hoger gebruik van herwaarderings- of onderdrukkingsstrategieën. Cognitieve herwaardering is een vorm van verandering op cognitief niveau die helpt bij het interpreteren van een situatie die emoties op een andere manier uitlokt, waardoor hun emotionele impact verandert (met behulp van herwaarderingsstrategieën helpen om na te denken over negatieve situaties en over een alternatieve construal om ze op te lossen). Expressieve onderdrukking is een vorm van responsmodulatie waarbij voortdurend emotie-expressief gedrag wordt geremd (terugkerende gebruikers van onderdrukkingsstrategieën moeten minder begrip hebben van hun stemmingen, ze minder gunstig bekijken en ze minder succesvol beheren). Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 8
Figuur 8. Log gegevensverwerking. Deze afbeelding vertegenwoordigt het beheer van loggegevens. Het systeem verzamelt de ruwe interactiegegevens tussen de student en MetaTutor en voert vervolgens gegevens voorbewerking uit om vervolgens Learning Analytics en/of Data Mining-technieken toe te passen voor het ontdekken, analyseren of visualiseren van het volledige leerproces. Klik hier om een grotere versie van dit cijfer te bekijken.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

Het huidige protocol stelt een multimodale evaluatie voor die gericht is op metacognitieve, zelfregulering en emotionele processen, die de basis vormen voor de moeilijkheden bij volwassenen met ID's.

Sessie 1 is essentieel omdat het bedoeld is als een diagnostische beoordeling van de leerstoornissen van de deelnemer. Merk op dat deze sessie hier wordt uitgevoerd door therapeuten met ervaring in het diagnosticeren van ontwikkelings- en leerproblemen in de onderzoeks- en klinische context. We gebruiken deze tools in Spanje, dus onderzoekers uit andere landen moeten tests selecteren die zijn aangepast aan hun bevolking. Het belang van de methode met betrekking tot bestaande methoden is dat veel van de schalen voor ADHD, SLDs en ASS zijn ontworpen voor gebruik bij kinderen, waarbij neuropsychologische testen en neuroimaging het betere, maar minder realistische, alternatief zijn voor deze schaarste van instrumenten24. Bovendien worden alle bovengenoemde handicaps meestal geëvalueerd door hun specifieke symptomen in isolatie, zonder rekening te houden met bekende overeenkomsten gevonden in ID's, zoals metacognitieve, zelfregulerende, en emotionele storing. In ieder geval is het grootste deel van de kennis over metacognitie, zelfregulering en emoties gebaseerd op zelfgerapporteerde gegevens op vroege of volwassen leeftijd. Echter, zelf-rapporten van welke aard dan ook zijn kwetsbaar voor verschillende soorten vooroordelen69 en meerdere malen geen correlaties tussen fysiologische en zelfgerapporteerde gegevens zijn gevonden in LD monsters70.

Daarom is sessie 2 van het protocol van cruciaal belang. Het richt zich op de kernprocessen van het leren (metacognitieve, zelfregulering, en emotioneel gedrag), de betekenis van de methode in vergelijking met alternatieve methoden is dat het een multimodale beoordeling van het leerproces van de deelnemer het verstrekken van multichannel trace gegevens. Het instrument dat de integratie van al deze informatiebronnen mogelijk maakt is MetaTutor43, een metacognitief instrument op basis van geavanceerde leertechnologie en een van de beste vertegenwoordigers en de meest bekende onderzoekslijnen van de zogenaamde derde golf van zelfreguleringsmeting33.

Met betrekking tot galvanische huidreacties, de meerderheid van de psychofysiologische studies van LD-proefpersonen hebben zich gericht op een van de drie verwante onderwerpen: opwinding, oriënteren, en aandacht. In dit protocol biedt opwinding een uniek kader voor het begrijpen van emotie en cognitie die niet kan worden geleverd door statische maatregelen zoals zelfrapporten71. Met gezichtsuitdrukkingen, heeft eerder onderzoek aangetoond dat academische emoties beduidend verwant zijn aan de motivatie van studenten, het leren strategieën, cognitieve middelen, zelf-regulering, en academische voltooiing72. Als het gaat om oogbewegingen, we weten de waarde van blikgegevens in het voorspellen van student leren tijdens interactie met MetaTutor61 en meerdere onderzoekers hebben gesuggereerd dat de duur van fixaties wijzen op diepere cognitieve verwerking tijdens het leren73. De vragenlijsten bieden aanvullende informatie over de prestaties van deelnemers tijdens de leersessie in MetaTutor, hun perceptie van zichzelf als leerlingen en hun gedrag wanneer ze leren. Ten slotte is de loggegevens een extra bron van informatie over de zelfregulerende processen van deelnemers. Na het verzamelen van ruwe data en data preprocessing, laten opkomende Learning Analytics en Educational Data Mining technieken ons ontdekken, analyseren en visualiseren, of om het anders te zeggen, duik in het leerproces74,75,76.

Deze gemengde methodologie levert bewijs van de inzet van doelprocessen voor, tijdens en na het leren dat kan worden getriald om ons begrip van hoe volwassenen met ID's leren en waar problemen liggen te verbeteren.

Dit voorstel is een protocol, dat een procedure en een systeem van instrumenten betekent, dus het is raadzaam om te onthouden dat de voorgestelde maatregelen niet afzonderlijk dezelfde waarde hebben als wanneer ze deel uitmaken van het geheel, en daarin ligt de belangstelling voor dit voorstel. Het doel is om deze gegevensstromen te convergeren, om te begrijpen hoe volwassenen met ID's hun cognitieve, metacognitieve en affectieve processen tijdens het leren monitoren en controleren.

Hoewel dit protocol is een effectieve toolbox voor screening en diagnose door de praktiserende psycholoog, het is niet zonder beperkingen. Diagnose van volwassen ID's is bijzonder moeilijk. Onderwijs en ervaring stellen veel volwassenen in staat om hun tekorten te compenseren en deze volwassenen vertonen vervolgens individuele kenmerken op het testen24. Zoals de resultaten aangeven, is het moeilijk om nauwkeurige cut-off punten te bieden van sommige van de gegevensbronnen (bijvoorbeeld GSR, loggegevens, enz.) als algemene regel in de doelgroep.

Een andere uitdaging, in plaats van beperking, gaat over de complexiteit bij het omgaan met de resulterende complexe, luidruchtige, rommelige gegevens, die de betrokkenheid van deskundigen uit verschillende domeinen zoals psychologen, fysiologen, computer- en onderwijswetenschappers, enz. Zoals onlangs opgemerkt door Azevedo en Gašević77 moeten we een complex mozaïek van theoretische modellen en kaders uit de psychologische, educatieve, educatieve en computationele wetenschappen te integreren. Daarnaast zijn instrumentatiefouten, interne en externe geldigheid, ecologische validiteit versus experimentele strengheid, convergerende gegevenskanalen en conclusies over procesgegevens slechts enkele van de methodologische problemen die het gevolg zijn van het verzamelen van multimodale multichannel-gegevens die onderzoekers moeten aanpakken77,78.

Niettemin, de toekomstige richting van deze methodologie overtreft het doel van de beoordeling, momenteel de mogelijkheid is open om real-time multimodale multichannel gegevens te gebruiken om preventieve interventies op basis van Adaptive Hypermedia Learning Environments79 ontwerpen of lerenden te voorzien van real-time, intelligente, adaptieve steigers (modelleren van cognitieve strategieën, reguleren van metacognitie via een kunstmatige agent, vragen emotie regelgeving, invoering van visualisatie tools om verborgen processen te ontdekken, enz.) 77,80.

Ten slotte moeten id's gedurende hun levensduur worden gevolgd; de longitudinale loop van SLDs, ADHD en ASS en hun lange termijn sequelae zijn pas begonnen te worden onderzocht21. We hopen dat het wijdverbreide gebruik van deze theoretisch gedreven, empirisch gebaseerde richtlijn zal helpen om de populatie van volwassenen met ID's te identificeren en een dieper begrip van deze aandoeningen te stimuleren om effectieve preventie- en interventieacties te ontwerpen.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

De auteurs hebben niets te onthullen.

Acknowledgments

Dit manuscript werd ondersteund door financiering van de National Science Foundation (DRL#1660878, DRL#1661202, DUE#1761178, DRL#1916417), the Social Sciences and Humanities Research Council of Canada (SSHRC 895-2011-1006), het Ministerie van Wetenschappen en Innovatie I+D+i (PID2019-107201GB-100), en de Europese Unie via de Europese Fondsen voor Regionale Ontwikkeling (EFRO) en het Vorstendom Asturië (FC-GRUPIN-IDI/IDI/000199). Alle adviezen, bevindingen, conclusies, of aanbevelingen uitgedrukt in dit materiaal zijn die van de auteur (s) en niet noodzakelijkerwijs weerspiegelen de standpunten van de National Science Foundation of Social Sciences and Humanities Research Council van Canada. De auteurs willen ook de leden van het SMART Lab van UCF bedanken voor hun hulp en bijdragen.

Materials

Name Company Catalog Number Comments
AQUARIUM Nesplora
Eye-tracker RED500 Systems SensoMotoric Instruments GmbH
Face API Microsoft
GSR NUL-217 NeuLog

DOWNLOAD MATERIALS LIST

References

  1. American Psychiatric Association. Diagnostic and statistical manual of mental disorders (5th ed.). Washington,DC. (2013).
  2. World Health Organization. International statistical classification of diseases and related health problems (11th Revision). Retrieved from https://icd.who.int/browse11/l-m/en (2018).
  3. Education's Individuals with Disabilities Education Act. 2018 Annual Report to Congress on the Individuals with Disabilities Education Act. Available from: https://sites.ed.gov/idea/data (2018).
  4. Armstrong, T. The myth of the normal brain: Embracing neurodiversity. AMA Journal of Ethics. 17, (4), 348-352 (2015).
  5. Berenger, C., Roselló, B., Miranda, A., Baixauli, I., Palomero, B. Executive functions and motivation in children with autism spectrum disorder and attention deficit hyperactivity disorder. International Journal of Developmental and Educational Psychology. 1, (1), 103-112 (2016).
  6. Brinkerhoff, L. C., McGuire, J. M., Shaw, S. F. Postsecondary education and transition for students with learning disabilities (2nd ed.). Pro-ed. Austin, TX. (2002).
  7. Allsopp, D. H., Minskoff, E. H., Bolt, L. Individualized course-specific strategy instruction for college students with learning disabilities and ADHD: Lessons learned from a model demonstration project. Learning Disabilities Research & Practice. 20, (2), 103-118 (2005).
  8. Crane, N., Zusho, A., Ding, Y., Cancelli, A. Domain-specific metacognitive calibration in children with learning disabilities. Contemporary Educational Psychology. 50, 72-79 (2017).
  9. Harris, K. R., Reid, R. R., Graham, S. Self-regulation among students with LD and ADHD. Learning about Learning Disabilities. Wong, B. Academic Press. Orlando, FL. 167-195 (2004).
  10. National Joint Committee on Learning Disabilities. Collective Perspectives on Issues Affecting Learning Disabilities. PRO-ED. Austin, Texas. (1994).
  11. Sawyer, A. C., Williamson, P., Young, R. Metacognitive processes in emotion recognition: Are they different in adults with Asperger's disorder. Journal of Autism and Developmental Disorders. 44, (6), 1373-1382 (2014).
  12. Meltzer, L. Executive function in education: From theory to practice. Guilford Publications. New York. (2018).
  13. Martino, G., Capri, T., Castriciano, C., Fabio, R. A. Automatic Deficits can lead to executive déficits. Mediterranean Journal of Clinical Psychology. 5, (3), 1-31 (2017).
  14. Fabio, R. A., et al. Frequency bands in seeing and remembering: comparing ADHD and typically developing children. Neuropsychological Trends. 24, 97-116 (2018).
  15. Bernardo, A. B., Esteban, M., Cerezo, R., Muñiz, L. J. Principales variables influyentes en el abandono de titulación en la Universidad de Oviedo. Informe PRIOR: PRoyecto Integral de ORientación Académico-Profesional. Universidad de Oviedo. Oviedo. (2013).
  16. Cortiella, C. Diplomas at risk: A critical look at the graduation rate of students with learning disabilities. National Center for Learning Disabilities. New York, NY. (2013).
  17. Plasman, J. S., Gottfried, M. A. Applied STEM coursework, high school dropout rates, and students with learning disabilities. Educational Policy. 32, (5), 664-696 (2018).
  18. Cortiella, C., Horowitz, S. H. The state of learning disabilities: Facts, trends and emerging issues (3rd Ed). National Center for Learning Disabilities. New York. (2014).
  19. Chevalier, T. M., Parrila, R., Ritchie, K. C., Deacon, S. H. The role of metacognitive reading strategies, metacognitive study and learning strategies, and behavioral study and learning strategies in predicting academic success in students with and without a history of reading difficulties. Journal of Learning Disabilities. 50, (1), 34-48 (2017).
  20. Goroshit, M., Hen, M. Academic procrastination and academic performance: Do learning disabilities matter. Current Psychology. 1-9 (2019).
  21. Grinblat, N., Rosenblum, S. Why are they late? Timing abilities and executive control among students with learning disabilities. Research in Developmental Disabilities. 59, 105-114 (2016).
  22. Heiman, T., Fichten, C. S., Olenik-Shemesh, D., Keshet, N. S., Jorgensen, M. Access and perceived ICT usability among students with disabilities attending higher education institutions. Education and Information Technologies. 22, (6), 2727-2740 (2017).
  23. Couzens, D., et al. Support for students with hidden disabilities in universities: A case study. International Journal of Disability. Development and Education. 62, (1), 24-41 (2015).
  24. Schelke, M. W., et al. Diagnosis of developmental learning and attention disorders in adults: A review of clinical modalities. Neurology, Psychiatry and Brain Research. 23, 27-35 (2017).
  25. Madaus, J. W., Shaw, S. F. The impact of the IDEA 2004 on transition to college for students with learning disabilities. Learning Disabilities Research & Practice. 21, (4), 273-281 (2006).
  26. Santos, C. G., Fernández, E., Cerezo, R., Núñez, J. C. Dificultades de aprendizaje en Educación Superior: un reto para la comunidad universitaria. Publicaciones. 48, (1), 63-75 (2018).
  27. Jiménez, L., García, A. J., López-Cepero, J., Saavedra, F. J. The brief-ACRA scale on learning strategies for university students. Revista de Psicodidáctica. 23, (1), 63-69 (2018).
  28. Zimmerman, B. J. Motivational sources and outcomes of self-regulated learning and performance. Handbook of Self-Regulation of Learning and Performance. Zimmerman, B. J., Schunk, D. H. Routledge. NY. 49-65 (2011).
  29. Pike, G. R., Kuh, G. D. A tipology of student engagement for Amer-ican colleges and universities. Research in Higher Education. 46, 185-209 (2005).
  30. Winne, P. H., Perry, N. E. Measuring self-regulated learning. Handbook of Self-Regulation. Boekaerts, M., Pintrich, P. R., Zeidner, M. Elsevier Academic Press. San Diego, CA. 531-566 (2000).
  31. Areces, D., Cueli, M., García, T., González-Castro, P., Rodríguez, C. Using brain activation (nir-HEG/Q-EEG) and execution measures (CPTs) in an ADHD assessment protocol. Journal of Visualized Experiments. (134), e56796 (2018).
  32. Azevedo, R., Taub, M., Mudrick, N. V. Understanding and reasoning about real-time cognitive, affective, and metacognitive processes to foster self-regulation with advanced learning technologies. Handbook of Self-Regulation of Learning and Performance. Alexander, P. A., Schunk, D. H., Greene, J. A. Routledge. New York. (2017).
  33. Panadero, E., Klug, J., Järvelä, S. Third wave of measurement in the self-regulated learning field: when measurement and intervention come hand in hand. Scandinavian Journal of Educational Research. 60, (6), 723-735 (2016).
  34. Greene, J. A., Azevedo, R. The measurement of learners' self-regulated cognitive and metacognitive processes while using computer-based learning environments. Educational Psychologist. 45, (4), 203-209 (2010).
  35. Wechsler, D. A. Wechsler Adult Intelligence Scale (4th ed.). Psychological Corporation. San Antonio, TX. (2008).
  36. Theiling, J., Petermann, F. Neuropsychological profiles on the WAIS-IV of adults with ADHD. Journal of Attention Disorders. 20, (11), 913-924 (2016).
  37. Cuetos, F., Arribas, D., Ramos, J. L. Prolec-SE-R, Batería para la evaluación de los procesos lectores en Secundaria y Bachillerato - Revisada. TEA. Madrid. (2016).
  38. Mayes, S. D., Calhoun, S. L., Crowell, E. W. Learning disabilities and ADHD: Overlapping spectrum disorders. Journal of Learning Disabilities. 33, (5), 417-424 (2000).
  39. Kessler, R. C., et al. The World Health Organization Adult ADHD Self-Report Scale (ASRS): a short screening scale for use in the general population. Psychological Medicine. 35, (2), 245-256 (2005).
  40. Climent, G., Banterla, F., Iriarte, Y. AULA: Theoretical manual. Nesplora. San Sebastián, Spain. (2011).
  41. Hoekstra, R. A., et al. The construction and validation of an abridged version of the autism-spectrum quotient (AQ-Short). Journal of Autism and Developmental Disorders. 41, 589-596 (2010).
  42. Baron-Cohen, S., Wheelwright, S., Skinner, R., Martin, J., Clubley, E. The autism-spectrum quotient (AQ): evidence from Asperger syndrome/high-functioning autism, males and females, scientists and mathematicians. Journal of Autism and Developmental Disorders. 31, 5-17 (2001).
  43. Azevedo, R., Johnson, A., Chauncey, A., Burkett, C. Self-regulated learning with MetaTutor: Advancing the science of learning with MetaCognitive tools. New Science of Learning. Khine, M., Saleh, I. Springer. New York, NY. 225-247 (2010).
  44. Azevedo, R., Witherspoon, A., Chauncey, A., Burkett, C., Fike, A. MetaTutor: A MetaCognitive tool for enhancing self-regulated learning. 2009 AAAI Fall Symposium Series. (2009).
  45. Azevedo, R. Theoretical, methodological, and analytical challenges in the research on metacognition and self-regulation: A commentary. Metacognition & Learning. 4, (1), 87-95 (2009).
  46. Feyzi-Behnagh, R., Trevors, G., Bouchet, F., Azevedo, R. Aligning multiple sources of SRL data in MetaTutor: Towards interactive scaffolding in multi-agent systems. 18th biennial meeting of the European Association for Research on Learning and Instruction (EARLI). Munich, Germany. Paper presented (2013).
  47. Harley, J. M., et al. Assessing learning with MetaTutor: A Multi-Agent Hypermedia Learning Environment. Annual meeting of the American Educational Research Association. Philadelphia, PA. Paper presented (2014).
  48. Azevedo, R., Feyzi-Behnagh, R., Harley, J., Bouchet, F. Analyzing temporally unfolding self-regulatory process during learning with multi-agent technologies. EARLI Biannual Conference 2013. Munich. Paper presented (2013).
  49. Donnellan, M. B., Oswald, F. L., Baird, B. M., Lucas, R. E. The mini-IPIP scales: tiny-yet-effective measures of the Big Five factors of personality. Psychological Assessment. 18, (2), 192 (2006).
  50. Stahl, E., Bromme, R. The CAEB: An instrument for measuring connotative aspects of epistemological beliefs. Learning and Instruction. 17, (6), 773-785 (2007).
  51. Gray-Little, B., Williams, V. S. L., Hancock, T. D. An item response theory analysis of the Rosenberg Self-Esteem Scale. Personality and Social Psychology Bulletin. 23, 443-451 (1997).
  52. Gross, J. J., John, O. P. Individual differences in two emotion regulation processes: implications for affect, relationships, and well-being. Journal of Personality and Social Psychology. 85, (2), 348 (2003).
  53. Pekrun, R., Goetz, T., Frenzel, A. C., Barchfeld, P., Perry, R. P. Measuring emotions in students' learning and performance: The Achievement Emotions Questionnaire (AEQ). Contemporary Educational Psychology. 36, (1), 36-48 (2011).
  54. American Psychiatric Association. Diagnostic and statistical manual of mental disorders - reviewed (DSM-IV-TR). Washington, DC. (2000).
  55. Face API [Computer software]. Available from: https://azure.microsoft.com/es-es/services/cognitive-services/face/ (2019).
  56. Picard, R. W. Affective computing. MIT press. (2000).
  57. Grills-Taquechel, A. E., Fletcher, J. M., Vaughn, S. R., Stuebing, K. K. Anxiety and reading difficulties in early elementary school: Evidence for unidirectional-or bi-directional relations. Child Psychiatry & Human Development. 43, (1), 35-47 (2012).
  58. Mammarella, I. C., et al. Anxiety and depression in children with nonverbal learning disabilities, reading disabilities, or typical development. Journal of Learning Disabilities. 49, 130-139 (2014).
  59. Nelson, J. M., Harwood, H. Learning disabilities and anxiety: A meta-analysis. Journal of Learning Disabilities. 44, (1), 3-17 (2011).
  60. Arora, M. R., Sharma, J., Mali, U., Sharma, A., Raina, P. Microsoft Cognitive Services. International Journal of Engineering Science. 8, (4), 17323-17326 (2018).
  61. Bondareva, D., et al. Inferring learning from gaze data during interaction with an environment to support self-regulated learning. International Conference on Artificial Intelligence in Education. Springer. Berlin, Heidelberg. 229-238 (2013).
  62. Mason, L., Tornatora, M. C., Pluchino, P. Do fourth graders integrate text and picture in processing and learning from an illustrated science text? Evidence from eye-movement patterns. Computers & Education. 60, (1), 95-109 (2013).
  63. Duffy, M. C., Azevedo, R. Motivation matters: Interactions between achievement goals and agent scaffolding for self-regulated learning within an intelligent tutoring system. Computers in Human Behavior. 52, 338-348 (2015).
  64. Cerezo, R., et al. Mediating Role of Self-efficacy and Usefulness Between Self-regulated Learning Strategy Knowledge and its Use. Revista de Psicodidáctica. 24, (1), 1-8 (2019).
  65. Mudrick, N. V., Azevedo, R., Taub, M. Integrating metacognitive judgments and eye movements using sequential pattern mining to understand processes underlying multimedia learning. Computers in Human Behavior. 96, 223-234 (2019).
  66. Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29, (1), 1-28 (2019).
  67. Bogarín, A., Cerezo, R., Romero, C. A survey on educational process mining. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 8, (1), 1230 (2018).
  68. Cerezo, R., Bogarín, A., Esteban, M., Romero, C. Process mining for self-regulated learning assessment in e-learning. Journal of Computing in Higher Education. (2019).
  69. Levenson, R. W. Blood, sweat, and fears. Annals of the New York Academy of Sciences. 1000, (1), 348-366 (2003).
  70. Meer, Y., Breznitz, Z., Katzir, T. Calibration of Self-Reports of Anxiety and Physiological Measures of Anxiety While Reading in Adults With and Without Reading Disability. Dyslexia. 22, (3), 267-284 (2016).
  71. Daley, S. G., Willett, J. B., Fischer, K. W. Emotional responses during reading: Physiological responses predict real-time reading comprehension. Journal of Educational Psychology. 106, (1), 132-143 (2014).
  72. Pekrun, R., Goetz, T., Titz, W., Perry, R. P. Academic emotions in students' self-regulated learning and achievement: A program of qualitative and quantitative research. Educational Psychologist. 37, (2), 91-105 (2002).
  73. Antonietti, A., Colombo, B., Di Nuzzo, C. Metacognition in self-regulated multimedia learning: Integrating behavioural, psychophysiological and introspective measures. Learning, Media and Technology. 40, (2), 187-209 (2015).
  74. Bogarin, A., Cerezo, R., Romero, C. Discovering learning processes using inductive miner: a case study with Learning Management Systems (LMSs). Psicothema. 30, (3), 322-329 (2018).
  75. Lang, C., Siemens, G., Wise, A., Gašević, D. Handbook of learning analytics. Society for Learning Analytics and Research. Beaumont, AB, Canada. (2017).
  76. Romero, C., Ventura, S., Pechenizkiy, M., Baker, R. S. J. Handbook of educational data mining. CRC Press. Boca Raton, FL. (2010).
  77. Azevedo, R., Gašević, Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  78. Veenman, M. V. J., Van Hout-Wolters, B., Afflerbach, P. Metacognition and Learning: Conceptual and Methodological Considerations. Metacognition Learning. 1, 3-14 (2006).
  79. Brusilovsky, P., Millán, E. User models for adaptive hypermedia and adaptive educational systems. The adaptive web. Brusilovsky, P., Kobsa, A., Nejdl, W. Springer. Berlin, Heidelberg. 3-53 (2007).
  80. Taub, M., et al. using multi-channel data with multi-level modeling to assess in-game performance during gameplay with CRYSTAL ISLAND. Computers in Human Behavior. 76, 641-655 (2017).
Multimodaal protocol voor de beoordeling van metacognitie en zelfregulering bij volwassenen met leerproblemen
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. J. Vis. Exp. (163), e60331, doi:10.3791/60331 (2020).More

Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. J. Vis. Exp. (163), e60331, doi:10.3791/60331 (2020).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter