Summary
Dit protocol begeleidt onderzoekers en opvoeders bij de implementatie van de Problem-Solving before Instruction approach (PS-I) in een undergraduate statistics class. Het beschrijft ook een ingebedde experimentele evaluatie van deze implementatie, waarbij de werkzaamheid van PS-I wordt gemeten in termen van leren en motivatie bij studenten met verschillende cognitieve en affectieve aanleg.
Abstract
Tegenwoordig is het stimuleren van het reflectieve denken van studenten een van de belangrijkste zorgen voor docenten op verschillende onderwijsniveaus. Veel studenten hebben moeite met taken die een hoog reflectieniveau met zich meebrengen, zoals op STEM-cursussen (Science, Technology, Engineering and Mathematics). Velen hebben ook diepgewortelde angst en demotivatie ten opzichte van dergelijke cursussen. Om deze cognitieve en affectieve uitdagingen te overwinnen, hebben onderzoekers het gebruik van "Problem-Solving before Instruction" (PS-I) benaderingen voorgesteld. PS-I bestaat uit het geven van individuele oplossingen voor problemen die later in de klas worden opgelost. Deze oplossingen worden vergeleken met de canonieke oplossing in de volgende instructiefase, samen met de presentatie van de lesinhoud. Er is gesuggereerd dat studenten met deze aanpak hun conceptuele begrip kunnen vergroten, hun leren kunnen overbrengen naar verschillende taken en contexten, zich meer bewust kunnen worden van de hiaten in hun kennis en een persoonlijke constructie van voorkennis kunnen genereren die kan helpen hun motivatie te behouden. Ondanks de voordelen is deze aanpak bekritiseerd, omdat studenten tijdens de eerste fase van het genereren van oplossingen veel tijd kunnen besteden aan doelloos vallen en opstaan of ze zich zelfs gefrustreerd kunnen voelen in dit proces, wat schadelijk kan zijn voor toekomstig leren. Wat nog belangrijker is, er is weinig onderzoek naar hoe reeds bestaande studentenkenmerken hen kunnen helpen om (of niet) te profiteren van deze aanpak. Het doel van de huidige studie is om het ontwerp en de implementatie van de PS-I-benadering te presenteren die wordt toegepast op het leren van statistieken bij niet-gegradueerde studenten, evenals een methodologische benadering die wordt gebruikt om de effectiviteit ervan te evalueren, rekening houdend met de reeds bestaande verschillen van studenten.
Introduction
Een van de vragen waar docenten zich op dit moment het meest zorgen over maken, is hoe ze de reflectie van studenten kunnen stimuleren. Deze zorg komt vaak voor in vakken van wiskundige aard, zoals STEM-cursussen (Science, Technology, Engineering and Mathematics), waarin de abstractie van veel concepten een hoge mate van reflectie vereist, maar veel studenten melden dat ze deze cursussen puur via geheugengebaseerde methoden benaderen1. Bovendien vertonen studenten vaak oppervlakkige kennis van de concepten1,2,3. De moeilijkheden die studenten ervaren bij het toepassen van reflectie- en deep learning-processen zijn echter niet alleen cognitief. Veel studenten voelen angst en demotivatie geconfronteerd met deze cursussen4,5. In feite hebben deze moeilijkheden de neiging om gedurende het hele onderwijs van studenten aan te houden6. Het is daarom belangrijk om educatieve strategieën te verkennen die studenten motiverend en cognitief voorbereiden op deep learning, ongeacht hun verschillende aanleg.
Het is vooral nuttig om strategieën te vinden die een aanvulling vormen op typische instructiebenaderingen. Een van de meest typische is directe instructie. Directe instructie betekent het volledig begeleiden van studenten vanaf de introductie van nieuwe concepten met expliciete informatie over deze concepten, en daarna met consolidatiestrategieën zoals probleemoplossende activiteiten, feedback, discussies of verdere uitleg7,8. Directe instructie kan effectief zijn voor het eenvoudig verzenden van inhoud8,9,10. Studenten denken echter vaak niet na over belangrijke aspecten, zoals hoe de inhoud zich verhoudt tot hun persoonlijke kennis, of mogelijke procedures die kunnen werken en niet11. Het is daarom belangrijk om complementaire strategieën in te voeren om studenten kritisch te laten denken.
Een van die strategie is de benadering "Probleemoplossing vóór instructie" (PS-I)12, ook wel de invention-benadering11 of de productive failure-benaderinggenoemd 13. PS-I is anders dan directe instructie in die zin dat studenten niet direct kennis maken met de concepten, in plaats daarvan is er een probleemoplossende fase voorafgaand aan de typische directe instructieactiviteiten waarin studenten individuele oplossingen voor problemen zoeken voordat ze uitleg krijgen over procedures om ze op te lossen.
In dit eerste probleem wordt van studenten niet verwacht dat ze de doelconcepten volledig ontdekken13. Studenten kunnen ook cognitieve overbelasting14,15,16 en zelfs negatief beïnvloeden17 met de onzekerheid en de vele aspecten om te overwegen. Deze ervaring kan echter op de lange termijn productief zijn omdat het kritisch nadenken over belangrijke functies kan vergemakkelijken. In het bijzonder kan het initiële probleem studenten helpen zich meer bewust te worden van de lacunes in hun kennis18, voorkennis met betrekking tot de inhoud te activeren om13te behandelen en de motivatie te vergroten vanwege de mogelijkheid om hun leren te baseren op persoonlijke kennis7,17,19.
Wat leren betreft , worden de effecten van PS-I over het algemeen gezien wanneer de resultaten worden geëvalueerd met deep learning-indicatoren20,21. Over het algemeen zijn er geen verschillen gevonden tussen studenten die via PS-I hebben geleerd en studenten die hebben geleerd door middel van directe instructie in termen van procedurele kennis20,22, wat verwijst naar het vermogen om aangeleerde procedures te reproduceren. Studenten die PS-I doorlopen, vertonen echter over het algemeen hoger onderwijs in conceptuele kennis7,19,23, wat verwijst naar het begrijpen van de inhoud die wordt behandeld, en overdracht7,15,19,24, wat verwijst naar het vermogen om dit begrip toe te passen op nieuwe situaties. Een recente studie in een klas over statistische variabiliteit toonde bijvoorbeeld aan dat studenten die de kans kregen om hun eigen oplossingen te bedenken om statistische variabiliteit te meten voordat ze uitleg kregen over de algemene concepten en procedures in dit onderwerp, aan het einde van de les een beter begrip kregen dan degenen die in staat waren om de relevante concepten en procedures rechtstreeks te bestuderen voordat ze betrokken raakten bij een probleemoplossende activiteit23. Sommige studies hebben echter geen verschillen aangetoond in leren16,25,26 of motivatie19,26 tussen PS-I en directe instructiealternatieven, of zelfs beter leren in directe instructiealternatieven14,26, en het is belangrijk om potentiële bronnen van variabiliteit te overwegen.
De ontwerpkenmerken die ten grondslag liggen aan de implementatie van PS-I zijn een belangrijk kenmerk20. Uit een systematische review20 bleek dat er meer kans was op een leervoordeel voor PS-I ten opzichte van directe instructiealternatieven wanneer de PS-I-interventies werden geïmplementeerd met ten minste één van de twee strategieën, ofwel het formuleren van het initiële probleem met contrasterende gevallen, ofwel het opbouwen van de daaropvolgende instructie met gedetailleerde feedback over de oplossingen van de studenten. Contrasterende gevallen bestaan uit vereenvoudigde voorbeelden die verschillen in een paar belangrijke kenmerken11 (zie figuur 1 voor een voorbeeld), en kunnen studenten helpen relevante kenmerken te identificeren en hun eigen oplossingen te evalueren tijdens het oorspronkelijke probleem11,20. De tweede strategie, die uitleg geeft die voortbouwt op de oplossingen van de studenten13, bestaat uit het uitleggen van het canonieke concept en het geven van feedback over de betaalbaarheden en beperkingen van oplossingen die door studenten worden gegenereerd, wat studenten ook kan helpen zich te concentreren op relevante functies en de hiaten in hun eigen kennis te evalueren20, maar nadat de eerste probleemoplossende fase is voltooid (zie figuur 3 voor een voorbeeld van de steigers van de typische oplossingen van studenten).
Gezien de ondersteuning in de literatuur voor deze twee strategieën, contrasterende cases en het bouwen van instructie over de oplossingen van studenten, is het belangrijk om hiermee rekening te houden bij het bevorderen van de opname van PS-I in de echte onderwijspraktijk. Dit is het eerste doel van ons protocol. Het protocol bevat materialen voor een PS-I interventie waarin deze twee principes zijn opgenomen. Het is een protocol dat, hoewel aanpasbaar, contextueel is voor een les over statistische variabiliteit, een veel voorkomende les voor universiteits- en middelbare scholieren, die over het algemeen de doelpopulaties zijn in de literatuur over PS-I29. De eerste probleemoplossende fase bestaat uit het uitvinden van variabiliteitsmaatregelen voor inkomensverdelingen in landen, een controversieel onderwerp30 dat studenten in veel leergebieden bekend kan zijn. Vervolgens worden materialen verstrekt voor studenten om oplossingen voor dit probleem te bestuderen in een uitgewerkt voorbeeld, en voor een college waarin de bespreking van gemeenschappelijke oplossingen van studenten en ingebedde praktijkproblemen is opgenomen.
Het tweede doel van ons protocol is om de experimentele evaluatie van PS-I toegankelijk te maken voor opvoeders en onderzoekers, wat het onderzoek van PS-I vanuit een grotere verscheidenheid aan perspectieven kan vergemakkelijken met behoud van enkele omstandigheden constant in de literatuur. Toch zijn de voorwaarden van deze experimentele evaluatie flexibel voor wijzigingen. De experimentele evaluatie die in het protocol wordt beschreven, kan in gewone lessen worden toegepast, aangezien studenten in één klas tegelijkertijd de materialen voor de PS-I-voorwaarde of de materialen voor een directe instructievoorwaarde kunnen krijgen (figuur 4). Deze directe instructievoorwaarde is ook aanpasbaar aan onderzoeks- en onderwijsbehoeften, maar zoals oorspronkelijk beschreven in het protocol beginnen studenten met het krijgen van de eerste uitleg over het doelconcept met het uitgewerkte voorbeeld, en consolideren deze kennis vervolgens met een praktijkprobleem (alleen gepresenteerd in deze voorwaarde om de tijd te compenseren die PS-I-studenten besteden aan het initiële probleem), en met het college23. Mogelijke aanpassingen zijn onder meer beginnen met het college en vervolgens studenten de probleemoplossende activiteit laten doen, wat een typische controlevoorwaarde is voor het vergelijken van PS-I die vaak heeft geleid tot beter leren voor de PS-I-voorwaarde7,13,19,26. Als alternatief kan de controlevoorwaarde worden teruggebracht tot de verkenning van een uitgewerkt voorbeeld gevolgd door de collegefase, die, hoewel een meer vereenvoudigde versie van directe instructiebenaderingen dan oorspronkelijk voorgesteld, vaker voorkomt in de literatuur en heeft geleid tot gevarieerde resultaten, waarbij sommige studies wijzen op beter leren in PS-I15,24, en andere wijzen op beter leren van dit type directe instructievoorwaarde14,26.
Ten slotte is een derde doel van het protocol om middelen te bieden voor het evalueren van hoe studenten met verschillende aanleg en cognitieve vaardigheden kunnen profiteren van PS-I15. De evaluatie van deze aanleg is vooral belangrijk als we kijken naar de negatieve aanleg die sommige studenten vaak hebben met STEM-cursussen, en het feit dat PS-I in sommige gevallen nog steeds negatieve reacties kan veroorzaken14. Er is echter weinig onderzoek naar gedaan.
Aan de ene kant, aangezien PS-I de associatie van leren met individuele ideeën vergemakkelijkt, in plaats van alleen formele kennis, kan PS-I worden verondersteld te kunnen helpen bij het motiveren van studenten van lage academische niveaus, degenen die lage competentiegevoelens hebben, of lage motivatie over het onderwerp13,27. Een studie toonde aan dat studenten met een lage beheersingsoriëntatie, d.w.z. minder doelen met betrekking tot persoonlijk leren, meer baat hadden bij PS-I dan studenten met een hogere motivatie om te leren27. Aan de andere kant kunnen studenten met andere profielen problemen ondervinden wanneer ze betrokken zijn bij PS-I. Meer in het bijzonder speelt metacognitie een belangrijke rol in PS-I31, en studenten met lage metacognitatievaardigheden hebben mogelijk geen baat bij PS-I vanwege moeilijkheden om zich bewust te zijn van hun kennislacunes of het onderscheiden van relevante inhoud15. Bovendien, aangezien de beginfase van PS-I is gebaseerd op de productie van individuele oplossingen, kunnen studenten met lage uiteenlopende vaardigheden, moeilijkheden die in een bepaalde situatie een verscheidenheid aan reacties genereren, minder baat hebben bij PS-I dan andere studenten. Het protocol biedt betrouwbare instrumenten om deze aanleg te beoordelen (tabel 1), hoewel andere kunnen worden overwogen.
Samengevat beoogt dit protocol een implementatie van een PS-I interventie die de geaccepteerde principes in de PS-I literatuur volgt toegankelijk te maken voor docenten en onderzoekers. Bovendien bieden de protocollen een experimentele evaluatie van deze interventie en vergemakkelijken ze de evaluatie van de cognitieve en motiverende aanleg van studenten. Het is een protocol dat geen toegang tot nieuwe technologieën of specifieke middelen vereist en dat kan worden gewijzigd op basis van onderzoeks- en onderwijsbehoeften.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Dit protocol volgt de Verklaring van Helsinki van ethische beginselen voor onderzoek met mensen, maar past deze beginselen toe op de extra moeilijkheden bij de integratie van onderzoek in de praktijk in het onderwijs32. In het bijzonder kan noch de toewijzing van leervoorwaarden, noch de beslissing om deel te nemen gevolgen hebben voor de leermogelijkheden van studenten. Bovendien wordt de vertrouwelijkheid en de anonimiteit van studenten gehandhaafd, zelfs wanneer het de docenten zijn die verantwoordelijk zijn voor de evaluatie. De doelstellingen, reikwijdte en procedures van het protocol zijn goedgekeurd door de Commissie onderzoeksethiek van het Vorstendom Asturië (Spanje) (Referentie: 242/19).
Houd er rekening mee dat als de gebruiker alleen geïnteresseerd is in het implementeren van de PS-I-aanpak, alleen stap 6 (zonder deelnemers toe te wijzen aan de besturingsvoorwaarde) en stap 7 relevant zijn. Desondanks kunnen stap 5 en 9 worden toegevoegd als oefenoefeningen voor studenten. Als de gebruiker ook geïnteresseerd is in de experimentele evaluatie, is het belangrijk dat studenten individueel werken tijdens stap 4, 5, 6 en 9. Het wordt daarom aanbevolen om tijdens deze stappen studenten zitplaatsen te regelen zodat er een lege ruimte naast elke student is.
Afhankelijk van het gemak kunnen de stappen continu worden geïmplementeerd binnen één lessessie of met volgende stappen in een andere lesgroep.
1. Informatie voor studenten over het doel en de procedures van de studie
- Neem 10 minuten van een lesperiode om studenten te informeren over de studie.
- Leg studenten expliciet uit wat het algemene doel van de studie is, hun vrijheid om toestemming te geven om deel te nemen, het feit dat ze zich vrij kunnen terugtrekken en de zekerheid van anonimiteit en vertrouwelijkheid in de gegevensverwerking.
- Vertel hen dat het algemene doel van de studie is om de effectiviteit van verschillende educatieve benaderingen te onderzoeken, evenals om de invloed van de cognitieve en affectieve disposities van de studenten op de effectiviteit van deze benaderingen te evalueren.
- Vertel hen dat, hoewel ze zullen worden toegewezen aan een van de twee benaderingen, de inhoud die in de twee voorwaarden wordt behandeld, hetzelfde zal zijn. Informeer hen dat de activiteiten die in beide omstandigheden worden gebruikt, aan het einde van de studie beschikbaar zullen zijn voor alle studenten.
- Laat ze weten dat ze vrij zijn om deel te nemen aan het onderzoek en dat ze de studie op elk moment kunnen verlaten zonder hun leermogelijkheden of hun cijfers te beïnvloeden. Als ze niet willen deelnemen aan het onderzoek, kunnen ze de leeractiviteiten doen zonder ze in te leveren. Daarnaast kunnen niet-deelnemers in de korte tijd dat deelnemers vragenlijsten invullen andere materialen bestuderen.
- Hen informeren dat hun deelname anoniem zal zijn en dat de vertrouwelijkheid te allen tijde zal worden gehandhaafd, een willekeurig identificatienummer zal worden gebruikt om de gegevens over verschillende sessies en activiteiten te combineren.
- Geef studenten twee kopieën van het formulier voor geïnformeerde toestemming (bijlage A) dat ook de contactgegevens van de onderzoeker bevat. Vraag hen om de ene kopie voor u te ondertekenen en de andere kopie voor zichzelf te houden.
OPMERKING: Dit protocol is bedoeld voor universiteitsstudenten, waar geen ouderlijke toestemming nodig is. Het zou kunnen worden veralgemeend naar lagere onderwijsniveaus, hoewel voor studenten die wettelijk minderjarig zijn, ook geïnformeerde toestemming van ouders nodig zou zijn. - Als studenten in latere fasen van het protocol aan de studie worden toegevoegd, vraag hen dan om de geïnformeerde toestemming zoals beschreven in deze sectie in te vullen voordat ze deelnemen aan de studie.
2. Studenten een identificatienummer verstrekken dat losgekoppeld is van andere records
- Om de anonimiteit van de reacties van studenten te behouden, wijst u elke student willekeurig een identificatienummer toe (bereid bijvoorbeeld een tas met willekeurige nummers voor en vraag elke student er een te kiezen, e-mail elke student een willekeurig nummer via een webapplicatie). Vraag hen om het nummer op te merken op een plaats waar het toegankelijk zal zijn in de daaropvolgende evaluaties in het protocol.
OPMERKING: Als het onderzoek wordt uitgevoerd via een online applicatie waarmee reacties van studenten anoniem kunnen worden bijgehouden, is dit niet nodig.
3. Invullen van vragenlijsten over cognitieve en affectieve aanleg en demografische basisgegevens
- Reserveer 10 minuten in een lesperiode om de vragenlijsten aan alle studenten in de klas uit te geven.
- Geef de studenten die besluiten niet deel te nemen aan het experiment andere leeropties, zoals individueel werken aan andere inhoud.
- Vraag de cursisten om de vragenlijsten over hun aanleg in te vullen, dit kan met behulp van de vragenlijsten in bijlage B. Vraag hen om individueel te werken.
OPMERKING: De reeks vragenlijsten in bijlage B bevat de cognitieve competentieschaal in de survey of attitudes towards statistics (SATS-28) 33, de Mastery Approach Scale in de Achievement Goal Questionnaire-Revised34 , de Regulation of Cognition Scale of the Metacognitive Awareness Inventory35en demografische vragen.- Om te controleren op mogelijke verontreinigingseffecten in verband met de volgorde waarin studenten de vragenlijsten invullen, geeft u willekeurig verschillende versies van de vragenlijstbladen die variëren in de volgorde waarin de vragenlijsten worden gepresenteerd. In aanhangsel B-1 staan verschillende gedrukte versies van de voorgestelde vragenlijsten met verschillende orders.
OPMERKING: Als de vragenlijsten digitaal worden ingevuld, maakt u koppelingen met de verschillende bestellingen en verdeelt u de vier koppelingen willekeurig onder de studenten in de klas (bijvoorbeeld over groepen die in alfabetische volgorde zijn gemaakt).
- Om te controleren op mogelijke verontreinigingseffecten in verband met de volgorde waarin studenten de vragenlijsten invullen, geeft u willekeurig verschillende versies van de vragenlijstbladen die variëren in de volgorde waarin de vragenlijsten worden gepresenteerd. In aanhangsel B-1 staan verschillende gedrukte versies van de voorgestelde vragenlijsten met verschillende orders.
- Geef studenten 7 minuten om de vragenlijsten in te vullen. Instructies zijn opgenomen in de vragenlijsten en er zijn geen aanvullende instructies nodig.
4. Toediening van de divergerende denktest
- In het geval dat deze test van belang is, neemt u 10 minuten in een lesperiode om de taak voor alternatief gebruik36,37 toe te dienen, die vloeiend denken meet voor alle studenten in de klas.
- Geef elke student blanco papier en vraag hen om hun identificatienummer te schrijven.
- Leg de instructies van de test uit.
- Vertel hen dat ze zullen worden voorzien van een object dat een gemeenschappelijk gebruik heeft, maar ze moeten komen met zoveel mogelijk andere toepassingen als ze kunnen.
- Geef ze een voorbeeld (bijvoorbeeld, als ik u een krant presenteer, die vaak wordt gebruikt om te lezen, moet u alternatieve toepassingen schrijven, zoals het gebruik ervan als een tijdelijke hoed om u te beschermen tegen de zon, of om de onderkant van een reistas te bezetten)38.
- Lees het eerste item in de test hardop en schrijf het op het bord: "Schrijf zoveel mogelijk toepassingen die je voor een steen kunt bedenken". Geef studenten twee minuten om hun antwoorden te schrijven. Zodra de twee minuten voorbij zijn, vraag je studenten om hun papier naar de andere kant te draaien.
- Lees het tweede item in de test hardop en schrijf het op het bord: "Schrijf zoveel mogelijk toepassingen die je kunt bedenken voor een paperclip". Geef studenten twee minuten om hun antwoorden te schrijven.
- Zodra de twee minuten voorbij zijn, vraag je de studenten om te stoppen met schrijven en hun papieren op te halen.
5. Voltooiing van de pre-test van voorkennis
- Reserveer 15 minuten in een lesperiode om de voorafgaande academische kennisvoortoets in aanhangsel Cte beheren .
OPMERKING: De pre-test gaat over de centrale tendens, die relevant is om de inhoud over variabiliteit die in de daaropvolgende leeromstandigheden moet worden geleerd in stap 67te assimileren. Tussen de administratie van deze pre-toets en stap 6 mag geen klasinhoud over de centrale tendens aan studenten worden gegeven. We raden ook af om deze pretest te vervangen door een andere pretest die variabiliteit omvat, omdat dat een PS-I-effect kan creëren dat de resultaten van het experiment kan verontreinigen26. - Verdeel de pre-test onder de studenten. Vraag hen vanaf dit punt om individueel te werken.
- Geef studenten 10 minuten om de pre-test te voltooien. Instructies zijn opgenomen in de test en er zijn geen specificaties meer nodig. Zodra de tijd om is, vraag de studenten om hun papier om te draaien en aan u in te delen.
6. Toewijzing aan en beheer van de twee leervoorwaarden
- Neem 35 minuten van een lesperiode om de twee leeromstandigheden in hetzelfde klaslokaal te beheren.
OPMERKING: Om betrouwbaarheidsfouten als gevolg van de tijd te voorkomen, raden we aan om niet meer dan een week tussen het invullen van de vragenlijsten en tests in stap 2 en 3 en deze stap. - Zorg ervoor dat de taakboeken goed zijn voorbereid en de materialen voor de twee voorwaarden bevatten.
OPMERKING: Het BBP per hoofd van de bevolking is gekozen om deze leermaterialen om verschillende redenen te contextualiseren: ten eerste is het een controversieel onderwerp30 dat bekend kan zijn bij studenten uit veel leergebieden, en ten tweede is het een verhoudingsvariabele die het gebruik van verschillende variabiliteitsmetingen mogelijk maakt die tijdens de les worden besproken (bereik, interkwartielbereik, standaardafwijking, variantie en variatiecoëfficiënt).- Voor de PS-I-voorwaarde drukt u het bijbehorende taakboek af in bijlage D-1, dat het volgende bevat: de activiteit Invention Problem, waarin studenten worden gevraagd een ongelijkheidsindex uit te vinden; de activiteit Werkvoorbeeld, waarin studenten de oplossingen voor dit probleem kunnen bestuderen.
- Voor de directe instructievoorwaarde drukt u het bijbehorende taakboek af in bijlage D-1, dat het volgende bevat: de activiteit Gewerkt voorbeeld (hetzelfde bewerkte voorbeeld dat aan de PS-I-voorwaarde is gegeven); het oefenprobleem in combinatie met dit bewerkte voorbeeld.
OPMERKING: Het is belangrijk dat het praktijkprobleem in de materialen voor deze toestand niet aanwezig is in de PS-I-toestand. Het is opgenomen om experimenteel te compenseren voor de extra tijd die de PS-I-studenten besteden aan het uitvindingsprobleem. Een intrinsieke beperking van PS-I-ontwerpen is de moeilijkheid om te controleren op gelijkwaardigheid in termen van zowel tijd als materialen. Zelfs in ontwerpen waarin de PS-I-conditie en de controlevoorwaarde alleen verschillen in de volgorde waarin leermaterialen worden gepresenteerd (dat wil zeggen, ofwel het presenteren van een probleem vóór een expliciete instructiefase, of het presenteren van exact hetzelfde probleem na exact dezelfde expliciete instructiefase), wordt gelijkwaardigheid niet bereikt, omdat een probleem dat wordt opgelost vóór instructie naar verwachting meer tijd zal kosten dan na instructie. Dit protocol behandelt dit probleem op dezelfde manier als andere studies24, door extra materialen op te nemen in de directe instructieconditie. - Scheid de twee activiteiten in elk taakboek door de papers die overeenkomen met de tweede activiteit (bijvoorbeeld met een clip of een plakbriefje) aan elkaar te binden, zodat studenten de inhoud van de tweede activiteit niet kunnen zien terwijl ze de eerste activiteit doen.
- Informeer studenten over de procedure die in deze specifieke stap moet worden gevolgd.
- Vertel hen dat ze, afhankelijk van het takenboek dat ze toegewezen krijgen, twee verschillende reeksen activiteiten zullen hebben, maar dat alle studenten dezelfde inhoud zullen zien en aan het einde van de les hebben ze allemaal toegang tot alle activiteiten.
- Laat ze weten dat ze te horen krijgen wanneer ze de eerste activiteit moeten starten en wanneer ze naar de tweede activiteit moeten gaan. Vertel hen ook dat de papieren voor de tweede activiteit moeten voorkomen dat ze voor het juiste moment kijken.
- Om potentiële frustraties in verband met faalangst te verminderen, moet u hen vertellen dat, hoewel zij sommige activiteiten moeilijk kunnen vinden, zij moeten proberen deze moeilijkheden als leermogelijkheden te zien39.
- Willekeurig de twee taakboeken toewijzen aan de studenten in de klas
OPMERKING: Om vervuilende factoren te voorkomen die verband houden met waar studenten zitten, verdeelt u de taakboeken homogeen over de verschillende delen van de klas. Als je bijvoorbeeld door de klas loopt, geef je het PS-I-taakboek aan de ene student en vervolgens het directe instructietaakboek aan de volgende student. - Zodra je de taakboeken hebt verdeeld onder alle studenten in de klas, vraag je ze om individueel aan de slag te gaan met de eerste activiteit.
- Vertel de studenten dat ze 15 minuten hebben voor de eerste activiteit. Instructies zijn opgenomen in de papieren vellen en er zijn geen algemene instructies meer nodig.
- Vertel ze dat je beschikbaar bent voor vragen, maar vermijd dat je studenten extra inhoud geeft dan wat ze in de taakboeken hebben.
OPMERKING: Vooral voor studenten die het uitvindingsprobleem oplossen, vermijd hen te begeleiden naar conventionele oplossingen, omdat het de ontwikkeling van hun eigen kennis kanverkorten 11. In plaats daarvan stellen we drie mogelijke antwoorden voor op vragen van studenten11: a) hen helpen hun eigen processen te verduidelijken door hen te vragen uit te leggen wat ze doen; b) hen te helpen zichzelf te begeleiden met hun intuïtie door hen te vragen welk land volgens hen meer ongelijkheid heeft dan andere landen; c) hen helpen het doel van de activiteit te begrijpen door hen te vragen algemene indexen te produceren die rekening houden met de verschillen die ze zien, kunt u voorbeelden geven van andere kwantitatieve indexen (bijvoorbeeld "het gemiddelde is een index om de centrale waarde in een verdeling te berekenen").
- Zodra de 15 minuten voor de eerste activiteit voorbij zijn, vragen studenten om door te gaan naar hun overeenkomstige tweede activiteit, waarvoor ze de clip of plaknotitie moeten verwijderen.
- Zeg ze dat ze 15 minuten hebben voor de tweede activiteit. Instructies zijn opgenomen in de papieren vellen en er zijn geen aanvullende algemene instructies nodig. Vertel hen dat u beschikbaar bent voor eventuele vragen.
OPMERKING: Studenten hebben toegang tot de inhoud van de vorige activiteit.
- Zeg ze dat ze 15 minuten hebben voor de tweede activiteit. Instructies zijn opgenomen in de papieren vellen en er zijn geen aanvullende algemene instructies nodig. Vertel hen dat u beschikbaar bent voor eventuele vragen.
- Zodra de 15 minuten voorbij zijn, vraag hen om het voltooide materiaal aan u te overhandigen.
7. Beheer van de inhoud van de lezing
- Reserveer 40 minuten binnen een of meerdere lesperiodes om het college over statistische variabiliteit aan alle studenten in de klas te geven.
OPMERKING: Het protocol kan op elk moment tijdens de lezing worden onderbroken en kan in de daaropvolgende lessessie worden voortgezet. - Volg de slides om de lezing te geven, die te vinden zijn via de volgende link: https://www.dropbox.com/sh/aa6p3hs8esyf5xa/AACTvpVlEbdEtLVfBIbe9j7aa?dl=0.
OPMERKING: Het bestand bevat animaties om de inhoud te spreiden, opmerkingen met voorgestelde uitleg om aan studenten te geven en aanwijzingen over de geschatte tijd die voor elke uitleg is toegewezen. De inhoud en de activiteiten gaan over de definitie van variabiliteit, het gebruik van verschillende variabiliteitsmetingen (bereik, interkwartielbereik, variantie, standaardafwijking en variatiecoëfficiënt), de eigenschappen van die metingen en hun voor- en nadelen ten opzichte van elkaar en andere suboptimale oplossingen13. Een nadere beschrijving van deze voorgestelde lezing is te vinden in bijlage E. De gebruiker kan deze materialen aanpassen op basis van verschillende factoren, zoals specifieke inhoud in de klas, voorkeursinstructieprincipes of verschillende culturele uitingen.
8. Invullen van de nieuwsgierigheidsvragenlijst
- Geef de studenten aan het einde van de lezing de Curiosity Scale uit de Epistemic Related Emotions Questionnaire40 (Appendix F) en geef ze 2 minuten om deze in te vullen. Herinner studenten eraan om hun identificatienummer op de vragenlijst te schrijven voordat ze het terugsturen.
OPMERKING: In de literatuur wordt nieuwsgierigheid vaak gemeten direct na de uitvindingsactiviteit en de bijbehorende controleactiviteiten14,17. Het protocol is flexibel in deze en andere mogelijke aanpassingen in dit opzicht. Voor de eenvoud hebben we de meting van nieuwsgierigheid aan het einde van de les alleen opgenomen omdat het relevant is voor het onderzoeken van de langetermijneffecten van PS-I op nieuwsgierigheid, en omdat verhoogde nieuwsgierigheid direct na de uitvindingsactiviteit gedeeltelijk kan worden verklaard door het feit dat studenten tijdens de uitvindingsactiviteit minder informatie ontvangen dan tijdens alternatieve activiteiten die als controles worden gebruikt.
9. Beheer van de leerpost-test
- Neem in overeenstemming met de docent in elke klas 30 minuten in een lesperiode om de natoets af te nemen.
- Verdeel de natoets in bijlage G onder de studenten. Vraag hen om er individueel aan te werken.
- Geef studenten 25 minuten om de natoets te doen. Instructies zijn opgenomen in de natest en er zijn geen aanvullende algemene instructies nodig.
- Zodra de 25 minuten voorbij zijn, vraag hen om de post-test aan u terug te geven.
10. Studenten feedback geven en al het leermateriaal
- Maak de materialen die voor deze les worden gebruikt beschikbaar voor studenten. De powerpointdia's, de materialen voor de twee leeromstandigheden en de oplossingen voor de pre- en posttest zijn beschikbaar in aanhangsel H.
11. Coderen van de gegevens
- Bereken de scores voor de verschillende schalen in de vragenlijsten door alle artikelscores binnen elke vragenlijstschaal bij elkaar op te tellen (zie bijlage B voor een samenvatting van de vragenlijstitems in de voorgestelde vragenlijsten).
- Bereken de score voor divergente denkvaardigheid door alle juiste antwoorden van elke student in beide items in de taak Alternatief gebruik37op te tellen .
OPMERKING: Andere maatregelen die vaak worden gecodeerd vanuit de taak Alternatief gebruik, zoals flexibiliteit, originaliteit en uitwerking, kunnen ook worden beschouwd als36,37. - Bereken de score van de voortoets voorkennis door elk item eerst te beoordelen met behulp van de antwoordtoets in bijlage I-1 en vervolgens de scores voor alle items bij elkaar op te tellen.
- Bereken de verschillende leermaatstaven door elk item in de post-toets eerst te beoordelen met behulp van de antwoordtoets in bijlage I-2 en vervolgens de scores voor elke leermaat op te tellen: scores in de punten 1 tot en met 3 voor de procedurele leermaat, scores in de punten 4-8 voor de conceptuele leermaat en scores in de items 9-11 voor de overdracht van leermaat.
OPMERKING: Andere maatregelen over het leerproces, zoals het aantal oplossingen dat studenten tijdens het uitvindingsprobleem produceren of de juistheid van de oplossingen in alle probleemoplossende activiteiten, kunnen worden overwogen, maar ze zullen niet worden uitgelegd in dit protocol.
12. Analyse van de gegevens
Houd er rekening mee dat verwijzingen in deze sectie verwijzen naar praktische handleidingen over het uitvoeren van de analyses met SPSS- en PROCESS-software, maar dat er ook andere programma's kunnen worden gebruikt.
- Om de algemene werkzaamheid van PS-I te evalueren, vergelijkt u de nieuwsgierigheids- en leerscores van de PS-I-aandoening met de nieuwsgierigheids- en leerscores van de controlevoorwaarde.
OPMERKING: Zolang aan de aannames is voldaan, raden we ANCOVA in de eerste plaats aan om te controleren op aanleg van covariaten. Als tweede optie raden we t-tests aan voor onafhankelijke groepen en als derde optie raden we Mann-Whitney U-tests41 aan. Voor deze analyses is geen minimale steekproefgrootte vereist, maar gezien de effectgrootten in eerdere literatuur (d = .43)21, zou een minimummonster van 118 studenten per groep worden aanbevolen om de identificatie van de effecten als significant te vergemakkelijken (tweezijdige vermogensanalyses voor verschillen tussen onafhankelijke middelen, α = .05, β = .95,). Monsters groter dan 30 studenten per groep zouden het gemakkelijker maken om te voldoen aan de veronderstellingen van normaliteit voor ANCOVA of t-tests41. - Om intuïtief bemiddelingseffecten te onderzoeken (bijv. de bemiddeling van nieuwsgierigheid op leren) en/of de matigende invloed van aanleg, voert u correlatieanalyses uit tussen de mediatorvariabele (bijv. nieuwsgierigheid) en de leervariabele (bijv. conceptuele kennis) in de twee leeromstandigheden.
OPMERKING: Zolang aan de aannames is voldaan, raden we voornamelijk het gebruik van Pearson-correlaties aan en als tweede optie raden we Spearman-correlatiesaan 42. Voor deze analyses is geen minimale steekproefgrootte vereist, maar grote steekproeven (bv. meer dan 30 studenten per groep) zouden het gemakkelijker maken om te voldoen aan de veronderstellingen van normaliteit die nodig zijn voor Pearson-correlaties. Mogelijke matigingseffecten zouden worden aangegeven door predispositievariabelen met verschillende correlatiewaarden in de ene leervoorwaarde versus de andere. Een mogelijk bemiddelingseffect (bijv. de bemiddeling van nieuwsgierigheid op leren) zou worden aangegeven als de bemiddelende variabele gecorreleerd is met de leerresultaten in ten minste één voorwaarde, en als de niveaus van deze variabele in de ene leervoorwaarde verschillen ten opzichte van de andere (zie resultaten in stap 12.1). - Om een bemiddelingseffect op het leren en/of de matigende invloed van de aanleg van studenten te blijven evalueren, voert u ofwel bemiddelingsanalyse, moderatieanalyse of voorwaardelijke procesanalyse uit (die bemiddelings- en moderatieanalyse combineert) afhankelijk van het conceptuele model om43te testen , wat zou variëren afhankelijk van de gekozen hypothesen en / of de voorlopige analyse in stap 12.2.
OPMERKING: Aangezien deze analyses zijn gebaseerd op meerdere regressies en daarom zijn gebaseerd op een statistische benadering met een vast effect, om de resultaten zo generaliseerbaar mogelijk te maken, raden we een minimale steekproefgrootte van 15 studenten per bemiddelingsvariabele aan die is opgenomen in het conceptuele model, plus 30 studenten per moderatievariabele die in het model is opgenomen. Sommige programma's zoals PROCESS staan alleen de opname toe van maximaal twee modererende variabelen tegelijk. Om meer modererende variabelen op te nemen, zouden verschillende analyses moeten worden uitgevoerd om de opgenomen moderators te wijzigen.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Dit protocol werd naar tevredenheid geïmplementeerd in een eerdere studie23, met uitzondering van de metingen van de aanleg van studenten in termen van hun gevoel van competentie, beheersingsbenaderingsdoelen, metacognitie en divergent denken.
Om deze aanleg aan te pakken, bevat dit protocol maatregelen die eerder zijn gevalideerd en die een hoge mate van betrouwbaarheid hebben aangetoond (Tabel 1).
Typische oplossingen die door studenten worden gegenereerd in het uitvindingsprobleem van de PS-I-toestand zijn te zien in figuur 3A-D. Studenten produceren meestal niet de canonieke oplossing van standaarddeviatie. De suboptimale oplossingen die ze wel produceren, onthullen echter reflectie over relevante aspecten van standaardafwijkingen (bijv. bereik, optelling van afwijkingen of gemiddelde afwijkingen). Eerder onderzoek heeft aangetoond dat de verscheidenheid aan oplossingen in het oorspronkelijke probleem in PS-I geassocieerd was met hoger onderwijs, ongeacht de juistheid van de respons44. Toch is het belangrijk op te merken dat het ontbreken van respons in dit probleem geen indicator is van studenten die er geen baat bij hebben, omdat studenten kritisch kunnen nadenken over het probleem zonder een zichtbaar resultaat te produceren.
Een typische oplossing die door studenten wordt geproduceerd in het praktijkprobleem dat in de controletoestand wordt gebruikt (figuur 2) wordt weergegeven in figuur 3 E. Deze oplossingen zijn homogener en in overeenstemming met het canonieke concept van standaardafwijking, omdat het een probleem is dat werd gepresenteerd nadat ze de concepten en procedures in het bewerkte voorbeeld hadden bestudeerd (bijlage D-2).
Figuur 5 geeft een voorbeeld voor het rapporteren van de algemene verschillen tussen PS-I en directe instructie in de experimentele evaluatie. Het is gebaseerd op resultaten van een eerdere studie die volgde op dit protocol23 waarin studenten in de PS-I-conditie niet verschilden in procedurele kennis, overdracht van kennis, nieuwsgierigheid of voorkennis, maar wel verschilden in conceptuele kennis.
Figuur 6 toont een voorbeeld voor het rapporteren van het matigende effect van een van de voorgestelde predisposities van studenten, metacognitieve vaardigheden. In dit hypothetische voorbeeld leerden studenten met lagere metacognitieve vaardigheden meer van directe instructie dan van PS-I, terwijl studenten met hogere metacognitieve vaardigheden meer baat hadden bij PS-I dan bij directe instructie.
Figuur 1: Uitvindingsprobleem in de PS-I Conditie. In dit probleem worden23 studenten in de PS-I-voorwaarde gevraagd kwantitatieve indexen uit te vinden om ongelijkheid in de vier landen te meten. Het is geformuleerd met de techniek van contrasterende gevallen11:de landen vertonen consistenties en variaties met betrekking tot de relevante kenmerken, en deze variaties zijn gemakkelijk te berekenen. Pinpanpun en Toveo hebben bijvoorbeeld hetzelfde gemiddelde (5), hetzelfde aantal gevallen (7), hetzelfde bereik (10), maar een andere verdeling. Klik hier om een grotere versie van deze afbeelding te bekijken.
Figuur 2: Oefenprobleem in de directe instructieconditie. In dit probleemworden 23 studenten in de directe instructievoorwaarde gevraagd om de concepten en procedures toe te passen die in het gewerkte voorbeeld zijn geleerd. Klik hier om een grotere versie van deze afbeelding te bekijken.
Figuur 3: Gemeenschappelijke oplossingen in het uitvindingsprobleem en in het praktijkprobleem. Afbeeldingen A-D tonen gemeenschappelijke oplossingen in het uitvindingsprobleem, dat kan worden gebruikt in de achterste directe instructiefase voor steigerinhoud: (A) Het bereik - gemakkelijk te berekenen, maar houdt geen rekening met verschillen tussen alle inwoners- (B) Bereik gebaseerde maatregel - beschouwt meer inwoners dan het bereik als het wordt versterkt wanneer maximumwaarden worden herhaald, maar houdt geen rekening met alle waarden-; (C) Gemiddelde van afwijkingen - het verklaart verschillen tussen alle inwoners, maar het is verwarrend omdat negatieve afwijkingen aftrekken van positieve afwijkingen-; (D) Gemiddelde van absolute afwijkingen -een conceptueel complete oplossing vergelijkbaar met de canonieke oplossing van de standaarddeviatie-; (E) Een typische oplossing voor het praktijkprobleem van de controlevoorwaarde. Studenten in deze toestand hebben het gewerkte voorbeeld al bestudeerd en daarom zijn de meesten van hen in staat om de canonieke oplossingen van de standaardafwijking correct te reproduceren en te interpreteren. Klik hier om een grotere versie van deze afbeelding te bekijken.
Figuur 4: Ontwerp van experimentele evaluatie. Na het invullen van de vragenlijsten en toetsen om de aanleg van studenten te meten, worden studenten willekeurig toegewezen aan de activiteiten van de twee leeromstandigheden (alle studenten blijven in dezelfde klas). Zodra studenten deze activiteiten hebben voltooid, krijgen ze allemaal dezelfde lezing over statistische variabiliteit. Nieuwsgierigheid en leren worden gemeten aan het einde van het leerproces. Klik hier om een grotere versie van deze afbeelding te bekijken.
Figuur 5: Resultaten over de werkzaamheid van PS-I versus directe instructie. De afbeeldingen geven een typisch resultaat weer van de vergelijking tussen de PS-I-voorwaarde en de directe instructievoorwaarde binnen elke afhankelijke variabele, met behulp van gegevens van een eerdere studie die dit protocol gebruikte23. De twee balken in elke afbeelding vertegenwoordigen de middelen voor de twee voorwaarden, terwijl de bijbehorende foutbalken +/- 1 standaardfouten van die middelen vertegenwoordigen. * geeft significante resultaten aan op het significantieniveau .05. Klik hier om een grotere versie van deze afbeelding te bekijken.
Figuur 6: Hypothetische resultaten over de modererende effecten van de aanleg van studenten. De afbeeldingen geven een hypothetisch resultaat weer over het matigende effect van metacognitieve vaardigheden op de relatieve effectiviteit van PS-I om het leren te bevorderen, waarbij PS-I effectiever is dan directe instructie alleen voor studenten die gemiddelde en hoge metacognitieve vaardigheden rapporteren. Naar aanleiding van aanbevelingen in43zijn de 16e, 50e en 86e percentielen gebruikt om respectievelijk studenten met lage, gemiddelde en hoge metacgntive vaardigheden te vertegenwoordigen. Klik hier om een grotere versie van deze afbeelding te bekijken.
| Bouwen | Meting en beschrijving | ||
| Gevoel voor competentie | De cognitieve competentieschaal in de survey of attitudes towards statistics (SATS-28)33 kan worden gebruikt (bijlage B2). Het bestaat uit 6 items die studenten vragen in hoeverre ze het eens zijn met uitspraken over hun gevoel voor competentieleerstatistieken (bijv. "Ik kan statistieken leren"). Het heeft interne, convergente en voorspellende validiteit en hoge betrouwbaarheid aangetoond (α = .71 - .93)45. | ||
| Mastery Approach Doelen | De Mastery Approach Scale in de Achievement Goal Questionnaire-Revised 34 kan worden gebruikt (bijlage B3). Het bestaat uit 3 items die studenten vragen in hoeverre ze het eens zijn met uitspraken over het hebben van leerdoelen die gericht zijn op persoonlijk leren (bijv. "Ik streef ernaar om de inhoud van deze cursus zo grondig mogelijk te begrijpen"). Het heeft interne, convergente en voorspellende validiteit en hoge interne betrouwbaarheid (α =.84)34. | ||
| Metacognitieve verordening | De Regulatie van cognitieschaal van de Metacognitive Awareness Inventory46 kan worden gebruikt (bijlage B4). Het bestaat uit 35 items die studenten vragen hoe typisch het voor hen is om verschillende metacognitieve strategieën te gebruiken (bijv. "Ik evalueer mijn aannames opnieuw als ik in de war raak"). Het heeft interne en voorspellende validiteit aangetoond, en hoge betrouwbaarheid (α = .88)46. | ||
| Divergent denken | De vloeiendheidsscore van taak36 voor alternatief gebruik kan worden gebruikt. Het bestaat uit het presenteren van verschillende objecten (bijvoorbeeld een paperclip) en hen vragen om zoveel mogelijk ongewone toepassingen voor elk object binnen een bepaalde tijd te bieden. Het is een betrouwbare score (H = .631) die intern gevalideerd is 47 en voorspellende validiteit heeft aangetoond in versies met verschillende extensies, variërend tussen 1 tot 20 gepresenteerde objecten en tussen 1 en 3 minuten gegeven voor elk object37,48,49. Voor tijdsbeperkingen binnen onderwijsinstellingen wordt in dit protocol een korte versie van twee objecten en twee minuten per object37 voorgesteld. | ||
| Vorige Academische kennis | Om zich aan te passen aan de specifieke inhoud die in dit protocol wordt behandeld, is een leervoortest aangepast (aanhangsel C) van een betrouwbare (α =.75) pre-test die in een eerdere studie is gebruikt 7. Het bestaat uit 5 items die studenten vragen naar centrale tendensmetingen die relevant zijn voor de assimilatie van variabiliteitsinhoud. | ||
Tabel 1: Voorgestelde constructies en maatregelen om de aanleg van studenten te evalueren. Vijf constructies over de aanleg van studenten worden voorgesteld om te worden geëvalueerd als moderators in de effectiviteit van PS-I. Een voorgestelde maatregel voor elke constructie wordt beschreven met betrekking tot het aantal items, de beschrijving van de items en bewijs over geldigheid en betrouwbaarheid.
| Bouwen | Meting en beschrijving | ||
| Nieuwsgierigheid | De Curiosity Scale in de Epistemically-Related Emotions Questionnaire40 kan worden gebruikt (bijlage F). Het bestaat uit drie items die studenten vragen om de intensiteit te beoordelen die ze nieuwsgierig, geïnteresseerd en nieuwsgierig voelden. Het heeft interne en voorspellende validiteit aangetoond, en hoge betrouwbaarheid (α = .88)40. | ||
| Leren (procedureel, conceptueel en overdracht) | Om het leren over de specifieke variabiliteitsinhoud in dit protocol te evalueren, is een leerposttest aangepast (aanhangsel G) van een betrouwbare (α =.84) die in een eerdere studie werd gebruikt7. Het bestaat uit 12 items: drie items die verwijzen naar procedureel leren (bijv. item 1 waar studenten de standaarddeviatie moeten berekenen), zes items die verwijzen naar conceptueel leren (bijv. item 4 waar studenten moeten redeneren over componenten van de standaarddeviatieformule), en drie items die worden verwezen naar overdracht (bijvoorbeeld item 10 waar studenten een procedure moeten afleiden om scores met verschillende metingen te vergelijken). | ||
Tabel 2: Voorgestelde constructies en maatregelen om de werkzaamheid van PS-I te evalueren. De voorgestelde instrumenten om nieuwsgierigheid te meten en drie soorten leren (procedureel, conceptueel en overdracht) worden beschreven, waaronder informatie over het aantal items, beschrijving van de items en bewijs over geldigheid en betrouwbaarheid.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Het doel van dit protocol is om onderzoekers en docenten te begeleiden bij de implementatie en evaluatie van de PS-I-aanpak in echte klassikale contexten. Volgens sommige eerdere ervaringen kan PS-I helpen bij het bevorderen van deep learning en motivatie bij studenten19,21,24, maar er is behoefte aan meer onderzoek naar de effectiviteit ervan bij studenten met verschillende vaardigheden en motivatiepredisposities14,27. Meer specifiek kunnen docenten met behulp van dit document een PS-I-implementatieprotocol volgen voor een statistiekklasse die is ontworpen volgens de meest geaccepteerde principes in de PS-I-literatuur11,13,20,50 (stappen 6-7). Daarnaast kunnen docenten en onderzoekers een embedded experimentele evaluatie volgen over de effectiviteit van deze implementatie bij studenten met verschillende motiverende en/of cognitieve aanleg (alle Stappen). Deze experimenten zijn niet in strijd met de onderwijsprincipes van gelijke kansen, vrije toestemming om deel te nemen of het respecteren van de vertrouwelijkheid van studenten, noch is het noodzakelijk om nieuwe technologieën te gebruiken.
Het protocol is flexibel en kan worden aangepast of toegepast op basis van nieuwe onderzoeks- of onderwijsbehoeften. Niettemin, zoals beschreven in dit document, maakt het protocol de evaluatie mogelijk van de effectiviteit van PS-I in termen van nieuwsgierigheid en verschillende soorten leren, waaronder leermaatregelen die deep learning vereisen, zoals conceptuele kennis en kennisoverdracht, evenals leermaatregelen die niet noodzakelijkerwijs deep learning vereisen, zoals procedurele kennis. Zowel motivatie als deep learning zijn belangrijke zorgen voor alle instructeurs. STEM-cursusontwerpers zijn vooral bezig met deze onderwerpen , aangezien een groot deel van de studenten moeite heeft om deze cursussen1,2,3 te begrijpen en verschillende motiverende kwesties4,5 ervaart. Het protocol biedt ook richtlijnen voor de evaluatie van de werkzaamheid van PS-I bij studenten in termen van enkele cognitieve en/of motiverende aanleg, die ook een zorg zijn in STEM-onderwijs, en in de relatieve werkzaamheid van PS-I. De predisposities die in het protocol worden voorgesteld, zijn onder meer eerdere academische kennis, beheersingsbenaderingsdoelen, competentiegevoel om het onderwerp te leren, metacognitie en divergent denken.
Voorbeelden van wijzigingen in het protocol op basis van ideeën die in de literatuur worden voorgesteld , zijn onder meer het verhogen van het aantal problemen in de omstandigheden15, waardoor studenten meer tijd hebben voor probleemverkenning44, en verschillende variabelen opnemen om rekening te houden met bemiddelingsleerprocessen14,15,24. Het protocol is ook flexibel over de toepassing van de verschillende stappen over verschillende lessessies. Elke stap kan worden uitgevoerd in dezelfde lesperiode als de vorige stap en onderzoekers en docenten kunnen beslissen hoe ze de stappen naar hun eigen gemak kunnen organiseren.
Een kritische factor voor de evaluatie is echter dat studenten samenwerken bij het naleven van de evaluatieregels. In sommige stappen worden ze bijvoorbeeld geacht individueel te werken, zodat mogelijke interacties tussen hen de resultaten niet vervuilen. Om dat te bereiken, is het belangrijk dat studenten worden geïnformeerd over de procedures en dat ze evenzeer betrokken zijn bij de leeractiviteiten, ongeacht of ze willen deelnemen aan de experimentele evaluatie of niet32, zoals beschreven in stap 1 van het protocol. Voor de activiteiten die individueel werk vereisen, raden we ook aan om ervoor te zorgen dat er ruimte overblijft tussen studenten.
Kortom, dit protocol kan nuttig zijn om PS-I en de experimentele evaluatie ervan toegankelijker te maken voor docenten en onderzoekers, hen materialen en begeleiding te bieden, hen de flexibiliteit te geven om het toe te passen op basis van hun onderzoeks- en onderwijsbehoeften, en analyseopties voor te stellen die zich aanpassen aan verschillende steekproefgrootten. Een mogelijke beperking hier kan echter de tijd zijn die nodig is om de vragenlijsten en tests over de aanleg van studenten in te vullen. Wanneer de gebruiker geïnteresseerd is in het evalueren van deze aanleg, maar er geen beschikbare tijd is om dit tijdens de les te doen, kunnen deze vragenlijsten worden ingevuld als een opdracht buiten de les. Een tweede beperking is de potentiële meetfout van enkele van de voorgestelde predispositiemaatregelen die niet specifiek zijn gecontextualiseerd in het leren van variabiliteitsmetingen, maar eerder in algemeen leren (metacognitie en divergent denken) of algemeen leren van statistieken (beheersingsbenaderingsdoelen en competentiegevoel). Deze fout moet worden beschouwd als een mogelijke beperking van alle studies die met dit protocol worden uitgevoerd. Een laatste beperking is dat de voorkennisvoortoets en de leerposttoets tot nu toe geen gevalideerde maatregelen in de vorige literatuur zijn, omdat de inhoud van de implementatie zeer specifiek is en er geen gevalideerde maatregelen voor beschikbaar zijn. Verwacht wordt echter dat de toekomstige implementatie van dit protocol de validatie ervan zal bevorderen.
Op soortgelijke lijnen zal de toekomstige toepassing van het protocol ook nieuwe onderzoeksbehoeften en nieuwe toe te passen variaties definiëren. Het hebben van het protocol als gemeenschappelijke bron kan bijdragen aan een bepaalde systematische structuur in verschillende studies. Bovendien kan dit protocol, zolang de opvoeders de experimentele evaluatie van dit protocol verenigbaar vinden met hun onderwijspraktijk, de betrokkenheid van opvoeders bij PS-I-onderzoek aanmoedigen, wat een breder professioneel perspectief in het onderzoeksproces en een betere toegang tot monsters zou betekenen32.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
De auteurs hebben niets bekend te maken.
Acknowledgments
Dit werk werd ondersteund door een project van het Vorstendom Asturië (FC-GRUPIN-IDI/2018/000199) en een predoctorale subsidie van het Ministerie van Onderwijs, Cultuur en Sport van Spanje (FPU16/05802). We willen Stephanie Jun bedanken voor haar hulp bij het bewerken van het Engels in het leermateriaal.
Materials
| Name | Company | Catalog Number | Comments |
| SPSS Program | International Business Machines Corporation (IBM) | Other programs for general data analysis might be used instead | |
| PROCESS program | Andrew F. Hayes (Ohio State University) | Freely accesible at: http://www.processmacro.org. Other programs for mediation, moderation, or conditional process analyses might be used instead | |
| Cognitive Competence Scale in the Survey of Attitudes towards Statistics (SATS-28) | Candace Schau (Arizona State University) | In case it is used, request should be requested from the author, who holds the copyright | |
| Mastery Approach Scale in the Achievement Goal Questionnaire-Revised | Andrew J. Elliot (University of Rochester) | In case it is used, request should be requested from the author | |
| Regulation of Cognition Scale of the Metacognitive Awareness Inventory | Gregory Schraw (University of Nevada Las Vegas) | In case it is used, request should be requested from the creator |
References
- Silver, E. A., Kenney, P. A. Results from the seventh mathematics assessment of the National Assessment of Educational Progress. Council of Teachers of Mathematics. , (2000).
- OECD. Results (Volume I): Excellence and Equity in Education. PISA, OECD. , OECD publishing. Paris, France. (2016).
- Mallart Solaz, A. La resolución de problemas en la prueba de Matemáticas de acceso a la universidad: procesos y errores. , (2014).
- García, T., Rodríguez, C., Betts, L., Areces, D., González-Castro, P. How affective-motivational variables and approaches to learning predict mathematics achievement in upper elementary levels. Learning and Individual Differences. 49, 25-31 (2016).
- Lai, Y., Zhu, X., Chen, Y., Li, Y. Effects of mathematics anxiety and mathematical metacognition on word problem solving in children with and without mathematical learning difficulties. PloS one. 10 (6), 0130570 (2015).
- Ma, X., Xu, J. The causal ordering of mathematics anxiety and mathematics achievement: a longitudinal panel analysis. Journal of Adolescence. 27 (2), 165-179 (2004).
- Kapur, M.
- Kirschner, P. A., Sweller, J., Clark, R. E. Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist. 41 (2), 75-86 (2006).
- Stockard, J., Wood, T. W., Coughlin, C., Khoury, C. R. The Effectiveness of Direct Instruction Curricula: A Meta-Analysis of a Half Century of Research. Review of educational research. 88 (4), 479-507 (2018).
- Clark, R., Kirschner, P. A., Sweller, J. Putting students on the path to learning: The case for fully guided instruction. American Educator. , (2012).
- Schwartz, D. L., Martin, T. Inventing to prepare for future learning: The hidden efficiency of encouraging original student production in statistics instruction. Cognition and instruction. 22 (2), 129-184 (2004).
- Loibl, K., Rummel, N. The impact of guidance during problem-solving prior to instruction on students' inventions and learning outcomes. Instructional Science. 42 (3), 305-326 (2014).
- Kapur, M., Bielaczyc, K.
- Glogger-Frey, I., Fleischer, C., Grueny, L., Kappich, J., Renkl, A. Inventing a solution and studying a worked solution prepare differently for learning from direct instruction. Learning and Instruction. 39, 72-87 (2015).
- Glogger-Frey, I., Gaus, K., Renkl, A. Learning from direct instruction: Best prepared by several self-regulated or guided invention activities. Learning and Instruction. 51, 26-35 (2017).
- Likourezos, V., Kalyuga, S. Instruction-first and problem-solving-first approaches: alternative pathways to learning complex tasks. Instructional Science. 45 (2), 195-219 (2017).
- Lamnina, M., Chase, C. C. Developing a thirst for knowledge: How uncertainty in the classroom influences curiosity, affect, learning, and transfer. Contemporary educational psychology. 59, 101785 (2019).
- Loibl, K., Rummel, N. Knowing what you don't know makes failure productive. Learning and Instruction. 34, 74-85 (2014).
- Weaver, J. P., Chastain, R. J., DeCaro, D. A., DeCaro, M. S. Reverse the routine: Problem solving before instruction improves conceptual knowledge in undergraduate physics. Contemporary educational psychology. 52, 36-47 (2018).
- Loibl, K., Roll, I., Rummel, N. Towards a Theory of When and How Problem Solving Followed by Instruction Supports Learning. Educational psychology review. 29 (4), 693-715 (2017).
- Darabi, A., Arrington, T. L., Sayilir, E. Learning from failure: a meta-analysis of the empirical studies. Etr&D-Educational Technology Research and Development. 66 (5), 1101-1118 (2018).
- Chen, O. H., Kalyuga, S. Exploring factors influencing the effectiveness of explicit instruction first and problem-solving first approaches. European Journal of Psychology of Education. , (2019).
- González-Cabañes, E., García, T., Rodríguez, C., Cuesta, M., Núñez, J. C. Learning and Emotional Outcomes after the Application of Invention Activities in a Sample of University Students. Sustainability. 12 (18), 7306 (2020).
- Schwartz, D. L., Chase, C. C., Oppezzo, M. A., Chin, D. B. Practicing Versus Inventing With Contrasting Cases: The Effects of Telling First on Learning and Transfer. Journal of educational psychology. 103 (4), 759-775 (2011).
- Chase, C. C., Klahr, D. Invention Versus Direct Instruction: For Some Content, It's a Tie. Journal of Science Education and Technology. 26 (6), 582-596 (2017).
- Newman, P. M., DeCaro, M. S. Learning by exploring: How much guidance is optimal. Learning and Instruction. 62, 49-63 (2019).
- Belenky, D. M., Nokes-Malach, T. J. Motivation and Transfer: The Role of Mastery-Approach Goals in Preparation for Future Learning. Journal of the Learning Sciences. 21 (3), 399-432 (2012).
- Bergold, S., Steinmayr, R. The relation over time between achievement motivation and intelligence in young elementary school children: A latent cross-lagged analysis. Contemporary educational psychology. 46, 228-240 (2016).
- Mazziotti, C., Rummel, N., Deiglmayr, A., Loibl, K. Probing boundary conditions of Productive Failure and analyzing the role of young students' collaboration. NPJ science of learning. 4, 2 (2019).
- Stiglitz, J. E.
- Holmes, N. G., Day, J., Park, A. H., Bonn, D., Roll, I. Making the failure more productive: scaffolding the invention process to improve inquiry behaviors and outcomes in invention activities. Instructional Science. 42 (4), 523-538 (2014).
- Herreras, E. B. La docencia a través de la investigación-acción. Revista Iberoamericana de Educación. 35 (1), 1-9 (2004).
- Schau, C., Stevens, J., Dauphinee, T. L., Delvecchio, A. The development and validation of the survey of attitudes toward statistics. Educational and Psychological Measurement. 55 (5), 868-875 (1995).
- Elliot, A. J., Murayama, K. On the measurement of achievement goals: Critique, illustration, and application. Journal of educational psychology. 100 (3), 613-628 (2008).
- Schraw, G., Dennison, R. S.
- Guilford, J. P. The nature of human intelligence. , (1967).
- Zmigrod, L., Rentfrow, P. J., Zmigrod, S., Robbins, T. W. Cognitive flexibility and religious disbelief. Psychological Research-Psychologische Forschung. 83 (8), 1749-1759 (2019).
- Wilson, S. Divergent thinking in the grasslands: thinking about object function in the context of a grassland survival scenario elicits more alternate uses than control scenarios. Journal of Cognitive Psychology. 28 (5), 618-630 (2016).
- Autin, F., Croizet, J. -C. Improving working memory efficiency by reframing metacognitive interpretation of task difficulty. Journal of experimental psychology: General. 141 (4), 610 (2012).
- Pekrun, R., Vogl, E., Muis, K. R., Sinatra, G. M. Measuring emotions during epistemic activities: the Epistemically-Related Emotion Scales. Cognition and Emotion. 31 (6), 1268-1276 (2017).
- Pallant, J. Statistical techniques to compare groups. SPSS survival manual. , McGraw-Hill Education. UK. 211 (2013).
- Pallant, J. Statistical techniques to explore relationships among variables. SPSS survival manual. , McGraw-Hill Education. UK. 125-149 (2013).
- Hayes, A. F. Introduction to mediation, moderation, and conditional process analysis: A regression-based approach. , Guilford publications. New York, NY. (2017).
- Kapur, M. Productive failure in learning the concept of variance. Instructional Science. 40 (4), 651-672 (2012).
- Nolan, M. M., Beran, T., Hecker, K. G. Surveys Assessing Students' Attitudes Toward Statistics: A Systematic Review of Validity and Reliability. Statistics Education Research Journal. 11 (2), (2012).
- Schraw, G., Dennison, R. S.
- Dumas, D., Dunbar, K. N. Understanding Fluency and Originality: A latent variable perspective. Thinking Skills and Creativity. 14, 56-67 (2014).
- Roberts, R., et al. An fMRI investigation of the relationship between future imagination and cognitive flexibility. Neuropsychologia. 95, 156-172 (2017).
- Chamorro-Premuzic, T. Creativity versus conscientiousness: Which is a better predictor of student performance. Applied Cognitive Psychology: The Official Journal of the Society for Applied Research in Memory and Cognition. 20 (4), 521-531 (2006).
- Kapur, M. Examining productive failure, productive success, unproductive failure, and unproductive success in learning. Educational Psychologist. 51 (2), 289-299 (2016).
