Problemløsning før instruktion (PS-I): En protokol for vurdering og intervention hos studerende med forskellige evner

Summary

Denne protokol guider forskere og undervisere gennem implementering af problemløsning før instruktion tilgang (PS-I) i en bachelor statistik klasse. Den beskriver også en integreret eksperimentel evaluering af denne implementering, hvor effekten af PS-I måles i form af læring og motivation hos studerende med forskellige kognitive og affektive dispositioner.

Abstract

I dag er det en af de største bekymringer for lærere på forskellige uddannelsesniveauer, hvordan man kan fremme elevernes reflekterende tænkning. Mange studerende har problemer med opgaver, der involverer høje refleksionsniveauer, såsom på STEM -kurser (videnskab, teknologi, ingeniørvidenskab og matematik). Mange har også dybt rodfæstet angst og demotivation over for sådanne kurser. For at overvinde disse kognitive og affektive udfordringer har forskere foreslået brugen af "Problemløsning før instruktion" (PS-I) tilgange. PS-I består i at give eleverne mulighed for at generere individuelle løsninger på problemer, der senere løses i klassen. Disse løsninger sammenlignes med den kanoniske løsning i den følgende instruktionsfase sammen med præsentationen af lektionens indhold. Det er blevet foreslået, at eleverne med denne tilgang kan øge deres konceptuelle forståelse, overføre deres læring til forskellige opgaver og sammenhænge, blive mere opmærksomme på hullerne i deres viden og generere en personlig konstruktion af tidligere viden, der kan hjælpe med at opretholde deres motivation. På trods af fordelene er denne tilgang blevet kritiseret, da studerende kan bruge meget tid på formålsløs trial and error i den indledende fase af løsningsgenerering, eller de kan endda føle sig frustrerede i denne proces, hvilket kan være skadeligt for fremtidig læring. Endnu vigtigere er det, at der ikke er megen forskning i, hvordan allerede eksisterende studerendes karakteristika kan hjælpe dem med at drage fordel (eller ej) af denne tilgang. Formålet med den aktuelle undersøgelse er at præsentere udformningen og gennemførelsen af PS-I-tilgangen anvendt på statistiklæring hos bachelorstuderende samt en metodologisk tilgang, der bruges til at evaluere dens effektivitet i betragtning af de studerendes allerede eksisterende forskelle.

Introduction

Et af de spørgsmål, som lærerne er mest bekymrede over i øjeblikket, er, hvordan man stimulerer elevernes refleksion. Denne bekymring er almindelig i kurser af matematisk karakter, såsom STEM-kurser (videnskab, teknologi, teknik og matematik), hvor abstraktionen af mange begreber kræver en høj grad af refleksion, men mange studerende rapporterer, at de nærmer sig disse kurser udelukkende gennem hukommelsesbaserede metoder¹. Derudover viser eleverne ofte overfladisk læring af begreberne^1,2,3. De vanskeligheder, som eleverne oplever at anvende refleksion og dybe læringsprocesser, er imidlertid ikke kun kognitive. Mange studerende føler angst og demotivation konfronteret med disse kurser^4,5. Faktisk har disse vanskeligheder en tendens til at vare ved under de studerendes uddannelser⁶. Det er derfor vigtigt at udforske uddannelsesstrategier, der motiverende og kognitivt forbereder eleverne til dyb læring, uanset deres forskellige dispositioner.

Det er især nyttigt at finde strategier, der supplerer typiske instruktions tilgange. En af de mest typiske er direkte instruktion. Direkte instruktion betyder fuldt ud at vejlede eleverne fra indførelsen af nye koncepter med eksplicit information om disse begreber og derefter følge det med konsolideringsstrategier som problemløsningsaktiviteter, feedback, diskussioner eller yderligere forklaringer^7,8. Direkte instruktion kan være effektiv til nem overførsel af indhold^8,9,10. Men de studerende ofte ikke reflektere over vigtige aspekter, såsom hvordan indholdet relaterer til deres personlige viden, eller potentielle procedurer, der kunne arbejde og ikke¹¹. Det er derfor vigtigt at indføre komplementære strategier for at få eleverne til at tænke kritisk.

En sådan strategi er problemløsning før instruktion (PS-I) tilgang¹², også kaldet Opfindelse tilgang¹¹ eller Productive Failure tilgang¹³. PS-I er anderledes end direkte undervisning i den forstand, at eleverne ikke er direkte introduceret til begreberne, i stedet er der en problemløsningsfase forud for de typiske direkte undervisningsaktiviteter, hvor eleverne søger individuelle løsninger på problemer, før de får nogen forklaring på procedurer for at løse dem.

I dette indledende problem forventes eleverne ikke fuldt ud at opdage målkoncepterne¹³. Studerende kan også føle kognitiv overbelastning^14,15,16 og endda negativ indflydelse¹⁷ med usikkerheden og de mange aspekter at overveje. Denne oplevelse kan dog være produktiv på lang sigt, fordi den kan lette kritisk tænkning om vigtige funktioner. Specifikt kan det oprindelige problem hjælpe eleverne med at blive mere opmærksomme på hullerne i deres viden¹⁸, aktivere forudgående viden relateret til indholdet til at dække¹³og øge motivationen på grund af muligheden for at basere deres læring på personlig viden^7,17,19.

Med hensyn til læring ses virkningerne af PS-I generelt, når resultaterne evalueres med deep learning-indikatorer^20,21. Generelt er der ikke fundet nogen forskelle mellem studerende, der lærte gennem PS-I, og dem, der lærte gennem direkte instruktion med hensyn til proceduremæssig viden^20,22, som henviser til evnen til at reproducere lærde procedurer. Men studerende, der går gennem PS-I generelt udviser højere læring i konceptuel viden^7,19,23, som henviser til at forstå det dækkede indhold, og overførsel^7,15,19,24, som henviser til kapacitet til at anvende denne forståelse til nye situationer. For eksempel viste en nylig undersøgelse i en klasse om statistisk variation, at studerende, der fik mulighed for at opfinde deres egne løsninger til måling af statistisk variation, før de modtog forklaringer om de generelle begreber og procedurer i dette emne, demostrated bedre forståelse i slutningen af klassen end dem, der var i stand til direkte at studere de relevante begreber og procedurer, før de blev involveret i nogen problemløsningsaktivitet²³. Nogle undersøgelser har dog ikke vist nogen forskelle i læring^16,25,26 eller motivation^19,26 mellem PS-I og direkte instruktionsalternativer eller endnu bedre læring i direkte instruktionsalternativer^14,26, og det er vigtigt at overveje potentielle kilder til variation.

De designfunktioner, der ligger til grund for implementeringen af PS-I, er en vigtig funktion²⁰. En systematisk gennemgang²⁰ viste, at der var større sandsynlighed for at være en læringsfordel for PS-I frem for direkte instruktionsalternativer, når PS-I-interventionerne blev implementeret med mindst en af to strategier, enten ved at formulere det oprindelige problem med kontrasterende sager eller opbygge den efterfølgende instruktion med detaljeret feedback om de studerendes løsninger. Kontrasterende tilfælde består af forenklede eksempler, der adskiller sig i nogle få vigtige karakteristika¹¹ (se figur 1 for eksempel), og kan hjælpe eleverne med at identificere relevante funktioner og evaluere deres egne løsninger under det oprindelige problem^11,20. Den anden strategi, der giver forklaringer, der bygger på de studerendes løsninger¹³, består i at forklare det kanoniske koncept og samtidig give feedback om de råd og begrænsninger af løsninger, der genereres af studerende, hvilket også kan hjælpe eleverne med at fokusere på relevante funktioner og evaluere hullerne i deres egen viden²⁰, men efter den indledende problemløsningsfase er afsluttet (se figur 3 for et eksempel på stilladserne fra elevernes typiske løsninger).

I betragtning af den støtte i litteraturen for disse to strategier, kontrasterende sager og byggeundervisning på de studerendes løsninger, er det vigtigt at overveje dem, når fremme inddragelsen af PS-I i reel pædagogisk praksis. Dette er det første mål i vores protokol. Protokollen indeholder materialer til en PS-I intervention, der inkorporerer disse to principper. Det er en protokol, der, mens den kan tilpasses, kontekstualiseres til en lektion om statistisk variation, en meget almindelig lektion for universitets- og gymnasieelever, der generelt er målgrupperne i litteraturen på PS-I²⁹. Den indledende problemløsningsfase består i at opfinde variabilitetsforanstaltninger for indkomstfordelinger i lande, som er et kontroversielt emne^30, der kan være velkendt for studerende inden for mange læringsområder. Derefter leveres materialer til studerende til at studere løsninger på dette problem i et arbejdede eksempel og til et foredrag, der inkorporerer diskussion af almindelige løsninger produceret af studerende sammen med indlejrede praksisproblemer.

Det andet mål med vores protokol er at gøre den eksperimentelle evaluering af PS-I tilgængelig for undervisere og forskere, hvilket kan lette undersøgelsen af PS-I fra en større vifte af perspektiver og samtidig opretholde nogle betingelser konstant på tværs af litteraturen. Men betingelserne for denne eksperimentelle evaluering er fleksible til ændringer. Den eksperimentelle evaluering, der er beskrevet i protokollen, kan anvendes i almindelige lektioner, da studerende i en enkelt klasse kan tildeles materialerne til PS-I-betingelsen eller materialerne til en direkte instruktionstilstand på samme tid (Figur 4). Denne direkte instruktion betingelse er også tilpasningsdygtige til forskning og uddannelse behov, men som oprindeligt beskrevet i protokollen studerende starter med at få de første forklaringer om målet konceptet med det arbejdede eksempel, og derefter konsolidere denne viden med en praksis problem (kun præsenteret i denne tilstand for at kompensere for den tid PS-I studerende bruger på det oprindelige problem), og med^{foredraget 23}. Potentielle tilpasninger omfatter at starte med foredraget og derefter have eleverne til at gøre problemløsning aktivitet, som er en typisk kontrol betingelse for at sammenligne PS-I, der ofte har ført til bedre læring for PS-I betingelse^7,13,19,26. Alternativt kan kontroltilstanden reduceres til udforskning af et fungerende eksempel efterfulgt af forelæsningsfasen, som, selv om en mere forenklet version af direkte instruktionsmetoder end oprindeligt foreslået, er mere almindelig i litteraturen og har ført til varierede resultater, hvor nogle undersøgelser indikerer bedre læring i PS-I^15,24, og andre angiver bedre læring fra denne type direkte instruktionstilstand^14,26.

Endelig er et tredje mål med protokollen at give ressourcer til evaluering af, hvordan studerende med forskellige dispositioner og kognitive evner kan drage fordel af PS-I¹⁵. Evalueringen af disse dispositioner er især vigtig, hvis vi overvejer de negative dispositioner, som nogle studerende ofte har med STEM-kurser, og det faktum, at PS-I stadig kan producere negative reaktioner i nogle tilfælde¹⁴. Der forskes imidlertid kun lidt i dette.

På den ene side, da PS-I letter foreningen af læring med individuelle ideer, snarere end blot formel viden, PS-I kan hypotese som værende i stand til at hjælpe med at motivere studerende fra lave akademiske niveauer, dem, der har lave følelser af kompetence, eller lav motivation om emnet^13,27. En undersøgelse viste, at studerende med lav beherskelse orientering, dvs færre mål i forbindelse med personlig læring, nydt mere fra PS-I end dem med højere motivation til at lære²⁷. På den anden side kan studerende med andre profiler støde på vanskeligheder, når de er involveret i PS-I. Mere specifikt spiller metakognition en vigtig rolle i PS-I³¹, og studerende med lave metakognitionsfærdigheder drager muligvis ikke fordel af PS-I på grund af vanskeligheder med at være opmærksom på deres videnshuller eller kræsne relevant indhold¹⁵. Da den indledende fase af PS-I er baseret på produktion af individuelle løsninger, kan studerende med lave divergerende evner, vanskeligheder, der genererer en række svar i en given situation, drage mindre fordel af PS-I end andre studerende. Protokollen indeholder pålidelige instrumenter til vurdering af disse dispositioner (tabel 1), selv om andre kan overvejes.

Sammenfattende har denne protokol til formål at gøre en implementering af en PS-I-intervention, der følger accepterede principper i PS-I-litteraturen, tilgængelig for undervisere og forskere. Derudover giver protokollerne en eksperimentel evaluering af denne intervention og letter evalueringen af elevernes kognitive og motiverende dispositioner. Det er en protokol, der ikke kræver adgang til nye teknologier eller specifikke ressourcer, og som kan ændres på grundlag af forsknings- og uddannelsesbehov.

Protocol

Denne protokol følger Helsinki-erklæringen om etiske principper for forskning med mennesker, men anvender disse principper på de ekstra vanskeligheder med at integrere forskning i det virkelige liv i uddannelse³². Konkret kan hverken tildelingen af læringsbetingelser eller beslutningen om at deltage have konsekvenser for elevernes læringsmuligheder. Derudover opretholdes fortroligheden og de studerendes anonymitet, selv når det er lærerne, der står for evalueringen. Protokollens formål, anvendelsesområde og procedurer er blevet godkendt af Fyrstendømmet Asturiens (Spaniens Forskningsetiske Komité) (reference: 242/19).

Bemærk, at hvis brugeren kun er interesseret i at implementere PS-I-tilgangen, er kun trin 6 (uden at tildele deltagere til kontrolbetingelsen) og trin 7 relevante. På trods af dette kan trin 5 og 9 tilføjes som øvelsesøvelser for studerende. Hvis brugeren også er interesseret i den eksperimentelle evaluering, er det vigtigt, at eleverne arbejder individuelt under trin 4, 5, 6 og 9. Det anbefales derfor, at der i disse trin arrangeres studiepladser, så der er en tom plads ved siden af hver elev.

Afhængigt af bekvemmeligheden kan trinnene implementeres kontinuerligt i en enkelt klassesession eller med efterfølgende trin i en anden klassesession.

1. Information til studerende om formålet med og procedurerne for undersøgelsen

1. Tag 10 minutter af en klasseperiode for at informere eleverne om undersøgelsen.
2. Forklar udtrykkeligt de studerende det generelle formål med undersøgelsen, deres frihed til at give samtykke til at deltage, det faktum, at de frit kan trække sig tilbage, og forsikringen om anonymitet og fortrolighed i databehandlingen.
   1. Fortæl dem, at det generelle formål med undersøgelsen er at udforske effekten af forskellige uddannelsesmæssige tilgange samt at evaluere indflydelsen af de studerendes kognitive og affektive dispositioner på effekten af disse tilgange.
   2. Fortæl dem, at selv om de vil blive tildelt en af de to tilgange, vil indholdet, der er dækket af de to betingelser, være det samme. Informer dem om, at de aktiviteter, der anvendes under begge forhold, vil være tilgængelige for alle studerende ved undersøgelsens afslutning.
   3. Lad dem vide, at de frit kan deltage i undersøgelsen, og at de til enhver tid kan forlade studiet uden at påvirke deres læringsmuligheder eller deres karakterer. Hvis de ikke ønsker at deltage i undersøgelsen, kan de udføre læringsaktiviteterne uden at aflevere dem. Derudover kan ikke-deltagere i løbet af den korte tid, hvor de udfylder spørgeskemaer, studere andet materiale.
   4. Informer dem om, at deres deltagelse vil være anonym, og at fortroligheden vil blive opretholdt til enhver tid, et vilkårligt identifikationsnummer vil blive brugt til at kombinere dataene på tværs af forskellige sessioner og aktiviteter.
3. Giv de studerende to kopier af den informerede samtykkeformular (bilag A), som også indeholder forskerens kontaktoplysninger. Bed dem om at signere en kopi til dig og beholde den anden kopi for sig selv.
   BEMÆRK: Denne protokol er rettet mod universitetsstuderende, hvor der ikke er behov for forældrenes tilladelse. Det kunne generaliseres til lavere uddannelsesniveauer, men for studerende, der er lovligt mindreårige, ville forældrenes informerede samtykke også være nødvendigt.
4. Hvis de studerende føjes til undersøgelsen i senere faser af protokollen, skal du bede dem om at udfylde det informerede samtykke som beskrevet i dette afsnit, før de tilmelder sig undersøgelsen.

2. At give de studerende et identifikationsnummer, der ikke er knyttet til andre poster

1. For at bevare de studerendes svars anonymitet skal du tilfældigt tildele hver elev et identifikationsnummer (f.eks. forberede en taske med tilfældige tal og bede hver elev om at vælge en, e-maile hver elev et tilfældigt tal via en webapplikation). Bed dem om at notere nummeret på et sted, hvor det vil være tilgængeligt i de efterfølgende evalueringer i protokollen.
   BEMÆRK: Hvis undersøgelsen udføres via en online applikation, der gør det muligt at spore studerendes svar anonymt, er dette ikke nødvendigt.

3. Udfyldelse af spørgeskemaer om kognitive og affektive dispositioner og grundlæggende demografiske data

1. Reserver 10 minutter i en klasseperiode for at administrere spørgeskemaerne til alle elever i klassen.
2. Giv de studerende, der beslutter ikke at deltage i eksperimentet, andre læringsmuligheder, f.eks. at arbejde individuelt med andet indhold.
3. Bed eleverne om at udfylde spørgeskemaerne om deres dispositioner, dette kan gøres ved hjælp af spørgeskemaerne i tillæg B. Bed dem om at arbejde individuelt.
   BEMÆRK: Sættet af spørgeskemaer i bilag B omfatter den kognitive kompetenceskala i undersøgelsen af holdninger til statistik (SATS-28) ³³, Mastery Approach Scale i spørgeskemaet om præstationsmål-^{revideret 34} , reguleringen af cognitionsskalaen for metakognitive bevidsthedsoversigt³⁵og demografiske spørgsmål.
   1. For at kontrollere potentielle virkninger af forurenende stoffer i forbindelse med den rækkefølge, som de studerende udfylder spørgeskemaerne i, skal du tilfældigt udlevere forskellige versioner af spørgeskemaarkene, der varierer i den rækkefølge, som spørgeskemaerne præsenteres i. I tillæg B-1 findes der forskellige trykte udgaver af de foreslåede spørgeskemaer med forskellige ordrer.
      BEMÆRK: Hvis spørgeskemaerne udfyldes digitalt, skal du oprette links til de forskellige ordrer og tilfældigt distribuere de fire links blandt eleverne i klassen (f.eks. på tværs af grupper oprettet efter alfabetisk rækkefølge).
4. Giv eleverne 7 minutter til at udfylde spørgeskemaerne. Instruktioner er inkluderet i spørgeskemaerne, og der er ikke behov for yderligere instruktioner.

4. Administration af den divergerende tænkningstest

1. Hvis denne test er af interesse, skal du tage 10 minutter i en klasseperiode for at administrere Alternative anvendelser Task^36,37, som måler flydende divergerende tænkning for alle elever i klassen.
2. Giv hver elev blankt papir og bed dem om at skrive deres identifikationsnummer.
3. Forklar instruktionerne i testen.
   1. Fortæl dem, at de vil blive forsynet med et objekt, der har en fælles brug, men de bør komme med så mange andre anvendelser, som de kan.
   2. Giv dem et eksempel (f.eks. hvis jeg præsenterer dig for en avis, som almindeligvis bruges til at læse, skal du skrive alternative anvendelser, såsom at bruge den som en midlertidig hat for at beskytte dig mod solen eller for at line bunden af en rejsetaske)³⁸.
4. Læs det første punkt i testen højt, og skriv det på tavlen: "Skriv så mange anvendelser, du kan tænke på for en mursten". Giv eleverne to minutter til at skrive deres svar. Når de to minutter er ovre, skal du bede eleverne om at vende deres papir til den anden side.
5. Læs det andet punkt i testen højt, og skriv det på tavlen: "Skriv så mange anvendelser, du kan tænke på for en papirclips". Giv eleverne to minutter til at skrive deres svar.
6. Når de to minutter er ovre, så bed eleverne om at holde op med at skrive og indsamle deres papirer.

5. Afslutning af forprøven af tidligere akademisk viden

1. Reserver 15 minutter i en klasseperiode til administration af den tidligere akademiske viden før prøve i tillæg C.
   BEMÆRK: Fortesten handler om central tendens, som er relevant for at assimilere indholdet om variabilitet, der skal læres under de efterfølgende læringsforhold i trin 6⁷. Der bør ikke gives klasseindhold om central tendens til eleverne mellem administrationen af denne pre-test og Trin 6. Vi anbefaler heller ikke at erstatte denne fortest med en anden fortest, der dækker variabilitet, fordi det kan skabe en PS-I-effekt, der kan forurene resultaterne af eksperimentet²⁶.
2. Distribuer forprøven til kursusdeltagerne. Fra dette punkt, bede dem om at arbejde individuelt.
   1. Giv eleverne 10 minutter til at gennemføre forprøven. Instruktioner er inkluderet i testen, og der er ikke behov for flere specifikationer. Når tiden er stået op, så bed eleverne om at vende deres papir og aflevere det til dig.

6. Overdragelse til og administration af de to læringsbetingelser

1. Tag 35 minutter af en klasseperiode for at administrere de to læringsforhold i samme klasseværelse.
   BEMÆRK: For at forhindre pålidelighedsfejl på grund af tid anbefaler vi ikke mere end en uge mellem færdiggørelsen af spørgeskemaerne og testene i trin 2 og 3 og dette trin.
2. Sørg for, at opgavebøgerne er korrekt forberedt og indeholder materialerne til de to betingelser.
   BEMÆRK: BNP pr. indbygger er blevet valgt til at kontekstualisere disse undervisningsmaterialer af flere grunde: For det første er det et kontroversielt emne^30, der kan være velkendt for studerende fra mange læringsområder, og for det andet er det en forholdsvariabel, der tillader brug af forskellige variabilitetsforanstaltninger, der diskuteres i løbet af lektionen (interval, interkvartilområde, standardafvigelse, varians og variationskoefficient).
   1. For PS-I-betingelsen skal du trykke den tilsvarende opgavebog i tillæg D-1, som indeholder: opfindelsesproblemaktiviteten, hvor studerende bliver bedt om at opfinde et ulighedsindeks; aktiviteten Arbejdede eksempel, hvor de studerende kan studere løsningerne på dette problem.
   2. For betingelsen direkte instruktion skal du udskrive den tilsvarende opgavebog i tillæg D-1, som indeholder: aktiviteten Bearbejdet eksempel (det samme bearbejdede eksempel, der er givet til PS-I-betingelsen); øvelsesproblemet kombineret med dette fungerede eksempel.
      BEMÆRK: Det er vigtigt, at det praksisproblem, der indgår i materialerne til denne tilstand, ikke er til stede i PS-I-betingelsen. Det er inkluderet for eksperimentelt at kompensere for den ekstra tid, som PS-I studerende på opfindelsen problem. En iboende begrænsning af PS-I design er vanskeligheden ved at kontrollere for ækvivalens med hensyn til både tid og materialer. Selv i design, hvor PS-I-betingelsen og kontroltilstanden kun adskiller sig i den rækkefølge, som undervisningsmaterialer præsenteres i (det vil sige enten at præsentere et problem før en eksplicit instruktionsfase eller præsentere nøjagtigt det samme problem efter nøjagtig den samme eksplicitte instruktionsfase), opnås ækvivalens ikke, fordi et problem, der løses, før instruktionen forventes at tage længere tid end efter instruktion. Denne protokol behandler dette problem på samme måde som andre undersøgelser²⁴, ved at inkludere ekstra materialer i den direkte instruktionstilstand.
   3. Adskil de to aktiviteter i hver opgavebog ved at binde de papirer, der svarer til den anden aktivitet (f.eks. med et klip eller en sticky note), sammen, så eleverne ikke kan se indholdet af den anden aktivitet, mens de udfører den første aktivitet.
3. Informer eleverne om den procedure, der skal følges i dette specifikke trin.
   1. Fortæl dem, at afhængigt af den opgavebog, de er tildelt, vil de have to forskellige par aktiviteter, men alle elever vil se det samme indhold, og i slutningen af lektionen vil de alle have adgang til alle aktiviteterne.
   2. Lad dem vide, at de får at vide, hvornår de skal starte den første aktivitet, og hvornår de skal flytte til den anden aktivitet. Fortæl dem også, at papirerne til den anden aktivitet har været forpligtet til at forhindre dem i at se før det rette tidspunkt.
   3. For at mindske den potentielle frustration i forbindelse med frygten for at mislykkes skal de fortælle dem, at selv om de kan finde nogle aktiviteter vanskelige, bør de forsøge at se disse vanskeligheder som læringsmuligheder³⁹.
4. Tildel tilfældigt de to opgavebøger til eleverne i klassen
   BEMÆRK: For at undgå kontaminerende faktorer relateret til, hvor eleverne sidder, skal du distribuere opgavebøgerne homogent på tværs af de forskellige dele af klassen. For eksempel, som du går rundt i klassen give PS-I opgavebogen til en elev, så den direkte instruktion opgavebog til den næste elev.
5. Når du har distribueret opgavebøgerne til alle eleverne i klassen, skal du bede dem om at begynde at arbejde individuelt på den første aktivitet.
   1. Fortæl eleverne, at de har 15 minutter til den første aktivitet. Instruktioner er inkluderet i papirarkene, og der er ikke behov for mere generelle instruktioner.
   2. Fortæl dem, at du er tilgængelig for eventuelle spørgsmål, men undgå at give eleverne andet indhold end det, de har i opgavebøgerne.
      BEMÆRK: Især for studerende at løse opfindelsen problem, undgå at guide dem i retning af konventionelle løsninger, fordi det kan genvej udviklingen af deres egen viden¹¹. I stedet foreslår vi tre mulige svar på de studerendes spørgsmål^11:a) hjælpe dem med at afklare deres egne processer ved at bede dem om at forklare, hvad de laver; b) hjælpe dem med at vejlede sig selv med deres intuition ved at spørge dem, hvilket land de mener har større ulighed end andre lande; c) hjælpe dem med at forstå aktivitetens mål ved at bede dem om at udarbejde generelle indekser, der tager højde for de forskelle, de ser, kan du give eksempler på andre kvantitative indekser (f.eks. "gennemsnittet er et indeks til beregning af centralværdien i en fordeling").
6. Når de 15 minutter for den første aktivitet er forbi, skal du bede eleverne om at gå videre til deres tilsvarende anden aktivitet, som de skal fjerne klippet eller sticky note.
   1. Fortæl dem, at de har 15 minutter til den anden aktivitet. Instruktioner er inkluderet i papirarkene, og der er ikke behov for yderligere generelle instruktioner. Fortæl dem, at du er tilgængelig for eventuelle spørgsmål.
      BEMÆRK: Eleverne har adgang til indholdet fra den forrige aktivitet.
7. Når de 15 minutter er ovre, skal du bede dem om at aflevere det færdige materiale til dig.

7. Administration af foredragets indhold

1. Reserver 40 minutter inden for en eller flere klasseperioder for at give foredraget om statistisk variation til alle elever i klassen.
   BEMÆRK: Protokollen kan afbrydes på ethvert tidspunkt under forelæsningen og kan fortsætte i den efterfølgende klassesession.
2. For at give foredraget skal du følge diasene, som kan findes på følgende link: https://www.dropbox.com/sh/aa6p3hs8esyf5xa/AACTvpVlEbdEtLVfBIbe9j7aa?dl=0.
   BEMÆRK: Filen indeholder animationer til at forskyde indholdet, kommentarer med foreslåede forklaringer til at give til studerende, og indikationer om den omtrentlige tid, der er afsat til hver forklaring. Det inkluderede indhold og aktiviteter handler om definitionen af variabilitet, brugen af forskellige variabilitetsmål (interval, interkvartilt område, varians, standardafvigelse og variationskoefficient), disse foranstaltningers egenskaber og deres fordele og ulemper i forhold til hinanden og andre suboptimale løsninger¹³. En yderligere beskrivelse af dette forslag til forelæsning findes i tillæg E. Brugeren kan tilpasse disse materialer afhængigt af forskellige faktorer såsom specifikt indhold til at dække i klassen, foretrukne instruktionsprincipper eller forskellige kulturelle udtryk.

8. Udfyldelse af nysgerrighedsspørgeskemaet

1. I slutningen af foredraget skal du give eleverne nysgerrighedsskalaen fra Epistemic Related Emotions Questionnaire⁴⁰ (tillæg F) og give dem 2 minutter til at fuldføre den. Mind eleverne om at skrive deres identifikationsnummer på spørgeskemaet, før de afleverer det tilbage.
   BEMÆRK: I litteraturen måles nysgerrighed ofte lige efter opfindelsesaktiviteten og de tilsvarende kontrolaktiviteter^14,17. Protokollen er fleksibel i forhold til dette og andre mulige tilpasninger i denne henseende. For nemheds skyld inkluderede vi kun måling af nysgerrighed i slutningen af lektionen, fordi det er relevant at undersøge PS-I's langsigtede virkninger på nysgerrighed, og fordi øget nysgerrighed lige efter opfindelsesaktiviteten delvist kan forklares ved, at studerende under opfindelsesaktiviteten modtager mindre information end under alternative aktiviteter, der bruges som kontrol.

9. Administration af læring efter testen

1. I overensstemmelse med læreren i hver klasse skal du tage 30 minutter i en klasseperiode for at administrere efterprøven.
2. Distribuer efterprøven i tillæg G til kursusdeltagerne. Bed dem om at arbejde på det individuelt.
   1. Giv eleverne 25 minutter til at udføre efter testen. Instruktioner er inkluderet i eftertesten, og der er ikke behov for yderligere generelle instruktioner.
3. Når de 25 minutter er stået op, bede dem om at aflevere post-test tilbage til dig.

10. Give de studerende feedback og alt undervisningsmateriale

1. Gør de materialer, der bruges til denne lektion, tilgængelige for eleverne. Power-point-diasene, materialerne til de to indlæringsbetingelser og løsningerne til forprøven og efterprøvningen findes i tillæg H.

11. Kodning af data

1. Beregn resultaterne for de forskellige skalaer i spørgeskemaerne ved at lægge alle varescorerne sammen inden for hver spørgeskemaskala (se bilag B for at få en oversigt over spørgeskemaposterne i de foreslåede spørgeskemaer).
2. Beregn scoren for divergerende tænkeflelighed ved at tælle alle de relevante svar, som hver elev har givet i begge elementer i opgaven Med alternative anvendelser^{Opgave 37}.
   BEMÆRK: Andre foranstaltninger, der ofte er kodet fra opgaven med alternative anvendelser,f.eks.
3. Beregn scoren for den forrige vidensfortest ved først at klassificere hvert element ved hjælp af svarnøglen i tillæg I-1 og derefter samle resultaterne for alle elementerne.
4. Beregn de forskellige læringsmål ved først at klassificere hvert element i efterprøven ved hjælp af svarnøglen i tillæg I-2 og derefter samle resultaterne for hvert læringsmål: scorer i punkt 1 til 3 for målingen af proceduremæssig læring, scorer i punkt 4-8 for det konceptuelle læringsmål og scorer i punkt 9-11 for overførsel af læringsmål.
   BEMÆRK: Andre foranstaltninger vedrørende læringsprocessen, såsom antallet af løsninger produceret af studerende under opfindelsesproblemet eller rigtigheden af løsningerne i alle problemløsningsaktiviteter, kan overvejes, men de vil ikke blive forklaret i denne protokol.

12. Analyse af dataene

Bemærk, at henvisninger i dette afsnit henviser til praktiske manualer om, hvordan man udfører analyserne med SPSS- og PROCESS-software, men andre programmer kan også bruges.

1. For at evaluere den generelle effekt af PS-I, sammenligne nysgerrighed og læring score af PS-I betingelse versus nysgerrighed og læring score af kontrol tilstand.
   BEMÆRK: Så længe antagelserne er opfyldt, anbefaler vi primært ANCOVA at kontrollere, om kovarianser skal disponeres. Som en anden mulighed anbefaler vi t-test for uafhængige grupper, og som en tredje mulighed anbefaler vi Mann-Whitney U-test⁴¹. Der kræves ingen mindste stikprøvestørrelse for disse analyser, men i betragtning af effektstørrelserne i tidligere litteratur (d =^{0,43) 21}anbefales det at udtage mindst 118 studerende pr. gruppe for at gøre det lettere at identificere virkningerne som signifikante (tosidede effektanalyser for forskelle mellem uafhængige midler, α = 0,05, β = 0,95,). Prøver større end 30 studerende pr. gruppe ville gøre det lettere at opfylde antagelserne om normalitet for ANCOVA eller t-test⁴¹.
2. Intuitivt at udforske mæglingseffekter (f.eks. formidling af nysgerrighed på læring) og/eller modererende indflydelse af dispositioner, udføre korrelationsanalyser mellem mæglervariablen (f.eks. nysgerrighed) og læringsvariablen (f.eks. konceptuel viden) under de to læringsforhold.
   BEMÆRK: Så længe antagelser er opfyldt, anbefaler vi primært brugen af Pearson korrelationer og som en anden mulighed anbefaler vi Spearman korrelationer⁴². Der kræves ingen mindste stikprøvestørrelse for disse analyser, men store prøver (f.eks. mere end 30 studerende pr. gruppe) ville gøre det lettere at opfylde de antagelser om normalitet, der er nødvendige for Pearson-korrelationer. Mulige moderationseffekter vil blive indikeret af dispositionsvariabler, der har forskellige korrelationsværdier i den ene læringstilstand i forhold til den anden. En mulig mæglingseffekt (f.eks. formidling af nysgerrighed om læring) ville blive indikeret, hvis den formidlende variabel er korreleret med læringsresultaterne i mindst én tilstand, og hvis niveauerne for denne variabel er forskellige i den ene læringstilstand sammenlignet med den anden (se resultaterne i trin 12.1).
3. At fortsætte med at evaluere en mæglingseffekt på læring og/eller den modererende indflydelse af elevernes dispositioner, udføre enten mæglingsanalyse, moderationsanalyse eller betinget procesanalyse (som kombinerer mægling og moderationsanalyse) afhængigt af den konceptuelle model til test⁴³, som ville variere afhængigt af de valgte hypoteser og/eller den foreløbige analyse i trin 12.2.
   BEMÆRK: Da disse analyser er baseret på flere regressioner og derfor er baseret på en statistisk tilgang med fast effekt for at gøre resultaterne så generelle som muligt, anbefaler vi en minimumsprøvestørrelse på 15 studerende pr. mæglingsvariabel, der indgår i konceptmodellen, plus 30 studerende pr. variabel moderation, der er inkluderet i modellen. Nogle programmer som PROCESS tillader kun medtagelse af maksimalt to modererende variabler på én gang. For at indarbejde mere modererende variabler, ville flere analyser skal køres ændre moderatorer inkluderet.

Representative Results

Denne protokol blev gennemført tilfredsstillende i en tidligere undersøgelse²³, med undtagelse af målinger af de studerendes dispositioner med hensyn til deres følelse af kompetence, mastery tilgangsmål, metakognition og divergerende tænkning.

For at håndtere disse dispositioner indeholder denne protokol foranstaltninger, der tidligere er valideret, og som har vist en høj pålidelighed (tabel 1).

Typiske løsninger genereret af studerende i opfindelsen problemet med PS-I tilstand kan ses i figur 3A-D. Studerende producerer normalt ikke den kanoniske løsning af standardafvigelse. De suboptimale løsninger, de producerer, afslører imidlertid refleksion over relevante aspekter af standardafvigelsen (f.eks. rækkevidde, opsummeringsafvigelser eller gennemsnitsafvigelser). Tidligere forskning har vist, at de mange forskellige løsninger i det oprindelige problem i PS-I var forbundet med videregående uddannelse, uanset rigtigheden af svaret⁴⁴. Ikke desto mindre er det vigtigt at bemærke, at manglen på respons i dette problem ikke er en indikator for studerende, der ikke nyder godt af det, da studerende kritisk kan reflektere over problemet uden at producere et synligt resultat.

En typisk løsning, der er udarbejdet af studerende i praksisproblemet i kontroltilstanden (figur 2), er vist i figur 3 E. Disse løsninger er mere homogene og i overensstemmelse med det kanoniske begreb standardafvigelse, fordi det er et problem, der blev præsenteret, efter at de havde studeret begreberne og procedurerne i arbejdseksepel( tillæg D-2).

Figur 5 gengiver et eksempel for rapportering af de generelle forskelle mellem PS-I og direkte instruktion i den eksperimentelle evaluering. Den er baseret på resultaterne af en tidligere undersøgelse, der fulgte denne protokol^23, hvor studerende i PS-I-betingelsen ikke var forskellige i proceduremæssig viden, overførsel af viden, nysgerrighed eller tidligere viden, men var forskellige i konceptuel viden.

Figur 6 viser et eksempel på rapportering af modererende effekt af en af de foreslåede studerende dispositioner, metakognitive evner. I dette hypotetiske eksempel lærte studerende med lavere metakognitive evner mere fra direkte undervisning end fra PS-I, mens dem med højere metakognitive evner nød mere godt af PS-I end af direkte instruktion.

Figur 1: Opfindelsesproblem i PS-I-betingelsen.  I dette problem²³ studerende i PS-I betingelse bliver bedt om at opfinde kvantitative indekser til at måle ulighed på tværs af de fire lande. Den er formuleret med teknikken i kontrasterende sager^11:landene udviser konsistens og variationer med hensyn til de relevante træk, og disse variationer er lette at beregne. Pinpanpun og Toveo har f.eks. Klik her for at se en større version af dette tal.

Figur 2: Øvelsesproblem i tilstanden Direkte instruktion. I dette problem²³ studerende i den direkte instruktion betingelse bliver bedt om at anvende de begreber og procedurer lært i arbejdseksempel. Klik her for at se en større version af dette tal.

Figur 3: Almindelige løsninger på opfindelsesproblemet og i praksisproblemet.  Billeder A-D viser almindelige løsninger i opfindelsesproblemet, som kan bruges i den bageste direkte instruktionsfase til stilladsindhold: (A) Sortimentet - let at beregne, men tager ikke højde for forskelle på tværs af alle indbyggere-; (B) Områdebaseret målpunkt - tager hensyn til flere indbyggere end intervallet, efterhånden som det forstærkes, når maksimumsværdier gentages, men ikke tager hensyn til alle værdier- (C) Gennemsnit af afvigelser - det tegner sig for forskelle på tværs af alle indbyggere, men det er forvirrende, fordi negative afvigelser trækker fra positive afvigelser-; (D) Gennemsnit af absolutte afvigelser - en begrebsmæssigt komplet opløsning svarende til den kanoniske opløsning af standardafvigelsen - (E) En typisk løsning på kontrolbetingelsens praksisproblem. Studerende i denne tilstand har allerede studeret arbejdseksepel, og derfor er de fleste af dem i stand til at reproducere og fortolke de kanoniske løsninger af standardafvigelsen korrekt. Klik her for at se en større version af dette tal.

Figur 4:Udformning af eksperimentel evaluering.  Efter afslutningen af spørgeskemaerne og prøverne til måling af elevernes dispositioner tildeles eleverne tilfældigt aktiviteterne under de to læringsbetingelser (alle elever forbliver i samme klasse). Når de studerende har gennemført disse aktiviteter, modtager de alle det samme foredrag om statistisk variation. Nysgerrighed og læring måles i slutningen af læringsprocessen. Klik her for at se en større version af dette tal.

Figur 5: Resultater om effekten af PS-I versus direkte instruktion.  Grafikken viser et typisk resultat af sammenligningen mellem PS-I-betingelsen og den direkte instruktionsbetingelse inden for hver afhængig variabel ved hjælp af data fra en tidligere undersøgelse, der brugte denne protokol²³. De to søjler i hver grafik repræsenterer midlerne til de to betingelser, mens de tilsvarende fejllinjer repræsenterer +/- 1 standardfejl på disse midler. * angiver signifikante resultater på 0,05-signifikansniveauet. Klik her for at se en større version af dette tal.

Figur 6: Hypotetiske resultater om de modererende virkninger af elevernes dispositioner. Grafikken viser et hypotetisk resultat om den modererende effekt af metakognitive evner på den relative effekt af PS-I til at fremme læring, hvor PS-I er mere effektiv end direkte undervisning kun for studerende, der rapporterer medium og høj metakognitive evner. Efter anbefalinger i⁴³, den 16^th , 50^th, og 86^th percentiler er blevet brugt til henholdsvis repræsentere studerende med lav, medium og høj metakogntive evner. Klik her for at se en større version af dette tal.

Konstruere	Målpunkt og beskrivelse
Kompetencefølelse	Den kognitive kompetenceskala i undersøgelsen af holdninger til statistik (SATS-28)33 kan anvendes (tillæg B2). Det består af 6 punkter, der spørger eleverne, hvor meget de er enige i udsagn om deres sans for kompetencelæringsstatistik (f.eks. "Jeg kan lære statistik"). Det har vist intern, konvergent og prædiktiv gyldighed og høj pålidelighed (α = 0,71 - 0,93)45.
Mål for mastery-tilgang	Mastery Approach Scale i spørgeskemaet til præstationsmålet revideret 34 kan bruges (tillæg B3). Det består af 3 punkter, der spørger eleverne, hvor meget de er enige med udsagn om at have læringsmål, der fokuserer på personlig læring (f.eks. "Jeg stræber efter at forstå indholdet af dette kursus så grundigt som muligt"). Det har vist intern, konvergent og prædiktiv gyldighed og høj intern pålidelighed (α =.84)34.
Metakognitiv forordning	Reguleringen af cognitionsskalaen for den metakognitive bevidsthedsoversigt46 kan anvendes (tillæg B4). Den består af 35 punkter, der spørger eleverne, hvor typisk det er for dem at bruge forskellige metakognitive strategier (f.eks. "Jeg revurderer mine antagelser, når jeg bliver forvirret"). Det har vist intern og prædiktiv gyldighed og høj pålidelighed (α = 0,88)46.
Divergerende tænkning	Flydende score fra Opgaven Alternative Anvendelser Opgave36 kan bruges. Den består i at præsentere eleverne for flere objekter (f.eks. en papirclips) og bede dem om at give så mange usædvanlige anvendelser for hvert objekt inden for en given tid. Det er en pålidelig score (H = 0,631), der er blevet internt valideret 47 og har vist prædiktiv gyldighed i versioner med forskellige udvidelser, varierende mellem 1 til 20 præsenterede objekter, og mellem 1 til 3 minutter givet for hvert objekt37,48,49. For tidsbegrænsninger inden for uddannelsesmæssige indstillinger foreslås en kort version af to objekter og to minutter pr. objekt37 i denne protokol.
Tidligere akademisk viden	For at tilpasse sig det specifikke indhold, der er omfattet af denne protokol, er der blevet tilpasset en indlæringsforundersøgelse (tillæg C) fra en pålidelig (α =.75) forprøve, der blev anvendt i en tidligere undersøgelse 7. Den består af 5 punkter, der spørger eleverne om centrale tendensforanstaltninger, der er relevante for assimilering af variabilitetsindhold.

Tabel 1: Foreslåede konstruktioner og foranstaltninger til evaluering af elevernes dispositioner. Fem konstruktioner om elevernes dispositioner foreslås at blive evalueret som moderatorer i effekten af PS-I. Der beskrives et forslag til foranstaltning for hver konstruktion vedrørende antallet af varer, beskrivelsen af varerne og dokumentation for gyldighed og pålidelighed.

Konstruere	Målpunkt og beskrivelse
Nysgerrighed	Nysgerrighedsskalaen i epistemisk-relaterede følelserSpørgeskema 40 kan bruges (tillæg F). Den består af tre punkter, der beder eleverne om at vurdere den intensitet, de følte nysgerrige, interesserede og nysgerrige. Det har vist intern og prædiktiv gyldighed, og høj pålidelighed (α = 0,88)40.
Læring (procedure, konceptuel og overførsel)	For at vurdere indlæringen af det specifikke variationsindhold, der er omfattet af denne protokol, er der blevet tilpasset en læringsposttest (tillæg G) ud fra en pålidelig (α =.84) efter testen, der blev anvendt i en tidligere undersøgelse7. Den består af 12 punkter: tre punkter, der henvises til proceduremæssig læring (f.eks. punkt 1, hvor eleverne skal beregne standardafvigelsen), seks punkter, der henvises til konceptuel læring (f.eks. punkt 4, hvor eleverne skal ræsonnere om komponenter i standardafvigelsesformlen), og tre punkter, der henvises til overførsel (f.eks. punkt 10, hvor eleverne skal udlede en procedure for at sammenligne point med forskellige målinger).

Tabel 2: Foreslåede konstruktioner og foranstaltninger til vurdering af PS-I's effektivitet. De foreslåede instrumenter til måling af nysgerrighed og tre typer læring (proceduremæssig, konceptuel og overførsel) er beskrevet, herunder oplysninger om antallet af elementer, beskrivelse af elementerne og dokumentation om gyldighed og pålidelighed.

Discussion

Formålet med denne protokol er at vejlede forskere og undervisere i gennemførelsen og evalueringen af PS-I-tilgangen i virkelige klasseværelsessammenhænge. Ifølge nogle tidligere erfaringer kan PS-I hjælpe med at fremme deep learning og motivation hos studerende^19,21,24, men der er behov for mere forskning om dens effektivitet hos studerende med forskellige evner og motiverende dispositioner^14,27. Mere specifikt kan undervisere ved hjælp af dette dokument følge en PS-I-implementeringsprotokol for en statistikklasse designet i henhold til de mest accepterede principper i PS-I-litteraturen^11,13,20,50 (Trin 6-7). Derudover kan undervisere og forskere følge en integreret eksperimentel evaluering af effekten af denne implementering hos studerende med forskellige motiverende og / eller kognitive dispositioner (alle trin). Dette forsøg er ikke i strid med de uddannelsesmæssige principper om lige muligheder, frit samtykke til at deltage eller respekt for elevernes fortrolighed, og det er heller ikke nødvendigt at anvende nye teknologier.

Protokollen er fleksibel og kan ændres eller anvendes i henhold til nye forsknings- eller uddannelsesbehov. Ikke desto mindre giver protokollen som beskrevet i dette dokument mulighed for at evaluere PS-I's effektivitet med hensyn til nysgerrighed og forskellige typer læring, herunder læringsforanstaltninger, der kræver deep learning, såsom konceptuel viden og overførsel af viden, samt læringsforanstaltninger, der ikke nødvendigvis kræver deep learning, såsom proceduremæssig viden. Både motivation og deep learning er betydelige bekymringer for alle instruktører. NATURFAGK-kursusdesignere beskæftiger sig især med disse emner , da en stor del af de studerende har svært ved at forstå disse kurser^1,2,3 og oplever forskellige motivationsspørgsmål^4,5. Protokollen giver også vejledning til evaluering af effekten af PS-I hos studerende i form af nogle kognitive og / eller motiverende dispositioner, som også er et problem i STEM uddannelse, og i den relative effekt af PS-I. De dispositioner, der foreslås i protokollen, omfatter tidligere akademisk viden, mastery-approach-mål, følelse af kompetencelæring af emnet, metakognition og divergerende tænkning.

Eksempler på ændring af protokollen baseret på ideer foreslået i litteraturen omfatter en forøgelse af antallet af problemer under^{forholdene 15}, hvilket giver eleverne mere tid til problemudforskning⁴⁴og inklusive forskellige variabler for at tage højde for mediationale læringsprocesser^14,15,24. Protokollen er også fleksibel med hensyn til anvendelsen af de forskellige trin i forskellige klassesessioner. Hvert trin kan udføres i samme klasseperiode som det foregående trin, og forskere og undervisere kan beslutte, hvordan de vil organisere trinene til deres egen bekvemmelighed.

Ikke desto mindre er en kritisk faktor for evalueringen, at de studerende samarbejder om at overholde evalueringsreglerne. For eksempel skal de i nogle trin arbejde individuelt, så mulige interaktioner mellem dem ikke forurener resultaterne. For at opnå dette er det vigtigt for studerende at blive informeret om procedurerne, og for at de skal være lige involveret i læringsaktiviteterne, uanset om de ønsker at deltage i den eksperimentelle evaluering eller ej³², som beskrevet i trin 1 i protokollen. For de aktiviteter, der kræver individuelt arbejde, anbefalede vi også at sikre, at der er mellemrum tilbage mellem studerende.

Sammenfattende kan denne protokol være nyttig til at gøre PS-I og dens eksperimentelle evaluering mere tilgængelig for undervisere og forskere, give dem materialer og vejledning, give dem fleksibilitet til at anvende den i henhold til deres forsknings- og uddannelsesbehov og foreslå analysemuligheder, der tilpasser sig forskellige stikprøvestørrelser. En mulig begrænsning her kan dog være den tid, det tager at udfylde spørgeskemaer og tests om studerendes dispositioner. Når brugeren er interesseret i at evaluere disse dispositioner, men der ikke er tid til rådighed til at gøre det i klassen, kan disse spørgeskemaer udfyldes som en tildeling uden for klassen. En anden begrænsning er den potentielle målefejl i nogle af de foreslåede dispositionsforanstaltninger, der ikke specifikt kontekstualiseres i indlæringen af variabilitetsmål, men snarere i generel læring (metakognition og divergerende tænkning) eller generel statistiklæring (mastery tilgangsmål og følelse af kompetence). Denne fejl bør betragtes som en potentiel begrænsning af alle undersøgelser, der udføres med denne protokol. En sidste begrænsning er, at den tidligere vidensfortest og læringsposttesten ikke er validerede foranstaltninger i den tidligere litteratur indtil videre, da indholdet af implementeringen er meget specifikt, og validerede foranstaltninger for dem ikke er tilgængelige. Det forventes dog, at den fremtidige gennemførelse af denne protokol vil fremme deres validering.

På samme måde vil den fremtidige anvendelse af protokollen også definere nye forskningsbehov og nye variationer, der skal anvendes. At have protokollen som en fælles kilde kan bidrage til at give en vis systematisk struktur på tværs af forskellige undersøgelser. Så længe underviserne finder den eksperimentelle evaluering af denne protokol forenelig med deres uddannelsespraksis, kan denne protokol desuden tilskynde til inddragelse af undervisere med PS-I-forskning, hvilket ville betyde et bredere professionelt perspektiv i forskningsprocessen og bedre adgang til stikprøve³².

Materials

Name	Company	Catalog Number	Comments
SPSS Program	International Business Machines Corporation (IBM)		Other programs for general data analysis might be used instead
PROCESS program	Andrew F. Hayes (Ohio State University)		Freely accesible at: http://www.processmacro.org. Other programs for mediation, moderation, or conditional process analyses might be used instead
Cognitive Competence Scale in the Survey of Attitudes towards Statistics (SATS-28)	Candace Schau (Arizona State University)		In case it is used, request should be requested from the author, who holds the copyright
Mastery Approach Scale in the Achievement Goal Questionnaire-Revised	Andrew J. Elliot (University of Rochester)		In case it is used, request should be requested from the author
Regulation of Cognition Scale of the Metacognitive Awareness Inventory	Gregory Schraw (University of Nevada Las Vegas)		In case it is used, request should be requested from the creator