De nauwkeurigheid van snapoordelen evalueren

1. Organiseer materialen.

1. Maak video's, waaronder eerder gefilmd materiaal van 10 universitaire docenten. De inhoud van het onderwijs moet een breed scala aan vakgebieden bestrijken.
2. Identificeer voor elke docent drie afzonderlijke clips van 10 seconden. De drie clips moeten respectievelijk afkomstig zijn uit het begin, midden en einde van de les en de docent alleen in beeld laten zien.
3. Combineer de drie clips in willekeurige volgorde volgens Latijnse vierkantsontwerpen; doe dit voor elke docent. Dit zal resulteren in 30 videoclips in totaal.
4. Verzamel de eindevaluatie van studenten voor elke van de 10 docenten in de video's. Deze evaluaties komen van de daadwerkelijke cursussen die overeenkomen met de videobeelden.

2. Deelnemerswerving

1. Voer een krachtanalyse uit en werf een voldoende aantal deelnemers aan om de videoclips te bekijken en te beoordelen.
   1. Vrouwen werden in het oorspronkelijke onderzoek geprefereerd omdat eerder onderzoek de opvatting ondersteunt dat zij beter zijn dan mannen in het decoderen van non-verbaal gedrag.

3. Gegevensverzameling

1. Informeer de deelnemers om de docent te beoordelen op basis van het algehele non-verbale gedrag. Vraag de deelnemers in het bijzonder om de docent te beoordelen op 15 onderwijsgerelateerde dimensies (bijv. aanvaardend, actief, attent, dominant, eerlijk, sympathiek, warm, professioneel, etc.) op een 9-punts Likert-schaal (1= helemaal niet; 9 = zeer).
   1. Deelnemers mogen geen andere training ontvangen.
2. Om moleculair non-verbaal gedrag (d.w.z. specifieke non-verbale acties) te beoordelen, laten twee betaalde, getrainde coders dezelfde videoclips bekijken.
3. Tel voor elke clip het aantal knikken, hoofdschudden, glimlachen, lachen, gapen, fronsen, lipbijten, neerwaartse blikken, zelf aanraken, spelend bewegen, nadrukkelijke gebaren en zwakke gebaren die de docenten maakten.
4. Laat de twee beoordelaars ook de symmetrie en lichaamshouding van de docent aangeven.
5. Om rekening te houden met effecten van aantrekkelijkheid, hebben ook twee coders de fysieke aantrekkelijkheid van elke docent beoordeeld op basis van een 5-punts Likert-schaal (1 = helemaal niet; 5 = zeer) op basis van een enkele foto van elke docent uit de video.
6. Informeren de deelnemers volledig.

4. Gegevensanalyse

1. Merk op dat de primaire variabele van belang is de onderwijseffectiviteit, die wordt beoordeeld via beoordelingen gemaakt door de studenten van de docenten aan het einde van het semester.
   1. Dit omvat twee items waarin de studenten werden gevraagd om de prestaties van de docent en de algehele kwaliteit van de cursus te beoordelen.
2. Zet deze beoordelingen om in percentages.
   1. Het gemiddelde percentage van de twee evaluatie-items dient als de primaire afhankelijke variabele van belang.
3. Analyseer de beoordelingen van molair non-verbaal gedrag op betrouwbaarheid.
4. Bereken op basis van deze gegevens een algemeen gemiddelde, dat het samengestelde score van het molaire non-verbaal gedrag vertegenwoordigt.
   1. Zowel het samengestelde score en elk van de individuele 15 beoordelingen worden beschouwd als potentiële voorspellers van onderwijseffectiviteit.
5. Analyseer de beoordelingen van de coders van moleculaire non-verbale gedrag op betrouwbaarheid.
6. Analyseer de beoordelingen van de aantrekkelijkheid van docenten op betrouwbaarheid.