Evaluatie van de betrokkenheid in de klas, reflectieve expressie en prosociale intentie van universiteitsstudenten met behulp van gedragsobservatie en learning analytics

Samenvatting

Dit protocol integreert observatie in de klas, reflectief schrijven, meting van prosociale intenties en leeranalyse om de gedragsmatige betrokkenheid, reflectieve expressie en sociaal georiënteerde leerresultaten van universiteitsstudenten te evalueren over een instructieperiode van 4 weken. Het specificeert de ethische goedkeuring, de inhoud van de instrumenten, de softwareworkflow, de omgang met ontbrekende gegevens, procedures voor probleemoplossing en de interpretatie van representatieve resultaten, inclusief geobserveerde implementatiebeperkingen.

Samenvatting

Om te voorzien in de behoefte aan multidimensionale beoordelingen van studentbetrokkenheid die verder gaan dan traditionele metrieken, beschrijft dit protocol een gestructureerde aanpak voor het evalueren van klaslokale betrokkenheid, reflectieve expressie, leeranalyse-activiteit en prosociale intentie in bacheloropleidingen. Het protocol combineert intervalgebaseerde gedragsobservatie, wekelijkse gestructureerde reflectieve verslagen, geanonimiseerde gegevens uit het leerbeheersysteem en een pre/post-vragenlijst over prosociale intentie. De herziene procedures bieden een reproduceerbaar model voor gedragscodering, een rubric voor reflectieve expressie met scorevoorbeelden, software- en databeheersappstappen en expliciete probleemoplossingsrichtlijnen voor onenigheid tussen observatoren, ontbrekende platformgegevens, lage indieningspercentages van reflecties, slechte camerazichtbaarheid, uitval van deelnemers en inconsistente voorkennis. Dit protocol dient te worden gebruikt wanneer onderzoekers een reproduceerbare methode met minimale hinder nodig hebben om live klaslokaalgedrag, zelfinterpretatie van studenten en routinematige activiteit in het leerbeheersysteem (LMS) te combineren tijdens het onderwijs in de bachelorfase. Het is minder geschikt voor volledig asynchrone cursussen zonder observeerbare interactie, omgevingen die onafhankelijke observatie of gegevenskoppeling verbieden, of studies die biometrische inferentie of emotieherkenning vereisen. De representatieve resultaten zijn gerapporteerd vanuit de geïmplementeerde empirische toepassing na geverifieerde ethische goedkeuring, anonimisering van cursusgegevens en voorbereiding van de repository.

Inleiding

Het evalueren van de studentparticipatie in het hoger onderwijs vereist een uitgebreide aanpak op basis van meerdere bronnen. Hoewel studentbetrokkenheid breed wordt geconceptualiseerd als een multidimensionaal construct dat waarneembaar gedrag, cognitieve inspanning en omgevingsinteractie omvat, vertrouwen huidige analytische benaderingen hoofdzakelijk op oppervlakkige loggegevens, zoals inlogfrequenties en door het systeem geregistreerde acties¹. Deze overmatige afhankelijkheid vormt een aanzienlijke uitdaging voor praktisch praktijkonderzoek in de klas. De meest kritieke vormen van instructional participatie — directe interacties tussen peers, cognitieve reflectie en sociale bijdragen — vinden vaak volledig plaats buiten het beperkte zichtveld van het platform².

De complexiteit van de moderne universitaire collegezaal is toegenomen door de adoptie van hybride pedagogische modellen, waarbij digitale platforms worden gecombineerd met traditionele face-to-face instructie. Hoewel systematische reviews van leeranalyse bevestigen dat digitale sporen waardevolle inzichten bieden in tijdsallocatie, toegangspatronen en retentiegraad op lange termijn, kunnen deze metrieken alleen niet bepalen of de aandacht van een lerende werkelijk efficiënt of betekenisvol is³. Bijgevolg pleit recente wetenschappelijke literatuur ervoor om leeranalyse te funderen in sterkere theoretische kaders door digitale sporen af te stemmen op rijkere, contextafhankelijke participatiematen, zoals gedrag in de klas en reflectieve activiteiten⁴.

Reflectief schrijven voegt een essentiële kwalitatieve dimensie toe aan deze beoordeling. Gestructureerde reflecties en journaals na de les leggen de interpretaties van studenten over leeractiviteiten vast, verduidelijken instructieve uitdagingen en slaan een brug tussen theoretische inhoud en daaropvolgende praktische acties. Recent empirisch bewijs conceptualiseert reflectieve expressie als een geïntegreerd, multi-component construct bestaande uit beschrijvende herinnering, analytische inferentie, zelf-referentiële representatie en generalisatie van betekenis⁵. Bovendien wijst onderzoek uit dat het bieden van herhaalde reflectieve begeleiding aan studenten hun vermogen tot introspectie geleidelijk versterkt; naarmate de frequentie van gestructureerde reflectie tijdens de studie toeneemt, verbeteren de onafhankelijke explorerende vaardigheden van studenten gelijktijdig⁶.

Een tweede belangrijk hiaat in het huidige onderzoek naar betrokkenheid is de frequente marginalisering van socialisatie in de klas. Hoewel bestaande studies sterk de nadruk leggen op individueel gedrag of cognitie, fungeren universitaire klaslokalen als inherent sociale leeromgevingen waarin studenten elkaar beïnvloeden via samenwerking en responsieve interacties. Opkomend bewijs laat zien dat het klasritme en de participatiestructuren sterk correleren met prosociaal gedrag en een bijdragegeoriënteerde mindset — uitkomsten die onderbelicht blijven in vergelijking met traditionele maatstaven voor academische prestaties of studenttevredenheid. Prosociaal gedrag in academische settings is niet louter een bijproduct van emotionele toestanden of stress; het heeft fundamenteel betrekking op hoe studenten zichzelf positioneren binnen collectieve leeractiviteiten⁷. Daarom dient het meten van prosociale intentie als een passend perspectief om te bepalen of de betrokkenheid in de klas verder gaat dan het geïsoleerd voltooien van taken, om zo coöperatief en aanmoedigend gedrag te stimuleren dat reikt buiten de onmiddellijke instructieomgeving⁸.

Deze conceptuele ontwikkelingen onderstrepen de noodzaak van een geïntegreerd kader voor bewijsverzameling dat wordt ingezet binnen één enkel instructievenster. Een ontwerp met meerdere bronnen vermindert de beperkingen van het vertrouwen op een enkele maatstaf, waardoor cross-validatie tussen verschillende vormen van participatie mogelijk wordt en duidelijk wordt hoe studenten hun activiteiten na de les interpreteren om onafhankelijk leren te bevorderen⁹. Hoewel reflectieve beoordelingen de interne cognitieve staat van de lerende vastleggen, verbetert het verankeren van deze zelfrapportages met objectieve gedragssporen de interpreteerbaarheid van de leergegevens aanzienlijk. Momenteel is er een opvallend gebrek aan praktische, klas-klaar protocollen die systematische gedragsobservatie, gestructureerde reflectieve rapportage en leeranalyse naadloos synthetiseren voor routinematige implementatie op universiteiten.

Om deze methodologische tekortkomingen aan te pakken, introduceert dit artikel een evaluatieprotocol dat is ontworpen om de betrokkenheid van universiteitsstudenten in de klas, hun reflectieve expressie en hun prosociale intentie gelijktijdig te meten. Het protocol is specifiek ontwikkeld voor bacheloropleidingen en biedt een gestroomlijnde methodologie die een minimale administratieve last vereist zonder in te leveren op wetenschappelijke reproduceerbaarheid. Door de analytische kloof tussen observeerbaar gedrag, gearticuleerde zelfervaring en sociaal georiënteerde leeruitkomsten te overbruggen, beantwoordt dit raamwerk de groeiende vraag naar grotere conceptuele helderheid in onderzoek naar mens-technologie-interactie binnen educatieve omgevingen¹⁰.

Protocol

Alle methoden met menselijke participanten werden uitgevoerd in overeenstemming met de Verklaring van Helsinki en de relevante institutionele richtlijnen. Voor de uitgevoerde studie werd het protocol goedgekeurd door de Ethische Commissie van het Nanchang Institute of Technology voordat de werving begon (goedkeuringsnummer: NITE778291). Van elke deelnemende student is schriftelijke geïnformeerde toestemming verkregen. Alleen gedeïdentificeerde geaggregeerde gegevens van klasobservaties, reflectiescores, leeranalytiek en vragenlijsten werden voor de analyse gebruikt; identificeerbare videobeelden uit de klas, namen, institutionele ID's en ongecensureerde reflectieteksten werden uitgesloten van openbare publicatie.

1. Onderzoeksopzet en selectie van deelnemers

1. Voer het protocol uit over vier opeenvolgende onderwijsperioden voor elke geselecteerde klassectie. Registreer gede-identificeerde cursuslabels, het instructieformaat, de klasgrootte, de ervaring van de docent met de cursus en of elke klas klassikale instructie, groepswerk of individuele oefening bevat. Streef naar een initiële inschrijving van ongeveer 180 tot 210 bachelorstudenten van 18 jaar of ouder, of pas het doel voor de steekproefomvang aan aan de context van de cursus.
2. Zorg ervoor dat alle deelnemers een actief institutioneel account hebben voor het cursusplatform, de geobserveerde lessen zullen bijwonen en de vereiste cursusbegeleiding hebben ontvangen die normaal gesproken aan de klas wordt verstrekt. Wanneer de voorkennis aanzienlijk varieert, bied dan een korte overbruggingshandleiding, een lijst met resources voor vóór de les of een door de docent geleide herhaling aan voor het observatievenster en registreer de geboden ondersteuning als contextuele metadata.
3. Verkrijg schriftelijke geïnformeerde toestemming van alle studenten nadat een uitgebreid informatieblad is verstrekt. Vermeld duidelijk in het toestemmingsformulier dat de studie klaslokale gedragsobservatie, wekelijkse reflectieve verslagen en gede-identificeerde gegevens van het leerplatform koppelt.
4. Voeg alleen studenten die toestemming hebben gegeven toe aan de onderzoeksdataset. Garandeer dat weigering om deel te nemen geen invloed heeft op de aanwezigheid, de cijfers, de toegang tot de cursus of de communicatie met de docent.
   1. Leg het toegestane en verboden gebruik van tools voor kunstmatige intelligentie (AI) uit vóór de eerste reflectietaak.
      OPMERKING: AI-tools mogen alleen worden gebruikt wanneer dit is toegestaan volgens het cursusbeleid en uitsluitend voor algemene studieondersteuning; reflectieve inzendingen en reacties over prosociale intenties moeten de eigen ervaring van de student beschrijven en elke AI-ondersteuning vermelden.
   2. Indien de docent AI-ondersteunde overbrugging van voorkennis toestaat, verstrek dan dezelfde goedgekeurde prompts of resources aan alle studenten en registreer deze ondersteuning als een protocolaanpassing. Gebruik geen door AI gegenereerde samenvattingen als primair bewijs van studentenreflectie, tenzij de validatiestudie expliciet AI-ondersteunde reacties evalueert.
5. Sluit studenten vóór de analyse uit als zij geen toestemming geven, zich tijdens het protocolvenster uitschrijven voor de cursus, of als er geen overeenstemmende gegevens zijn over de observatie-, reflectie- en analyserapportages. Gebruik een repeated-measures design om consistente gegevens te verzamelen uit de drie verschillende bronnen over een periode van 4 weken².

2. acquisitie van basisgegevens en identiteitsbeheer

1. Wijs één data-beheerder aan om via een pseudo-random proces een alfanumeriek studie-ID van acht tekens toe te kennen aan elke deelnemer die toestemming heeft gegeven.
2. Maak een koppelingsbestand tussen identiteit en studie-ID aan met daarin studentennamen, institutionele ID's, klassecties en studienummers. Bewaar dit bestand veilig en apart van de analytische bestanden, zodat het volledig ontoegankelijk blijft voor observatoren, reflectiecodeurs en onderzoekers.
3. Vernietig of archiveer dit koppelingsbestand na de definitieve gegevensverificatie volgens het goedgekeurde institutionele beleid voor gegevensbewaring, waarbij voldaan wordt aan de huidige praktijken voor learning-analytics in het hoger onderwijs met betrekking tot beperkte koppeling en de-identificatie¹.
4. Verzamel baseline demografische gegevens over de leeftijd, het geslacht, het academische jaar en de hoofdvakrichting van de deelnemers tijdens de eerste week voorafgaand aan de eerste geobserveerde les.
5. Gebruik de vragenlijst voor prosociale intenties van zes items in Aanvullend Bestand 1 als gestructureerd baseline-instrument vóór de eerste geobserveerde les. Dien deze elektronisch in via het LMS of op papier met enkel het toegewezen studie-ID. Studenten beoordelen elk item op een 5-puntschaal van 1 = sterk mee oneens tot 5 = sterk mee eens; bereken de baseline-score als het gemiddelde van de voltooide items wanneer minstens vijf van de zes items zijn beantwoord.
6. Exporteer alle vervolgens verzamelde reflectieteksten zonder namen, e-mailadressen of andere persoonlijke identificatiekenmerken om volledige anonimiteit te garanderen voordat het kwalitatieve codeerproces begint.

3. Voorbereiding op klassikale observatie

1. Plan voor elke klassectie één observatie per week gedurende 4 opeenvolgende weken. Definieer voor een standaardles van 90 min een observatievenster van 70 min door de eerste 10 min en de laatste 10 min uit te sluiten van de codering⁵.
2. Begin de codering bij de 10^e minuut en stop bij de 80^e minuut van een standaardles van 90 min. Deze bufferperioden maken geen deel uit van het observatievenster van 70 min; een standaardles levert dus 70 min aan gecodeerde observatie op in plaats van een sessie van 30 min.
3. Sluit elk onderbroken instructieblok uit van de uiteindelijke evaluatie als de klas een verstoring ervaart die langer dan 5 min duurt vanwege alarmen, zaalwisselingen of storingen van het platform.
4. Behandel de betrokkenheid in de klas als een waarneembare samenstelling van meerdere gedragingen door bij elk meetpunt verschillende gedragsindicatoren gelijktijdig te registreren¹¹. Indicatoren omvatten taakgerichte aandacht, verbale participatie, samenwerking met medestudenten, taakgerichte aantekeningen of apparaatgebruik, afleiding (off-task), en hulpzoekend gedrag.
5. Richt de zitplaatsen in de klas per groep in vóór de eerste observatie en handhaaf deze zitplaatsindeling strikt gedurende de gehele periode van 4 weken.
6. Positioneer twee getrainde observatoren op vaste locaties met volledig zicht op de ruimte om onafhankelijk te coderen. Indien institutionele opnames zijn toegestaan en deelnemers hiervoor toestemming geven, installeer dan twee stationaire camera's in het midden-achteraan en aan de zijkant-achteraan en synchroniseer deze vóór de sessie.
7. Gebruik camerabeelden uitsluitend voor de training van observatoren, verificatie van de betrouwbaarheid en het oplossen van zichtbaarheidsproblemen; gebruik videopopnames niet als primaire coderingsbron en voer geen analyse uit van gezichtsemoties, stememoties, biometrie of identiteitsherkenning.

4. Intervalgebaseerde gedragscodering

1. Verdeel het observatievenster van 70-min in opeenvolgende intervallen bestaande uit een visuele scan van 20-s gevolgd door een registratieperiode van 10-s. Indien een grote hoorcollegezaal, een laboratorium of een online klas een andere intervallengte vereist, dient de aangepaste intervalstructuur te worden gerapporteerd en onderbouwd voordat de gegevensverzameling begint.
   OPMERKING: Deze 20-s/10-s structuur zorgt voor een balans tussen ecologische klasobservatie en de werklast van de codeur: de scanperiode is lang genoeg om aanhoudende aandacht, samenwerking en off-task gedrag te detecteren, terwijl de registratieperiode de geheugenbelasting vermindert en consistente binaire beslissingen ondersteunt.
2. Scan per interval een duidelijk gedefinieerde groep van maximaal tien studenten in een continue loop op basis van de zitplaatsindeling.
3. Hanteer specifieke scancriteria om inconsistentie bij de codeur te voorkomen die veroorzaakt wordt door vage operationele definities⁴. Codeer tijdens elke scan zes binaire indicatoren op studentniveau. Deze omvatten on-task aandacht, verbale participatie, samenwerking met peers, taakgerichte aantekeningen of apparaatgebruik, off-task afleiding en hulpzoekend gedrag.
4. Markeer een indicator als "1" als het aangewezen gedrag op enig moment tijdens de scan van 20-s voorkomt. Markeer het anders als "0". Codeer het interval als missend als een student gedurende ten minste 10 s van de scan niet zichtbaar is.
5. Registreer on-task aandacht wanneer een student zich gedurende ten minste 5 opeenvolgende s visueel richt op de instructeur, toegewezen taken, gepresenteerde informatie of peers die betrokken zijn bij een taakdiscussie. Codeer verbale participatie voor elke hoorbare en taakgerelateerde bijdrage.
6. Codeer samenwerking met peers wanneer studenten deelnemen aan zichtbare taakgerichte uitwisselingen, gezamenlijke probleemoplossing of uitleg aan peers. Registreer taakgerichte aantekeningen of apparaatgebruik voor actief schrijven, typen of digitale interactie met cursusmateriaal.
7. Markeer off-task afleiding als een student gedurende ten minste 5 opeenvolgende s betrokken is bij niet-gerelateerde gesprekken, niet-academisch apparaatgebruik of aanhoudende desinteresse. Registreer hulpzoeken wanneer een student expliciet om verduidelijking of assistentie vraagt aan de instructeur of peers.
8. Bereken de wekelijkse gedragsscore voor elke student als het totaal aantal positieve beoordelingen gedeeld door alle geldige beoordelingen. Leid vervolgens de gemiddelden over 4 weken af voor alle zes indicatoren.
9. Bereken een gecombineerde Observed Classroom Engagement Index (OCEI) voor student i in week w met behulp van het vooraf vastgestelde wiskundige model: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. Behandel hulpzoeken als een onafhankelijke analytische variabele, omdat dit afhankelijk van de context zowel constructieve verduidelijking als moeite met de instructieve inhoud kan vertegenwoordigen¹². Raadpleeg Figuur 1 voor de workflow van de studie en Tabel 1 voor de observatie-indices en coderingsregels.

5. Training van de waarnemer en beoordeling van de betrouwbaarheid

1. Voer de training voor observatoren uit met een handmatige trainingssessie van 60 min en voer drie kalibratierondes uit voorafgaand aan het formele programma.
2. Voer de eerste kalibratieronde uit met behulp van begeleide codering van een video uit een klaslokaal die geen deel uitmaakt van het onderzoek. Voltooi de volgende twee ronden als onafhankelijke coderingen van verschillende video's die geen deel uitmaken van het onderzoek, gevolgd door directe statistische vergelijkingen met de senior codeur.
3. Start de formele gegevensverzameling pas wanneer de Cohen's Kappa 0,75 bereikt of overschrijdt en de totale interbeoordelaarsconsistentie boven de 85% ligt.
4. Implementeer dubbelblinde driftverificatie op 10% van de volledige sessies en één gerandomiseerd segment van 10 min uit de overige sessies gedurende het 4-weekse protocol.
5. Kalibreer het coderingsteam opnieuw binnen 72 h en verifieer de betrokken sessies opnieuw vóór het vastzetten van de gegevens als de Kappa-waarde voor een indicator onder de 0,70 zakt. Geef continu feedback en organiseer kalibratie-oefeningen om de stabiliteit van de evaluatie in de loop van de tijd te handhaven¹³.

6. Collectie en evaluatie van reflectieve expressie

1. Instrueer studenten om voor elke geobserveerde les één gestructureerde reflectietekst (100-350 woorden) in te dienen, wat resulteert in 4 vermeldingen per deelnemer gedurende het 4-weekse protocol.
2. Stel de reflectievragen beschikbaar via het LMS of een papieren formulier binnen 2 u na de geobserveerde les, en sluit het indieningsvenster 72 u later. Het formulier moet het veld Study ID en de volgende drie vragen in dezelfde volgorde voor elke student tonen:
   1. Identificeer waar zij zich het meest en het minst betrokken voelden tijdens de les.
   2. Leg de contextuele oorzaken uit, inclusief taakmoeilijkheid, voorkennis, groepsinteractie, uitleg van de docent of het gebruik van het platform.
   3. Beschrijf hoe hun deelname de sfeer in de klas heeft beïnvloed en welke actie zij in de toekomst van plan zijn te ondernemen.
      OPMERKING: Behoud vermeldingen van minder dan 100 woorden, maar markeer deze in de database als informatie-arm. Markeer ook vermeldingen waarin de vraag over betrokkenheid, de contextuele oorzaak of de toekomstige actie/sociale impact ontbreekt, omdat deze weglatingen de score voor reflectiekwaliteit en de rapportage over de haalbaarheid beïnvloeden.
3. Wijs twee geblindeerde codeurs aan om de indieningen te evalueren op basis van beschrijvende specificiteit, analytische diepgang, zelfregulerende oriëntatie en sociaal-prosociale betekenis.
   1. Beoordeel elke dimensie met een 4-puntsschaal waarbij 0 staat voor afwezigheid, 1 voor zwak of vaag bewijs, 2 voor duidelijk maar beperkt bewijs en 3 voor sterk en uitgewerkt bewijs. Zo wordt analytische diepgang gescoord als 0 wanneer er geen reden wordt gegeven, 1 wanneer de student enkel aangeeft dat de activiteit moeilijk was, 2 wanneer de student de moeilijkheid koppelt aan een specifiek concept of een conditie in de klas, en 3 wanneer de student de interactie uitlegt tussen voorkennis, discussie met studiegenoten, feedback van de docent en een geplande leerstrategie. Tabel 2 en Aanvullend Bestand 1 bieden voorbeelden per scoreniveau voor alle vier de reflectiedimensies.
4. Start de formele beoordeling pas nadat een intraclass-correlatiecoëfficiënt van 0,80 of hoger is behaald voor elke dimensie op de pilot-teksten¹⁴.
5. Voer tijdens het protocol een dubbele score uit op 15% van de studiereflecties via willekeurige trekking om rater-drift te controleren. Evalueer de reflectieve teksten op basis van deze multidimensionale kwalitatieve metrieken in plaats van uitsluitend te vertrouwen op tekstlengte of woordfrequentie.
6. Ontwikkel of adapteer de rubric voor reflectieve expressie via een expertbeoordeling door ten minste twee onderwijsonderzoekers en één vakdocent. Pilot de rubric op 20 tot 30 niet-studiereflecties, herzie ambigue descriptoren en documenteer de definitieve versie van de rubric voordat de formele codering begint.
7. Dien de vragenlijst voor prosociale intentie toe, zoals getoond in Aanvullend Bestand 1. Vraag studenten om hun bereidheid te beoordelen om klasgenoten die problemen ondervinden te helpen, leerbronnen te delen, constructief bij te dragen aan discussies, medestudenten aan te moedigen, eerlijk te handelen tijdens groepstaken en het leerstroomklimaat in de klas te verbeteren. Gebruik een 5-puntsschaal variërend van 1 (zeer oneens) tot 5 (zeer eens). Bereken de gemiddelde score wanneer ten minste vijf van de zes items zijn ingevuld, en rapporteer de Cronbach's alpha voor de nulmeting en de metingen na het protocol.

7. Extractie van leeranalyse

1. Wijs een externe beheerder aan om de learning analytics-gegevens na week 4 te extraheren om contaminatie van de observatie- en reflectieprocessen te voorkomen.
2. Stel het extractievenster in van 00:00 op de dag van de eerste geobserveerde les tot 23:59 op de sluitingsdag van het laatste reflectievenster.
3. Extraheer alleen de vooraf gespecificeerde variabelen die noodzakelijk zijn voor het protocol. Leg het aantal actieve dagen op het platform, unieke weergaven van bronnen, de proportie geopende toegewezen bronnen, het aantal geplaatste reacties in discussies, de gemiddelde video-voltooiingsgraad en de punctualiteit van opdrachten vast.
4. Schoon de ruwe exportbestanden op door accounts van instructeurs en onderwijsassistenten, dubbele records, testgebeurtenissen en datapunten buiten het aangewezen tijdsbestek te verwijderen.
5. Definieer een actieve dag als elke kalenderdatum die ten minste één geauthenticeerde cursustoegang bevat, gevolgd door een betekenisvolle interactie, zoals het openen van bestanden, het bekijken van video's of het plaatsen van reacties.
6. Tel unieke openingen van bronnen waarbij dubbele refresh-gebeurtenissen binnen een tijdsbestek van 60 s worden genegeerd. Bepaal de video-voltooiingsgraad door het bekeken deel ten opzichte van de geplande tijd bij 01:00 af te korten en vervolgens het gemiddelde te berekenen over alle toegewezen mediabestanden.
7. Bereken de punctualiteit van opdrachten op basis van de proportie taken die vóór de geplande deadlines zijn ingediend. Bereken de proportie nachtelijke toegang als de ratio van betekenisvolle gebeurtenissen tussen 00:00 en 06:00 ten opzichte van de totale betekenisvolle activiteiten binnen de observatieperiode. Gebruik deze tijdsgebonden en bijdragegerichte metrieken om rijkere informatie te verschaffen dan eenvoudige log-accumulatie¹⁵.
8. Gebruik een vooraf gespecificeerde workflow voor datamanagement voor de ruwe export uit het learning management system. Sla de originele export op als een alleen-lezen bestand, maak een gedeïdentificeerde werkkopie, verwijder accounts van instructeurs en onderwijsassistenten, verwijder dubbele of testgebeurtenissen en houd een verwerkingslogboek bij met rijcounts na elke opschoonstap.
9. Voer de datacleaning uit in een spreadsheetprogramma versie 2021 of later en de statistische analyse in R versie 4.4.0 of later, of vergelijkbare software.
   1. Volg in een spreadsheet de stappen beschreven in 7.9.1.1–7.9.1.2.
      1. Importeer de gedeïdentificeerde CSV-bestanden via Gegevens > Gegevens ophalen > Uit tekst/CSV, en gebruik Gegevens > Dubbelen verwijderen om dubbele rijen met Study ID/tijdstempel/gebeurtenis te verwijderen.
      2. Pas Filter toe om accounts van instructeurs of onderwijsassistenten en records buiten het venster uit te sluiten, en sla een verwerkingslogboek op met rijcounts na elke stap.
   2. Volg in R de stappen beschreven in 7.9.2.1–7.9.2.3.
      1. Importeer bestanden met readr::read_csv(), herstructureer wekelijkse records met dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() en tidyr::pivot_wider().
      2. Bereken de kappa van Cohen met irr::kappa2(), ICC's met psych::ICC() en de alfawaarde van Cronbach met psych::alpha().
      3. Pas sectie-gecorrigeerde lineaire modellen toe met stats::lm(); gebruik lme4::lmer() wanneer een vooraf gespecificeerde random intercept voor de klassectie vereist is, en gebruik lme4::glmer(family = binomial) uitsluitend voor binaire uitkomsten. Archiveer het exacte script en de package-versies bij de indieningsmaterialen.
10. Gebruik de volgende reproduceerbare analysereeks.
    1. Bereken de observatieproporties per student per week, bereken de OCEI met de formule in stap 4.9 en voeg de wekelijkse reflectiescores samen op basis van Study ID en week.
    2. Aggregeer de learning analytics-variabelen over hetzelfde venster van 4 weken, inspecteer ontbrekende gegevens per gegevensbron, bereken beschrijvende statistieken en betrouwbaarheidsschattingen, en pas de vooraf gespecificeerde associatiemodellen toe.
    3. Voeg geen ongeplande predictoren toe na het inspecteren van de resultaten, tenzij deze als verkennend zijn geëtiketteerd.
11. (Optioneel) Deponeer voor transparantie een gedeïdentificeerd analysescript, codeboek, lege codeerschema's, reflectievragen, een reflectierubriek en een prosociale vragenlijst in de publieke repository of bij de aanvullende materialen. Deponeer geen identificeerbare ruwe video's van de klas, namen, institutionele ID's of niet-geanonimiseerde reflectieteksten.

8. Meting na het protocol en integratie van de dataset

1. Dien het instrument voor prosociale intentie voor een tweede keer af direct na het afsluiten van het laatste reflectievenster.
2. Vraag studenten om hun bereidheid om klasgenoten te helpen, bronnen te delen, constructief bij te dragen aan discussies, medestudenten aan te moedigen, eerlijk te handelen en het leerklimaat te verbeteren te beoordelen op een schaal van 1 (sterk mee oneens) tot 5 (sterk mee eens). Bereken de totale post-protocolscore van elk individu door de antwoorden te middelen, mits zij op ten minste vijf van de zes items hebben geantwoord.
3. Voeg de observatiebestanden, reflectiescores en learning analytics-gegevens samen met behulp van de geanonimiseerde Study ID. Stel uit deze samenvoeging twee definitieve datasets samen om een masterbestand op deelnemersniveau en een bestand in long-format op weekniveau te creëren.
4. Imputeer geen ontbrekende observatie-intervallen veroorzaakt door de onzichtbaarheid van studenten, noch ontbrekende wekelijkse reflecties veroorzaakt door het uitblijven van indiening. Markeer gedeeltelijk ingevulde reflecties, onvolledige learning analytics-variabelen, reflecties met weinig informatie en niet-overeenkomende Study ID's vóór de analyse.
5. Gebruik complete-case analyse voor vooraf gespecificeerde associatiemodellen, rapporteer het aantal uitgesloten gevallen voor elk model en voer een sensitiviteitscontrole uit waarbij geïncludeerde en uitgesloten studenten worden vergeleken op basis van beschikbare baseline-variabelen.
6. Houd prosociale intentie aan als primaire uitkomstmaat om de ondersteunende en collaboratieve attitudes te reflecteren die ten grondslag liggen aan structurele veranderingen in de participatie van universiteitsstudenten.

9. Probleemoplossing en protocoladaptaties

1. Indien twee observatoren verschillen met meer dan één binair categoriepatroon binnen hetzelfde studentencluster, of indien de kappa van Cohen onder 0,70 zakt voor een indicator, wordt de formele scoring voor de betreffende sessie gepauzeerd, worden de operationele definities herzien, wordt er een recalibratiesegment van 10 min voltooid en wordt het betreffende interval opnieuw gecodeerd voordat de gegevens worden vergrendeld.
2. Indien platformexports onvolledig zijn, wordt het ontbrekende veld gedocumenteerd, wordt er een tweede export opgevraagd bij de externe beheerder en blijft de student behouden in de observatie-/reflectiesamenvattingen, terwijl de niet-beschikbare analytics-variabele wordt uitgesloten van modellen die dat veld vereisen.
3. Indien minder dan 80% van de verwachte reflecties binnen 48 h na het openen van de taak is ingediend, wordt een neutrale herinnering naar de hele klas gestuurd, wordt de technische ondersteuning voor toegangsproblemen uitgebreid en worden de uiteindelijke aantallen tijdige, late en ontbrekende inzendingen afzonderlijk gerapporteerd.
4. Indien meer dan 10% van de studenten in een cluster gedurende ten minste de helft van het scanvenster niet zichtbaar is, worden de betreffende intervallen als ontbrekend gecodeerd en wordt er vertrouwd op de verslagen van de live-observator in plaats van te proberen gedrag af te leiden uit geblokkeerde beelden.
5. Indien een student zich terugtrekt, verdere deelname weigert of geen koppelbare gegevens over de bronnen heeft, wordt die student verwijderd uit de gekoppelde associatiemodellen, maar worden de geaggregeerde aantallen voor protocol-haalbaarheid behouden wanneer dit is toegestaan door de ethische goedkeuring.
6. Indien meerdere studenten aangeven dat een sectie moeilijk te begrijpen is, moet de instructeur de normale pedagogische reactie geven, zoals een korte heruitleg, een uitgewerkt voorbeeld, peerdiscussie of een aanvullende bron. Registreer dit als een contextuele gebeurtenis, aangezien dit van invloed kan zijn op het zoeken naar hulp, de diepgang van de reflectie en de platformactiviteit.
7. Pas de grootte van het studentencluster, de intervallengte, de reflectieprompts en de analytics-variabelen aan het instructieformaat aan, maar behoud dezelfde logica van vooraf gedefinieerde gedragsindicatoren, gede-identificeerde verslagen, onafhankelijke codering en transparante regels voor ontbrekende gegevens.
8. Behandel een lage betrouwbaarheid, een hoge mate van ontbrekende gegevens, beperkte reflectiediepte, zwakke prosociale verandering en zwakke overeenstemming tussen datastromen als informatieve implementatieresultaten in plaats van protocolfouten. Rapporteer deze resultaten en leg uit of ze het klaslokaalcontext, instrumentbeperkingen of problemen bij de gegevensverzameling reflecteren.

Resultaten

Inclusie van deelnemers, volledigheid van gegevens en betrouwbaarheid van scores
Een initiële cohort van 204 studenten uit alle klassensecties werd uitgenodigd om deel te nemen, wat resulteerde in 198 instemmende personen. Veertien gevallen werden vervolgens uitgesloten vanwege het stopzetten van de cursus tijdens het protocolvenster of onvolledige gegevenskoppeling tussen de observatie-, reflectie- en platformgegevens. Bijgevolg bestond de uiteindelijke analytische steekproef uit 184 studenten. De k...

Discussie

Deze studie stelt een praktisch protocol voor dat gedragsobservatie, reflectief schrijven en leeranalyse integreert om de participatie, zelfexpressie en prosociale bewustwording van universiteitsstudenten uitgebreid te onderzoeken binnen één enkel instructievenster. Door verschillende dimensies van betrokkenheid vast te leggen, adresseert deze tri-modale aanpak recente kritieken in het onderzoek naar het hoger onderwijs, waarin wordt gesteld dat metrieken voor gebruiksduur en sensorgebaseerde monitoring onvoldoende zijn ...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Codeerschema voor klaslokalobservatie	Interne ontwikkeling	Zes binaire gedragsindicatoren	Intervalgebaseerde codering van taakgerichte aandacht, verbale participatie, samenwerking met peers, taakgerichte aantekeningen/apparaatgebruik, afleidende off-task activiteiten en hulpzoeken.
GraphPad Prism	Graphpad	Versie 10.2.3	Genereren van workflowdiagrammen, wekelijkse trendplots, distributieplots en associatiefiguren.
Institutioneel leerbeheersysteem / cursusplatform	Gastuniversiteit	Bestaand institutioneel LMS-account systeem	Verzameling van geanonimiseerde leeranalysegegevens.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Genereren van workflowdiagrammen, wekelijkse trendplots, distributieplots en associatiefiguren.
R	R Foundation		ggplot2 3.5.1
Spreadsheetsoftware	Microsoft Corporation	Microsoft Excel 365 v2402	Data-invoer, opschoning, anonimiseringscontroles en samenvoegen van observatie-/reflectie-/analyse-datasets.
SPSS Statistics	IBM Corp	Versie 26.0	Statistische analyse software; beschrijvende statistiek, repeated-measures vergelijkingen, Cohen's kappa, ICC, Cronbach's alpha, correlaties en regressiemodellen.