Evaluatie van de betrokkenheid in de klas, reflectieve expressie en prosociale intentie van universiteitsstudenten met behulp van gedragsobservatie en learning analytics

Samenvatting

Dit protocol integreert observatie in de klas, reflectief schrijven, meting van prosociale intenties en leeranalyse om de gedragsmatige betrokkenheid, reflectieve expressie en sociaal georiënteerde leerresultaten van universiteitsstudenten te evalueren over een instructieperiode van 4 weken. Het specificeert de ethische goedkeuring, de inhoud van de instrumenten, de softwareworkflow, de omgang met ontbrekende gegevens, procedures voor probleemoplossing en de interpretatie van representatieve resultaten, inclusief geobserveerde implementatiebeperkingen.

Samenvatting

Om te voorzien in de behoefte aan multidimensionale beoordelingen van studentbetrokkenheid die verder gaan dan traditionele metrieken, beschrijft dit protocol een gestructureerde aanpak voor het evalueren van klaslokale betrokkenheid, reflectieve expressie, leeranalyse-activiteit en prosociale intentie in bacheloropleidingen. Het protocol combineert intervalgebaseerde gedragsobservatie, wekelijkse gestructureerde reflectieve verslagen, geanonimiseerde gegevens uit het leerbeheersysteem en een pre/post-vragenlijst over prosociale intentie. De herziene procedures bieden een reproduceerbaar model voor gedragscodering, een rubric voor reflectieve expressie met scorevoorbeelden, software- en databeheersappstappen en expliciete probleemoplossingsrichtlijnen voor onenigheid tussen observatoren, ontbrekende platformgegevens, lage indieningspercentages van reflecties, slechte camerazichtbaarheid, uitval van deelnemers en inconsistente voorkennis. Dit protocol dient te worden gebruikt wanneer onderzoekers een reproduceerbare methode met minimale hinder nodig hebben om live klaslokaalgedrag, zelfinterpretatie van studenten en routinematige activiteit in het leerbeheersysteem (LMS) te combineren tijdens het onderwijs in de bachelorfase. Het is minder geschikt voor volledig asynchrone cursussen zonder observeerbare interactie, omgevingen die onafhankelijke observatie of gegevenskoppeling verbieden, of studies die biometrische inferentie of emotieherkenning vereisen. De representatieve resultaten zijn gerapporteerd vanuit de geïmplementeerde empirische toepassing na geverifieerde ethische goedkeuring, anonimisering van cursusgegevens en voorbereiding van de repository.

Inleiding

Het evalueren van de studentparticipatie in het hoger onderwijs vereist een uitgebreide aanpak op basis van meerdere bronnen. Hoewel studentbetrokkenheid breed wordt geconceptualiseerd als een multidimensionaal construct dat waarneembaar gedrag, cognitieve inspanning en omgevingsinteractie omvat, vertrouwen huidige analytische benaderingen hoofdzakelijk op oppervlakkige loggegevens, zoals inlogfrequenties en door het systeem geregistreerde acties¹. Deze overmatige afhankelijkheid vormt een aanzienlijke uitdaging voor praktisch praktijkonderzoek in de klas. De meest kritieke vormen van instructional participatie — directe interacties tussen peers, cognitieve reflectie en sociale bijdragen — vinden vaak volledig plaats buiten het beperkte zichtveld van het platform².

De complexiteit van de moderne universitaire collegezaal is toegenomen door de adoptie van hybride pedagogische modellen, waarbij digitale platforms worden gecombineerd met traditionele face-to-face instructie. Hoewel systematische reviews van leeranalyse bevestigen dat digitale sporen waardevolle inzichten bieden in tijdsallocatie, toegangspatronen en retentiegraad op lange termijn, kunnen deze metrieken alleen niet bepalen of de aandacht van een lerende werkelijk efficiënt of betekenisvol is³. Bijgevolg pleit recente wetenschappelijke literatuur ervoor om leeranalyse te funderen in sterkere theoretische kaders door digitale sporen af te stemmen op rijkere, contextafhankelijke participatiematen, zoals gedrag in de klas en reflectieve activiteiten⁴.

Reflectief schrijven voegt een essentiële kwalitatieve dimensie toe aan deze beoordeling. Gestructureerde reflecties en journaals na de les leggen de interpretaties van studenten over leeractiviteiten vast, verduidelijken instructieve uitdagingen en slaan een brug tussen theoretische inhoud en daaropvolgende praktische acties. Recent empirisch bewijs conceptualiseert reflectieve expressie als een geïntegreerd, multi-component construct bestaande uit beschrijvende herinnering, analytische inferentie, zelf-referentiële representatie en generalisatie van betekenis⁵. Bovendien wijst onderzoek uit dat het bieden van herhaalde reflectieve begeleiding aan studenten hun vermogen tot introspectie geleidelijk versterkt; naarmate de frequentie van gestructureerde reflectie tijdens de studie toeneemt, verbeteren de onafhankelijke explorerende vaardigheden van studenten gelijktijdig⁶.

Een tweede belangrijk hiaat in het huidige onderzoek naar betrokkenheid is de frequente marginalisering van socialisatie in de klas. Hoewel bestaande studies sterk de nadruk leggen op individueel gedrag of cognitie, fungeren universitaire klaslokalen als inherent sociale leeromgevingen waarin studenten elkaar beïnvloeden via samenwerking en responsieve interacties. Opkomend bewijs laat zien dat het klasritme en de participatiestructuren sterk correleren met prosociaal gedrag en een bijdragegeoriënteerde mindset — uitkomsten die onderbelicht blijven in vergelijking met traditionele maatstaven voor academische prestaties of studenttevredenheid. Prosociaal gedrag in academische settings is niet louter een bijproduct van emotionele toestanden of stress; het heeft fundamenteel betrekking op hoe studenten zichzelf positioneren binnen collectieve leeractiviteiten⁷. Daarom dient het meten van prosociale intentie als een passend perspectief om te bepalen of de betrokkenheid in de klas verder gaat dan het geïsoleerd voltooien van taken, om zo coöperatief en aanmoedigend gedrag te stimuleren dat reikt buiten de onmiddellijke instructieomgeving⁸.

Deze conceptuele ontwikkelingen onderstrepen de noodzaak van een geïntegreerd kader voor bewijsverzameling dat wordt ingezet binnen één enkel instructievenster. Een ontwerp met meerdere bronnen vermindert de beperkingen van het vertrouwen op een enkele maatstaf, waardoor cross-validatie tussen verschillende vormen van participatie mogelijk wordt en duidelijk wordt hoe studenten hun activiteiten na de les interpreteren om onafhankelijk leren te bevorderen⁹. Hoewel reflectieve beoordelingen de interne cognitieve staat van de lerende vastleggen, verbetert het verankeren van deze zelfrapportages met objectieve gedragssporen de interpreteerbaarheid van de leergegevens aanzienlijk. Momenteel is er een opvallend gebrek aan praktische, klas-klaar protocollen die systematische gedragsobservatie, gestructureerde reflectieve rapportage en leeranalyse naadloos synthetiseren voor routinematige implementatie op universiteiten.

Om deze methodologische tekortkomingen aan te pakken, introduceert dit artikel een evaluatieprotocol dat is ontworpen om de betrokkenheid van universiteitsstudenten in de klas, hun reflectieve expressie en hun prosociale intentie gelijktijdig te meten. Het protocol is specifiek ontwikkeld voor bacheloropleidingen en biedt een gestroomlijnde methodologie die een minimale administratieve last vereist zonder in te leveren op wetenschappelijke reproduceerbaarheid. Door de analytische kloof tussen observeerbaar gedrag, gearticuleerde zelfervaring en sociaal georiënteerde leeruitkomsten te overbruggen, beantwoordt dit raamwerk de groeiende vraag naar grotere conceptuele helderheid in onderzoek naar mens-technologie-interactie binnen educatieve omgevingen¹⁰.

Protocol

Alle methoden met menselijke participanten werden uitgevoerd in overeenstemming met de Verklaring van Helsinki en de relevante institutionele richtlijnen. Voor de uitgevoerde studie werd het protocol goedgekeurd door de Ethische Commissie van het Nanchang Institute of Technology voordat de werving begon (goedkeuringsnummer: NITE778291). Van elke deelnemende student is schriftelijke geïnformeerde toestemming verkregen. Alleen gedeïdentificeerde geaggregeerde gegevens van klasobservaties, reflectiescores, leeranalytiek en vragenlijsten werden voor de analyse gebruikt; identificeerbare videobeelden uit de klas, namen, institutionele ID's en ongecensureerde reflectieteksten werden uitgesloten van openbare publicatie.

1. Onderzoeksopzet en selectie van deelnemers

1. Voer het protocol uit over vier opeenvolgende onderwijsperioden voor elke geselecteerde klassectie. Registreer gede-identificeerde cursuslabels, het instructieformaat, de klasgrootte, de ervaring van de docent met de cursus en of elke klas klassikale instructie, groepswerk of individuele oefening bevat. Streef naar een initiële inschrijving van ongeveer 180 tot 210 bachelorstudenten van 18 jaar of ouder, of pas het doel voor de steekproefomvang aan aan de context van de cursus.
2. Zorg ervoor dat alle deelnemers een actief institutioneel account hebben voor het cursusplatform, de geobserveerde lessen zullen bijwonen en de vereiste cursusbegeleiding hebben ontvangen die normaal gesproken aan de klas wordt verstrekt. Wanneer de voorkennis aanzienlijk varieert, bied dan een korte overbruggingshandleiding, een lijst met resources voor vóór de les of een door de docent geleide herhaling aan voor het observatievenster en registreer de geboden ondersteuning als contextuele metadata.
3. Verkrijg schriftelijke geïnformeerde toestemming van alle studenten nadat een uitgebreid informatieblad is verstrekt. Vermeld duidelijk in het toestemmingsformulier dat de studie klaslokale gedragsobservatie, wekelijkse reflectieve verslagen en gede-identificeerde gegevens van het leerplatform koppelt.
4. Voeg alleen studenten die toestemming hebben gegeven toe aan de onderzoeksdataset. Garandeer dat weigering om deel te nemen geen invloed heeft op de aanwezigheid, de cijfers, de toegang tot de cursus of de communicatie met de docent.
   1. Leg het toegestane en verboden gebruik van tools voor kunstmatige intelligentie (AI) uit vóór de eerste reflectietaak.
      OPMERKING: AI-tools mogen alleen worden gebruikt wanneer dit is toegestaan volgens het cursusbeleid en uitsluitend voor algemene studieondersteuning; reflectieve inzendingen en reacties over prosociale intenties moeten de eigen ervaring van de student beschrijven en elke AI-ondersteuning vermelden.
   2. Indien de docent AI-ondersteunde overbrugging van voorkennis toestaat, verstrek dan dezelfde goedgekeurde prompts of resources aan alle studenten en registreer deze ondersteuning als een protocolaanpassing. Gebruik geen door AI gegenereerde samenvattingen als primair bewijs van studentenreflectie, tenzij de validatiestudie expliciet AI-ondersteunde reacties evalueert.
5. Sluit studenten vóór de analyse uit als zij geen toestemming geven, zich tijdens het protocolvenster uitschrijven voor de cursus, of als er geen overeenstemmende gegevens zijn over de observatie-, reflectie- en analyserapportages. Gebruik een repeated-measures design om consistente gegevens te verzamelen uit de drie verschillende bronnen over een periode van 4 weken².

2. acquisitie van basisgegevens en identiteitsbeheer

1. Wijs één data-beheerder aan om via een pseudo-random proces een alfanumeriek studie-ID van acht tekens toe te kennen aan elke deelnemer die toestemming heeft gegeven.
2. Maak een koppelingsbestand tussen identiteit en studie-ID aan met daarin studentennamen, institutionele ID's, klassecties en studienummers. Bewaar dit bestand veilig en apart van de analytische bestanden, zodat het volledig ontoegankelijk blijft voor observatoren, reflectiecodeurs en onderzoekers.
3. Vernietig of archiveer dit koppelingsbestand na de definitieve gegevensverificatie volgens het goedgekeurde institutionele beleid voor gegevensbewaring, waarbij voldaan wordt aan de huidige praktijken voor learning-analytics in het hoger onderwijs met betrekking tot beperkte koppeling en de-identificatie¹.
4. Verzamel baseline demografische gegevens over de leeftijd, het geslacht, het academische jaar en de hoofdvakrichting van de deelnemers tijdens de eerste week voorafgaand aan de eerste geobserveerde les.
5. Gebruik de vragenlijst voor prosociale intenties van zes items in Aanvullend Bestand 1 als gestructureerd baseline-instrument vóór de eerste geobserveerde les. Dien deze elektronisch in via het LMS of op papier met enkel het toegewezen studie-ID. Studenten beoordelen elk item op een 5-puntschaal van 1 = sterk mee oneens tot 5 = sterk mee eens; bereken de baseline-score als het gemiddelde van de voltooide items wanneer minstens vijf van de zes items zijn beantwoord.
6. Exporteer alle vervolgens verzamelde reflectieteksten zonder namen, e-mailadressen of andere persoonlijke identificatiekenmerken om volledige anonimiteit te garanderen voordat het kwalitatieve codeerproces begint.

3. Voorbereiding op klassikale observatie

1. Plan voor elke klassectie één observatie per week gedurende 4 opeenvolgende weken. Definieer voor een standaardles van 90 min een observatievenster van 70 min door de eerste 10 min en de laatste 10 min uit te sluiten van de codering⁵.
2. Begin de codering bij de 10^e minuut en stop bij de 80^e minuut van een standaardles van 90 min. Deze bufferperioden maken geen deel uit van het observatievenster van 70 min; een standaardles levert dus 70 min aan gecodeerde observatie op in plaats van een sessie van 30 min.
3. Sluit elk onderbroken instructieblok uit van de uiteindelijke evaluatie als de klas een verstoring ervaart die langer dan 5 min duurt vanwege alarmen, zaalwisselingen of storingen van het platform.
4. Behandel de betrokkenheid in de klas als een waarneembare samenstelling van meerdere gedragingen door bij elk meetpunt verschillende gedragsindicatoren gelijktijdig te registreren¹¹. Indicatoren omvatten taakgerichte aandacht, verbale participatie, samenwerking met medestudenten, taakgerichte aantekeningen of apparaatgebruik, afleiding (off-task), en hulpzoekend gedrag.
5. Richt de zitplaatsen in de klas per groep in vóór de eerste observatie en handhaaf deze zitplaatsindeling strikt gedurende de gehele periode van 4 weken.
6. Positioneer twee getrainde observatoren op vaste locaties met volledig zicht op de ruimte om onafhankelijk te coderen. Indien institutionele opnames zijn toegestaan en deelnemers hiervoor toestemming geven, installeer dan twee stationaire camera's in het midden-achteraan en aan de zijkant-achteraan en synchroniseer deze vóór de sessie.
7. Gebruik camerabeelden uitsluitend voor de training van observatoren, verificatie van de betrouwbaarheid en het oplossen van zichtbaarheidsproblemen; gebruik videopopnames niet als primaire coderingsbron en voer geen analyse uit van gezichtsemoties, stememoties, biometrie of identiteitsherkenning.

4. Intervalgebaseerde gedragscodering

1. Verdeel het observatievenster van 70-min in opeenvolgende intervallen bestaande uit een visuele scan van 20-s gevolgd door een registratieperiode van 10-s. Indien een grote hoorcollegezaal, een laboratorium of een online klas een andere intervallengte vereist, dient de aangepaste intervalstructuur te worden gerapporteerd en onderbouwd voordat de gegevensverzameling begint.
   OPMERKING: Deze 20-s/10-s structuur zorgt voor een balans tussen ecologische klasobservatie en de werklast van de codeur: de scanperiode is lang genoeg om aanhoudende aandacht, samenwerking en off-task gedrag te detecteren, terwijl de registratieperiode de geheugenbelasting vermindert en consistente binaire beslissingen ondersteunt.
2. Scan per interval een duidelijk gedefinieerde groep van maximaal tien studenten in een continue loop op basis van de zitplaatsindeling.
3. Hanteer specifieke scancriteria om inconsistentie bij de codeur te voorkomen die veroorzaakt wordt door vage operationele definities⁴. Codeer tijdens elke scan zes binaire indicatoren op studentniveau. Deze omvatten on-task aandacht, verbale participatie, samenwerking met peers, taakgerichte aantekeningen of apparaatgebruik, off-task afleiding en hulpzoekend gedrag.
4. Markeer een indicator als "1" als het aangewezen gedrag op enig moment tijdens de scan van 20-s voorkomt. Markeer het anders als "0". Codeer het interval als missend als een student gedurende ten minste 10 s van de scan niet zichtbaar is.
5. Registreer on-task aandacht wanneer een student zich gedurende ten minste 5 opeenvolgende s visueel richt op de instructeur, toegewezen taken, gepresenteerde informatie of peers die betrokken zijn bij een taakdiscussie. Codeer verbale participatie voor elke hoorbare en taakgerelateerde bijdrage.
6. Codeer samenwerking met peers wanneer studenten deelnemen aan zichtbare taakgerichte uitwisselingen, gezamenlijke probleemoplossing of uitleg aan peers. Registreer taakgerichte aantekeningen of apparaatgebruik voor actief schrijven, typen of digitale interactie met cursusmateriaal.
7. Markeer off-task afleiding als een student gedurende ten minste 5 opeenvolgende s betrokken is bij niet-gerelateerde gesprekken, niet-academisch apparaatgebruik of aanhoudende desinteresse. Registreer hulpzoeken wanneer een student expliciet om verduidelijking of assistentie vraagt aan de instructeur of peers.
8. Bereken de wekelijkse gedragsscore voor elke student als het totaal aantal positieve beoordelingen gedeeld door alle geldige beoordelingen. Leid vervolgens de gemiddelden over 4 weken af voor alle zes indicatoren.
9. Bereken een gecombineerde Observed Classroom Engagement Index (OCEI) voor student i in week w met behulp van het vooraf vastgestelde wiskundige model: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. Behandel hulpzoeken als een onafhankelijke analytische variabele, omdat dit afhankelijk van de context zowel constructieve verduidelijking als moeite met de instructieve inhoud kan vertegenwoordigen¹². Raadpleeg Figuur 1 voor de workflow van de studie en Tabel 1 voor de observatie-indices en coderingsregels.

5. Training van de waarnemer en beoordeling van de betrouwbaarheid

1. Voer de training voor observatoren uit met een handmatige trainingssessie van 60 min en voer drie kalibratierondes uit voorafgaand aan het formele programma.
2. Voer de eerste kalibratieronde uit met behulp van begeleide codering van een video uit een klaslokaal die geen deel uitmaakt van het onderzoek. Voltooi de volgende twee ronden als onafhankelijke coderingen van verschillende video's die geen deel uitmaken van het onderzoek, gevolgd door directe statistische vergelijkingen met de senior codeur.
3. Start de formele gegevensverzameling pas wanneer de Cohen's Kappa 0,75 bereikt of overschrijdt en de totale interbeoordelaarsconsistentie boven de 85% ligt.
4. Implementeer dubbelblinde driftverificatie op 10% van de volledige sessies en één gerandomiseerd segment van 10 min uit de overige sessies gedurende het 4-weekse protocol.
5. Kalibreer het coderingsteam opnieuw binnen 72 h en verifieer de betrokken sessies opnieuw vóór het vastzetten van de gegevens als de Kappa-waarde voor een indicator onder de 0,70 zakt. Geef continu feedback en organiseer kalibratie-oefeningen om de stabiliteit van de evaluatie in de loop van de tijd te handhaven¹³.

6. Collectie en evaluatie van reflectieve expressie

1. Instrueer studenten om voor elke geobserveerde les één gestructureerde reflectietekst (100-350 woorden) in te dienen, wat resulteert in 4 vermeldingen per deelnemer gedurende het 4-weekse protocol.
2. Stel de reflectievragen beschikbaar via het LMS of een papieren formulier binnen 2 u na de geobserveerde les, en sluit het indieningsvenster 72 u later. Het formulier moet het veld Study ID en de volgende drie vragen in dezelfde volgorde voor elke student tonen:
   1. Identificeer waar zij zich het meest en het minst betrokken voelden tijdens de les.
   2. Leg de contextuele oorzaken uit, inclusief taakmoeilijkheid, voorkennis, groepsinteractie, uitleg van de docent of het gebruik van het platform.
   3. Beschrijf hoe hun deelname de sfeer in de klas heeft beïnvloed en welke actie zij in de toekomst van plan zijn te ondernemen.
      OPMERKING: Behoud vermeldingen van minder dan 100 woorden, maar markeer deze in de database als informatie-arm. Markeer ook vermeldingen waarin de vraag over betrokkenheid, de contextuele oorzaak of de toekomstige actie/sociale impact ontbreekt, omdat deze weglatingen de score voor reflectiekwaliteit en de rapportage over de haalbaarheid beïnvloeden.
3. Wijs twee geblindeerde codeurs aan om de indieningen te evalueren op basis van beschrijvende specificiteit, analytische diepgang, zelfregulerende oriëntatie en sociaal-prosociale betekenis.
   1. Beoordeel elke dimensie met een 4-puntsschaal waarbij 0 staat voor afwezigheid, 1 voor zwak of vaag bewijs, 2 voor duidelijk maar beperkt bewijs en 3 voor sterk en uitgewerkt bewijs. Zo wordt analytische diepgang gescoord als 0 wanneer er geen reden wordt gegeven, 1 wanneer de student enkel aangeeft dat de activiteit moeilijk was, 2 wanneer de student de moeilijkheid koppelt aan een specifiek concept of een conditie in de klas, en 3 wanneer de student de interactie uitlegt tussen voorkennis, discussie met studiegenoten, feedback van de docent en een geplande leerstrategie. Tabel 2 en Aanvullend Bestand 1 bieden voorbeelden per scoreniveau voor alle vier de reflectiedimensies.
4. Start de formele beoordeling pas nadat een intraclass-correlatiecoëfficiënt van 0,80 of hoger is behaald voor elke dimensie op de pilot-teksten¹⁴.
5. Voer tijdens het protocol een dubbele score uit op 15% van de studiereflecties via willekeurige trekking om rater-drift te controleren. Evalueer de reflectieve teksten op basis van deze multidimensionale kwalitatieve metrieken in plaats van uitsluitend te vertrouwen op tekstlengte of woordfrequentie.
6. Ontwikkel of adapteer de rubric voor reflectieve expressie via een expertbeoordeling door ten minste twee onderwijsonderzoekers en één vakdocent. Pilot de rubric op 20 tot 30 niet-studiereflecties, herzie ambigue descriptoren en documenteer de definitieve versie van de rubric voordat de formele codering begint.
7. Dien de vragenlijst voor prosociale intentie toe, zoals getoond in Aanvullend Bestand 1. Vraag studenten om hun bereidheid te beoordelen om klasgenoten die problemen ondervinden te helpen, leerbronnen te delen, constructief bij te dragen aan discussies, medestudenten aan te moedigen, eerlijk te handelen tijdens groepstaken en het leerstroomklimaat in de klas te verbeteren. Gebruik een 5-puntsschaal variërend van 1 (zeer oneens) tot 5 (zeer eens). Bereken de gemiddelde score wanneer ten minste vijf van de zes items zijn ingevuld, en rapporteer de Cronbach's alpha voor de nulmeting en de metingen na het protocol.

7. Extractie van leeranalyse

1. Wijs een externe beheerder aan om de learning analytics-gegevens na week 4 te extraheren om contaminatie van de observatie- en reflectieprocessen te voorkomen.
2. Stel het extractievenster in van 00:00 op de dag van de eerste geobserveerde les tot 23:59 op de sluitingsdag van het laatste reflectievenster.
3. Extraheer alleen de vooraf gespecificeerde variabelen die noodzakelijk zijn voor het protocol. Leg het aantal actieve dagen op het platform, unieke weergaven van bronnen, de proportie geopende toegewezen bronnen, het aantal geplaatste reacties in discussies, de gemiddelde video-voltooiingsgraad en de punctualiteit van opdrachten vast.
4. Schoon de ruwe exportbestanden op door accounts van instructeurs en onderwijsassistenten, dubbele records, testgebeurtenissen en datapunten buiten het aangewezen tijdsbestek te verwijderen.
5. Definieer een actieve dag als elke kalenderdatum die ten minste één geauthenticeerde cursustoegang bevat, gevolgd door een betekenisvolle interactie, zoals het openen van bestanden, het bekijken van video's of het plaatsen van reacties.
6. Tel unieke openingen van bronnen waarbij dubbele refresh-gebeurtenissen binnen een tijdsbestek van 60 s worden genegeerd. Bepaal de video-voltooiingsgraad door het bekeken deel ten opzichte van de geplande tijd bij 01:00 af te korten en vervolgens het gemiddelde te berekenen over alle toegewezen mediabestanden.
7. Bereken de punctualiteit van opdrachten op basis van de proportie taken die vóór de geplande deadlines zijn ingediend. Bereken de proportie nachtelijke toegang als de ratio van betekenisvolle gebeurtenissen tussen 00:00 en 06:00 ten opzichte van de totale betekenisvolle activiteiten binnen de observatieperiode. Gebruik deze tijdsgebonden en bijdragegerichte metrieken om rijkere informatie te verschaffen dan eenvoudige log-accumulatie¹⁵.
8. Gebruik een vooraf gespecificeerde workflow voor datamanagement voor de ruwe export uit het learning management system. Sla de originele export op als een alleen-lezen bestand, maak een gedeïdentificeerde werkkopie, verwijder accounts van instructeurs en onderwijsassistenten, verwijder dubbele of testgebeurtenissen en houd een verwerkingslogboek bij met rijcounts na elke opschoonstap.
9. Voer de datacleaning uit in een spreadsheetprogramma versie 2021 of later en de statistische analyse in R versie 4.4.0 of later, of vergelijkbare software.
   1. Volg in een spreadsheet de stappen beschreven in 7.9.1.1–7.9.1.2.
      1. Importeer de gedeïdentificeerde CSV-bestanden via Gegevens > Gegevens ophalen > Uit tekst/CSV, en gebruik Gegevens > Dubbelen verwijderen om dubbele rijen met Study ID/tijdstempel/gebeurtenis te verwijderen.
      2. Pas Filter toe om accounts van instructeurs of onderwijsassistenten en records buiten het venster uit te sluiten, en sla een verwerkingslogboek op met rijcounts na elke stap.
   2. Volg in R de stappen beschreven in 7.9.2.1–7.9.2.3.
      1. Importeer bestanden met readr::read_csv(), herstructureer wekelijkse records met dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() en tidyr::pivot_wider().
      2. Bereken de kappa van Cohen met irr::kappa2(), ICC's met psych::ICC() en de alfawaarde van Cronbach met psych::alpha().
      3. Pas sectie-gecorrigeerde lineaire modellen toe met stats::lm(); gebruik lme4::lmer() wanneer een vooraf gespecificeerde random intercept voor de klassectie vereist is, en gebruik lme4::glmer(family = binomial) uitsluitend voor binaire uitkomsten. Archiveer het exacte script en de package-versies bij de indieningsmaterialen.
10. Gebruik de volgende reproduceerbare analysereeks.
    1. Bereken de observatieproporties per student per week, bereken de OCEI met de formule in stap 4.9 en voeg de wekelijkse reflectiescores samen op basis van Study ID en week.
    2. Aggregeer de learning analytics-variabelen over hetzelfde venster van 4 weken, inspecteer ontbrekende gegevens per gegevensbron, bereken beschrijvende statistieken en betrouwbaarheidsschattingen, en pas de vooraf gespecificeerde associatiemodellen toe.
    3. Voeg geen ongeplande predictoren toe na het inspecteren van de resultaten, tenzij deze als verkennend zijn geëtiketteerd.
11. (Optioneel) Deponeer voor transparantie een gedeïdentificeerd analysescript, codeboek, lege codeerschema's, reflectievragen, een reflectierubriek en een prosociale vragenlijst in de publieke repository of bij de aanvullende materialen. Deponeer geen identificeerbare ruwe video's van de klas, namen, institutionele ID's of niet-geanonimiseerde reflectieteksten.

8. Meting na het protocol en integratie van de dataset

1. Dien het instrument voor prosociale intentie voor een tweede keer af direct na het afsluiten van het laatste reflectievenster.
2. Vraag studenten om hun bereidheid om klasgenoten te helpen, bronnen te delen, constructief bij te dragen aan discussies, medestudenten aan te moedigen, eerlijk te handelen en het leerklimaat te verbeteren te beoordelen op een schaal van 1 (sterk mee oneens) tot 5 (sterk mee eens). Bereken de totale post-protocolscore van elk individu door de antwoorden te middelen, mits zij op ten minste vijf van de zes items hebben geantwoord.
3. Voeg de observatiebestanden, reflectiescores en learning analytics-gegevens samen met behulp van de geanonimiseerde Study ID. Stel uit deze samenvoeging twee definitieve datasets samen om een masterbestand op deelnemersniveau en een bestand in long-format op weekniveau te creëren.
4. Imputeer geen ontbrekende observatie-intervallen veroorzaakt door de onzichtbaarheid van studenten, noch ontbrekende wekelijkse reflecties veroorzaakt door het uitblijven van indiening. Markeer gedeeltelijk ingevulde reflecties, onvolledige learning analytics-variabelen, reflecties met weinig informatie en niet-overeenkomende Study ID's vóór de analyse.
5. Gebruik complete-case analyse voor vooraf gespecificeerde associatiemodellen, rapporteer het aantal uitgesloten gevallen voor elk model en voer een sensitiviteitscontrole uit waarbij geïncludeerde en uitgesloten studenten worden vergeleken op basis van beschikbare baseline-variabelen.
6. Houd prosociale intentie aan als primaire uitkomstmaat om de ondersteunende en collaboratieve attitudes te reflecteren die ten grondslag liggen aan structurele veranderingen in de participatie van universiteitsstudenten.

9. Probleemoplossing en protocoladaptaties

1. Indien twee observatoren verschillen met meer dan één binair categoriepatroon binnen hetzelfde studentencluster, of indien de kappa van Cohen onder 0,70 zakt voor een indicator, wordt de formele scoring voor de betreffende sessie gepauzeerd, worden de operationele definities herzien, wordt er een recalibratiesegment van 10 min voltooid en wordt het betreffende interval opnieuw gecodeerd voordat de gegevens worden vergrendeld.
2. Indien platformexports onvolledig zijn, wordt het ontbrekende veld gedocumenteerd, wordt er een tweede export opgevraagd bij de externe beheerder en blijft de student behouden in de observatie-/reflectiesamenvattingen, terwijl de niet-beschikbare analytics-variabele wordt uitgesloten van modellen die dat veld vereisen.
3. Indien minder dan 80% van de verwachte reflecties binnen 48 h na het openen van de taak is ingediend, wordt een neutrale herinnering naar de hele klas gestuurd, wordt de technische ondersteuning voor toegangsproblemen uitgebreid en worden de uiteindelijke aantallen tijdige, late en ontbrekende inzendingen afzonderlijk gerapporteerd.
4. Indien meer dan 10% van de studenten in een cluster gedurende ten minste de helft van het scanvenster niet zichtbaar is, worden de betreffende intervallen als ontbrekend gecodeerd en wordt er vertrouwd op de verslagen van de live-observator in plaats van te proberen gedrag af te leiden uit geblokkeerde beelden.
5. Indien een student zich terugtrekt, verdere deelname weigert of geen koppelbare gegevens over de bronnen heeft, wordt die student verwijderd uit de gekoppelde associatiemodellen, maar worden de geaggregeerde aantallen voor protocol-haalbaarheid behouden wanneer dit is toegestaan door de ethische goedkeuring.
6. Indien meerdere studenten aangeven dat een sectie moeilijk te begrijpen is, moet de instructeur de normale pedagogische reactie geven, zoals een korte heruitleg, een uitgewerkt voorbeeld, peerdiscussie of een aanvullende bron. Registreer dit als een contextuele gebeurtenis, aangezien dit van invloed kan zijn op het zoeken naar hulp, de diepgang van de reflectie en de platformactiviteit.
7. Pas de grootte van het studentencluster, de intervallengte, de reflectieprompts en de analytics-variabelen aan het instructieformaat aan, maar behoud dezelfde logica van vooraf gedefinieerde gedragsindicatoren, gede-identificeerde verslagen, onafhankelijke codering en transparante regels voor ontbrekende gegevens.
8. Behandel een lage betrouwbaarheid, een hoge mate van ontbrekende gegevens, beperkte reflectiediepte, zwakke prosociale verandering en zwakke overeenstemming tussen datastromen als informatieve implementatieresultaten in plaats van protocolfouten. Rapporteer deze resultaten en leg uit of ze het klaslokaalcontext, instrumentbeperkingen of problemen bij de gegevensverzameling reflecteren.

Resultaten

Inclusie van deelnemers, volledigheid van gegevens en betrouwbaarheid van scores
Een initiële cohort van 204 studenten uit alle klassensecties werd uitgenodigd om deel te nemen, wat resulteerde in 198 instemmende personen. Veertien gevallen werden vervolgens uitgesloten vanwege het stopzetten van de cursus tijdens het protocolvenster of onvolledige gegevenskoppeling tussen de observatie-, reflectie- en platformgegevens. Bijgevolg bestond de uiteindelijke analytische steekproef uit 184 studenten. De kenmerken van de deelnemers, de wekelijkse voltooiingspercentages en de algehele volledigheid van de gegevens zijn gedetailleerd in Tabel 3.

Gedurende het 4-weekse programma werden 24 lessen geobserveerd, waarbij voor elke deelnemer een gesynchroniseerd learning-analytics-verslag werd gegenereerd. Van de 736 verwachte reflectieverslagen werden er 701 binnen het tijdvenster van 72 u salaries ingediend, 18 werden te laat ingediend en 17 ontbraken. Uiteindelijk hebben 171 studenten alle wekelijkse reflecties tijdig en succesvol voltooid. De learning analytics werden volledig geëxtraheerd voor de uiteindelijke 184 deelnemers, nadat accounts van instructeurs, dubbele invoeringen en activiteiten buiten het tijdvenster waren gefilterd.

De observationele codering bleef gedurende de gehele protocolperiode zeer stabiel. De interbeoordelaarsbetrouwbaarheid voor de zes gedragsindices van de klasobservatie vertoonde Cohen's kappa-waarden variërend van 0,76 tot 0,84, waarbij de algemene overeenstemming tijdens drift-tests boven de 86% lag. Voor de scores van de reflectieve expressie varieerden de intra-klasse correlatiecoëfficiënten (ICC's) over de vier dimensies tussen 0,82 en 0,89. Tabel 4 presenteert de beschrijvende statistieken en betrouwbaarheidsindices voor de primaire studievariabelen.

Gedragsobservatie in de klas
De geobserveerde gedragingen in de klas vertoonden een geleidelijke verbetering gedurende het 4-weekse protocol. Zoals geïllustreerd in Figuur 2, waren de taakconcentratie, verbale participatie en samenwerking met leeftijdsgenoten in week 4 significant hoger dan in de beginweken. Specifiek nam de verbale participatie toe van 0,18 ± 0,09 in de eerste week naar 0,24 ± 0,10 in de vierde week (p < 0,05). De samenwerking met leeftijdsgenoten steeg op soortgelijke wijze van 0,29 ± 0,11 naar 0,35 ± 0,12 (p = 0,006). De taakconcentratie vertoonde een zeer significante verbetering, waarbij deze verschoof van 0,71 ± 0,12 naar 0,76 ± 0,11 (p < 0,001).

Omgekeerd vertoonde taakgerichte notitieverwerking of apparaatgebruik slechts marginale wekelijkse stijgingen die geen statistische significantie bereikten (p = 0,08). Hulpzoekend gedrag bleef gedurende de gehele observatieperiode consistent laag, zonder significant tijdeffect (p = 0,21). Afleiding buiten de taak nam significant af van 0,14 ± 0,08 in week 1 naar 0,11 ± 0,07 in week 4 (p = 0,03). Over het geheel genomen steeg de samengestelde Observed Classroom Engagement Index significant van 0,52 ± 0,10 tijdens de eerste week naar 0,58 ± 0,11 in de laatste week (p < 0,001).

Reflectieve uitingen over het 4-weken protocol
Reflectieve uitingen evolueerden gedurende de studieperiode, hoewel de omvang van de verandering varieerde over de verschillende subdimensies. Zoals getoond in Figuur 3, steeg de totale reflectiescore vanaf week 1 naar 7,2 ± 1,9 in week 4 (p < 0,001).

De analytische diepgang was aan het einde van week 4 aanzienlijk groter vergeleken met de eerste twee weken (p < 0,001). Op soortgelijke wijze nam de sociaal-prosociële betekenis toe van 1,08 ± 0,55 naar 1,54 ± 0,60 (p < 0,001), en nam de zelfregulerende oriëntatie toe van 1,42 ± 0,63 naar 1,69 ± 0,65 (p < 0,05). In tegenstelling hiermee vertoonde de beschrijvende specificiteit een lichte stijgende trend, van 2,14 ± 0,57 naar 2,24 ± 0,55, wat niet statistisch significant was (p = 0,09).

De inzendingen varieerden gedurende het protocol gemiddeld tussen de 223 and 231 woorden per vermelding. Van de 736 verwachte reflectieverslagen werden er 18 te laat ingediend en ontbraken er 17; vermeldingen met weinig informatie en antwoorden waarin de prompt over de contextuele oorzaak of de toekomstige actie/sociale impact werd weggelaten, werden in de database gemarkeerd. Deze gevallen werden behouden als haalbaarheidsindicatoren en werden alleen uitgesloten van weekspecifieke modellen voor reflectiekwaliteit wanneer de relevante score niet kon worden toegekend.

Patronen van leeranalyse tijdens het studievenster
Platformactiviteitsmetrieken vertoonden aanzienlijke interindividuele variatie over het venster van 4 weken, zoals afgebeeld in Figuur 4.

Over de totale periode hadden studenten gemiddeld 9,7 ± 2,4 actieve dagen op het platform. Het gemiddelde aantal weergaven van verschillende bronnen was 27,3 ± 8,6, waarbij studenten gemiddeld een aandeel van 0,81 ± 0,14 van de toegewezen bronnen openden. Bovendien was het gemiddelde aantal antwoorden in de discussie 4,8 ± 2,7. De gemiddelde punctualiteit bij het inleveren van opdrachten en de gemiddelde voltooiingsgraad van video's waren respectievelijk 0,86 ± 0,18 en 0,79 ± 0,17. Het aandeel toegang tot het platform laat op de avond was gemiddeld 0,12 ± 0,09.

Opvallend is dat antwoorden op discussies en de punctualiteit bij het inleveren van opdrachten meer uitgesproken positieve correlaties vertoonden met andere participatie-indicatoren, ondanks de brede spreiding van de punctualiteitsscores.

Kruisassociatie van observaties, reflecties en leergegevens
De drie gegevensbronnen vertoonden betekenisvolle, hoewel niet uniforme, associaties. Zoals getoond in Figuur 5, hadden studenten met hogere indices voor geobserveerde betrokkenheid in de klas de neiging om hogere totale reflectiescores te behalen. In het op sectie aangepaste model voorspelde de geobserveerde betrokkenheid in de klas positief de totale reflectiescore (β = 0,34, p < 0,001).

Onder de variabelen voor leeranalyse waren reacties op discussies en de punctualiteit bij het inleveren van opdrachten significant en positief gecorreleerd met de reflectiekwaliteit. Zoals gedetailleerd in Tabel 5, voorspelden reacties op discussies positief de totale reflectiescore (β = 0.19, p = 0.013), evenals de punctualiteit bij het inleveren van opdrachten (β = 0.17, p = 0.028). Hoewel het aantal weergaven van bronnen en het aandeel geopende toegewezen bronnen aanvankelijk positieve associaties vertoonden, werden deze correlaties significant zwakker na correctie voor storende variabelen. Het aandeel toegang in de late nacht vertoonde geen significante associatie met de totale reflectiescore (p = 0.18).

De gegevens onthulden ook milde cross-correlaties tussen het geobserveerde gedrag in de klas en specifieke platformactiviteiten; zo correleerden weergaven van ruwe bronnen slechts marginaal met de Observed Classroom Engagement Index. Bovendien vertoonden studenten die vaker deelnamen aan groepsdiscussies een hogere verbale communicatie, terwijl studenten met een hogere gedragsregulatie minder uitstelgedrag vertoonden bij het inleveren van opdrachten.

Veranderingen in prosociale intentie
De prosociale intentie vertoonde een significante groei van de nulmeting naar de nameting. De gemiddelde score voor prosociale intentie steeg van 3,61 ± 0,53 bij de nulmeting naar 3,84 ± 0,50 na het 4-weekse protocol (p < 0,001). Figuur 6 illustreert de gepaarde distributie en de gecorrigeerde associaties.

In het definitieve gecorrigeerde model voorspelde een hogere Observed Classroom Engagement Index een grotere toename in de prosociale intentie na het protocol in vergelijking met de nulmeting (β = 0,21, p < 0,05). Onder de reflectieve dimensies had de sociaal-prosociale betekenis het meest substantiële onafhankelijke effect op de prosociale intentie na het protocol (β = 0,29, p < 0,001). Hoewel verbale participatie een positieve ongecorrigeerde correlatie vertoonde met de prosociale resultaten na de test, verloor deze associatie statistische significantie na correctie voor de nulwaarden (p = 0,09). Ten slotte bleef de toegangssnelheid in de late nachtelijke uren ongerelateerd aan de prosociale intentie na het protocol (p = 0,27).

Waargenomen implementatiebeperkingen en nulresultaten
De uitgevoerde studie leverde verschillende suboptimale maar informatieve resultaten op in plaats van fouten die tot het staken van het protocol leidden. Geen enkele waargenomen sessie hoefde te worden uitgesloten vanwege een observer kappa onder de 0,70, geen enkel veld voor leeranalyse bleef onbeschikbaar na de definitieve export, en geen enkel zichtbaarheidsprobleem overschreed de vooraf vastgestelde drempelwaarde voor ontbrekende gegevens. De waargenomen beperkingen concentreerden zich bij het voltooien van reflecties en bij nulresultaten of marginale gedragsbevindingen: 18 reflecties werden te laat ingediend, 17 verwachte reflecties ontbraken, taakgerichte notitievoering/apparaatgebruik vertoonde slechts een marginale toename (p = 0,08), hulpzoekend gedrag vertoonde geen significant tijdeffect (p = 0,21), en toegang laat op de avond was niet geassocieerd met de totale reflectiescore of de prosociale intentie na het protocol.

Deze bevindingen zijn behouden omdat ze de haalbaarheid van de implementatie en de randvoorwaarden van het protocol beschrijven. Late of ontbrekende reflecties werden vermeld in de samenvattingen van de deelnemersstroom en de volledigheid van de gegevens; marginale of nihilistische associaties werden gerapporteerd zonder selectieve weglating; en de procedures voor probleemoplossing in de sectie Protocol specificeren hoe hypothetische fouten, zoals observer drift, belemmerd zicht of ontbrekende LMS-velden, in toekomstige implementaties moeten worden afgehandeld.

Geanonimiseerde analysebestanden, het datadictionary, analysescripts, lege codeerschema's, reflectievragen, een reflectierubriek en de vragenlijst voor prosociale intenties zijn gedeponeerd in Zenodo: https://zenodo.org/records/20607517. Identificeerbare ruwe video's uit de klas, namen, institutionele ID's en niet-geanonimiseerde reflectieteksten zijn niet openbaar gemaakt.

Figuur 1: Workflow van de studie en protocol voor de integratie van gegevens uit meerdere bronnen. (A) Werving van deelnemers, verzamelen van toestemming en toewijzing van studie-ID's over twee bachelorcursussen en zes klassecties. (B) De 4-weekse cyclus van gegevensverzameling: wekelijkse klasobservatie, reflectieve schrijfopdracht en gesynchroniseerd venster voor het vastleggen van leeranalyse. (C) Drie parallelle datastromen: observationele gedragsregistratie in de klas, scoren van reflectieve uitingen en geanonimiseerde records van het leerplatform. (D) Constructie van de masterdataset op deelnemerniveau en de database in long-format op weekniveau, wat leidt tot de primaire onderzoeksresultaten: geobserveerde index van betrokkenheid in de klas, reflectiescore en prosociale intentie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Wekelijkse veranderingen in het waargenomen klasgedrag tijdens het 4-weekse protocol. (A) Focus op de taak. (B) Verbale participatie. (C) Samenwerking met peers. (D) Taakgerichte aantekeningen of taakgericht gebruik van apparaten. (E) Afleiding buiten de taak. (F) Hulpvragen. Waarden zijn wekelijkse proportiescores op studentniveau, afgeleid van intervalgebaseerde klasobservaties. Punten geven de wekelijkse gemiddelden aan en foutenbalken geven de standaarddeviaties aan. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Wekelijkse veranderingen in reflectieve expressie over de vier reflectieve inzendingen. (A) Beschrijvende specificiteit. (B) Analytische diepgang. (C) Zelfregulerende oriëntatie. (D) Sociaal-prosociale betekenis. (E) Totale reflectiescore. Reflectiescores werden toegewezen door twee geblindeerde codeurs met behulp van het vooraf vastgestelde rubric. Punten geven de wekelijkse gemiddelden aan, en foutbalken geven de standaarddeviaties aan. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Distributie van learning-analytics-indicatoren gedurende het 4-weekse studievenster. (A) Actieve dagen op het leerplatform. (B) Weergaven van bronnen. (C) Proportie geopende toegewezen bronnen. (D) Geplaatste antwoorden in discussies. (E) Gemiddelde video-voltooiingsgraad. (F) Stiptheid bij het inleveren van opdrachten. (G) Proportie toegang tijdens de late nacht. Alle waarden werden berekend over hetzelfde 4-weekse venster dat werd gebruikt voor klasobservatie en reflectief schrijven. Violin plots tonen distributies op studentniveau en box plots geven medianen en interkwartielafstanden aan. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Samenhang tussen waargenomen betrokkenheid in de klas, reflectieve expressie en geselecteerde leeranalyse-indicatoren. (A) Samenhang tussen de Observed Classroom Engagement Index en de totale reflectiescore. (B) Samenhang tussen het aantal geplaatste antwoorden in discussies en de totale reflectiescore. (C) Samenhang tussen de punctualiteit van opdrachten en de totale reflectiescore. (D) Samenhang tussen verbale participatie en de totale reflectiescore. Trendlijnen vertegenwoordigen aangepaste lineaire samenhangen; gearceerde banden geven 95% betrouwbaarheidsintervallen aan. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Verandering in prosociale intentie en de associaties hiervan met betrokkenheid in de klas en reflectieve betekenis. (A) Gepaarde verdeling van de scores voor prosociale intentie bij de nulmeting en na het protocol. Lijnen verbinden gepaarde pre-/postscores van dezelfde student. (B) Associatie tussen de Observed Classroom Engagement Index en de prosociale intentie na het protocol, gecorrigeerd voor de score bij de nulmeting. (C) Associatie tussen sociaal-prosociale betekenis en de prosociale intentie na het protocol. (D) Associatie tussen verbale participatie en de prosociale intentie na het protocol. Gekleurde banden in panelen B-D geven 95% betrouwbaarheidsintervallen aan. Klik hier om een grotere versie van deze figuur te bekijken.

Tabel 1: Indicatoren voor klasobservatie op studentniveau en coderingsregels. De tabel bevat de operationele definities en coderingscriteria voor taakgerichte aandacht, verbale participatie, samenwerking met medestudenten, taakgerichte aantekeningen of apparaatgebruik, afleiding (off-task) en het zoeken naar hulp. Het coderingsvenster van 70 min, de cyclus van 20 s scannen/10 s registreren, de cluster-scanprocedure, de regel voor ontbrekende zichtbaarheid en de OCEI-formule worden beschreven in de sectie Protocol. Klik hier om deze tabel te downloaden.

Tabel 2: Raamwerk voor de score van reflectieve expressie, voorbeelden per scoreniveau en definities van variabelen voor leeranalyse. De tabel beschrijft het scoringsrubriek voor reflectieve teksten, inclusief voorbeelden van scores 0, 1, 2 en 3 voor elke reflectieve dimensie, en de operationele definities voor de geëxtraheerde variabelen voor leeranalyse. Reflectieve componenten omvatten beschrijvende specificiteit, analytische diepgang, zelfregulerende oriëntatie, sociaal-prosociaal betekenis, totale reflectiescore, woordenaantal en indieningsstatus. Leeranalyse omvat actieve dagen, weergaven van bronnen, proportie geopende toegewezen bronnen, geplaatste reacties op discussies, gemiddelde voltooiingsgraad van video's, punctualiteit van opdrachten en proportie toegang in de late nacht. Klik hier om deze tabel te downloaden.

Tabel 3: Kenmerken van deelnemers, inclusiestroom en volledigheid van de gegevens. De tabel vat de geschiktheid van deelnemers, toestemmingspercentages, uitsluitingscriteria, de uiteindelijke steekproefomvang en de volledigheid van de gegevens uit de drie gegevensbronnen samen. Er wordt melding gemaakt van demografische basiskenmerken naast de verwachte reflectie-invoeren, tijdige indieningen, late indieningen, ontbrekende reflecties en succesvolle extracties van leeranalysegegevens. Waarden worden weergegeven als n (%) tenzij anders aangegeven. Afronding kan ertoe leiden dat percentages niet exact optellen tot 100%. Overeenkomstig het protocol worden late reflecties gearchiveerd, maar uitgesloten van weekspecifieke reflectieanalyses. Volledige extractie van leeranalysegegevens duidt op het succesvol ophalen van gedeïdentificeerde records van het studievenster na verwijdering van instructeursaccounts, dubbele invoeren en gebeurtenissen buiten het venster. Klik hier om deze tabel te downloaden.

Tabel 4: Beschrijvende statistieken en testbetrouwbaarheidsscores van de primaire studievariabelen. De tabel presenteert weekspecifieke gemiddelde waarden, standaarddeviaties en betrouwbaarheidsindices voor geobserveerd klasgedrag, reflectieve expressie, leeranalyse en prosociale intentie. De betrouwbaarheid van de data uit klasobservaties is geëvalueerd met behulp van Cohen's kappa. De betrouwbaarheid van de reflectiescores wordt gepresenteerd als intra-klasse correlatiecoëfficiënten (ICCs) voor dubbel gescorede teksten. De interne consistentie van de maatstaf voor prosociale intentie is gerapporteerd met Cronbach's α. Variabelen voor leeranalyse zijn berekend over dezelfde periode van 4 weken die is gebruikt voor de observaties en reflecties. Klik hier om deze tabel te downloaden.

Tabel 5: Multivariabele associaties tussen waargenomen betrokkenheid in de klas, reflectieve expressie, leeranalyse en prosociale intentie. De tabel bevat de inferentiële modellen die in de hoofdanalyses zijn gebruikt. Er worden multivariabele predictoren van de totale reflectiescore gepresenteerd, gecorrigeerde predictoren van de prosociale intentie na het protocol (gecontroleerd voor baseline-niveaus) en geselecteerde ongecorrigeerde associaties. β-waarden representeren niet-gestandaardiseerde regressiecoëfficiënten. Alle multivariabele modellen zijn gecorrigeerd voor de klassectie. Standaardfouten (SE), 95% betrouwbaarheidsintervallen (CI) en p-waarden worden verstrekt voor alle schattingen. Klik hier om deze tabel te downloaden.

Discussie

Deze studie stelt een praktisch protocol voor dat gedragsobservatie, reflectief schrijven en leeranalyse integreert om de participatie, zelfexpressie en prosociale bewustwording van universiteitsstudenten uitgebreid te onderzoeken binnen één enkel instructievenster. Door verschillende dimensies van betrokkenheid vast te leggen, adresseert deze tri-modale aanpak recente kritieken in het onderzoek naar het hoger onderwijs, waarin wordt gesteld dat metrieken voor gebruiksduur en sensorgebaseerde monitoring onvoldoende zijn wanneer ze geïsoleerd worden geëvalueerd¹. Over het 4-weekse protocol verbeterde de zichtbare betrokkenheid in de klas aanzienlijk. Specifiek namen de verbale participatie en de samenwerking tussen peers toe, samen met de taakgerichte aandacht, terwijl hulpzoekend gedrag en taakgerichte aantekeningen minimale veranderingen vertoonden. Deze gedragsverschuivingen wijzen erop dat naarmate studenten wennen aan de instructieomgeving, hun betrokkenheid evolueert naar een meer strategische, sociaal interactieve en bijdragegerichte participatie¹⁶.

Vanuit een methodegerichte invalshoek hangt de waarde van het protocol af van een gedisciplineerde uitvoering in plaats van het observeren van uniform positieve resultaten. De herziene workflow legt daarom de nadruk op een vooraf gespecificeerde OCEI-formule, onafhankelijke observatie, gedocumenteerde softwareverwerking, rubric-voorbeelden, betrouwbaarheidsdrempels en expliciete regels voor ontbrekende gegevens. Deze toevoegingen zijn bedoeld om het protocol reproduceerbaar te maken in gewone klaslokalen waar platformgegevens, studentenaanwezigheid, camerazichtbaarheid en de kwaliteit van reflecties imperfect zijn.

Het protocol moet tevens worden geïnterpreteerd als vormgevoelig. In grote hoorcolleges hebben waarnemers mogelijk kleinere roterende clusters en een langere kalibratieperiode nodig; in online lessen kan gedragsobservatie steunen op interactielogs en zichtbare participatie in plaats van het scannen van de ruimte; in laboratoria kan veiligheidsgerelateerd gedrag een aanvullende indicator vereisen; en in cultureel diverse klaslokalen moeten reflectievragen en items over prosociale intentie vóór gebruik worden gecontroleerd op taalkundige duidelijkheid en culturele passendheid.

Reflectief schrijven biedt een secundaire laag van inzicht in deze gedragspatronen. De totale reflectiescores vertoonden een gestage stijgende lijn gedurende het protocol, waarbij de meest uitgesproken verbeteringen optraden in de analytische diepgang en de sociaal-prosociale betekenisgeving. In plaats van enkel gebeurtenissen in de klas te verslaan, toonden studenten een groeiend vermogen om onderwijssituaties vanuit een breder, sociaal bewuster perspectief te analyseren. Dit komt overeen met recente bevindingen dat herhaalde, gestructureerde reflectietaken bijdragen aan betekenisgeving van een hogere orde en kennisgebaseerd discours, zelfs wanneer het tekstvolume op oppervlakkig niveau relatief constant blijft⁹. Bijgevolg kan reflectief schrijven in het hoger onderwijs het beste worden begrepen als een multidimensionaal construct, waarbij vaardigheden gerelateerd aan interpretatie, transfer en zelfregulerende projectie zich in verschillende tempo's ontwikkelen over tijd⁵.

De integratie van leeranalyse rechtvaardigt verder de noodzaak van een protocol met meerdere bronnen. Substantiële acties, zoals reacties in discussies en de punctualiteit van opdrachten, bleken veel informatiever als indicatoren voor betrokkenheid dan het ruwe activiteitsvolume. Omgekeerd vertoonde toegang tot het platform laat op de avond geen betekenisvolle associatie met respectievelijk de kwaliteit van reflectie of prosociale intentie. Deze bevindingen ondersteunen eerder onderzoek waarin wordt gewaarschuwd tegen een overmatige afhankelijkheid van eenvoudige frequentie- of inlogstatistieken om de betrokkenheid van studenten te evalueren⁴. Onze resultaten suggereren dat studenten die constructief omgaan met cursusmateriaal een sterker reflectievermogen ontwikkelen; basisactiviteit op het platform weerspiegelt echter niet perfect de observeerbare betrokkenheid in de klas. De matige overlap — in plaats van overmatige redundantie — tussen observatie, reflectie en analyse valideert hiermee het gebruik van samengestelde meetstrategieën boven onafhankelijke conclusies uit een enkele bron¹⁷.

Een secundaire bijdrage van dit onderzoek is de uitbreiding van de geëvalueerde uitkomsten voorbij de standaard participatiemetrieken. De prosociale intentie vertoonde een meetbare toename van de pretest naar de posttest, waarbij de sterkste associaties werden gezien bij studenten die sociaal-prosociale thema's in hun reflecties verwoordden en een uitgebreid interactieprofiel behielden. Dit is consistent met actueel onderzoek in het hoger onderwijs, dat stelt dat coöperatieve, bijdragegerichte kenmerken integraal zijn aan interacties in de klas en geen loutere neveneffecten zijn⁸. Bovendien ondersteunen deze resultaten de conceptualisering van klaslokalen als complexe sociale systemen. Wanneer studenten hun relatieve bijdragen aan de leergemeenschap actief evalueren, neigt hun gedrag te verschuiven van basisnaleving naar constructieve, prosociale betrokkenheid¹⁸.

Deze conclusies bieden toepasbare inzichten voor pedagogisch ontwerp. Het voorgestelde protocol vereist geen gespecialiseerde sensoren of intrusieve monitoringsystemen. Door uitsluitend te vertrouwen op intervalgebaseerde observatie, wekelijkse gestructureerde reflecties en standaardgegevens van het cursusplatform, biedt deze combinatie een zeer haalbare oplossing voor onderwijsomgevingen in het undergraduate-onderwijs die behoefte hebben aan transparant, formatief bewijs van betrokkenheid, maar geen geavanceerde technologische infrastructuur hebben. Recente pedagogische kaders die de nadruk leggen op leergemeenschappen en waardecreërend onderwijs suggereren dat het herpositioneren van studenten als actieve co-creators, in plaats van passieve consumenten, de participatie in het hoger onderwijs van meer betekenis voorziet¹⁹. Onze empirische bevinding dat bijdrage-gerelateerde indicatoren nauw clusteren met de kwaliteit van de reflectie en prosociale intentie — in veel grotere mate dan simpel platformverkeer — ondersteunt deze pedagogische verschuiving sterk.

Verschillende beperkingen moeten worden erkend. Ten eerste, omdat het protocol is ontworpen voor een beperkt aantal klassensecties, vereist de overdraagbaarheid naar laboratoriumgebaseerde, hoorcollege-dominante, volledig asynchrone online of cultureel diverse omgevingen geplande aanpassingen en vernieude betrouwbaarheidstests. Ten tweede wordt de prosociale intentie gemeten via zelfrapportage en moet dit worden geïnterpreteerd als een gerapporteerde intentie in plaats van een directe gedragsmatige grondwaarheid. Ten derde leggen leeranalyses platform-gemedieerde activiteit vast en kunnen zij offline voorbereiding, informele peer-ondersteuning en niet-gemelde door AI ondersteunde studie missen. Ten vierde kan het observatievenster van 4 weken kortstondige implementatiepatronen identificeren, maar mogelijk worden langere ontwikkelingstrajecten niet vastgelegd. Ten slotte moeten de representatieve waarden van 4 weken worden geïnterpreteerd als contextspecifiek implementatiebewijs in plaats van als generaliseerbare causale schattingen²⁰.

Toekomstig onderzoek zou dit kader in verschillende richtingen moeten uitbreiden. Het repliceren van het protocol over diverse academische disciplines en instructiemodaliteiten is een cruciale volgende stap. Daarnaast zijn longitudinale follow-ups noodzakelijk om vast te stellen of deze kortstondige reflectieve praktijken leiden tot blijvende prosociale attitudes of aanhoudende gedragsvoordelen. Vervolgstudies zouden dit observationele kader ook kunnen vergelijken met alternatieve methodologieën, zoals peer-assessment, artefactanalyse op groepsniveau of event-sequence-analyse. Niettemin biedt dit protocol in zijn huidige vorm een robuust, operationeel mechanisme om te trianguleren wat studenten in de klas doen, hoe zij deze acties achteraf interpreteren en hoe zij zich sociaal positioneren binnen de bredere leeromgeving.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Codeerschema voor klaslokalobservatie	Interne ontwikkeling	Zes binaire gedragsindicatoren	Intervalgebaseerde codering van taakgerichte aandacht, verbale participatie, samenwerking met peers, taakgerichte aantekeningen/apparaatgebruik, afleidende off-task activiteiten en hulpzoeken.
GraphPad Prism	Graphpad	Versie 10.2.3	Genereren van workflowdiagrammen, wekelijkse trendplots, distributieplots en associatiefiguren.
Institutioneel leerbeheersysteem / cursusplatform	Gastuniversiteit	Bestaand institutioneel LMS-account systeem	Verzameling van geanonimiseerde leeranalysegegevens.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Genereren van workflowdiagrammen, wekelijkse trendplots, distributieplots en associatiefiguren.
R	R Foundation		ggplot2 3.5.1
Spreadsheetsoftware	Microsoft Corporation	Microsoft Excel 365 v2402	Data-invoer, opschoning, anonimiseringscontroles en samenvoegen van observatie-/reflectie-/analyse-datasets.
SPSS Statistics	IBM Corp	Versie 26.0	Statistische analyse software; beschrijvende statistiek, repeated-measures vergelijkingen, Cohen's kappa, ICC, Cronbach's alpha, correlaties en regressiemodellen.