Een reproduceerbare survey-scoring en C5.0 beslissingsboom-workflow voor het classificeren van zelfgerapporteerd hogere-orde denken in generatief AI-ondersteund leren

Samenvatting

Dit protocol biedt een reproduceerbare workflow voor het verzamelen van zelfrapportage-enquêtegegevens, het scoren van leerlinggerelateerde variabelen, het dichotomiseren van hogere-orde denkscores en het toepassen van een C5.0-beslissingsboom om interpreteerbare leerlingclassificatie te demonstreren in generatief kunstmatig intelligentie-ondersteund academisch leren.

Samenvatting

Generatieve kunstmatige intelligentie wordt steeds vaker gebruikt in het hoger onderwijs, maar onderzoekers hebben nog steeds transparante procedures nodig voor het verzamelen, scoren en organiseren van enquêtegegevens op leerlingenniveau in deze snel veranderende context. Dit artikel presenteert een reproduceerbare enquête-scoring en C5.0 beslissingsboom-workflow voor het classificeren van zelfgerapporteerd hogere-orde denken onder studenten die generatieve kunstmatige intelligentietools hebben gebruikt voor academisch leren. Het protocol omvat de werving van deelnemers, het afnemen van vragenlijsten, screening op responskwaliteit, composietscoreberekening, binaire codering, trainingstestopdeling, C5.0-boomconstructie, snoeien, modeluitvoer en interpretatie van node-gebaseerde classificatiepaden. De workflow wordt aangetoond met behulp van een enquête van 776 bachelorstudenten van 776 bachelorstudenten, verzameld in China van 7 tot 15 maart 2023. Hogere-orde denken wordt geoperationaliseerd als een zelfgerapporteerde vragenlijstscore in plaats van als direct waargenomen cognitieve prestatie. In de demonstratiedataset behield de gesnoeide boom acht variabelen gerelateerd aan leerlingen: angst voor generatieve kunstmatige intelligentie, vertrouwen in generatieve kunstmatige intelligentie, problematisch gebruik van smartphones, academische uitstelgedrag, academische prestaties, ouderlijke opvoeding, negatieve emoties en houdingen ten opzichte van generatieve kunstmatige intelligentie. Het behouden model behaalde 89,52% nauwkeurigheid in de trainingssubset en 86,21% nauwkeurigheid in de testsubset. Echter, klasse-specifieke evaluaties toonden ongelijkmatige prestaties, met aanzienlijk zwakkere terugroeping voor de Low-HOT-klasse dan voor de High-HOT-klasse. Daarom moet de boom worden geïnterpreteerd als een hulp, interpreteerbare workflowdemonstratie in plaats van als een gevalideerd screeningsinstrument. Dit protocol kan onderzoekers ondersteunen die een gedocumenteerde en herhaalbare procedure nodig hebben voor enquête-gebaseerde leerlingprofilering in generatieve door kunstmatige intelligentie ondersteunde leeromgevingen.

Inleiding

Hoger-orde denken is een centrale zorg in het hoger onderwijs omdat universitair onderwijs wordt verwacht verder te gaan dan het herinneren van feitelijke kennis en richting analyse, evaluatie, reflectie, probleemoplossing en kenniscreatie¹. Latere herzieningen van Blooms taxonomie verduidelijkten verder dat geavanceerd leren niet alleen het onthouden en begrijpen inhoudt, maar ook het toepassen, analyseren, evalueren en creëren van kennis in steeds complexere contexten². Dit onderscheid is belangrijk voor het huidige protocol omdat hogere-orde denken niet wordt behandeld als een eenvoudige prestatiescore, maar als een leerlingen-niveau construct dat zorgvuldige operationalisering vereist voordat het geanalyseerd kan worden. In onderwijsonderzoek is hoger-orde denken ook in verband gebracht met kritisch redeneren, metacognitieve monitoring en de overdracht van leren over probleemcontexten³. Voor technologie-ondersteund leren wordt dit probleem vooral belangrijk omdat leerlingen vaak concepten moeten verbinden, gegenereerde informatie moeten evalueren en beslissingen moeten nemen tijdens probleemoplossende activiteiten in plaats van alleen instructiemateriaal^{te ontvangen 4}.

De snelle verspreiding van generatieve kunstmatige intelligentie heeft het meten van hogere-orde denken ingewikkelder gemaakt. Generatieve kunstmatige intelligentie-tools kunnen tekst, code, afbeeldingen, uitleg, samenvattingen en andere vormen van academische ondersteuning produceren op basis van patronen die zijn geleerd uit grootschalige datasets⁵. Grote taalmodellen, waaronder ChatGPT, werden vooral zichtbaar in het hoger onderwijs tijdens de vroege periode van publieke adoptie eind 2022 en begin 2023. In academische omgevingen kunnen studenten deze tools gebruiken voor informatiezoeken, conceptuitleg, het ontwikkelen van schema's, ideeën, het herzien van opdrachten, vertaalondersteuning en andere cursusgerelateerde activiteiten. Deze toepassingen kunnen de routinematige werklast verminderen, maar ze kunnen ook veranderen hoe leerlingen aandacht toewijzen, de kwaliteit van informatie beoordelen en hun eigen cognitieve inspanning reguleren. Om deze reden vereist onderzoek naar generatief door kunstmatige intelligentie ondersteund leren procedures die duidelijk documenteren hoe variabelen op lerendniveau worden verzameld, gescored, gecodeerd en geïnterpreteerd.

Eerder werk aan digitaal en blended learning heeft aangetoond dat technologie hoger-orde denken kan ondersteunen wanneer studenten actief betrokken blijven bij leertaken in plaats van passief gebruik te maken^van de omgeving. Mobiele en technologie-ondersteunde leerstudies suggereren op vergelijkbare wijze dat interactie met leeftijdsgenoten, leerperceptie en actieve betrokkenheid relevant zijn voor de hogere-orde denkneigingen van studenten⁸. Data mining-benaderingen zijn ook gebruikt om te onderzoeken hoe online leergedrag samenhangt met hogere-orde denkvaardigheden, waarmee het belang wordt aangetoond van het organiseren van onderwijsdata in interpreteerbare leerpatronen⁹. Een aanzienlijk deel van het onderzoek naar technologiegebruik is geïnformeerd door het Technology Acceptance Model, dat gebruiksgedrag verklaart aan de hand van waargenomen bruikbaarheid en vermeend gebruiksgemak¹⁰. Generatief door kunstmatige intelligentie ondersteund leren verschilt echter van eerdere digitale leercontexten omdat studenten interactie hebben met systemen die open antwoorden genereren, zelfvertrouwen vormen en kritische betrokkenheid kunnen stimuleren of verminderen. Daarom moet een protocol voor dit onderwerp niet alleen vastleggen of studenten de technologie accepteren, maar ook vastleggen hoe emotionele, gedrags-, academische, en contextuele indicatoren worden voorbereid voor analyse.

Verschillende variabelen die met leerlingen te maken hebben, zijn in deze context bijzonder relevant. Vertrouwen in kunstmatige intelligentie kan beïnvloeden of studenten vertrouwen op gegenereerde output, deze in twijfel trekken, of deze met voorzichtigheid integreren in academisch werk¹¹. Angst voor technologie of kunstmatige intelligentie kan ook van belang zijn, hoewel het niet in één richting geïnterpreteerd mag worden zonder empirische voorzichtigheid¹². Problematisch smartphonegebruik is een andere relevante gedragsindicator, omdat gefragmenteerde aandacht en apparaatgerelateerde afleiding tijdens studie¹³ de aanhoudende cognitieve betrokkenheid kunnen verstoren. Meer algemeen leeronderzoek suggereert verder dat zelfregulerende leerstrategieën samenhangen met academische prestaties in online en technologie-ondersteunde omgevingen¹⁴. Onderzoek naar onderzoekend en coöperatief leren geeft ook aan dat betekenisvol leren afhangt van hoe leerlingen deelnemen aan leertaken, bewijs organiseren en verklaringen construeren¹⁵. Deze overwegingen ondersteunen het gebruik van een multivariabele enquêteworkflow in plaats van alleen een smalle maatstaf voor generatieve kunstmatige intelligentie.

De Cognitieve Belastingstheorie biedt een extra reden om emotionele en gedragsindicatoren in dezelfde workflow te documenteren. Omdat het werkgeheugen beperkt is, kan overmatige of slecht georganiseerde informatie het leren en probleemoplossend vermogen^{verstoren 16}. In generatief door kunstmatige intelligentie ondersteund leren wordt dit probleem zichtbaar wanneer studenten overvloedige gegenereerde output, inconsistente uitleg, irrelevante suggesties of concurrerende informatiebronnen tegenkomen. Emotionele activiteit is ook aangetoond te hebben gerelateerd aan cognitieve belasting tijdens multimedialeren, wat suggereert dat affectieve toestanden kunnen bepalen hoe leerlingen informatie verwerken in technologierijke omgevingen¹⁷. Tegelijkertijd hebben de huidige discussies over kunstmatige algemene intelligentie en toekomstig onderwijs benadrukt dat kunstmatige intelligentie leerpraktijken sneller kan hervormen dan traditionele instructiesystemen zich kunnen aanpassen¹⁸. Deze aandoeningen maken het noodzakelijk om een methode te gebruiken die niet alleen technologische houdingen registreert, maar ook emotionele conditie, zelfregulatie, academische achtergrond en contextuele variabelen. In de huidige workflow worden deze variabelen behandeld als zelfrapportage-indicatoren voor enquêtes, niet als direct waargenomen gedragssporen of causale mechanismen.

Een methodologische moeilijkheid is dat leerlingprofielen zelden door één variabele alleen worden gevormd. Gegevens van educatieve enquêtes bevatten vaak gelaagde combinaties van emotionele, gedrags-, academische, contextuele en technologie-gerelateerde indicatoren. Conventionele regressiemodellen zijn nuttig voor het schatten van netto associaties, maar ze zijn minder intuïtief wanneer het doel is om conditionele vertakking, subgroepdifferentiatie en regelgebaseerde classificatie te tonen. Beslissingsboomanalyse biedt een complementaire benadering omdat het recursief zaken opdeelt in interpreteerbare takken en de classificatiesequentie zichtbaar maakt via knoopstructuren¹⁹. In vergelijking met complexere machine learning-modellen is een enkele beslissingsboom gemakkelijker te inspecteren, uit te leggen en te exporteren als onderdeel van een reproduceerbare workflow. In vergelijking met standaard lineaire modellering kan het laten zien hoe combinaties van lerenindicatoren praktische classificatiepaden vormen in onderwijsdata²⁰. Echter, één boom is ook gevoelig voor klasse-onevenwichtigheden, partitioneringsbeslissingen, snoeiinstellingen en steekproefkenmerken. Om die reden wordt de beslissingsboom in dit protocol gebruikt als een aanvullende interpreteerbare classificatiestap, niet als een universele voorspellingsmotor of een causaal model²¹.

Dit artikel presenteert een reproduceerbare survey-scoring en C5.0 beslissingsboom-workflow voor het classificeren van zelfgerapporteerd hogere-orde denken in generatief door kunstmatige intelligentie ondersteund academisch leren. De workflow wordt aangetoond met een enkele universiteitsenquête van 776 bachelorstudenten, verzameld in China van 7 tot 15 maart 2023. De uitkomst is een zelfgerapporteerde hogere-orde denkvragenlijst die wordt gedichotomiseerd voor aanvullende classificatie; Het is geen directe maat voor aangetoonde cognitieve prestaties. De blootstelling aan generatieve kunstmatige intelligentie in deze demonstratie verwijst naar het zelfgerapporteerde gebruik van generatieve kunstmatige intelligentie-tools door studenten voor cursusgerelateerde academische activiteiten gedurende de voorgaande vier weken, waaronder informatiezoek, conceptuitleg, ideeëngeneratie, opstellen van schetsen en herziening van opdrachten. Het gebruik van de tool werd niet geverifieerd via platformlogs, promptgeschiedenissen of realtime activiteitstraces.

Het doel van het protocol is niet te beweren dat de behouden boom generaliseert naar alle instellingen, cohorten of huidige generatieve kunstmatige intelligentie-omgevingen. Deze voorzichtigheid is noodzakelijk omdat de demonstratiegegevens aan één universiteit zijn verzameld tijdens een korte periode begin 2023, toen de blootstelling van studenten aan generatieve kunstmatige intelligentie nog snel vorderde. In plaats daarvan ligt de bijdrage van het artikel in het herhaalbaar maken van de volledige procedure: het definiëren van de enquêtecontext, het afnemen van de vragenlijst, het screenen van antwoorden, het beoordelen van constructen, het documenteren van betrouwbaarheid, het toepassen van een vaste coderingsregel, het partitioneren van de dataset, het trainen en snoeien van een C5.0-boom, het exporteren van modelresultaten en het interpreteren van knooppuntgebaseerde classificatiepaden met aandacht voor klassespecifieke prestaties. Deze methodegerichte workflow kan onderwijsonderzoekers, op het lokaal gerichte onderzoekers en instructieanalisten helpen om een transparante aanpak van enquêtegebaseerde leerlingprofilering te reproduceren of aan te passen bij generatief door kunstmatige intelligentie ondersteund leren.

Protocol

Deze studie met menselijke deelnemers werd beoordeeld en goedgekeurd door de Ethische Commissie van de School of Educational Science van de Yili Normal University (referentienummer LZEDU2023003). De studie werd uitgevoerd van 7 tot 15 maart 2023. De commissie oordeelde dat de studie in aanmerking kwam voor ethische vrijstelling omdat het alleen anonieme, vrijwillige vragenlijstprocedures betrof zonder fysiek, psychologisch of sociaal letsel voor de deelnemers. Alle deelnemers gaven elektronische geïnformeerde toestemming voordat ze de vragenlijst invulden.

Vervang vóór de analyse respondentrecords door niet-omkeerbare zaaknummers en verwijder alle directe identificaties. Bewaren geen namen, studentenidentificatienummers, telefoonnummers, rekeningnamen, klassenidentificaties, Internet Protocol-adressen, apparaatidentificaties of ruwe platformaccountmarkers in het analysebestand. Gebruik alleen dubbele controle-informatie voor responsscreening, verwijder deze vervolgens voordat je de analysedataset vergrendelt.

1. Stel de onderzoeksinstelling en steekproefprocedure vast

1. Definieer de studieomgeving en de toelatingscriteria
   1. Voer de enquête uit aan de Liuzhou Polytechnic University, Guangxi Zhuang Autonome Regio, China, van 7 tot 15 maart 2023.
   2. Definieer de doelgroep als momenteel ingeschreven bachelorstudenten aan de deelnemende universiteit.
   3. Neem studenten mee die aangeven in de voorgaande 4 weken ten minste één generatieve kunstmatige intelligentie-tool te hebben gebruikt voor cursusgerelateerd academisch leren.
   4. Definieer geschikt academisch gebruik als informatiezoek, conceptuitleg, ideeën, opstellen van schetsen, herziening van opdrachten, vertaalondersteuning, code-gerelateerde hulp of andere cursusgerelateerde taken.
   5. Sluit studenten uit die alleen amusementsgebruik, informeel praten, niet-studiegerelateerde experimenten of ander niet-cursusgerelateerd gebruik melden.
   6. Sluit respondenten uit die geen huidige studenten zijn, meld geen academisch gebruik van generatieve kunstmatige intelligentie, weiger elektronische geïnformeerde toestemming of dien ongeldige vragenlijsten in volgens de onderstaande screeningsregels.
   7. Registreer blootstelling aan generatieve kunstmatige intelligentie via zelfrapportageitems over gereedschapscategorie of toolnaam, de geschatte gebruiksfrequentie gedurende de voorgaande 4 weken en academische taken die door het hulpmiddel worden ondersteund. Behandel deze blootstellingsgegevens niet als geverifieerde platformgebruiksgegevens.
2. Bouw het steekproefkader en werf deelnemers
   1. Verkrijg het institutionele undergraduate steekproefkader van de deelnemende universiteit. Het kader omvat meer dan 15.000 studenten verspreid over 46 studierichtingen.
   2. Pas gestratificeerde willekeurige steekproeven toe per hoofdvak en jaarniveau om de uitnodigingslijst te trekken, zodat studenten uit verschillende disciplinaire vakgebieden en studiestadia worden vertegenwoordigd in de uitgenodigde steekproef.
   3. Pas gestratificeerde willekeurige steekproeven toe per hoofdvak en jaarniveau om de uitnodigingslijst te trekken.
   4. Nodig 800 geselecteerde studenten uit met behulp van een gestandaardiseerde wervingsmelding.
   5. Verspreid de snelle antwoordcode van het online vragenlijstplatform alleen aan uitgenodigde studenten tijdens niet-instructieve uren, zoals pauzes of studiebegeleidingssessies.
   6. Noteer de volledige wervings- en screeningsstroom. In deze workflow werden 800 studenten uitgenodigd en werden 792 vragenlijsten teruggestuurd. Zestien vragenlijsten werden uitgesloten: 4 voor niet-geschikt gebruik van generatieve kunstmatige intelligentie, 3 voor dubbele indiening, 5 voor voltooiingstijd onder de minimale drempel en 4 voor ongeldige rechte antwoordpatronen. De uiteindelijke analytische steekproef bevatte 776 geldige vragenlijsten.

2. Formulierbeheer en gegevensprivacyprocedures configureren

1. Stel de online vragenlijst in
   1. Stel de vragenlijst samen en verspreid deze via een online vragenlijstplatform, ook wel bekend als Questionnaire Star.
   2. Schakel snelle responscodedistributie in, verplichte schaal-item reacties, verzendtijd-export, duplicate control checking en spreadsheet-export.
   3. Vergrendel de vragenlijst voor respondenten voordat je de eerste geldige reactie verzamelt. Houd de artikelformulering, itemvolgorde, responsankers, instructies, schaallabels, toestemmingsbewoordingen en toegangsroute ongewijzigd gedurende de hele enquêteperiode.
   4. Stel alle schaalvoorwerpen in als vereiste items. Gebruik geen post hoc imputatie voor schaalresponsen.
   5. Schakel de controle over één indiening in via de minst identificeerbare platformoptie die beschikbaar is. Gebruik alleen account-, apparaat-niveau of platform-gegenereerde markers voor dubbele screening.
2. Standaardiseer voltooiingsvoorwaarden
   1. Vraag respondenten om de vragenlijst individueel, in één keer en zonder discussie met collega's in te vullen.
   2. Geef respondenten opdracht om te antwoorden op basis van hun daadwerkelijke academische gebruik van generatieve kunstmatige intelligentie in de afgelopen 4 weken.
   3. Vraag respondenten de vragenlijst in een rustige omgeving in te vullen en vermijd apparaatwisselingen, lange pauzes of herhaalde toegang na het indienen.
   4. Stel het verwachte voltooiingstijdsvenster in op 530 minuten. Gebruik alleen de voltooiingstijd als indicator voor de kwaliteit van de respons.

3. Schermen antwoorden en vergrendel de analytische dataset

1. Exporteer het raw-response-bestand
   1. Exporteer het ruwe vragenlijstbestand van het online vragenlijstplatform nadat het enquêtevenster is gesloten.
   2. Behoud de ruwe export vóór uitsluiting, scoring, codering of modelbouw.
   3. Ken niet-identificeerbare zaaknummers toe aan alle teruggestuurde dossiers voordat je screent. In deze workflow wijs je casenummers toe aan de 792 teruggestuurde vragenlijsten.
2. Pas uitsluitingsregels voor responskwaliteit toe
   1. Sluit gegevens uit zonder elektronische geïnformeerde toestemming.
   2. Sluit gegevens uit die niet voldoen aan de huidige studentenstatus of academische geschiktheid.
   3. Sluit records uit met ontbrekende niet-demografische schaal antwoorden na export. In deze workflow voorkwamen verplichte responsinstellingen ontbrekende schaalresponsen.
   4. Gebruik een gemiddelde voltooiingstijddrempel van 2 s per gesloten item om records te identificeren die waarschijnlijk niet het lees- en responsproces op itemniveau weerspiegelen. Sluit gegevens onder deze drempel uit.
   5. Controleer records die in minder dan 5 minuten of meer dan 30 minuten zijn voltooid als mogelijke antwoorden van lage kwaliteit of onderbroken. Bewaar records buiten dit tijdsvenster alleen wanneer duplicate checking en response-pattern inspection geen ongeldige voltooiing aangeven.
   6. Gebruik rechtlijnig antwoorden als extra indicator voor de kwaliteit van de respons. Sluit records uit waarin dezelfde responsoptie is geselecteerd voor ten minste 90% van de Likert-schaal items, omdat dit patroon wijst op beperkte betrokkenheid bij iteminhoud.
   7. Sluit dubbele inzendingen uit op basis van platformduplicatenmarkers en bewaar het vroegst volledige geldige record.
   8. Bewaar de vragenlijst gericht op respondenten als Aanvullend Dossier 1.
   9. Bewaar het screeninglogboek als Aanvullend Bestand 2. Het screeningslogboek moet uitgenodigde studenten, teruggestuurde vragenlijsten, uitgesloten vragenlijsten, redenen voor uitsluiting en definitieve behouden gevallen rapporteren.
3. Maak de vergrendelde analytische dataset aan
   1. Bewaar de 776 geldige vragenlijsten na de screening. Vergrendel de vragenlijst voor respondenten en de analytische dataset voordat je scoort, om ervoor te zorgen dat de formulering van het item, de toelatingscriteria, uitsluitingsbeslissingen en variabelendefinities niet worden gewijzigd na gegevensverzameling.
   2. Verwijder directe identificaties, ruwe tijdstempels, accountniveau-markers, apparaatniveau-traces en dubbele controlemarkers vóór analyse. Gebruik deze de-identificatiestap om de anonimiteit van deelnemers te beschermen en te voorkomen dat de analytische dataset wordt gekoppeld aan individuele studenten.
   3. Sla de gedeïdentificeerde 776 case-dataset op als de vergrendelde analytische dataset.
   4. Gebruik de vergrendelde analysedataset als enige bron voor score, coderen en classificatie.

4. Meet variabelen die aan leerlingen zijn geassocieerd

1. Organiseer de vragenlijst
   1. Verdeel de vragenlijst in vier secties: geïnformeerde toestemming, demografische en academische achtergrond, blootstelling aan generatieve kunstmatige intelligentie en schaal gerelateerd aan leerlingen.
   2. Record geslacht, leeftijd, studie, jaarjaar en zelfgerapporteerde academische prestaties.
   3. Recordeer blootstelling aan generatieve kunstmatige intelligentie per toolcategorie, geschatte gebruiksfrequentie en ondersteunde academische taken.
   4. Meet zelfgerapporteerd hogere-orde-denken, angst voor generatieve kunstmatige intelligentie, vertrouwen in generatieve kunstmatige intelligentie, negatieve emoties, houdingen ten opzichte van generatieve kunstmatige intelligentie, problematisch smartphonegebruik, academische uitstelgedrag en ouderlijke opvoeding.
   5. Behandel alle schaalgebaseerde variabelen als indicatoren voor zelfrapportageonderzoek, niet als directe gedragsobservaties of direct waargenomen cognitieve prestaties.
2. Definieer behouden maten
   1. Meet zelfgerapporteerd hogere-order denken met een behouden instrument van 23 items dat probleemoplossing, kritisch denken, teamwork, communicatie^{en innovatie} omvat.
   2. Meet generatieve kunstmatige intelligentie-angst met een 11-items aangepaste technologie-angstschaal²³.
   3. Meet vertrouwen in generatieve kunstmatige intelligentie met een 12-items aangepaste trust in automatiseringsschaal²⁴.
   4. Meet negatieve emoties met een aangepaste Depressie, Angst, Stressschaal, 21-item set die wordt gebruikt als algemene negatieve emotie-indicator²⁵. Interpreteer deze score niet als een klinische diagnose.
   5. Meet houdingen ten opzichte van generatieve kunstmatige intelligentie met een 18-items aangepaste technologie-attitudeschaal²⁶.
   6. Meet problematisch smartphonegebruik met de Smartphone Addiction Scale Short Version aangepast voor de studentenenquêtecontext²⁷.
   7. Meet academische uitstelgedrag met een schaal van 16 academische uitstelgedrag:²⁸.
   8. Meet academische prestaties met een zelfrapportage-item van 5 punten: 1 = ver onder gemiddeld, 2 = onder gemiddeld, 3 = gemiddeld, 4 = boven gemiddeld en 5 = uitstekend.
   9. Meet de ouderlijke opvoeding met een zelfrapportage-contextueel item van 5 punten: 1 = zeer onondersteunend, 2 = niet-ondersteunend, 3 = neutraal of gemengd, 4 = ondersteunend, en 5 = zeer ondersteunend.
3. Specificeer responsankers en aanpassingsprocedures
   1. Gebruik een 1–5 Likert-type responsformaat voor behouden schaalvariabelen.
   2. Gebruik de algemene ankers: 1 = sterk oneens, 2 = oneens, 3 = neutraal of onzeker, 4 = overeenstemming en 5 = sterk overeenstemming.
   3. Voer de vragenlijst in het Chinees uit om ervoor te zorgen dat respondenten alle schaalitems invullen in de instructie- en taalcontext die aan de deelnemende universiteit wordt gebruikt.
   4. Pas bronitems aan via vooruit vertaling, deskundige beoordeling, formuleringsaanpassing voor generatief door kunstmatige intelligentie ondersteund leren en pilotleesbaarheidscontrole om de bedoelde betekenis van het construct te behouden en de contextuele helderheid voor Chinese bachelorrespondenten te verbeteren.
   5. Gebruik expert review om te controleren of de aangepaste items consistent blijven met de oorspronkelijke constructies, responsankers, scorerichting en studiecontext. Herschrijf alleen formuleringen die kunnen leiden tot ambiguïteit, contextmismatch of misverstanden in de generatieve door kunstmatige intelligentie ondersteunde leeromgeving.
   6. Neem itemformuleringen, responsankers, itemvolgorde, scorerichting en uiteindelijke variabelelabels op in Aanvullend Bestand 1.

5. Beoordeel metingen en verifieer de meetkwaliteit

1. Bereid het gecorstrueerde werkbestand voor
   1. Open de vergrendelde analysedataset in IBM SPSS Statistics 26.0.
   2. Behoud één respondent per rij en één item of variabele per kolom.
   3. Controleer ontbrekende waarden, responsbereik, itemlabels en variabelennamen.
   4. Bewaar een gescreende itemniveau-dataset voordat je de samengestelde scores berekent.
2. Bereken samengestelde scores
   1. Bereken één gemiddelde samengestelde score op respondentniveau voor elke multiitemconstructie.
   2. Items die alleen omgekeerd scoren zijn geïdentificeerd als omgekeerd getoetst in de scoresleutel vóór de samengestelde scoreberekening.
   3. Beoordeel de DASS21-afgeleide negatieve emotiesitems in deze workflow niet omgekeerd, omdat alle behouden items in dezelfde richting worden beoordeeld, waarbij hogere waarden wijzen op een sterkere negatieve emotie-ervaring.
   4. Bereken geen samengestelde scores van gedeeltelijk getransformeerde schalen.
   5. Sla een doorlopend scorebestand op na de samengestelde scoreberekening.
3. Verifieer de interne meetkwaliteit
   1. Bereken Cronbachs alfa voor elke behouden multi-item schaal in IBM SPSS Statistics 26.0. Gebruik Cronbachs alfa als een interne consistentie-index die aangeeft of items binnen dezelfde schaal voldoende coherentie vertonen voor de berekening van de samengestelde score.
   2. Inspecteer gecorrigeerde item-totale correlaties en alpha-als-item-verwijderd waarden voor elke behouden schaal. Gebruik gecorrigeerde item-totaalcorrelaties om te controleren of elk item voldoende uitgelijnd is met de totaalscore van zijn eigen schaal nadat dat item uit de totale berekening is weggelaten.
   3. Gebruik alpha-if-item-deleted waarden om items te identificeren die de interne consistentie kunnen verminderen als ze behouden blijven. Verwijder items niet automatisch op basis van statistische gronden; Behoud of verwijder een item pas nadat je de betekenis van het construct, de scorerichting en de consistentie met de aangepaste vragenlijst hebt gecontroleerd.
   4. Voer de testcontroles uit van Kaiser-Meyer-Olkin en Bartlett voor de aangepaste schaalset.
   5. Rapporteer de belangrijkste alfawaarden van Cronbach in de hoofdtekst.
   6. Geef het volledige score- en meetrecord als aanvullende tabel 1. Inclusief itemaantal, responsbereik, responsankers, scorerichting, omgekeerde toetsen, samengestelde scoreregel, Cronbachs alfa, gecorrigeerde item-totale correlatiecontrole, alfa-als-item-verwijderd controleresultaat en het uiteindelijke variabelelabel.

6. Continue scores omzetten in aanvullende classificatie-invoer

1. Pas binaire codering toe
   1. Gebruik het continue score-werkbestand als bronbestand.
   2. Hercodeer zelfgerapporteerd hogere-orde denken als de binaire doelvariabele.
   3. Code scoort ≤3 als 0 en >3 als 1.
   4. Pas dezelfde drempel toe op alle behouden voorspellers na de berekening van de samengestelde score.
   5. Gebruik de drempel van 3 als het midden van de 1–5 responsschaal om een transparante en reproduceerbare coderingsregel te creëren.
   6. Voer alleen dichotomisatie uit om binaire invoer te creëren voor de C5.0 beslissingsboomdemonstratie.
   7. Controleer de class-tellingen na dichotomisatie.
   8. Bewaar het continue score-werkbestand.
2. Maak het gecodeerde analysebestand aan
   1. Genereer een nieuw binair gecodeerd analysebestand.
   2. Hercodeer generatieve kunstmatige intelligentie, angst voor generatieve kunstmatige intelligentie, vertrouwen in generatieve kunstmatige intelligentie, problematisch gebruik van smartphones, academische uitstelgedrag, academische prestaties, ouderlijke opvoeding, negatieve emoties en houdingen ten opzichte van generatieve kunstmatige intelligentie met dezelfde drempel.
   3. Controleer de klassentellingen voor elke binaire variabele.
   4. Rapporteer de coderingsregel en het aantal klassen in Tabel 1.
   5. Bewaar het binair gecodeerde analysebestand.
   6. Geef de gecodeerde analysebestandstructuur als Supplementair Bestand 3.

7. Bouw de hulpclassificator C5.0 beslissingsboom

1. Configureer de modelleringsomgeving
   1. Open IBM SPSS Modeler 18.4 op een Windows 10 64bit besturingssysteem.
   2. Importeer het binair gecodeerde analysebestand.
   3. Wijs binair zelfgerapporteerd hogere-orde denken toe als doelveld.
   4. Wijs alle andere behouden binaire variabelen toe als invoervelden.
   5. Controleer veldnamen, waardelabels en doel-/invoerrollen.
   6. Noteer de softwarenaam, versie, besturingssysteem, C5.0-implementatie, projectbestandsnaam en analysedatum in Aanvullende Tabel 2.
2. Partitioneer de dataset
   1. Verdeel de 776 zaken in een training-testverdeling van 70:30.
   2. Gebruik de vaste willekeurige seed 20230307.
   3. Pas gestratificeerde partitionering toe volgens het binaire hogere-orde denkdoel.
   4. Wijs 544 gevallen toe aan de trainingssubset en 232 cases aan de testsubset.
   5. Verifieer de tellingen van lage HOT en hoge HOT in de volledige dataset, trainingssubset en testsubset.
   6. Bewaar het partitierecord in Aanvullende Tabel 2.
3. Train en snoei de C5.0-boom
   1. Train één C5.0-classifier op de trainingssubset.
   2. Gebruik de gainratio als de splitselectieregel²⁹.
   3. Definieer entropie als:
      Entropie(D) = −Σp_ilog₂(p_i)
      waarbij p_i het aandeel gevallen in klasse i binnen dataset D is.
   4. Definieer de versterkingsverhouding als:
      Versterkingsverhouding (D, C) = [Entropie(D) − Entropie(D|C)]/SplitInfo (D, C)
      waarbij C de kandidaat-splitsingsvariabele is.
   5. Stel snoeien mogelijk om te specifieke takken te verminderen die mogelijk passen bij het geluid van trainingsdeelgroepen.
   6. Gebruik de volgende C5.0-instellingen: pruning = ingeschakeld; boosting = uitgeschakeld; aantal proeven = 1; Kosten voor misclassificatie = niet toegepast; klassegewichten = niet toegepast; Minimum records per kindbranch = 2; globale snoei = ingeschakeld; subboom verhogen = ingeschakeld; betrouwbaarheidsfactor = 0,25; stopregels = IBM SPSS Modeler C5.0 standaardinstellingen tenzij anders vermeld.
   7. Pas geen synthetische oversampling, klasseweging of kostengevoelig leren toe in de primaire workflow.
   8. Exporteer de oorspronkelijke boom en de behouden gesnoeide boom.
   9. Sla de uiteindelijke knoopstructuur, terminalknoopsamenvattingen, variabele belangrijkheidsoutput, classificatieregels en modelinstellingen op.
4. Onevenwichtigheid in documentklassen
   1. Bereken de laag-HOT en hoog-HEET verdeling vóór de modeltraining.
   2. Noteer het percentage geen-informatie als het aandeel van de meerderheidsklasse in de volledige dataset en testsubset.
   3. Interpreteer de boom als een hulpinterpreteerbare classificatie-output in plaats van als een geoptimaliseerd screeningsmodel.
   4. Voor toekomstige screeninggerichte toepassingen overweeg klassegewichten, kostengevoelig leren, resampling, herhaalde train-testpartities, k-voudige kruisvalidatie of drempelaanpassing.

8. Evalueer en behoud van de classificatie-output

1. Exportprestatie-uitdata
   1. Pas de behouden gesnoeide boom toe op de trainingssubset.
   2. Exporteer de trainingsverwarringsmatrix, nauwkeurigheid, klasse-specifieke terugroep, klasse-specifieke precisie en terminal node-uitvoer.
   3. Pas dezelfde boom toe op de testsubset.
   4. Exporteer de testverwarringsmatrix, nauwkeurigheid, klasse-specifieke terugroepactie, klasse-specifieke precisie en terminal node-output.
   5. Bereken de terugroepwaarde als TP/(TP + FN).
   6. Bereken precisie als TP/(TP + FP).
   7. Bereken de algehele nauwkeurigheid als correct geclassificeerde gevallen gedeeld door het totale aantal gevallen.
   8. Bereken het geen-informatie-percentage en vergelijk de testnauwkeurigheid met de basislijn van de meerderheidsklasse.
   9. Rapporteer klassespecifieke statistieken samen met de algehele nauwkeurigheid.
2. Exportinterpreteerbaarheidsuitkomsten
   1. Exporteer de variabele belangrijkheidstabel met numerieke waarden.
   2. Exporteer het uiteindelijke boomdiagram met knoopsteekproefgrootte, voorspelde klasse, klassenverdeling en klassekans.
   3. Als het volledige boomdiagram visueel overvol is, geef dan een vereenvoudigde hoofdfiguur en plaats de volledige nodetabel in Supplementair Bestand 4.
   4. Exporteer terminal-node samenvattingen inclusief regelpad, node steekproefgrootte, voorspelde klasse, low-HOT-telling, high-HOT-count en classificatiebetrouwbaarheid.
   5. Beschrijf één of twee representatieve classificatiepaden in de Representative Results.
3. Behoud het reproduceerbaarheidspakket
   1. Behoud het raw-responsebestand, de-identificatierecord, screeninglogboek, gescreende itemniveaudataset, continu score-werkbestand, binair-gecodeerd analysebestand, steekproefstroomtabel, scoresleutel, betrouwbaarheidstabel, C5.0-projectbestand, initiële boombestand, gesnoeide boombestand, variabele belangrijkheidsoutput, terminal node-tabel, verwarringsmatrices en geëxporteerde modelsamenvattingen.
   2. Geef aanvullende tabel 1 als score- en meetrecord.
   3. Bied aanvullende tabel 2 aan als modelinstelling en outputrecord.
   4. Vul Aanvullend Dossier 1 aan als vragenlijst voor de respondent.
   5. Geef Supplementair Bestand 2 als voorbeeldlogboek voor screening.
   6. Geef Supplementary File 3 als de gecodeerde analysebestandstructuur.
   7. Geef Supplementair Bestand 4 als terminal-node en variabele belangrijkheid-output.
   8. Behoud het workflowpad als: ruwe vragenlijst-export > de-identificatie- en screeningslogboek > gescreende itemniveau-dataset > continu score-werkbestand > binair gecodeerd analysebestand > trainings-/testpartitie > initiële C5.0-boom > gesnoeide C5.0-boom > geëxporteerde classificatie-outputs > aanvullende reproduceerbaarheidspakket.

Resultaten

Beschrijvende statistieken van behouden variabelen

Tabel 2 geeft de beschrijvende statistieken van de behouden zelfrapportage-enquêtevariabelen in de continue-score dataset vóór binaire hercodering weer. De gemiddelde zelfgerapporteerde hogere-orde denkscore was 3,71 (SD = 0,68), wat boven de vaste middendrempel van 3 lag op de 1–5 responsschaal. Het vertrouwen in generatieve kunstmatige intelligentie overschreed deze drempel ...

Discussie

Dit protocol biedt een reproduceerbare survey-scoring en C5.0 beslissingsboomworkflow voor het organiseren van zelfrapportage van leerlingendata in generatief door kunstmatige intelligentie ondersteund academisch leren. De belangrijkste bijdrage is methodologisch in plaats van voorspellend. De workflow specificeert hoe de enquêtecontext wordt gedefinieerd, antwoorden wordt gescreend, meervoudige itemconstructies worden beoordeeld, een vaste midpointcoderingsregel wordt toegepast, de data...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
IBM SPSS Modeler	IBM Corp.	Versie 18.4	Gebruikt voor 70:30 gestratificeerde datapartitie, C5.0 beslisboomconstructie, pruning, classificatie-evaluatie en export van boomuitvoer.
IBM SPSS Statistics	IBM Corp.	Versie 26.0	Gebruikt voor datacontrole, samengestelde scoreberekening, betrouwbaarheidsanalyse, frequentiecontrole en binaire hercodering.
Internet-connected respondent device	Eigen apparaat van de respondent	Smartphone, tablet of laptop met browsertoegang	Gebruikt door respondenten om de online vragenlijst in te vullen. Er werd geen specifiek apparaat voor het onderzoek verstrekt.
Microsoft Excel	Microsoft Corp.	Microsoft 365 of Excel 2019 of nieuwer	Gebruikt voor screening-logboekcontrole, coderingsverificatie, tabelopmaak en controle van geëxporteerde uitvoer.
QR-code distributiefunctie	Wenjuanxing / Questionnaire Star	Ingebouwde QR-codefunctie voor vragenlijstlink	Gebruikt om uitgenodigde studenten tijdens de enquêteperiode standaard toegang tot de vragenlijst te bieden.
Rustige enquête-instelling	Deelnemende universiteit	Onderbreking in de les of adviesgesprek met studenten	Gebruikt om de variatie in antwoordcontext tijdens het invullen van de vragenlijst in één keer te verminderen.
Beveiligde dataopslagdirectory	Auteurs / deelnemende instelling	Toegangsgestuurde institutionele opslag	Gebruikt om de ruwe export, het doorgelichte dataset, het gescoorde dataset, het gecodeerde dataset, modelbestanden, logbestanden en geëxporteerde uitvoer met versiebeheer te bewaren.
Wenjuanxing / Questionnaire Star online enquêteplatform	Changsha Ranxing Information Technology Co., Ltd.	Web-gebaseerd platform; toegang via de officiële Wenjuanxing website	Gebruikt voor het construeren van vragenlijsten, QR-code distributie, instellingen voor verplichte antwoorden, duplicaatcontrole, tijdstempelexport en spreadsheetexport.
Windows-besturingssysteem	Microsoft Corp.	Windows 10, 64-bits	Besturingsomgeving voor IBM SPSS Statistics 26.0 en IBM SPSS Modeler 18.4.