Ein reproduzierbarer Workflow für Umfragebewertungen und C5.0-Entscheidungsbaum zur Klassifizierung selbst-gemeldeten höherstufigen Denkens im generativen, KI-unterstützten Lernen

Zusammenfassung

Dieses Protokoll bietet einen reproduzierbaren Workflow zur Erfassung selbstberichtender Umfragedaten, zur Bewertung lernenderbezogener Variablen, zur Dichotomisierung von höherwertigen Denkwerten und zur Anwendung eines C5.0-Entscheidungsbaums zur Demonstration interpretierbarer Lernklassen im generativen, künstlich unterstützten akademischen Lernen.

Zusammenfassung

Generative künstliche Intelligenz wird zunehmend in der Hochschulbildung eingesetzt, aber Forscher benötigen weiterhin transparente Verfahren zur Erfassung, Bewertung und Organisation von Umfragedaten auf Lernebene in diesem sich schnell verändernden Kontext. Dieser Artikel präsentiert einen reproduzierbaren Umfragebewertungs- und C5.0-Entscheidungsbaum-Workflow zur Klassifizierung von selbst-berichtetem höherstufigem Denken bei Studierenden, die generative KI-Tools für akademisches Lernen genutzt haben. Das Protokoll umfasst die Teilnehmerrekrutierung, die Vergabe von Fragebogen, das Screening der Antwortqualität, die Berechnung des Zusammengesetzten Scores, binäre Codierung, Trainingstest-Partitionierung, C5.0-Baumkonstruktion, Beschnitt, Modellausgabe-Export und die Interpretation knotenbasierter Klassifikationspfade. Der Workflow wird anhand eines Einzeluniversitätsdatensatzes mit 776 Bachelor-Studierenden demonstriert, der vom 7. bis 15. März 2023 in China gesammelt wurde. Höherstufiges Denken wird als selbstberichteter Fragebogenscore operationalisiert und nicht als direkt beobachtete kognitive Leistung. Im Demonstrationsdatensatz behielt der beschnittene Baum acht lernbezogene Variablen bei: Angst vor generativer künstlicher Intelligenz, Vertrauen in generative künstliche Intelligenz, problematische Smartphone-Nutzung, akademische Aufschieberitis, akademische Leistungen, elterliche Erziehung, negative Emotionen und Einstellungen zur generativen künstlichen Intelligenz. Das beibehaltene Modell erreichte 89,52 % Genauigkeit im Trainingsteilsatz und 86,21 % Genauigkeit im Testteil. Die klassenspezifische Bewertung zeigte jedoch eine ungleichmäßige Leistung, mit deutlich schwächerem Rückruf für die Low-HOT-Klasse als für die High-HOT-Klasse. Daher sollte der Baum als ergänzende, interpretierbare Workflow-Demonstration interpretiert werden und nicht als validiertes Screening-Tool. Dieses Protokoll kann Forscher unterstützen, die ein dokumentiertes und wiederholbares Verfahren für umfragenbasierte Lernprofilierung in generativen, künstlich unterstützten Lernumgebungen benötigen.

Einleitung

Höheres Denken ist ein zentrales Thema in der Hochschulbildung, weil das universitäre Lernen voraussichtlich über das Erinnern an faktisches Wissen hinausgeht und sich hin zu Analyse, Evaluation, Reflexion, Problemlösung und Wissensschaffung^bewegt. 1. Spätere Überarbeitungen von Blooms Taxonomie stellten weiter klar, dass fortgeschrittenes Lernen nicht nur das Erinnern und Verstehen umfasst, sondern auch das Anwenden, Analysieren, Bewerten und Schaffen von Wissen in zunehmend komplexen Kontexten². Diese Unterscheidung ist für das vorliegende Protokoll wichtig, da höherstufiges Denken nicht als einfacher Leistungspunkt, sondern als ein Lerner-Konstrukt behandelt wird, das eine sorgfältige Operationalisierung erfordert, bevor es analysiert werden kann. In der Bildungsforschung wurde höherstufiges Denken auch mit kritischem Denken, metakognitiver Überwachung und dem Transfer von Lernen über Problemkontexte hinweg in Verbindung gebracht. Für technologiegestütztes Lernen wird dieses Thema besonders wichtig, da Schüler oft Konzepte verbinden, generierte Informationen bewerten und während der Problemlösungsaktivitäten Entscheidungen treffen müssen, anstatt nur Unterrichtsinhalte^{zu erhalten 4}.

Die rasante Verbreitung generativer künstlicher Intelligenz hat die Messung höherstufigen Denkens komplizierter gemacht. Generative künstliche Intelligenz-Tools können Text, Code, Bilder, Erklärungen, Zusammenfassungen und andere Formen akademischer Unterstützung aus Mustern aus groß angelegten^Datensätzen erstellen. Große Sprachmodelle, darunter ChatGPT, wurden besonders in der Hochschulbildung während der frühen Phase der öffentlichen Einführung Ende 2022 und Anfang 2023 sichtbar. Im akademischen Umfeld können Studierende diese Werkzeuge für Informationssuche, Konzepterklärung, Gliederungsentwicklung, Ideengenerierung, Überarbeitung, Übersetzungsunterstützung und andere kursbezogene Aktivitäten nutzen. Diese Nutzungen können die Routinearbeit verringern, aber sie können auch verändern, wie Schüler ihre Aufmerksamkeit verteilen, die Informationsqualität beurteilen und ihre eigene kognitive Anstrengung regulieren. Aus diesem Grund erfordert die Forschung zum generativen, künstlich unterstützten Lernen Verfahren, die klar dokumentieren, wie Lernervariablen gesammelt, bewertet, codiert und interpretiert werden.

Frühere Arbeiten zu digitalem und Blended Learning haben gezeigt, dass Technologie höherwertiges Denken unterstützen kann, wenn Schüler aktiv mit Lernaufgaben beschäftigt bleiben, anstatt die Umgebung passiv zu nutzen⁷. Studien zum mobilen und technologiegestützten Lernen haben ähnlich nahegelegt, dass Interaktion mit Gleichaltrigen, Lernwahrnehmung und aktives Engagement für die höherwertigen Denktendenzen der Schüler relevant^{sind 8.} Data-Mining-Ansätze wurden auch eingesetzt, um zu untersuchen, wie Online-Lernverhalten mit höherwertigen Denkfähigkeiten assoziiert sind, was den Wert der Organisation von Bildungsdaten in interpretierbare^Lernmuster aufzeigt. Ein wesentlicher Teil der Forschung zur Technologienutzung wurde vom Technology Acceptance Model beeinflusst, das das Nutzungsverhalten anhand wahrgenommener Nützlichkeit und wahrgenommener Benutzerfreundlichkeit^{erklärt 10}. Generatives KI-unterstütztes Lernen unterscheidet sich jedoch von früheren digitalen Lernkontexten, da Schüler mit Systemen interagieren, die offene Antworten erzeugen, Selbstvertrauen formen und kritisches Engagement entweder fördern oder verringern können. Daher sollte ein Protokoll für dieses Thema nicht nur festhalten, ob Schüler die Technologie akzeptieren, sondern auch dokumentieren, wie emotionale, verhaltensbezogene, akademische und kontextuelle Indikatoren für die Analyse vorbereitet werden.

Mehrere lernbezogene Variablen sind in diesem Kontext besonders relevant. Vertrauen in künstliche Intelligenz kann beeinflussen, ob Schüler sich auf erzeugte Ergebnisse verlassen, sie hinterfragen oder mit Vorsicht in die akademische Arbeit^integrieren. Auch Angst gegenüber Technologie oder künstlicher Intelligenz kann eine Rolle spielen, sollte jedoch nicht in eine Richtung ohne empirische Vorsicht interpretiert werden.¹². Problematische Smartphone-Nutzung ist ein weiterer relevanter Verhaltensindikator, da fragmentierte Aufmerksamkeit und gerätebezogene Ablenkung während Studie¹³ die anhaltende kognitive Bindung beeinträchtigen können. Allgemeinere Lernforschung legt zudem nahe, dass selbstregulierte Lernstrategien mit akademischen Leistungen in Online- und technologiegestützten Umgebungen verbunden^sind. Forschung zum forschenden und kooperativen Lernen zeigt außerdem, dass sinnvolles Lernen davon abhängt, wie Schüler an Lernaufgaben teilnehmen, Beweise organisieren und Erklärungen konstruieren¹⁵. Diese Überlegungen unterstützen die Verwendung eines mehrdimensionalen Umfrage-Workflows statt einer engen Maßstab der generativen KI-Exposition allein.

Die kognitive Belastungstheorie liefert eine zusätzliche Begründung für die Dokumentation emotionaler und verhaltensbezogener Indikatoren im selben Arbeitsablauf. Da das Arbeitsgedächtnis begrenzt ist, können übermäßige oder schlecht organisierte Informationen das Lernen und die Problemlösung beeinträchtigen¹⁶. Im generativen, von künstlicher Intelligenz unterstützten Lernen wird dieses Problem sichtbar, wenn Schüler auf reichlich generierte Ergebnisse, inkonsistente Erklärungen, irrelevante Vorschläge oder konkurrierende Informationsquellen stoßen. Es wurde auch gezeigt, dass emotionale Aktivität mit der kognitiven Last während des multimedialen Lernens zusammenhängt, was darauf hindeutet, dass affektive Zustände beeinflussen können, wie Lernende Informationen in technologiereichen Umgebungen verarbeiten¹⁷. Gleichzeitig haben aktuelle Diskussionen über künstliche allgemeine Intelligenz und zukünftige Bildung betont, dass künstliche Intelligenz Lernpraktiken schneller verändern kann, als traditionelle Unterrichtssysteme^{sich anpassen} können. Diese Bedingungen machen es notwendig, eine Methode zu verwenden, die nicht nur technologische Einstellungen, sondern auch emotionale Zulage, Selbstregulation, akademischen Hintergrund und kontextuelle Variablen erfasst. Im aktuellen Workflow werden diese Variablen als selbstberichtende Umfrageindikatoren behandelt und nicht als direkt beobachtete Verhaltensspuren oder kausale Mechanismen.

Eine methodische Schwierigkeit besteht darin, dass Lernerprofile selten nur durch eine einzige Variable gebildet werden. Bildungsumfragen enthalten oft geschichtete Kombinationen aus emotionalen, verhaltensbezogenen, akademischen, kontextbezogenen und technologiebezogenen Indikatoren. Konventionelle Regressionsmodelle sind nützlich zur Abschätzung von Netzassoziationen, sind jedoch weniger intuitiv, wenn das Ziel darin besteht, bedingte Verzweigungen, Untergruppendifferenzierung und regelbasierte Klassifikation darzustellen. Entscheidungsbaumanalyse bietet einen ergänzenden Ansatz, da sie Fälle rekursiv in interpretierbare Äste aufteilt und die Klassifikationssequenz durch Knotenstrukturen^{sichtbar macht 19}. Im Vergleich zu komplexeren Machine-Learning-Modellen ist ein einziger Entscheidungsbaum leichter zu inspizieren, zu erklären und als Teil eines reproduzierbaren Workflows zu exportieren. Im Vergleich zur Standard-Linearmodellierung kann sie zeigen, wie Kombinationen von Lernindikatoren praktische Klassifikationspfade in Bildungsdaten^{bilden 20}. Ein einzelner Baum ist jedoch auch empfindlich gegenüber Klassenungleichgewichten, Partitionierungsentscheidungen, Schnitteinstellungen und Stichprobenmerkmalen. Aus diesem Grund wird der Entscheidungsbaum in diesem Protokoll als ergänzender interpretierbarer Klassifikationsschritt verwendet, nicht als universelle Vorhersage-Engine oder kausales Modell²¹.

Dieser Artikel präsentiert einen reproduzierbaren Umfragebewertungs- und C5.0-Entscheidungsbaum-Workflow zur Klassifizierung selbst-gemeldeten höherstufigen Denkens im generativen, künstlich unterstützten akademischen Lernen. Der Arbeitsablauf wird anhand eines einzigen universitären Umfragedatensatzes mit 776 Bachelor-Studierenden demonstriert, der vom 7. bis 15. März 2023 in China gesammelt wurde. Das Ergebnis ist ein selbstberichteter Fragebogenscore für höheren Denkmuster, der für die Hilfsklassifikation dichotomisiert wird; Es ist kein direktes Maß für nachgewiesene kognitive Leistung. Die Exposition generativer künstlicher Intelligenz in dieser Demonstration bezieht sich auf die selbstberichtete Nutzung generativer künstlicher Intelligenz-Tools durch die Studierenden für kursbezogene akademische Aktivitäten in den vorangegangenen vier Wochen, einschließlich Informationssuche, Konzepterklärung, Ideengenerierung, Gliederungsentwurf und Überarbeitung von Aufgaben. Die Nutzung des Werkzeugs wurde weder durch Plattformprotokolle, Prompt-Verläufe noch durch Echtzeit-Aktivitätsverfolgungen überprüft.

Der Zweck des Protokolls ist nicht zu behaupten, dass der behaltene Baum auf alle Institutionen, Kohorten oder aktuelle generativen KI-Umgebungen verallgemeinert werden kann. Diese Vorsicht ist notwendig, da die Demonstrationsdaten an einer Universität während eines kurzen Zeitfensters Anfang 2023 erhoben wurden, als sich die Begegnung von Studierenden mit generativer künstlicher Intelligenz noch schnell entwickelte. Stattdessen liegt der Beitrag des Artikels darin, das vollständige Verfahren wiederholbar zu machen: Definition des Umfragekontexts, Durchführung des Fragebogens, Screening von Antworten, Bewertung von Konstrukten, Dokumentation der Zuverlässigkeit, Anwendung einer festen Codierungsregel, Aufteilung des Datensatzes, Training und Beschneidung eines C5.0-Baums, Exportieren von Modellausgaben und Interpretation knotenbasierter Klassifikationspfade mit Aufmerksamkeit auf klassenspezifische Leistung. Dieser methodenorientierte Arbeitsablauf kann Bildungsforschern, unterrichtsorientierte Forscher und Instruktionsanalytiker dabei helfen, einen transparenten Ansatz für die befragungsbasierte Lernprofilierung im generativen, künstlich-intelligenten Lernen zu reproduzieren oder anzupassen.

Protokoll

Diese Studie mit menschlichen Teilnehmern wurde vom Ethikausschuss der School of Educational Science der Yili Normal University geprüft und genehmigt (Referenznummer LZEDU2023003). Die Studie wurde vom 7. bis 15. März 2023 durchgeführt. Das Komitee stellte fest, dass die Studie für eine ethische Ausnahme qualifiziert war, da sie nur anonyme, freiwillige Fragebogenverfahren ohne physischen, psychischen oder sozialen Schaden für die Teilnehmer umfasste. Alle Teilnehmer gaben vor dem Ausfüllen des Fragebogens elektronische informierte Zustimmung ab.

Ersetzen Sie vor der Analyse die Befragtendaten durch nicht reversible Fallnummern und entfernen Sie alle direkten Identifikatoren. Behalten Sie keine Namen, Studentenidentifikationsnummern, Telefonnummern, Kontonamen, Klassenkennungen, Internetprotokoll-Adressen, Gerätekennungen oder unbearbeitete Plattform-Kontomarker in der Analysedatei auf. Verwenden Sie doppelte Steuerinformationen nur für das Antwortscreening und entfernen Sie diese dann, bevor Sie den analytischen Datensatz sperren.

1. Festlegung des Umfragesettings und Stichprobenprozesses

1. Definieren Sie den Studienrahmen und die Zulassungskriterien
   1. Durchführung der Untersuchung an der Liuzhou Polytechnic University, Autonome Region Guangxi Zhuang, China, vom 7. bis 15. März 2023.
   2. Definieren Sie die Zielgruppe als derzeit eingeschriebene Bachelor-Studierende an der teilnehmenden Universität.
   3. Berücksichtigen Sie Schüler, die berichten, in den vorangegangenen 4 Wochen mindestens ein generatives KI-Werkzeug für kursbezogenes akademisches Lernen verwendet zu haben.
   4. Definieren Sie geeignete akademische Anwendungen als Informationssuche, Konzepterklärung, Ideenfindung, Gliederungsentwurf, Überarbeitung von Aufgaben, Übersetzungsunterstützung, codebezogene Unterstützung oder andere kursbezogene Aufgaben.
   5. Schließe Studierende aus, die nur Unterhaltungsnutzung, lockeres Gespräch, Nicht-Studienexperimente oder andere nicht-kursbezogene Nutzung melden.
   6. Befragte ausschließen, die keine aktuellen Studierenden sind, keine akademische Nutzung generativer künstlicher Intelligenz melden, elektronische informierte Einwilligung ablehnen oder ungültige Fragebögen gemäß den untenstehenden Screening-Regeln einreichen.
   7. Erfassen Sie generative KI-Exposition durch Selbstberichte, die Werkzeugkategorie oder Werkzeugname, ungefähre Nutzungshäufigkeit in den vorangegangenen 4 Wochen und akademische Aufgaben, die vom Werkzeug unterstützt werden, aufzeichnen. Behandeln Sie diese Expositionsdaten nicht als verifizierte Plattformnutzungsdaten.
2. Erstellen Sie den Stichprobenrahmen und rekrutieren Sie Teilnehmer
   1. Holen Sie sich den institutionellen Stichprobenrahmen für Bachelorstudierende von der teilnehmenden Universität. Der Rahmen umfasst mehr als 15.000 Studierende in 46 Fachrichtungen.
   2. Wende stratifizierte Zufallsstichprobe nach Hauptfach und Jahrgangsstufe an, um die Einladungsliste zu erstellen, sodass Studierende aus verschiedenen Fachbereichen und Studienstufen in der eingeladenen Stichprobe vertreten sind.
   3. Wenden Sie stratifizierte Zufallsstichproben nach Hauptfachkategorie und Jahrgangsstufe an, um die Einladungsliste zu erstellen.
   4. Laden Sie 800 ausgewählte Studierende mit einer standardisierten Rekrutierungsanzeige ein.
   5. Verteilen Sie den Fragebogencode der Online-Fragebogenplattform nur an eingeladene Studierende während nicht unterrichtsfreier Stunden, wie Unterrichtspausen oder Beratungssitzungen.
   6. Erfassen Sie den vollständigen Rekrutierungs- und Auswahlprozess. In diesem Workflow wurden 800 Studierende eingeladen, und 792 Fragebögen wurden zurückgeschickt. Sechzehn Fragebögen wurden ausgeschlossen: 4 wegen nicht zulässiger Nutzung generativer künstlicher Intelligenz, 3 für doppelte Einreichung, 5 für Fertigstellungszeit unterhalb der Mindestschwelle und 4 für ungültige geradlinige Antwortmuster. Die abschließende analytische Stichprobe enthielt 776 gültige Fragebögen.

2. Fragebogenverwaltung und Datenschutzverfahren konfigurieren

1. Konfigurieren Sie den Online-Fragebogen
   1. Erstellen und verteilen Sie den Fragebogen über eine Online-Fragebogenplattform, auch bekannt als Questionnaire Star.
   2. Schnelle Verteilung von Antwortcodes, verpflichtende Skalierungs-Item-Antworten, Export zur Abgabezeit, Überprüfung der doppelten Kontrolle und Tabellenkalkulationsexport aktivieren.
   3. Sperren Sie den Fragebogen für die Befragten, bevor Sie die erste gültige Antwort sammeln. Behalten Sie die Artikelformulierung, die Reihenfolge der Artikel, die Antwortanker, Anweisungen, die Skalenetiketten, die Zustimmung und den Zugangsweg während des gesamten Umfragezeitraums unverändert.
   4. Setze alle Scale-Items als Bedarf ein. Verwenden Sie keine Post-hoc-Imputation für Skalierungsreaktionen.
   5. Aktivieren Sie die Einreichungssteuerung über die am wenigsten identifizierbare Plattformoption verfügbar. Verwenden Sie Marker auf Konto-, Geräteebene oder plattformgenerierten Merkmalen ausschließlich für doppelte Prüfungen.
2. Standardisiert die Abschlussbedingungen
   1. Bitten Sie die Befragten, den Fragebogen einzeln, in einer Sitzung und ohne Diskussion mit Kollegen auszufüllen.
   2. Weist die Befragten an, entsprechend ihrer tatsächlichen akademischen Nutzung generativer künstlicher Intelligenz in den vorangegangenen 4 Wochen zu antworten.
   3. Bitten Sie die Befragten, den Fragebogen in einer ruhigen Umgebung auszufüllen und Gerätewechsel, längere Pausen oder wiederholten Zugriff nach der Abgabe zu vermeiden.
   4. Setze das erwartete Abschlusszeitfenster auf 530 Minuten. Verwenden Sie die Abschlusszeit nur als Indikator für die Antwortqualität.

3. Bildschirmantworten und Sperren des analytischen Datensatzes

1. Exportiere die Raw-Response-Datei
   1. Exportiere die Rohfragebogendatei von der Online-Fragebogenplattform, nachdem das Umfragefenster geschlossen ist.
   2. Bewahren Sie den rohen Export vor Ausschluss, Bewertung, Programmierung oder Modellbau.
   3. Weisen Sie allen zurückgegebenen Unterlagen vor dem Screening nicht identifizierbare Fallnummern zu. In diesem Workflow werden Fallnummern den 792 zurückgegebenen Fragebögen zugewiesen.
2. Wenden Sie die Ausschlussregeln zur Antwortqualität an
   1. Unterlagen ohne elektronische informierte Zustimmung ausschließen.
   2. Schließe Unterlagen aus, die nicht dem aktuellen Studentenstatus oder der akademischen Berechtigung entsprechen.
   3. Ausschließen Sie Datensätze mit fehlenden nicht-demografischen Antworten nach dem Export. In diesem Workflow verhinderten verpflichtende Reaktionseinstellungen, dass Skalierungsantworten fehlten.
   4. Verwenden Sie eine durchschnittliche Abschlusszeit-Schwelle von 2 s pro geschlossenem Item, um Datensätze zu identifizieren, die wahrscheinlich keine Item-Level-Lese- und Antwortverarbeitung widerspiegeln. Unterhalb dieses Schwellenwerts werden Unterlagen ausgeschlossen.
   5. Überprüfen Sie Datensätze, die in weniger als 5 Minuten oder mehr als 30 Minuten abgeschlossen wurden, als potenziell minderwertige oder unterbrochene Antworten. Speichern Sie Datensätze außerhalb dieses Zeitfensters nur, wenn Duplikatprüfung und Reaktionsmuster-Inspektion keine ungültige Vervollständigung anzeigen.
   6. Verwenden Sie eine geradlinige Antwort als zusätzlichen Qualitätsindikator für die Antwort. Schließen Sie Einträge aus, bei denen für mindestens 90 % der Likert-Elemente dieselbe Antwortoption ausgewählt ist, da dieses Muster auf eine begrenzte Interaktion mit den Inhalten hindeutet.
   7. Vermeiden Sie doppelte Einreichungen basierend auf Plattform-Duplikat-Markern und bewahren Sie den frühesten vollständigen gültigen Datensatz auf.
   8. Bewahren Sie den fragebogen Fragebogen als ergänzende Datei 1 auf.
   9. Bewahren Sie das Screening-Protokoll als Supplementary File 2 auf. Das Screening-Protokoll sollte eingeladene Studierende, zurückgegebene Fragebögen, ausgeschlossene Fragebögen, Ausschlussgründe und endgültige zurückbehaltene Fälle angeben.
3. Erstellen Sie den gesperrten analytischen Datensatz
   1. Bewahre die 776 gültigen Fragebögen nach dem Screening auf. Sperren Sie den befragten-bezogenen Fragebogen und den analytischen Datensatz vor der Bewertung, um sicherzustellen, dass sich nach der Datenerhebung nicht die Formulierung, die Zulassungskriterien, Ausschlussentscheidungen und Variablendefinitionen ändern.
   2. Entfernen Sie direkte Identifikatoren, rohe Zeitstempel, Konto-Level-Marker, Geräte-Tracks und doppelte Kontrollmarker vor der Analyse. Nutzen Sie diesen De-Identifikationsschritt, um die Anonymität der Teilnehmer zu schützen und zu verhindern, dass der Analysedatensatz auf einzelne Schüler zurückverknüpft wird.
   3. Speichere den deidentifizierten 776-Falldatensatz als gesperrten analytischen Datensatz.
   4. Nutzen Sie den gesperrten analytischen Datensatz als einzige Quelle für Bewertung, Codierung und Klassifikation.

4. Messen lernbezogener Variablen

1. Organisieren Sie den Fragebogen
   1. Unterteilen Sie den Fragebogen in vier Abschnitte: informierte Einwilligung, demografischer und akademischer Hintergrund, generative Künstliche Intelligenz-Exposition und lernbezogene Skalen.
   2. Geschlecht, Alter, Hauptfach, Jahrgangsstufe und selbstberichtete akademische Leistungen.
   3. Erfassen Sie die Exposition generativer künstlicher Intelligenz nach Werkzeugkategorie, ungefährer Nutzungshäufigkeit und unterstützter akademischer Aufgabe.
   4. Messen Sie selbstberichtetes höherstufiges Denken, Angst vor generativer künstlicher Intelligenz, Vertrauen in generative künstliche Intelligenz, negative Emotionen, Einstellungen zur generativen künstlichen Intelligenz, problematische Smartphone-Gebrauch, akademische Aufschieberitis und elterliche Erziehung.
   5. Behandle alle skalenbasierten Variablen als Selbstberichtsindikatoren für Umfragen, nicht als direkte Verhaltensbeobachtungen oder direkt beobachtete kognitive Leistung.
2. Definieren Sie die behaltenen Maße
   1. Messen Sie selbstberichtetes höherstufiges Denken mit einem beibehaltenen 23-Punkte-Instrument, das Problemlösung, kritisches Denken, Teamarbeit, Kommunikation und Innovation abdeckt²².
   2. Messen Sie die Angst generativer künstlicher Intelligenz mit einer 11-Item-Skala für angepasste Technologie-Angst^.
   3. Missen Sie das Vertrauen in generative künstliche Intelligenz mit einer 12-Item-adaptierten Vertrauensmaßnahme in Automatisierung²⁴.
   4. Messen Sie negative Emotionen mit einer angepassten Depression, Angst, Stressskalen21-Item-Set, die als allgemeiner Indikator für negative Emotionen verwendet wird,²⁵. Interpretieren Sie diesen Wert nicht als klinische Diagnose.
   5. Messen Sie die Einstellungen zur generativen künstlichen Intelligenz mit einer 18-Item-angepassten Technologie-Einstellungsskala²⁶.
   6. Messen Sie problematische Smartphone-Nutzung mit der Smartphone Addiction Scale Short Version, angepasst für den Schülerumfragen-Kontext²⁷.
   7. Missen Sie akademische Prokrastination mit einer 16-Punkte-Skala der akademischen Prokrastination:²⁸.
   8. Messen Sie die akademische Leistung mit einem 5-Punkte-Selbstbericht: 1 = weit unter dem Durchschnitt, 2 = unterdurchschnittlich, 3 = Durchschnitt, 4 = überdurchschnittlich und 5 = ausgezeichnet.
   9. Messen Sie die elterliche Erziehung mit einem 5-Punkte-Selbstberichtskontext: 1 = sehr wenig unterstützend, 2 = nicht unterstützend, 3 = neutral oder gemischt, 4 = unterstützend und 5 = sehr unterstützend.
3. Spezifizieren Sie Response Anchors und Anpassungsverfahren
   1. Verwenden Sie ein 1–5-Likert-Typ-Antwortformat für behaltene Skalierungsvariablen.
   2. Verwenden Sie die allgemeinen Anker: 1 = stark widersprechend, 2 = widersprechend, 3 = neutral oder unsicher, 4 = stimmen überein und 5 = stark übereinstimmen.
   3. Führen Sie den Fragebogen auf Chinesisch durch, um sicherzustellen, dass die Befragten alle Skalenfragen im an der teilnehmenden Universität verwendeten Unterrichts- und Sprachkontext ausfüllen.
   4. Adaptiere Quelleninhalte durch Vorleitübersetzung, Expertenüberprüfung, Formulierungsanpassung für generatives KI-unterstütztes Lernen und Pilot-Lesbarkeitsprüfung, um die beabsichtigte Bedeutung des Konstrukts zu bewahren und gleichzeitig die kontextuelle Klarheit für chinesische Bachelor-Befragte zu verbessern.
   5. Nutzen Sie Expertenbewertung, um zu prüfen, ob die angepassten Aufgaben mit den ursprünglichen Konstrukten, Reaktionsankern, Bewertungsrichtungen und dem Untersuchungskontext übereinstimmen. Überarbeite nur Formulierungen, die im generativen, künstlich unterstützten Lernen zu Mehrdeutigkeiten, Kontextfehlern oder Missverständnissen führen könnten.
   6. Fügen Sie Item-Formulierungen, Response-Anchors, Item-Reihenfolge, Bewertungsrichtung und endgültige Variablenbezeichnungen in Supplementary File 1 ein.

5. Messwerte bewerten und die Messqualität überprüfen

1. Bereite die notierte Arbeitsakte vor.
   1. Öffnen Sie den gesperrten analytischen Datensatz in IBM SPSS Statistics 26.0.
   2. Bewahren Sie pro Zeile einen Respondenten und pro Spalte einen Punkt oder eine Variable bei.
   3. Überprüfen Sie fehlende Werte, Antwortbereiche, Item-Labels und Variablennamen.
   4. Speichern Sie einen gescreenten Datensatz auf Item-Niveau, bevor Sie die zusammengesetzten Scores berechnen.
2. Berechnen Sie zusammengesetzte Scores
   1. Berechnen Sie einen durchschnittlichen Gesamtwert auf Befragtenebene für jedes Multiitem-Konstrukt.
   2. Nur Reverse-Score-Elemente werden im Bewertungsschlüssel als reverse-keyed identifiziert, bevor die Composite-Score-Berechnung berechnet wird.
   3. Bewerten Sie die von DASS21 abgeleiteten negativen Emotionselemente in diesem Workflow nicht rückwärts, da alle behaltenen Elemente in die gleiche Richtung bewertet werden, wobei höhere Werte auf eine stärkere negative Emotionserfahrung hinweisen.
   4. Berechnen Sie keine zusammengesetzten Werte aus teilweise transformierten Skalen.
   5. Speichern Sie eine Arbeitsdatei für kontinuierliche Punktzahlen nach der Berechnung des zusammengesetzten Scores.
3. Überprüfung der internen Messqualität
   1. Berechnen Sie Cronbachs Alpha für jede erhaltene Mehr-Item-Skala in IBM SPSS Statistics 26.0. Verwenden Sie Cronbachs Alpha als internen Konsistenzindex, der anzeigt, ob Items innerhalb derselben Skala ausreichende Kohärenz für die Berechnung des zusammengesetzten Scores aufweisen.
   2. Inspektieren Sie korrigierte Punkt-Gesamt-Korrelationen und Alpha-if-Item-Deleted-Werte für jede erhaltene Skala. Verwenden Sie korrigierte Punkt-Gesamt-Korrelationen, um zu prüfen, ob jeder Punkt nach Ausschluss dieses Elements aus der Gesamtberechnung ausreichend mit dem Gesamtwert seiner eigenen Skala ausgerichtet ist.
   3. Verwenden Sie alpha-if-item-deleted-Werte, um Elemente zu identifizieren, die bei Beibehaltung die interne Konsistenz verringern können. Entfernen Sie Gegenstände nicht automatisch nur aus statistischen Gründen; Behalten oder entfernen Sie einen Punkt erst nach Überprüfung der Bedeutung des Konstrukts, der Bewertungsrichtung und der Konsistenz mit dem angepassten Fragebogen.
   4. Führen Sie die Testprüfungen von Kaiser-Meyer-Olkin und Bartlett für das angepasste Skalenset durch.
   5. Berichte die wichtigsten Cronbach-Alpha-Werte im Haupttext.
   6. Stellen Sie die vollständige Wertung und den Messprotokoll in ergänzender Tabelle 1 bereit. Beziehen Sie die Anzahl der Items, den Antwortbereich, Response Anchors, die Bewertungsrichtung, reverse-keyed Items, die Composite-Score-Regel, Cronbachs Alpha, das korrigierte Ergebnis-Gesamt-Punkt-Korrelationsergebnis, das Alpha-if-Item-Delete-Prüfergebnis und die Endbezeichnung der Variable.

6. Kontinuierliche Punktzahlen in ergänzende Klassifikationseingaben umwandeln

1. Binärcodierung anwenden
   1. Verwenden Sie die Arbeitsdatei für kontinuierliche Partituren als Quelldatei.
   2. Programmiere selbstberichtetes höherstufiges Denken als binäre Zielvariable um.
   3. Code erhält ≤3 als 0 und >3 als 1.
   4. Wende denselben Schwellenwert auf alle behaltenen Prädiktoren nach der Berechnung des zusammengesetzten Scores an.
   5. Verwenden Sie die Schwelle von 3 als Mittelpunkt der 1–5-Antwortskala, um eine transparente und reproduzierbare Codierregel zu erstellen.
   6. Dichotomisierung wird nur durchgeführt, um binäre Eingaben für die C5.0-Entscheidungsbaum-Demonstration zu erstellen.
   7. Überprüfe die Klassenzählungen nach der Dichotomisierung.
   8. Bewahren Sie die Arbeitsdatei für kontinuierliche Punktzahlen auf.
2. Erstellen Sie die codierte Analysedatei
   1. Generiere eine neue binär codierte Analysedatei.
   2. Generative künstliche Intelligenz-Angst recodieren, Vertrauen in generative künstliche Intelligenz, problematische Smartphone-Nutzung, akademische Aufschieberitis, akademische Leistungen, elterliche Erziehung, negative Emotionen und Einstellungen zur generativen künstlichen Intelligenz anhand derselben Schwelle.
   3. Überprüfen Sie die Klassenzählungen für jede binäre Variable.
   4. Berichte die Codierungsregel und Klassenzählungen in Tabelle 1.
   5. Bewahren Sie die binär codierte Analysedatei auf.
   6. Stellen Sie die codierte Analysedateistruktur als Supplementary File 3 bereit.

7. Bauen Sie den Hilfs-C5.0-Entscheidungsbaumklassifikator

1. Konfigurieren Sie die Modellierungsumgebung
   1. Öffnen Sie IBM SPSS Modeler 18.4 auf einem Windows 10 64-Bit-Betriebssystem.
   2. Importiere die binärcodierte Analysedatei.
   3. Weisen Sie binäres, selbstgemeldetes höherstufiges Denken als Zielfeld zu.
   4. Weisen Sie alle anderen erhaltenen Binärvariablen als Eingabefelder zu.
   5. Überprüfen Sie Feldnamen, Wertbezeichnungen und Ziel-/Eingaberollen.
   6. Tragen Sie den Softwarenamen, die Version, das Betriebssystem, die C5.0-Implementierung, den Projektdateinamen und das Analysedatum in ergänzender Tabelle 2 fest.
2. Partitionieren Sie den Datensatz
   1. Teile die 776 Fälle in eine 70:30-Trainings-Test-Aufteilung auf.
   2. Verwenden Sie den fixierten zufälligen Seed 20230307.
   3. Wende stratifizierte Partitionierung nach dem binären höherstufigen Denkziel an.
   4. Weisen Sie 544 Fälle dem Trainings-Subset und 232 Cases dem Test-Subset zu.
   5. Verifizieren Sie Niedrig-HOT- und High-HOT-Zählungen im vollständigen Datensatz, Trainingsteilmenge und Testteilmenge.
   6. Bewahren Sie den Partitionseintrag in Ergänzungstabelle 2 auf.
3. Trainieren und beschneiden Sie den C5.0-Baum
   1. Trainiere einen C5.0-Klassifikator auf der Trainingsteilmenge.
   2. Verwenden Sie das Gewinnverhältnis als Split-Auswahlregel²⁹.
   3. Definieren Sie die Entropie als:
      Entropie(D) = −Σp_ilog₂(p_i)
      wobei p_i der Anteil der Fälle der Klasse i innerhalb des Datensatzes D ist.
   4. Definieren Sie das Verstärkungsverhältnis als:
      Verstärkungsverhältnis (D, C) = [Entropie(D) − Entropie(D|C)]/SplitInfo (D, C)
      wobei C die Kandidaten-Spaltungsvariable ist.
   5. Ermöglichen Sie das Beschneiden, um übermäßig spezifische Äste zu reduzieren, die zum Lärm der Trainingsuntergruppe passen könnten.
   6. Verwenden Sie die folgenden C5.0-Einstellungen: Pruning = aktiviert; Boosting = deaktiviert; Anzahl der Versuche = 1; Fehlklassifizierungskosten = nicht angewandt; Klassengewichte = nicht angewandt; Minimale Datensätze pro Child Branch = 2; globales Pruning = aktiviert; Teilbaum-Erhöhung = aktiviert; Konfidenzfaktor = 0,25; Stoppregeln = IBM SPSS Modeler C5.0 Standardeinstellungen, sofern nicht anders angegeben.
   7. Wenden Sie kein synthetisches Oversampling, Klassengewichtung oder kostenempfindliches Lernen im primären Workflow an.
   8. Exportiere den ursprünglichen Baum und den zurückgeschnittenen Baum.
   9. Speichere die endgültige Knotenstruktur, Terminalknotenzusammenfassungen, Variablen-Wichtigkeitsausgabe, Klassifikationsregeln und Modelleinstellungen.
4. Ungleichgewicht der Dokumentklassen
   1. Berechnen Sie vor dem Modelltraining die Niedrig-HOT- und Hoch-HOT-Verteilung.
   2. Erfassen Sie die Nicht-Informations-Rate als Mehrheitsklassenanteil im vollständigen Datensatz und Testteil.
   3. Interpretieren Sie den Baum als ergänzende, interpretierbare Klassifikationsausgabe und nicht als optimiertes Screening-Modell.
   4. Für zukünftige screeningorientierte Anwendungen sollten Klassengewichte, kostensensitives Lernen, Resamplen, wiederholte Zugtest-Partitionen, k-fache Kreuzvalidierung oder Schwellenwertanpassung in Betracht gezogen werden.

8. Bewertung und Erhaltung der Klassifikationsausgabe

1. Exportleistungsergebnisse
   1. Wenden Sie den bewahrten beschnittenen Baum auf die Trainings-Teilmenge an.
   2. Exportiere die Trainingsverwirrungsmatrix, Genauigkeit, klassenspezifische Rückrufe, klassenspezifische Präzision und Endknotenausgabe.
   3. Wende denselben Baum auf die Test-Teilmenge an.
   4. Exportiere die Test-Verwirrungsmatrix, Genauigkeit, klassenspezifische Rückrufe, klassenspezifische Präzision und Endknotenausgabe.
   5. Berechnen Sie den Rückruf als TP/(TP + FN).
   6. Berechnen Sie die Präzision als TP/(TP + FP).
   7. Berechnen Sie die Gesamtgenauigkeit als korrekt klassifizierte Fälle geteilt durch die Gesamtzahl der Fälle.
   8. Berechnen Sie die Nicht-Informations-Rate und vergleichen Sie die Testgenauigkeit mit der Mehrheitsklasse-Basislinie.
   9. Berichte klassenspezifische Kennzahlen zusammen mit der Gesamtgenauigkeit.
2. Exportinterpretierbarkeitsausgaben
   1. Exportiere die variablen-Wichtigkeitstabelle mit numerischen Werten.
   2. Exportiere das endgültige Baumdiagramm mit Knotenstichprobengröße, vorhergesagter Klasse, Klassenverteilung und Klassenwahrscheinlichkeit.
   3. Wenn das vollständige Baumdiagramm visuell überfüllt ist, geben Sie eine vereinfachte Hauptfigur an und legen Sie die vollständige Knotentabelle in Supplementary File 4.
   4. Exportieren Sie Zusammenfassungen von Terminalknoten, einschließlich Regelpfad, Knotenstichprobengröße, vorhergesagter Klasse, niedriger HOT-Anzahl, hoher HOT-Zählung und Klassifikationskonfidenz.
   5. Beschreiben Sie ein oder zwei repräsentative Klassifikationswege in den repräsentativen Ergebnissen.
3. Bewahren Sie das Reproduzierbarkeitspaket
   1. Bewahren Sie die Rohantwortdatei, den De-Identifikationsdatensatz, das Screening-Protokoll, den geprüften Item-Level-Datensatz, die Arbeitsdatei für kontinuierliche Punkte, die binärcodierte Analysedatei, die Stichprobenflusstabelle, den Bewertungsschlüssel, die Zuverlässigkeitstabelle, die C5.0-Projektdatei, die Anfangsbaumdatei, die Datei des beschnittenen Baums, die Ausgabe der variablen Bedeutung, die Terminalknotentabelle, Verwirrungsmatrizen und exportierte Modellzusammenfassungen.
   2. Stellen Sie ergänzende Tabelle 1 als Bewertungs- und Messnachweis bereit.
   3. Stellen Sie ergänzende Tabelle 2 als Modelleinstellung und Ausgabedatensatz bereit.
   4. Stellen Sie Supplementary File 1 als Fragebogen für die Befragten bereit.
   5. Fügen Sie Supplementary File 2 als Beispiel-Screening-Log bereit.
   6. Stellen Sie Supplementary File 3 als codierte Analysedateistruktur bereit.
   7. Ergänzungsdatei 4 als Ausgabe für Terminalknoten und variable Bedeutung bereitzustellen.
   8. Bewahren Sie den Workflow-Pfad als: roher Fragebogenexport > Entidentifikations- und Screening-Log > gescreenten Datensatz auf Item-Ebene > kontinuierliche Score-Arbeitsdatei > binärkodierte Analysedatei > Trainings-/Testpartition > initialen C5.0-Baum > beschnittenen C5.0-Baum > exportierte Klassifikationsausgaben > ergänzendes Reproduzierbarkeitspaket.

Ergebnisse

Beschreibende Statistiken der erhaltenen Variablen

Tabelle 2 zeigt die beschreibenden Statistiken der behaltenen selbstberichteten Umfragevariablen im kontinuierlichen Score-Datensatz vor der binären Kodierung. Der mittlere selbstberichtete Wertung für höherwertiges Denken lag bei 3,71 (SD = 0,68), was über der festen Mittelpunktschwelle von 3 auf der 1–5-Antwortskala lag. Das Vertrauen in generative künstliche Intelligenz übe...

Diskussion

Dieses Protokoll bietet einen reproduzierbaren Umfragebewertungs- und C5.0-Entscheidungsbaum-Workflow zur Organisation selbstmeldender Lerndaten in generatives, künstlich intelligenter unterstütztem akademischem Lernprozess. Ihr Hauptbeitrag ist methodischer und nicht prädiktiver Natur. Der Workflow legt fest, wie der Umfragekontext definiert, Antworten gescreent, Multi-Item-Konstrukte bewertet, eine feste Mittelpunkt-Codierungsregel angewendet, der Datensatz partitioniert, einen C5.0-Ba...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
IBM SPSS Modeler	IBM Corp.	Version 18.4	Verwendet für 70:30-stratifizierte Datenpartitionierung, C5.0-Entscheidungsbaumkonstruktion, Beschneidung, Klassifikationsbewertung und Baum-Output-Export.
IBM SPSS Statistik	IBM Corp.	Version 26.0	Verwendet für Datenprüfung, Composite-Score-Berechnung, Zuverlässigkeitsanalyse, Frequenzprüfung und binäre Recodierung.
Internetverbundenes Respondent-Gerät	Vom Antragsgegner besessenes Gerät	Smartphone, Tablet oder Laptop mit Browserzugang	Von den Befragten verwendet, um den Online-Fragebogen auszufüllen. Es wurde kein studienspezifisches Gerät bereitgestellt.
Microsoft Excel	Microsoft Corp.	Microsoft 365 oder Excel 2019 oder neuer	Verwendet für die Überprüfung von Screening-Logs, Kodierungsverifikation, Tabellenformatierung und Überprüfung von exportierten Ausgaben.
QR-Code-Verteilungsfunktion	Wenjuanxing / Fragebogenstern	Eingebaute Fragebogenlink-QR-Code-Funktion	Wird genutzt, um eingeladenen Studierenden während des Umfragefensters standardisierten Fragebogenzugang bereitzustellen.
Ruhige Vermessungsabschlussumgebung	Teilnehmende Universität	Nicht-unterrichtsbezogene Klassenpausen oder Schülerberatung	Verwendet zur Verringerung der Variation zwischen Antwort und Kontext während des Fragebogenausfüllens in einer Sitzung.
Sicheres Datenspeicherverzeichnis	Autoren / teilnehmende Institution	Zugangskontrollierte institutionelle Speicherung	Verwendet zur Erhaltung von Rohexport, geprüftem Datensatz, bewertetem Datensatz, codiertem Datensatz, Modelldateien, Logs und exportierten Ausgaben mit Versionskontrolle.
Wenjuanxing / Questionnaire Star Online-Umfrageplattform	Changsha Ranxing Information Technology Co., Ltd.	Webbasierte Plattform; Zugang über die offizielle Wenjuanxing-Website	Verwendet für die Erstellung von Fragebögen, QR-Code-Verteilung, Einstellungen für verpflichtende Antworten, Überprüfung der Duplikatkontrolle, den Export von Zeitstempeln und den Export von Tabellenkalkulationen.
Windows-Betriebssystem	Microsoft Corp.	Windows 10, 64-Bit	Betriebsumgebung für IBM SPSS Statistics 26.0 und IBM SPSS Modeler 18.4.