Powtarzalny workflow z punktacją ankiet i drzewem decyzyjnym C5.0 do klasyfikacji samozgłoszonego myślenia wyższego rzędu w generatywnym uczeniu wspieranym przez AI

Podsumowanie

Protokół ten przedstawia powtarzalny sposób zbierania danych z samoraportu ankietowego, oceniania zmiennych związanych z uczniem, dychotomizacji wyników wyższego rzędu myślenia oraz stosowania drzewa decyzyjnego C5.0 do wykazania interpretowalnej klasyfikacji uczniów w nauczaniu akademickim wspieranym przez generatywną sztuczną inteligencję.

Streszczenie

Generatywna sztuczna inteligencja jest coraz częściej wykorzystywana w szkolnictwie wyższym, ale badacze nadal potrzebują przejrzystych procedur zbierania, oceniania i organizowania danych ankietowych na poziomie uczniów w tym szybko zmieniającym się kontekście. Artykuł przedstawia powtarzalny workflow z ankietowym punktowaniem i drzewem decyzyjnym C5.0 do klasyfikacji samozgłoszonych myśli wyższego rzędu wśród studentów, którzy korzystali z generatywnych narzędzi sztucznej inteligencji do nauki akademickiej. Protokół obejmuje rekrutację uczestników, administrowanie kwestionariuszami, screening jakości odpowiedzi, obliczanie wyniku złożonego, kodowanie binarne, podziały testów treningowych, konstrukcję drzew C5.0, przycinanie, eksport modelu i wyjścia oraz interpretację ścieżek klasyfikacji opartych na węzłach. Workflow został zilustrowany na podstawie jednego zestawu ankietowego uniwersyteckiego, obejmującego 776 studentów studiów licencjackich zebranych w Chinach w okresie od 7 do 15 marca 2023 roku. Myślenie wyższego rzędu jest operacjonalizowane jako samoraportowany wynik z kwestionariusza, a nie jako bezpośrednio obserwowana wydajność poznawcza. W zbiorze danych demonstracyjnych przycięte drzewo zachowało osiem zmiennych związanych z uczniem: lęk przed generatywną sztuczną inteligencją, zaufanie do generatywnej sztucznej inteligencji, problematyczne korzystanie ze smartfonów, prokrastynację akademicką, wyniki akademickie, wychowanie rodzicielskie, negatywne emocje oraz stosunek do generatywnej sztucznej inteligencji. Model zachowany osiągnął dokładność 89,52% w podzbiorze treningowym i 86,21% poprawności w podzbiorze testowym. Jednak oceny specyficzne dla poszczególnych klas wykazały nierówne wyniki, z znacznie słabszym przypomnieniem dla klasy Low-HOT niż dla klasy High-HOT. Dlatego drzewo powinno być interpretowane jako pomocnicza, interpretowalna demonstracja przepływu pracy, a nie jako zwalidowane narzędzie selekcji. Protokół ten może wspierać badaczy, którzy potrzebują udokumentowanej i powtarzalnej procedury profilowania uczniów opartej na ankietach w środowiskach edukacyjnych wspieranych przez generatywną sztuczną inteligencję.

Wprowadzenie

Myślenie wyższego rzędu jest kluczowym zagadnieniem w szkolnictwie wyższym, ponieważ oczekuje się, że nauka uniwersytecka wyjdzie poza przypominanie wiedzy faktycznej i zajmie się analizą, oceną, refleksją, rozwiązywaniem problemów i tworzeniem wiedzy¹. Późniejsze rewizje taksonomii Blooma dodatkowo wyjaśniły, że zaawansowane uczenie się obejmuje nie tylko zapamiętywanie i rozumienie, ale także stosowanie, analizowanie, ocenianie i tworzenie wiedzy w coraz bardziej złożonych kontekstach². To rozróżnienie jest istotne dla obecnego protokołu, ponieważ myślenie wyższego rzędu nie jest traktowane jako prosty wynik osiągnięć, lecz jako konstrukt na poziomie ucznia, który wymaga starannej operacjonalizacji przed analizą. W badaniach edukacyjnych myślenie wyższego rzędu było również powiązane z myśleniem krytycznym, monitorowaniem metapoznawczym oraz transferem wiedzy w kontekstach problemowych³. W przypadku nauki wspieranej technologią problem ten staje się szczególnie istotny, ponieważ uczniowie często muszą łączyć koncepcje, oceniać wygenerowane informacje i podejmować decyzje podczas działań rozwiązujących problemy, zamiast tylko otrzymywać materiały dydaktyczne⁴.

Szybkie rozprzestrzenianie się generatywnej sztucznej inteligencji uczyniło pomiar myślenia wyższego rzędu bardziej skomplikowanym. Narzędzia generatywnej sztucznej inteligencji mogą generować tekst, kod, obrazy, wyjaśnienia, streszczenia i inne formy wsparcia akademickiego na podstawie wzorców wyuczonych z dużych zbiorów danych⁵. Duże modele językowe, w tym ChatGPT, stały się szczególnie widoczne w szkolnictwie wyższym w początkowym okresie akceptacji społecznej pod koniec 2022 i na początku 2023^roku. W środowisku akademickim uczniowie mogą korzystać z tych narzędzi do wyszukiwania informacji, wyjaśniania koncepcji, tworzenia konspektów, generowania pomysłów, poprawek zadań, wsparcia tłumaczeniowego oraz innych działań związanych z kursem. Takie zastosowania mogą zmniejszać rutynowe obciążenie, ale mogą także zmieniać sposób, w jaki uczniowie alokują uwagę, oceniają jakość informacji i regulują własny wysiłek poznawczy. Z tego powodu badania nad nauczaniem wspieranym przez generatywną sztuczną inteligencję wymagają procedur jasno dokumentujących sposób zbierania, oceniania, kodowania i interpretacji zmiennych na poziomie ucznia.

Wcześniejsze badania nad nauczaniem cyfrowym i blended wykazały, że technologia może wspierać myślenie wyższego rzędu, gdy uczniowie pozostają aktywnie zaangażowani w zadania edukacyjne, zamiast biernie korzystać ze środowiska⁷. Badania uczenia się mobilnego i wspomaganego technologią również sugerują, że interakcja z rówieśnikami, percepcja uczenia się i aktywne zaangażowanie są istotne dla wyższych tendencji myślenia uczniów⁸. Metody eksploracji danych zostały również wykorzystane do badania, jak zachowania uczące się online są powiązane z umiejętnościami myślenia wyższego rzędu, ukazując wartość organizowania danych edukacyjnych w interpretowalne wzorce uczenia^{się 9}. Znaczna część badań nad wykorzystaniem technologii opiera się na modelu akceptacji technologii, który wyjaśnia zachowania użytkowania przez pryzmat postrzeganej użyteczności i łatwości użytkowania¹⁰. Jednak uczenie wspierane przez generatywną sztuczną inteligencję różni się od wcześniejszych kontekstów nauczania cyfrowego, ponieważ uczniowie wchodzą w interakcje z systemami, które generują otwarte odpowiedzi, kształtują pewność siebie i mogą stymulować lub zmniejszać zaangażowanie krytyczne. Dlatego protokół dotyczący tego tematu powinien nie tylko rejestrować, czy uczniowie akceptują technologię, ale także dokumentować, jak emocjonalne, behawioralne, akademickie i kontekstowe wskaźniki są przygotowywane do analizy.

W tym kontekście szczególnie istotnych jest kilka zmiennych związanych z uczniem. Zaufanie do sztucznej inteligencji może wpływać na to, czy uczniowie polegają na generowanych wynikach, kwestionują je, czy integrują je z pracą akademicką – ostrożność¹¹. Obawy dotyczące technologii lub sztucznej inteligencji również mogą mieć znaczenie, choć nie powinny być interpretowane w jednym kierunku bez empirycznej ostrożności¹². Problematyczne korzystanie ze smartfonów to kolejny istotny wskaźnik zachowania, ponieważ rozproszona uwaga i rozproszenia związane z urządzeniem mogą zakłócać długotrwałe zaangażowanie poznawcze podczas badania¹³. Bardziej ogólne badania nad uczeniem się sugerują również, że samoregulujące się strategie uczenia się są powiązane z osiągnięciami akademickimi w środowiskach online i wspieranych przez technologię¹⁴. Badania oparte na dociekaniu i uczeniu się kooperacyjnym wskazują również, że uczenie się sensowne zależy od tego, jak uczniowie uczestniczą w zadaniach edukacyjnych, organizują dowody i konstruują wyjaśnienia¹⁵. Te rozważania przekładają się na stosowanie wielozmiennego przepływu badań zamiast wąskiego pomiaru ekspozycji wyłącznie na generatywną sztuczną inteligencję.

Teoria obciążenia poznawczego dostarcza dodatkowego uzasadnienia dokumentowania wskaźników emocjonalnych i behawioralnych w tym samym procesie. Ponieważ pamięć robocza jest ograniczona, nadmiar lub słabo zorganizowane informacje mogą zakłócać naukę i rozwiązywanie problemów¹⁶. W nauczaniu wspieranym przez generatywną sztuczną inteligencję problem ten staje się widoczny, gdy uczniowie napotykają obfite ilości generowanych wyników, niespójne wyjaśnienia, nieistotne sugestie lub konkurujące ze sobą źródła informacji. Wykazano również, że aktywność emocjonalna wiąże się z obciążeniem poznawczym podczas nauki multimedialnej, co sugeruje, że stany afektywne mogą kształtować sposób, w jaki uczniowie przetwarzają informacje w środowiskach bogatych w technologię¹⁷. Jednocześnie obecne dyskusje na temat ogólnej inteligencji sztucznej i edukacji przyszłej podkreślają, że sztuczna inteligencja może przekształcić praktyki nauczania szybciej niż tradycyjne systemy nauczania mogą się dostosować^. Te warunki wymagają stosowania metody, która rejestruje nie tylko postawy technologiczne, ale także stan emocjonalny, samoregulację, wykształcenie akademickie oraz zmienne kontekstowe. W obecnym przepływie pracy te zmienne traktowane są jako wskaźniki samoraportu ankietowego, a nie jako bezpośrednio obserwowane ślady zachowań czy mechanizmy przyczynowe.

Trudnością metodologiczną jest to, że profile uczniów rzadko są tworzone wyłącznie na podstawie jednej zmiennej. Dane z ankiet edukacyjnych często zawierają warstwowe kombinacje wskaźników emocjonalnych, behawioralnych, akademickich, kontekstowych i związanych z technologią. Tradycyjne modele regresji są przydatne do szacowania powiązań netto, ale są mniej intuicyjne, gdy celem jest pokazanie warunkowego rozgałęzienia, różniczkowania podgrup oraz klasyfikacji opartej na regułach. Analiza drzewa decyzyjnego stanowi podejście uzupełniające, ponieważ rekurencyjnie dzieli przypadki na interpretowalne gałęzie i sprawia, że sekwencja klasyfikacji jest widoczna przez struktury węzłów¹⁹. W porównaniu z bardziej złożonymi modelami uczenia maszynowego, pojedyncze drzewo decyzyjne łatwiej jest przeglądać, wyjaśniać i eksportować jako część powtarzalnego przepływu pracy. W porównaniu ze standardowym modelowaniem liniowym, może pokazać, jak kombinacje wskaźników ucznia tworzą praktyczne ścieżki klasyfikacji w danych edukacyjnych²⁰. Jednak pojedyncze drzewo jest również wrażliwe na nierównowagę klas, decyzje partycyjne, ustawienia przycinania oraz cechy próbki. Z tego powodu drzewo decyzyjne w tym protokole służy jako pomocniczy, interpretowalny krok klasyfikacji, a nie jako uniwersalny silnik predykcyjny czy model^{przyczynowy 21}.

Artykuł przedstawia powtarzalny workflow w zakresie oceniania ankiet i drzewa decyzyjnego C5.0 do klasyfikacji samozgłoszonego myślenia wyższego rzędu w nauczaniu akademickim wspieranym przez generatywną sztuczną inteligencję. Workflow został zilustrowany na podstawie jednego uniwersyteckiego zestawu danych ankietowych obejmującego 776 studentów studiów licencjackich zebranych w Chinach w okresie od 7 do 15 marca 2023 roku. Wynikiem jest samozgłoszony wynik z kwestionariusza myślenia wyższego rzędu, który jest podzielony na klasyfikację pomocniczą; nie jest to bezpośrednia miara wykazanej wydajności poznawczej. Ekspozycja na generatywną sztuczną inteligencję w tej demonstracji odnosi się do samozgłoszonego korzystania przez studentów z narzędzi generatywnej sztucznej inteligencji do działań akademickich związanych z kursem w ciągu ostatnich czterech tygodni, w tym wyszukiwania informacji, wyjaśniania koncepcji, generowania pomysłów, tworzenia szkicowania i poprawek zadań. Użycie narzędzi nie było weryfikowane za pomocą logów platformy, historii promptów ani śledzeń aktywności w czasie rzeczywistym.

Celem protokołu nie jest twierdzenie, że zachowane drzewo uogólnia się na wszystkie instytucje, kohorty czy obecne środowiska generatywnej sztucznej inteligencji. Ta ostrożność jest konieczna, ponieważ dane demonstracyjne zostały zebrane na jednym z uniwersytetów podczas krótkiego okna na początku 2023 roku, gdy ekspozycja studentów na generatywną sztuczną inteligencję wciąż szybko się rozwijała. Zamiast tego artykuł polega na uczynieniu pełnej procedury powtarzalną: definiowaniu kontekstu ankiety, przeprowadzeniu kwestionariusza, selekcji odpowiedzi, ocenianiu konstrukcji, dokumentowaniu wiarygodności, stosowaniu stałej reguły kodowania, podziału zbioru danych, trenowaniu i przycinaniu drzewa C5.0, eksportowaniu wyników modeli oraz interpretacji ścieżek klasyfikacji opartych na węzłach z uwzględnieniem wydajności specyficznej dla klasy. Ten metodycznie skoncentrowany przepływ pracy może pomóc badaczom edukacyjnym, badaczom zorientowanym na zajęciach oraz analitykom dydaktycznym odtworzyć lub dostosować przejrzyste podejście do profilowania uczniów opartego na ankietach w nauczaniu wspieranym przez generatywną sztuczną inteligencję.

Protokół

Badanie to z udziałem uczestników ludzkich zostało przeanalizowane i zatwierdzone przez Komitet Etyki Szkoły Nauk Edukacyjnych Uniwersytetu Yili Normal University (nr referencyjny LZEDU2023003). Badanie przeprowadzono od 7 do 15 marca 2023 roku. Komisja uznała, że badanie kwalifikuje się do zwolnienia etycznego, ponieważ obejmowało jedynie anonimowe, dobrowolne procedury kwestionariusza bez żadnych fizycznych, psychicznych czy społecznych szkód dla uczestników. Wszyscy uczestnicy wyrazili elektroniczną świadomą zgodę przed wypełnieniem kwestionariusza.

Przed analizą zastąp rejestry respondentów numerami spraw nieodwracalnymi i usuń wszystkie bezpośrednie identyfikatory. Nie zachowuj imion, numerów identyfikacyjnych uczniów, numerów telefonów, nazw kont, identyfikatorów klas, adresów protokołu internetowego, identyfikatorów urządzeń ani surowych markerów konta platformy w pliku analitycznym. Używaj duplikatów informacji kontrolnych tylko do przesiewania odpowiedzi, a następnie usuń je przed zablokowaniem analitycznego zbioru danych.

1. Ustalenie warunków badania i procedury próbkowania

1. Określ warunki badania i kryteria kwalifikacyjne
   1. Przeprowadz badanie na Uniwersytecie Politechnicznym w Liuzhou, Autonomiczny Region Guangxi Zhuang, Chiny, w dniach od 7 do 15 marca 2023 roku.
   2. Określ docelową grupę jako obecnie zapisanych studentów studiów licencjackich na uczestniczącym uniwersytecie.
   3. Włącz uczniów, którzy zgłaszają korzystanie z co najmniej jednego generatywnego narzędzia sztucznej inteligencji do nauki związanej z kursem w ciągu ostatnich 4 tygodni.
   4. Zdefiniuj odpowiednie wykorzystanie akademickie jako wyszukiwanie informacji, wyjaśnianie koncepcji, generowanie pomysłów, tworzenie szkicu, poprawki zadań, wsparcie tłumaczeniowe, pomoc związaną z kodowaniem lub inne zadania związane z kursem.
   5. Wyklucz uczniów, którzy zgłaszają jedynie korzystanie z rozrywki, swobodne rozmowy, eksperymenty niezwiązane z nauką lub inne niezwiązane z kursem.
   6. Wyklucz respondentów, którzy nie są obecnymi studentami, nie zgłaszają akademickiego korzystania z generatywnej sztucznej inteligencji, odmawiają elektronicznej świadomej zgody ani nie składają nieprawidłowych kwestionariuszy zgodnie z poniższymi zasadami selekcji.
   7. Rejestruj ekspozycję na generatywną sztuczną inteligencję poprzez zadania samoraportowe obejmujące kategorię lub nazwę narzędzia, przybliżoną częstotliwość użycia w ciągu ostatnich 4 tygodni oraz zadania akademickie wspierane przez narzędzie. Nie traktuj tych danych o ekspozycji jako zweryfikowanych rejestrów korzystania z platformy.
2. Skonstruuj ramę próbkową i rekrutuj uczestników
   1. Uzyskaj ramę próbkową dla studentów licencjackich instytucji od uczestniczącej uczelni. Rama obejmuje ponad 15 000 studentów z 46 kierunków.
   2. Zastosuj stratyfikowane losowe próbkowanie według kategorii kierunku i poziomu rocznika, aby wylosować listę zaproszonych, tak aby uczniowie z różnych dziedzin i etapów studiów byli reprezentowani w zaproszonej próbie.
   3. Do wylosowania listy zaproszeń należy zastosować stratyfikowane losowe próbkowanie według kategorii głównej i poziomu rocznika.
   4. Zaproś 800 wybranych studentów za pomocą standaryzowanego ogłoszenia o rekrutacji.
   5. Rozpowszechniaj kod szybkiej odpowiedzi na kwestionariusz online tylko do zaproszonych uczniów podczas okresów niedydaktycznych, takich jak przerwy lekcyjne lub sesje doradcze dla uczniów.
   6. Zapisz pełny przebieg rekrutacji i selekcji. W tym procesie zaproszono 800 studentów, a zwrócono 792 ankiety. Usunięto szesnaście kwestionariuszy: 4 dla niekwalifikowanego wykorzystania generatywnej sztucznej inteligencji, 3 dla duplikatów zgłoszeniowych, 5 dla czasu ukończenia poniżej minimalnego progu oraz 4 dla nieprawidłowych wzorców odpowiedzi prostych. Ostateczna próba analityczna zawierała 776 ważnych kwestionariuszy.

2. Konfigurowanie procedur zarządzania kwestionariuszami i prywatności danych

1. Konfiguruj kwestionariusz online
   1. Stwórz i rozpowszechnij kwestionariusz za pomocą internetowej platformy ankietowej, znanej również jako Questionnaire Star.
   2. Umożliwić dystrybucję kodów szybkiej odpowiedzi, obowiązkowe odpowiedzi na skalę pozycji, eksport w czasie składania, sprawdzanie duplikatów kontroli oraz eksport arkusza kalkulacyjnego.
   3. Zablokuj kwestionariusz skierowany do respondenta przed zebraniem pierwszej poprawnej odpowiedzi. Zachowaj niezmienione sformułowania zadań, kolejność pozycji, kotwicy odpowiedzi, instrukcje, etykiety wagi, sformułowania zgody i trasę dostępu bez zmian przez cały okres ankiety.
   4. Ustaw wszystkie przedmioty w skali jako wymagane. Nie używaj imputacji post hoc do odpowiedzi skalowych.
   5. Umożliwić kontrolę jednorazową przez najmniej rozpoznawalną opcję platformy. Używaj markerów generowanych tylko na poziomie konta, urządzenia lub platformy do weryfikacji duplikatów.
2. Standaryzuj warunki zakończenia
   1. Poproś respondentów o indywidualne wypełnienie kwestionariusza, za jednym posiedzeniem i bez dyskusji z rówieśnikami.
   2. Polec respondentom, aby odpowiadali zgodnie z rzeczywistym akademickim wykorzystaniem generatywnej sztucznej inteligencji w ciągu ostatnich 4 tygodni.
   3. Poproś respondentów o wypełnienie ankiety w cichym środowisku i unikanie przełączania urządzeń, dłuższych pauz lub powtarzanego dostępu po przesłaniu aplikacji.
   4. Ustaw przewidywany czas ukończenia na 530 minut. Czas ukończenia używaj wyłącznie jako wskaźnika jakości odpowiedzi.

3. Ekranuj odpowiedzi i blokuj zbiór danych analitycznych

1. Eksportuj plik surowej odpowiedzi
   1. Wyeksportuj surowy plik ankiety z platformy online po zamknięciu okna ankiety.
   2. Zachowaj surowy eksport przed wykluczeniem, punktacją, kodowaniem lub konstrukcją modelu.
   3. Przypisz nieidentyfikowalne numery spraw wszystkim zwróconym dokumentom przed przesiewem. W tym procesie przydzielaj numery spraw do 792 zwróconych kwestionariuszy.
2. Stosowanie reguł wykluczania jakości odpowiedzi
   1. Wyklucz dokumenty bez elektronicznej, świadomej zgody.
   2. Wyklucz dokumenty, które nie spełniają aktualnego statusu studenckiego ani kwalifikacji akademickich.
   3. Wyłącz rekordy z brakującymi odpowiedziami na skalę niedemograficzną po eksporcie. W tym procesie obowiązkowe ustawienia odpowiedzi zapobiegały brakującym reakcjom na skalę.
   4. Użyj średniego progu czasu ukończenia 2 s na jedno zamknięte zadanie, aby zidentyfikować rekordy, które raczej nie odzwierciedlają odczytu i przetwarzania odpowiedzi na poziomie zadań. Wyklucz rekordy poniżej tego progu.
   5. Sprawdź dokumenty ukończone w mniej niż 5 lub więcej niż 30 minut jako potencjalnie niskiej jakości lub przerwane odpowiedzi. Przechowywać rekordy poza tym okresem tylko wtedy, gdy duplikacja sprawdzania i inspekcja wzorców odpowiedzi nie wskazują na nieprawidłowe zakończenie.
   6. Użyj odpowiedzi w linii prostej jako dodatkowego wskaźnika jakości odpowiedzi. Wyklucz rekordy, w których ta sama opcja odpowiedzi jest wybrana dla co najmniej 90% pozycji w skali Likerta, ponieważ ten wzorzec sugeruje ograniczone zaangażowanie w treść przedmiotów.
   7. Wyklucz duplikaty zgłoszeń na podstawie znaczników duplikatów platformy i zachowaj najwcześniejszy pełny i ważny zapis.
   8. Zachowaj kwestionariusz skierowany do respondentów jako Plik Uzupełniający 1.
   9. Zachowaj dziennik przesiewowy jako Plik Uzupełniający 2. Dziennik selekcji powinien zawierać zaproszonych studentów, zwrócone kwestionariusze, wykluczone kwestionariusze, powody wykluczenia oraz ostateczne zatrzymane przypadki.
3. Utworzenie zablokowanego analitycznego zbioru danych
   1. Zachowaj 776 ważnych kwestionariuszy po przesiewowym badaniu. Zablokuj kwestionariusz skierowany do respondentów oraz zbiór analityczny przed oceną, aby upewnić się, że sformułowanie elementów, kryteria kwalifikacyjne, decyzje o wykluczeniu i definicje zmiennych nie zostaną zmienione po zebraniu danych.
   2. Usuń bezpośrednie identyfikatory, surowe znaczniki czasu, markery na poziomie konta, ślady na poziomie urządzenia oraz duplikaty markerów kontrolnych przed analizą. Wykorzystaj ten krok deidentyfikacji, aby chronić anonimowość uczestników i zapobiec powiązaniu analitycznego zbioru danych z poszczególnymi studentami.
   3. Zapisz zidentyfikowany zbiór danych 776 przypadków jako zablokowany zbiór analityczny.
   4. Używaj zablokowanego analitycznego zbioru danych jako jedynego źródła do punktacji, kodowania i klasyfikacji.

4. Mierz zmienne związane z uczniem

1. Zorganizuj ankietę
   1. Podziel ankietę na cztery sekcje: świadomą zgodę, wykształcenie demograficzne i akademickie, ekspozycję na generatywną sztuczną inteligencję oraz skale związane z uczniem.
   2. Zapisz płeć, wiek, kierunek, poziom roku oraz samoraportowane wyniki akademickie.
   3. Rejestruj ekspozycję na generatywną sztuczną inteligencję według kategorii narzędzi, przybliżonej częstotliwości użycia oraz wspieranych zadań akademickich.
   4. Mierz samozdiagnozowane myślenie wyższego rzędu, lęk przed generatywną sztuczną inteligencją, zaufanie do generatywnej sztucznej inteligencji, negatywne emocje, stosunek do generatywnej sztucznej inteligencji, problematyczne korzystanie ze smartfonów, prokrastynację akademicką oraz wychowanie rodzicielskie.
   5. Traktuj wszystkie zmienne oparte na skali jako wskaźniki samooceny ankiety, a nie bezpośrednie obserwacje behawioralne czy bezpośrednio obserwowane wyniki poznawcze.
2. Zdefiniuj zachowane miary
   1. Mierz samozrejmowane myślenie wyższego rzędu za pomocą zachowanego narzędzia 23-pozycyjnego, obejmującego rozwiązywanie problemów, krytyczne myślenie, pracę zespołową, komunikację i innowacje²².
   2. Mierz lęk przed generatywną sztuczną inteligencją za pomocą 11-elementowej skali lęku o technologię^{dostosowaną do 23}.
   3. Mierz zaufanie do generatywnej sztucznej inteligencji za pomocą 12-punktowego dostosowanego zaufania do automatyzacji w skali²⁴.
   4. Mierz negatywne emocje za pomocą dostosowanego zestawu Skal Depresji, Lęku i Stresu 21 pozycji używanego jako ogólny wskaźnik negatywnych emocji²⁵. Nie interpretuj tego wyniku jako diagnozy klinicznej.
   5. Mierz postawy wobec generatywnej sztucznej inteligencji za pomocą 18-punktowej skali adaptowanej technologii-postawy²⁶.
   6. Zmierz problematyczne korzystanie ze smartfonów za pomocą Skali Uzależnienia Smartfonów – krótka wersja dostosowana do kontekstu ankiety studenckiej²⁷.
   7. Mierz prokrastynację akademicką za pomocą skali^{16 pozycji 28}.
   8. Mierz wyniki w nauce za pomocą 5-punktowego zadania samooceny: 1 = znacznie poniżej średniej, 2 = poniżej średniej, 3 = średnia, 4 = powyżej średniej oraz 5 = doskonałe.
   9. Mierz wychowanie rodzicielskie za pomocą 5-punktowego kontekstowego punktu samoraportu: 1 = bardzo niewspierający, 2 = niewspierający, 3 = neutralny lub mieszany, 4 = wspierający oraz 5 = bardzo wspierający.
3. Określ kotwicy odpowiedzi i procedury adaptacyjne
   1. Dla zachowanych zmiennych skalowych używaj formatu odpowiedzi typu Likert 1–5.
   2. Użyj ogólnych kotwic: 1 = zdecydowanie się nie zgadzam, 2 = nie zgadzam się, 3 = neutralny lub niepewny, 4 = zgadzam się, oraz 5 = zdecydowanie się zgadzam.
   3. Przeprowadz kwestionariusz w języku chińskim, aby upewnić się, że respondenci wypełnią wszystkie zadania skali w kontekście dydaktycznym i językowym używanym na uczelni uczestniczącej.
   4. Dostosowywanie pozycji źródłowych poprzez tłumaczenie do przodu, recenzję ekspercką, korektę sformułowań dla nauczania wspieranego przez generatywną sztuczną inteligencję oraz pilotażowe sprawdzanie czytelności, aby zachować zamierzone znaczenie konstruktu i poprawić klarowność kontekstu dla chińskich studentów studiów licencjackich.
   5. Skorzystaj z przeglądu ekspertów, aby sprawdzić, czy dostosowane elementy pozostają zgodne z oryginalnymi konstrukcjami, kotwicami odpowiedzi, kierunkiem punktacji i kontekstem nauki. Poprawiaj tylko sformułowania, które mogą powodować niejednoznaczność, niezgodność kontekstu lub nieporozumienia w środowisku nauczania opartym na generatywnej sztucznej inteligencji.
   6. W Pliku Uzupełniającym 1 uwzględnij sformułowania zadań, kotwicy odpowiedzi, kolejność zadań, kierunek punktacji oraz etykiety zmiennych końcowych.

5. Oceniaj pomiary i weryfikuj jakość pomiarów

1. Przygotuj punktowany plik roboczy
   1. Otwórz zablokowany zbiór analityczny w IBM SPSS Statistics 26.0.
   2. Zachowaj jednego respondenta na wiersz oraz jeden element lub zmienną na kolumnę.
   3. Sprawdź brakujące wartości, zakresy odpowiedzi, etykiety pozycji oraz nazwy zmiennych.
   4. Zapisz przefiltrowany zestaw danych na poziomie pozycji przed obliczeniem wyników złożonych.
2. Oblicz wyniki złożone
   1. Oblicz jeden średni średni wynik na poziomie respondenta dla każdego konstruktu wieloelementowego.
   2. Odwrócone wynik tylko elementy zidentyfikowane jako odwrócone w kluczu punktacji przed obliczeniem wyniku złożonego.
   3. Nie odwracaj punktów punktowania negatywnych emocji pochodzących z DASS21 w tym procesie, ponieważ wszystkie zachowane elementy są oceniane w tym samym kierunku, a wyższe wartości wskazują na silniejsze doświadczenie negatywnych emocji.
   4. Nie obliczaj wyników złożonych z częściowo przekształconych skal.
   5. Zapisz ciągły plik roboczy po obliczeniu wyniku złożonego.
3. Weryfikacja jakości pomiarów wewnętrznych
   1. Oblicz alfa Cronbacha dla każdej zachowanej skali wieloelementowej w IBM SPSS Statistics 26.0. Użyj alfa Cronbacha jako indeksu wewnętrznej spójności, który wskazuje, czy elementy w tej samej skali wykazują wystarczającą spójność do obliczenia wyniku łącznego.
   2. Sprawdź skorygowane korelacje łączności elementów oraz wartości alfa-jeśli usunięte elementy dla każdej zachowanej skali. Użyj skorygowanych korelacji element-całkowitość, aby sprawdzić, czy każdy element jest wystarczająco zgodny z całkowitym wynikiem własnej skali po wyłączeniu tego elementu z całkowitej kalkulacji.
   3. Używaj wartości alfa-jeśli usunięte elementy, aby zidentyfikować elementy, które mogą obniżyć spójność wewnętrzną, jeśli zostaną zachowane. Nie usuwaj automatycznie przedmiotów wyłącznie na podstawie statystyk; Zachowaj lub usuń element dopiero po sprawdzeniu jego znaczenia konstruktu, kierunku punktacji oraz spójności z dostosowanym kwestionariuszem.
   4. Przeprowadź testy Kaisera-Meyera-Olkina i Bartletta dla dostosowanego zestawu skali.
   5. Zgłoś wartości alfa klucza Cronbacha w głównym tekście.
   6. Dostarcz pełny zapis wyników i pomiarów jako Tabelę Uzupełniającą 1. Uwzględnij liczbę zadań, zakres odpowiedzi, kotwicy odpowiedzi, kierunek punktacji, elementy z kluczem odwróconym, regułę wyniku kumulatywnego, alfa Cronbacha, wynik korekcyjnej korelacji korelacji elementów, wynik sprawdzania alfa-jeśli-usunięty element oraz etykietę zmiennej końcowej.

6. Przekształc ciągłe wyniki na dodatkowe dane klasyfikacji

1. Zastosowanie kodowania binarnego
   1. Użyj pliku roboczego continuous score jako pliku źródłowego.
   2. Przekoduj samozgłoszone myślenie wyższego rzędu jako binarną zmienną docelową.
   3. Kod ocenia ≤3 jako 0, a >3 jako 1.
   4. Zastosuj ten sam próg do wszystkich zachowanych predyktorów po obliczeniu wyniku złożonego.
   5. Użyj progu 3 jako środka skali odpowiedzi 1–5, aby stworzyć przejrzystą i powtarzalną regułę kodowania.
   6. Wykonaj dychotomizację tylko w celu utworzenia binarnych wejść dla demonstracji drzewa decyzyjnego C5.0.
   7. Sprawdź liczbę zajęć po dychotomizacji.
   8. Zachowaj ciągły plik roboczy z wynikami.
2. Stwórz plik analizy kodowanej
   1. Wygeneruj nowy plik analityczny kodowany binarnie.
   2. Recode lęk przed generatywną sztuczną inteligencją, zaufanie do generatywnej sztucznej inteligencji, problematyczne korzystanie ze smartfonów, prokrastynacja akademicka, wyniki w nauce, wychowanie rodzicielskie, negatywne emocje oraz postawy wobec generatywnej sztucznej inteligencji przy tym samym progu.
   3. Zweryfikowaj liczbę klas dla każdej zmiennej binarnej.
   4. Zgłoś regułę kodowania i liczbę klas w Tabeli 1.
   5. Zachowaj plik analizy kodowany binarnie.
   6. Dostarcz zakodowaną strukturę pliku analitycznego jako Plik Uzupełniający 3.

7. Zbuduj pomocniczy klasyfikator drzewa decyzyjnego C5.0

1. Konfiguruj środowisko modelowania
   1. Otwórz IBM SPSS Modeler 18.4 na systemie operacyjnym Windows 10 64-bitowym.
   2. Zaimportuj plik analizy kodowany binarnie.
   3. Przypisz binarne, samozgłoszone myślenie wyższego rzędu jako pole docelowe.
   4. Przypisz wszystkie pozostałe zachowane zmienne binarne jako pola wejściowe.
   5. Weryfikuj nazwy pól, etykiety wartości oraz role docelowe/wejściowe.
   6. Zanotuj nazwę oprogramowania, wersję, system operacyjny, implementację C5.0, nazwę pliku projektu oraz datę analizy w Tabeli Uzupełniającej 2.
2. Podział zbioru danych
   1. Podzielić 776 przypadków na podział treningowo-testowy w stosunku 70:30.
   2. Użyj stałego losowego 20230307.
   3. Zastosuj podziały stratyfikowane przez binarny cel myślenia wyższego rzędu.
   4. Przypisz 544 przypadki do podzbioru treningowego i 232 do podzbioru testowego.
   5. Weryfikuj niskie i wysokie HOT w pełnym zbiorze danych, podzbiorze treningowym oraz testowym.
   6. Zachowaj rekord podziału w Tabeli Uzupełniającej 2.
3. Wytrenuj i przycinaj drzewo C5.0
   1. Wytrenuj jeden klasyfikator C5.0 na podzbiorze treningowym.
   2. Użyj współczynnika wzmocnienia jako zasady wyboru^{podziału 29}.
   3. Zdefiniuj entropię jako:
      Entropia(D) = −Σp_ilog₂(p_i)
      gdzie p_i to proporcja przypadków w klasie i w zbiorze danych D.
   4. Zdefiniuj współczynnik wzmocnienia jako:
      Współczynnik wzmocnienia (D, C) = [Entropy(D) − Entropy(D|C)]/SplitInfo (D, C)
      gdzie C jest kandydatem zmienną dzielącą.
   5. Umożliwić przycinanie, aby ograniczyć zbyt specyficzne gałęzie, które mogą pasować do szumu podzbioru treningowego.
   6. Użyj następujących ustawień C5.0: przycinanie = włączone; boosting = wyłączony; liczba prób = 1; koszty błędnej klasyfikacji = nie zastosowane; wagi klas = nie stosowane; minimalne rekordy na gałąź potomną = 2; globalne przycinanie = włączone; podnoszenie poddrzewa = włączone; współczynnik ufności = 0,25; zasady zatrzymania = domyślne ustawienia IBM SPSS Modeler C5.0, chyba że zaznaczono inaczej.
   7. Nie stosuj syntetycznego nadpróbkowania, ważenia klas ani uczenia się wrażliwego na koszty w głównym procesie.
   8. Eksportuj początkowe drzewo oraz zachowane przycięte drzewo.
   9. Zapisz końcową strukturę węzłów, podsumowania węzłów końcowych, wyjście zmiennej ważności, reguły klasyfikacji oraz ustawienia modelu.
4. Nierównowaga klas dokumentów
   1. Oblicz rozkład niskiego i wysokiego HOT przed trenowaniem modelu.
   2. Zapisz wskaźnik braku informacji jako odsetek klasy większościowej w pełnym zbiorze danych i testach.
   3. Interpretuj drzewo jako pomocniczy, interpretowalny wynik klasyfikacji, a nie jako zoptymalizowany model przesiewowy.
   4. W przypadku przyszłych zastosowań zorientowanych na przesiewanie należy rozważyć wagi klas, uczenie wrażliwe na koszty, ponowne próbkowanie, podziały powtarzanych testów treningowych, k-krotną walidację krzyżową lub korektę progu.

8. Ocena i zachowanie wyników klasyfikacji

1. Wyniki eksportowe
   1. Zastosuj zachowane przycięte drzewo do podzbioru treningowego.
   2. Eksportuj macierz pomętności treningowej, dokładność, przypominanie specyficzne dla klasy, precyzję specyficzną dla klasy oraz wyjście węzła końcowego.
   3. Zastosuj to samo drzewo do podzbioru testowego.
   4. Eksportuj macierz dezorientacji testowej, dokładność, specyficzne dla klasy, precyzję specyficzną dla klasy oraz wyjście węzła końcowego.
   5. Oblicz przywołanie jako TP/(TP + FN).
   6. Oblicz dokładność jako TP/(TP + FP).
   7. Obliczaj ogólną dokładność jako poprawnie sklasyfikowane przypadki podzielone przez łączną liczbę przypadków.
   8. Oblicz wskaźnik braku informacji i porównaj dokładność testów z bazą klasy większościowej.
   9. Raportuj metryki specyficzne dla klasy wraz z ogólną dokładnością.
2. Eksport wyjść interpretowalnych
   1. Eksportuj tabelę zmiennej ważności z wartościami liczbowymi.
   2. Eksportuj ostateczny diagram drzewa wraz z rozmiarem próby węzła, przewidywaną klasą, rozkładem klas oraz prawdopodobieństwem klasy.
   3. Jeśli cały diagram drzewa jest wizualnie zatłoczony, podaj uproszczoną główną figurę i umieść pełną tabelę węzłów w Pliku Uzupełniającym 4.
   4. Eksportuj podsumowania terminal-węzł, w tym ścieżki reguły, wielkość próby węzła, przewidywaną klasę, niską liczbę HOT, wysoką liczbę HOT oraz pewność klasyfikacji.
   5. Opisz jedną lub dwie reprezentatywne ścieżki klasyfikacji w Reprezentatywnych Wynikach.
3. Zachowaj pakiet powtarzalności
   1. Zachowaj plik surowej odpowiedzi, rekord deidentyfikacji, dziennik przesiewania, przesiewany zestaw danych na poziomie elementów, ciągły plik roboczy, plik analizy kodowanej binarnie, tabelę przepływu próbkowania, klucz punktacji, tabelę niezawodności, plik projektu C5.0, plik drzewa początkowego, plik drzewa przyciętego, wyjście zmiennej ważności, tabelę węzłów końcowych, macierze pomyłek oraz eksportowane podsumowania modeli.
   2. Dostarcz Dodatkową Tabelę 1 jako zapis punktacji i pomiarów.
   3. Dostarcz Tabelę Uzupełniającą 2 jako model i rekord wyjściowy.
   4. Dostarcz Plik Uzupełniający 1 jako kwestionariusz skierowany do respondentów.
   5. Dostarcz Plik Uzupełniający 2 jako przykładowy dziennik selekcji.
   6. Udostępnij Plik Uzupełniający 3 jako strukturę pliku analizy kodowanej.
   7. Udostępnij plik uzupełniający 4 jako węzeł końcowy i wynik o zmiennej ważności.
   8. Zachowaj ścieżkę workflow tak: surowy eksport ankiety > dziennik deidentyfikacji i przesiewania > przesiewany zbiór danych na poziomie pozycji > plik roboczy ciągłego wyniku > binarnie kodowany plik analityczny > partycja treningowa/testowa, partycja > początkowe drzewo C5.0 > przycięte drzewo C5.0 > eksportowane wyniki klasyfikacji > dodatkowym pakietem powtarzalności.

Wyniki

Statystyki opisowe zachowanych zmiennych

Tabela 2 przedstawia opisowe statystyki zachowanych zmiennych samooceny w zbiorze danych ciągłego wyniku, sprzed binarnego kodowania. Średni samozdiagnozowany wynik myślenia wyższego rzędu wynosił 3,71 (SD = 0,68), co było powyżej stałego progu środka 3 w skali odpowiedzi 1–5. Zaufanie do generatywnej sztucznej inteligencji również przekraczało ten próg, ze średnią 3,54 (SD = 0,60), podczas gdy wyniki akademickie były b...

Dyskusja

Protokół ten oferuje powtarzalny workflow w zakresie ankiet i drzewa decyzyjnego C5.0 do organizowania danych uczniów samoraportujących w nauczaniu akademickim wspieranym przez generatywną sztuczną inteligencję. Jego główny wkład jest metodologiczny, a nie predykcyjny. Workflow określa, jak definiować kontekst ankiety, wyświetlać odpowiedzi, oceniać konstrukcje wieloelementowe, stosować stałą regułę kodowania środkowego, dzielić zbiór danych, trenować i przycinać drzewo C5.0, eksportować wyniki na poziomie węzłów oraz oc...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
IBM SPSS Modeler	IBM Corp.	Wersja 18.4	Wykorzystywane do partycjonowania danych w formie 70:30 w formie stratyfikacji, budowy drzewa decyzyjnego C5.0, przycinania, oceny klasyfikacji oraz eksportu wyników drzew.
Statystyki IBM SPSS	IBM Corp.	Wersja 26.0	Wykorzystywane do sprawdzania danych, obliczania wyniku kompozytowego, analizy wiarygodności, sprawdzania częstotliwości oraz binarnego kodowania.
Urządzenie respondenta podłączone do Internetu	Urządzenie należące do respondenta	Smartfon, tablet lub laptop z dostępem do przeglądarki	Wykorzystywane przez respondentów do wypełniania ankiety online. Nie dostarczono urządzenia specyficznego dla badania.
Microsoft Excel	Microsoft Corp.	Microsoft 365, Excel 2019 lub nowszy	Wykorzystywany do przeglądu dziennika przesiewowego, weryfikacji kodu, formatowania tabel oraz sprawdzania eksportowanych wyników.
Funkcja dystrybucji w kodzie QR	Wenjuanxing / Gwiazda Kwestionariusza	Wbudowana funkcja kodu QR z linkiem kwestionariusza	Wykorzystywane do zapewnienia zaproszonym studentom dostępu do standardyzowanego kwestionariusza podczas okna ankietowego.
Ciche ustawienie zakończenia pomiarów	Uczelnia uczestnicząca	Przerwy lekcyjne lub zajęcia z doradztwem uczniów	Stosowane w celu zmniejszenia różnic między odpowiedzią a kontekstem podczas wypełniania kwestionariusza za jedną sesją.
Bezpieczny katalog przechowywania danych	Autorzy / instytucja uczestnicząca	Przechowywanie danych instytucjonalnych z kontrolą dostępu	Używane do przechowywania surowego eksportu, przesiewanego zbioru danych, zbierania danych ocenianych, kodowanych zbiorów, plików modeli, logów oraz eksportowanych wyników z kontrolą wersji.
Wenjuanxing / Ankietowa Gwiazda online	Changsha Ranxing Information Technology Co., Ltd.	Platforma internetowa; dostęp przez oficjalną stronę Wenjuanxing	Wykorzystywane do tworzenia kwestionariuszy, dystrybucji kodów QR, ustawień obowiązkowych odpowiedzi, sprawdzania kontroli duplikatów, eksportu znaczników czasu oraz eksportu arkusza kalkulacyjnego.
System operacyjny Windows	Microsoft Corp.	Windows 10, 64-bitowy	Środowisko operacyjne dla IBM SPSS Statistics 26.0 oraz IBM SPSS Modeler 18.4.