Воспроизводимый рабочий процесс с оценкой опросов и дерево решений C5.0 для классификации самооценённого мышления высшего порядка в обучении с поддержкой генеративного ИИ

Краткое содержание

Этот протокол представляет воспроизводимый рабочий процесс для сбора данных самоотчётного опроса, оценки переменных, связанных с учащимися, дихотомии показателей высшего порядка мышления и применения дерева решений C5.0 для демонстрации интерпретируемой классификации учащихся в академическом обучении с поддержкой генеративного искусственного интеллекта.

Аннотация

Генеративный искусственный интеллект всё чаще используется в высшем образовании, но исследователям всё ещё нужны прозрачные процедуры для сбора, оценки и организации данных опросов на уровне учащихся в этом быстро меняющемся контексте. В этой статье представлен воспроизводимый рабочий процесс по оценке опросов и дерево принятия решений по C5.0 для классификации самосообщаемого мышления высшего порядка среди студентов колледжей, использовавших инструменты генеративного искусственного интеллекта для академического обучения. Протокол охватывает набор участников, проведение анкет, скрининг качества ответов, расчет композитных баллов, бинарное кодирование, обучающее тестирование на разделение, построение дерева C5.0, обрезку, экспорт результатов модели и интерпретацию путей классификации на основе узлов. Рабочий процесс продемонстрирован на основе одного университетского опроса 776 студентов бакалавриата, собранного в Китае с 7 по 15 марта 2023 года. Мышление высшего порядка операционализируется как самооценочный опросник, а не как непосредственно наблюдаемая когнитивная эффективность. В демонстрационном наборе данных обрезанное дерево сохранило восемь переменных, связанных с учащимися: тревожность генеративного искусственного интеллекта, доверие к генеративному искусственному интеллекту, проблемное использование смартфонов, прокрастинация в учёбе, учебные успеваемости, воспитание родителей, негативные эмоции и отношение к генеративному искусственному интеллекту. Сохранённая модель достигла точности 89,52% в обучающей подгруппе и 86,21% точности в тестовом. Однако оценка по классам показала неравномерную производительность: для класса Low-HOT отзыв был значительно слабее, чем для класса High-HOT. Поэтому дерево следует интерпретировать как вспомогательную, интерпретируемую демонстрацию рабочего процесса, а не как валидированный инструмент скрининга. Этот протокол может поддерживать исследователей, которым требуется документированная и повторяемая процедура профилирования учащихся на основе опросов в образовательных средах, поддерживаемых генеративным искусственным интеллектом.

Введение

Мышление высшего порядка является центральной проблемой в высшем образовании, поскольку ожидается, что университетское обучение выйдет за рамки запоминания фактических знаний к анализу, оценке, рефлексии, решению проблем и созданию^{знаний.} Позднейшие пересмотры таксономии Блума ещё больше прояснили, что продвинутое обучение включает не только запоминание и понимание, но и применение, анализ, оценку и создание знаний в всё более сложных^{контекстах 2}. Это различие важно для настоящего протокола, поскольку мышление высшего порядка рассматривается не как простая оценка достижений, а как конструкция на уровне учащегося, требующая тщательной операционализации перед анализом. В образовательных исследованиях мышление высшего порядка также связано с критическим мышлением, метакогнитивным мониторингом и переносом обучения между проблемными^{контекстами 3}. Для обучения, поддерживаемого технологиями, эта проблема становится особенно важной, поскольку учащимся часто необходимо связывать концепции, оценивать сгенерированную информацию и принимать решения во время заданий по решению задач, а не просто получать^{учебный материал 4}.

Быстрое распространение генеративного искусственного интеллекта усложнило измерение мышления высшего порядка. Инструменты генеративного искусственного интеллекта могут создавать текст, код, изображения, объяснения, резюме и другие формы академической поддержки на основе шаблонов, полученных из крупномасштабных наборов^{данных 5}. Крупные языковые модели, включая ChatGPT, стали особенно заметны в высшем образовании в ранний период публичного внедрения в конце 2022 и начале 2023^года. В академической среде студенты могут использовать эти инструменты для поиска информации, объяснения концепций, разработки конспекта, генерации идей, пересмотра заданий, поддержки перевода и других занятий, связанных с курсом. Эти применения могут снизить рутинную нагрузку, но также изменить способы распределения внимания, оценки качества информации и регулирования собственных когнитивных усилий. По этой причине исследования обучения с помощью генеративного искусственного интеллекта требуют процедур, чётко документирующих то, как собираются, оцениваются, кодируются и интерпретируются переменные уровня учащихся.

Предыдущие исследования по цифровому и смешанному обучению показали, что технологии могут поддерживать мышление высшего порядка, когда ученики активно вовлечены в учебные задачи, а не используют среду^{пассивно.} Исследования обучения с мобильными технологиями и технологиями также показали, что взаимодействие со сверстниками, восприятие обучения и активное вовлечение релевантны для высших мыслительных тенденций^{учащихся 8}. Методы анализа данных также использовались для изучения того, как поведение онлайн-обучения связано с навыками мышления высшего порядка, что демонстрирует ценность организации образовательных данных в интерпретируемые шаблоны^{учащихся 9}. Значительная часть исследований использования технологий была основана на модели принятия технологий, которая объясняет поведение использования через воспринимаемую полезность и воспринимаемую простоту^{использования 10}. Однако обучение с помощью генеративного искусственного интеллекта отличается от более ранних цифровых образовательных контекстов тем, что студенты взаимодействуют с системами, которые генерируют открытые ответы, формируют уверенность и могут стимулировать или снижать критическое вовлечённость. Поэтому протокол по этой теме должен не только фиксировать, принимают ли студенты технологию, но и фиксировать, как эмоциональные, поведенческие, академические и контекстуальные индикаторы готовятся к анализу.

В этой ситуации особенно актуальны несколько переменных, связанных с учащимися. Доверие к искусственному интеллекту может влиять на то, будут ли студенты полагаться на сгенерированный результат, ставить ли их под сомнение или с осторожностью интегрировать в^{академическую работу 11}. Тревога по отношению к технологиям или искусственному интеллекту также может иметь значение, хотя её не следует интерпретировать в одном направлении без эмпирической^{осторожности 12}. Проблемное использование смартфонов — ещё один важный поведенческий показатель, поскольку фрагментированное внимание и отвлечение, связанное с устройством, могут мешать устойчивому когнитивному взаимодействию во время^{исследования 13}. Более общие исследования обучения также показывают, что саморегулируемые стратегии обучения связаны с академическими достижениями в онлайн- и поддерживаемых технологиями^{средах 14}. Исследования, основанные на исследовании и кооперативном обучении, также показывают, что осмысленное обучение зависит от того, как учащиеся участвуют в учебных заданиях, организуют доказательства и строят объяснения¹⁵. Эти соображения поддерживают использование многопеременного процесса опроса, а не только узкой меры воздействия генеративного искусственного интеллекта.

Теория когнитивной нагрузки предоставляет дополнительное обоснование для документирования эмоциональных и поведенческих индикаторов в одном рабочем процессе. Из-за ограниченной рабочей памяти избыточная или плохо организованная информация может мешать обучению и решению задач¹⁶. В обучении, поддерживаемом генеративным искусственным интеллектом, эта проблема становится заметной, когда студенты сталкиваются с обильным сгенерированным результатом, непоследовательными объяснениями, нерелевантными предложениями или конкурирующими источниками информации. Также было показано, что эмоциональная активность связана с когнитивной нагрузкой во время мультимедийного обучения, что говорит о том, что аффективные состояния могут формировать то, как учащиеся воспринимают информацию в технологически^{богатых условиях 17}. В то же время текущие обсуждения искусственного общего интеллекта и будущего образования подчеркивают, что искусственный интеллект может менять учебные практики быстрее, чем традиционные системы обучения могут^{адаптировать 18}. Эти условия требуют использования метода, который фиксирует не только технологические установки, но и эмоциональное состояние, саморегуляцию, академический бэкграунд и контекстуальные переменные. В настоящем рабочем процессе эти переменные рассматриваются как индикаторы самоотчёта опроса, а не как напрямую наблюдаемые поведенческие следы или причинные механизмы.

Методологическая сложность заключается в том, что профили учащихся редко формируются одной переменной. Данные образовательных опросов часто содержат многослойные комбинации эмоциональных, поведенческих, академических, контекстных и технологических показателей. Обычные регрессионные модели полезны для оценки ассоциаций сетей, но они менее интуитивны, когда цель — отображение условного ветвления, дифференцировки подгрупп и классификации на основе правил. Анализ дерева принятия решений предоставляет дополнительный подход, поскольку рекурсивно разбивает случаи на интерпретируемые ветви и делает последовательность классификации видимой через структуры^{узлов 19}. По сравнению с более сложными моделями машинного обучения, одно дерево принятия решений проще проверять, объяснять и экспортировать как часть воспроизводимого рабочего процесса. В сравнении со стандартным линейным моделированием оно может показать, как комбинации индикаторов учащихся формируют практические пути классификации в образовательных^{данных 20}. Однако одно дерево также чувствительно к дисбалансу классов, решениям по разбиванию, настройкам обрезки и характеристикам выборок. По этой причине дерево решений в этом протоколе используется как вспомогательный интерпретируемый этап классификации, а не как универсальный движок предсказания или причинная^{модель 21}.

В этой статье представлен воспроизводимый рабочий процесс с оценкой опросов и дерево решений C5.0 для классификации самосообщаемого мышления высшего порядка в академическом обучении, поддерживаемом генеративным искусственным интеллектом. Рабочий процесс продемонстрирован на примере единого университетского опроса среди 776 студентов бакалавриата, собранного в Китае с 7 по 15 марта 2023 года. Результатом является самосообщаемый балл опросника высшего порядка мышления, который дихотомизируется для вспомогательной классификации; Это не прямая мера продемонстрированной когнитивной способности. Экспозиция генеративного искусственного интеллекта в этой демонстрации относится к самоотчётному использованию студентами инструментов генеративного искусственного интеллекта для учебных занятий, связанных с курсом, в течение предыдущих четырёх недель, включая поиск информации, объяснение концепций, генерацию идей, составление конспектов и пересмотр заданий. Использование инструмента не верифицировалось с помощью логов платформы, истории запросов или отслеживания активности в реальном времени.

Цель протокола — не утверждать, что сохранённое дерево обобщается на все учреждения, когорты или существующие среды генеративного искусственного интеллекта. Эта осторожность необходима, поскольку демонстрационные данные были собраны в одном из университетов в короткое окно начала 2023 года, когда студенты ещё быстро развивались с помощью генеративного искусственного интеллекта. Вместо этого вклад статьи заключается в том, чтобы сделать всю процедуру повторяемой: определение контекста опроса, проведение анкеты, отбор ответов, оценочные конструкции, документирование надёжности, применение фиксированного правила кодирования, разделение набора данных, обучение и обрезка дерева C5.0, экспорт результатов модели и интерпретация путей классификации узлов с учётом классовой производительности. Этот метод-ориентированный рабочий процесс может помочь образовательным исследователям, исследователям, ориентированным в классе, и аналитикам по обучению воспроизвести или адаптировать прозрачный подход к профилированию учащихся на основе опросов в обучении с использованием генеративного искусственного интеллекта.

Протокол

Это исследование с участием людей было рассмотрено и одобрено Этическим комитетом Школы педагогических наук Йили Педагогического университета (Справочный номер). LZEDU2023003). Исследование проводилось с 7 по 15 марта 2023 года. Комитет определил, что исследование подпадает под этическое исключение, поскольку оно включало только анонимные добровольные процедуры опросного вопроса без физического, психологического или социального вреда участникам. Все участники предоставили электронное информированное согласие перед заполнением анкеты.

Перед анализом замените записи респондентов на необратимые номера дел и удалите все прямые идентификаторы. Не сохраняйте имена, идентификационные номера учащихся, телефонные номера, имена счетов, идентификаторы классов, адреса Интернет-протокола, идентификаторы устройств или необработанные маркеры аккаунта платформы в аналитическом файле. Используйте дублирующую контрольную информацию только для скрининга ответов, затем удаляйте её перед блокировкой аналитического набора данных.

1. Определить условия обследования и процедуру отбора проб

1. Определите условия исследования и критерии отбора
   1. Проведите опрос в Политехническом университете Лючжоу, автономный район Гуанси-Чжуан, Китай, с 7 по 15 марта 2023 года.
   2. Определите целевую группу как студентов бакалавриата, обучающихся в участвующем университете.
   3. Включите студентов, которые сообщили, что использовали хотя бы один инструмент генеративного искусственного интеллекта для учебного обучения, связанного с курсами, в течение предыдущих 4 недель.
   4. Определите допустимое академическое использование как поиск информации, объяснение концепций, генерирование идей, составление плана, пересмотр заданий, поддержку перевода, помощь с кодом или другие задачи, связанные с курсом.
   5. Исключайте студентов, которые сообщают только о развлекательном использовании, непринужденном общении, экспериментах вне учебы или других несвязанных с курсом использованиях.
   6. Исключайте респондентов, которые не являются действующими студентами, не сообщают об академическом использовании генеративного искусственного интеллекта, отказываются от электронного информированного согласия или подают недействительные анкеты согласно приведённым ниже правилам скрининга.
   7. Фиксируйте воздействие генеративного искусственного интеллекта с помощью самоотчётных пунктов, охватывающих категорию или название инструмента, приблизительную частоту использования за предыдущие 4 недели и академические задачи, поддерживаемые инструментом. Не рассматривайте эти данные о воздействии как проверенные записи использования платформы.
2. Постройте отборную рамку и набирайте участников
   1. Получите институциональную систему выборки студентов бакалавриата от участвующего университета. Рамка охватывает более 15 000 студентов по 46 специальностям.
   2. Применяйте стратифицированную случайную выборку по категории специальности и уровню года для составления списка приглашенных, чтобы студенты из разных дисциплин и этапов обучения были представлены в приглашённой выборке.
   3. Применяйте стратифицированную случайную выборку по основной категории и уровню года, чтобы составить список приглашенных.
   4. Пригласите 800 выбранных студентов с помощью стандартизированного уведомления о наборе.
   5. Распространяйте код быстрого ответа на онлайн-анкету только приглашённым студентам в неучебные периоды, такие как перерывы в классах или консультации со студентами.
   6. Запишите полный процесс набора и отбора. В рамках этого рабочего процесса было приглашено 800 студентов, и было возвращено 792 анкеты. Были исключены шестнадцать анкет: 4 — для недопустимого использования генеративного искусственного интеллекта, 3 — для дублирующей подачи, 5 — за время завершения ниже минимального порога и 4 — для некорректных шаблонов прямолинейных ответов. Итоговая аналитическая выборка содержала 776 действительных анкет.

2. Настройте администрирование анкет и процедуры конфиденциальности данных

1. Настройте онлайн-анкету
   1. Создайте и распространите анкету с помощью онлайн-платформы, также известной как Questionnaire Star.
   2. Включите быстрое распределение кода, обязательные ответы по масштабным элементам, экспорт времени отправки, проверку дублирования контроля и экспорт таблиц.
   3. Заблокируйте анкету для респондентов перед получением первого действительного ответа. Сохраняйте без изменений формулировку пунктов, порядок пунктов, якорей ответов, инструкций, меток масштабов, формулировок согласия и маршрута доступа на протяжении всего периода опроса.
   4. Установите все элементы масштаба как обязательные. Не используйте пост-хок импутацию для реакций масштаба.
   5. Включите управление одной отправкой через наименее идентифицируемую платформу. Используйте маркеры, генерируемые только на уровне аккаунта, устройства или платформы для скрининга дублиров.
2. Стандартизировать условия завершения
   1. Попросите респондентов заполнить анкету индивидуально, за один присест и без обсуждения с коллегами.
   2. Попросите респондентов отвечать в соответствии с их фактическим академическим использованием генеративного искусственного интеллекта за предыдущие 4 недели.
   3. Попросите респондентов заполнить анкету в тихой обстановке и избегать переключения устройства, длительных пауз или повторного доступа после отправки.
   4. Установите ожидаемое окно завершения на 530 минут. Используйте время завершения только как индикатор качества отклика.

3. Отклики на экран и блокировка аналитического набора данных

1. Экспортировать файл raw-response
   1. Экспортируйте исходный файл анкеты с онлайн-платформы опросов после закрытия окна опроса.
   2. Сохраняйте исходный экспорт до исключения, оценки, кодирования или построения модели.
   3. Назначьте неидентифицируемые номера дел всем возвращённым записям перед проверкой. В этом рабочем процессе присваивайте номера дел 792 возвращенным анкетам.
2. Применение правил исключения качества ответа
   1. Исключайте записи без электронного информированного согласия.
   2. Исключать записи, которые не соответствуют текущему статусу студента или академическим требованиям.
   3. После экспорта исключать записи с отсутствующими ответами, не соответствующими демографической шкале. В этом рабочем процессе обязательные настройки отклика предотвращали отсутствие откликов масштаба.
   4. Используйте средний порог времени завершения в 2 с на закрытый элемент для выявления записей, которые вряд ли отражают чтение и обработку ответов на уровне пункта. Исключить записи ниже этого порога.
   5. Проверьте записи, завершённые менее чем за 5 или более 30 минут, на предмет возможных низкокачественных или прерванных ответов. Сохраняйте записи вне этого временного окна только тогда, когда проверка дублирования и проверка шаблонов ответа не указывает на недействительное завершение.
   6. Используйте прямолинейное реагирование как дополнительный индикатор качества отклика. Исключать записи, в которых одинаковый вариант ответа выбран как минимум для 90% элементов по шкале Лайкерта, так как этот паттерн указывает на ограниченное взаимодействие с содержимым элементов.
   7. Исключить дублирующие подачи на основе маркеров дубликата платформы и сохранить самое раннее полное действительное записи.
   8. Сохранить анкету, ориентированную на респондентов, как дополнительный файл 1.
   9. Сохраните журнал скрининга как дополнительный файл 2. Журнал скрининга должен указывать приглашённых студентов, возвращенные анкеты, исключённые анкеты, причины исключения и итоговые оставленные случаи.
3. Создать заблокированный аналитический набор данных
   1. Сохраняйте 776 действительных анкет после скрининга. Заблокируйте анкету для респондентов и аналитический набор данных перед оценкой, чтобы убедиться, что формулировка элементов, критерии допуска, решения об исключении и определения переменных не изменяются после сбора данных.
   2. Удалите прямые идентификаторы, сырые временные метки, маркеры на уровне учетной записи, трассы на уровне устройства и дублирующие контрольные маркеры перед анализом. Используйте этот шаг деидентификации для защиты анонимности участников и предотвращения связи аналитического набора данных с отдельными студентами.
   3. Сохраните деидентифицированный набор данных по случаям 776 как заблокированный аналитический набор.
   4. Используйте заблокированный аналитический набор данных как единственный источник для оценки, кодирования и классификации.

4. Измерять переменные, связанные с учащимися

1. Организуйте анкету
   1. Разделите анкету на четыре раздела: информированное согласие, демографический и академический фон, взаимодействие с генеративным искусственным интеллектом и шкалы, связанные с учащимися.
   2. Зафиксируйте пол, возраст, специальность, уровень обучения и самооценку академической успеваемости.
   3. Фиксируйте воздействие генеративного искусственного интеллекта по категориям инструментов, приблизительную частоту использования и поддерживаемую академическую задачу.
   4. Измеряйте самооценку мышления высшего порядка, тревогу по счёту генеративного искусственного интеллекта, доверие к генеративному искусственному интеллекту, негативные эмоции, отношение к генеративному искусственному интеллекту, проблемное использование смартфонов, прокрастинацию и воспитание родителей.
   5. Рассматривайте все переменные, основанные на шкале, как индикаторы самоотчётного опроса, а не как прямые поведенческие наблюдения или напрямую наблюдаемую когнитивную эффективность.
2. Определите удерживаемые меры
   1. Измеряйте самооценку мышления высшего порядка с помощью запоминаемого инструмента из 23 пунктов, охватывающего решение проблем, критическое мышление, командную работу, коммуникацию и^{инновации 22}.
   2. Измеряйте тревогу, связанную с генеративным искусственным интеллектом, с помощью 11-пунктной шкалы тревоги адаптированных технологий²³.
   3. Измерьте доверие к генеративному искусственному интеллекту с помощью 12-пунктной адаптированной шкалы доверия к^{автоматизации 24}.
   4. Измеряйте негативные эмоции с помощью адаптированной шкалы депрессии, тревоги, стресса, 21 пункта, используемого как общий индикатор негативных^{эмоций 25}. Не воспринимайте этот балл как клинический диагноз.
   5. Измеряйте отношение к генеративному искусственному интеллекту с помощью 18-пунктной шкалы адаптированного подхода к^{технологиям (26}).
   6. Измеряйте проблемное использование смартфонов с помощью Шкалы зависимости от смартфонов, сокращённой для контекста опроса^{студентов 27}.
   7. Измерьте академическую прокрастинацию с помощью 16-пунктовой шкалы академической^{прокрастинации 28}.
   8. Оценивайте академическую успеваемость с помощью 5-балльной самооценки: 1 = значительно ниже среднего, 2 = ниже среднего, 3 = среднее, 4 = выше среднего и 5 = отлично.
   9. Измерьте родительское воспитание с помощью 5-пунктового контекстного пункта самооценки: 1 = очень неподдерживающее, 2 = неподдерживающее, 3 = нейтральное или смешанное, 4 = поддерживающее и 5 = крайне поддерживающее.
3. Определить анкеры отклика и процедуры адаптации
   1. Используйте формат отклика типа Лайкерта 1–5 для сохраненных переменных масштаба.
   2. Используйте общие якоря: 1 = сильно не согласен, 2 = не согласен, 3 = нейтрально или неопределённо, 4 = согласен и 5 = сильно согласен.
   3. Проведите анкету на китайском языке, чтобы убедиться, что респонденты выполняют все задания по шкале в учебном и языковом контексте, используемом в участвующем университете.
   4. Адаптировать исходные материалы через прямой перевод, экспертную проверку, корректировку формулировок для обучения с помощью генеративного искусственного интеллекта и пилотную проверку читаемости для сохранения задуманного смысла конструкции и повышения контекстной ясности для китайских студентов-студентов.
   5. Используйте экспертный обзор, чтобы проверить, соответствуют ли адаптированные элементы исходным конструкциям, якорям ответа, направлению оценки и контексту исследования. Пересматривайте только формулировки, которые могут вызывать неоднозначность, несоответствие контекста или непонимание в условиях обучения с помощью генеративного искусственного интеллекта.
   6. Включите формулировки элементов, анкеры ответов, порядок элементов, направление оценки и финальные метки переменных в Дополнительном файле 1.

5. Оценивать и проверять качество измерения

1. Подготовьте рабочий файл с оценкой
   1. Откройте заблокированный аналитический набор данных в IBM SPSS Statistics 26.0.
   2. Сохраняйте одного респондента в строку и одну элемент или переменную в каждом столбце.
   3. Проверьте отсутствующие значения, диапазоны откликов, метки элементов и имена переменных.
   4. Сохраните отфильтрованный набор данных на уровне предмета перед вычислением составных оценок.
2. Вычисление композитных баллов
   1. Вычислите один составный средний балл на уровне респондента для каждой многоэлементной конструкции.
   2. Только элементы с обратным счётом, которые были определены как с обратной ключью в ключе для подсчёта до расчёта композитного результата.
   3. Не сменяйте обратный балл по отрицательным эмоциям, полученным из DASS21, в этом рабочем процессе, поскольку все удержанные элементы оцениваются в одном направлении, а более высокие значения указывают на более сильный негативный опыт.
   4. Не вычисляйте составные баллы по частично преобразованным шкалам.
   5. Сохраняйте рабочий файл непрерывного балла после расчета композитного результата.
3. Проверьте качество внутренних измерений
   1. Вычислите альфу Кронбаха для каждой сохранённой многоэлементной шкалы в IBM SPSS Statistics 26.0. Используйте альфу Кронбаха как индекс внутренней согласованности, который показывает, достаточно ли элементы в одной шкале согласованности для вычисления по композитному баллу.
   2. Инспектировать корректированные корреляции между товаром и значениями «альфа-если-элемент удалён» для каждой сохранённой шкалы. Используйте скорректированные корреляции товар-итог, чтобы проверить, достаточно ли каждый элемент соответствует общему баллу своей шкалы после исключения этого элемента из общего расчёта.
   3. Используйте значения alpha-if-item-deleted для выявления элементов, которые могут снизить внутреннюю согласованность при сохранении. Не удаляйте предметы автоматически только на статистических основаниях; Сохранять или удалять элемент можно только после проверки его значения конструкции, направления оценки и согласованности с адаптированной анкетой.
   4. Проведите тестовые проверки Кайзера-Мейера-Олькина и Бартлетта для адаптированного набора гамм.
   5. Указывайте ключевые альфа-значения Кронбаха в основном тексте.
   6. Предоставьте полную запись оценок и измерений в виде дополнительной таблицы 1. Включите количество заданий, диапазон откликов, анкеры ответов, направление начисления оценок, элементы с обратной ключью, правило составного балла, альфу Кронбаха, скорректированный результат проверки корреляции товара, результат проверки «альфа-если-элемент удалён» и метку конечной переменной.

6. Преобразовать непрерывные оценки в вспомогательные классификационные входы

1. Применение бинарного кодирования
   1. Используйте рабочий файл непрерывной партитуры в качестве исходного файла.
   2. Перекодировать самосообщаемое мышление высшего порядка как бинарную целевой переменную.
   3. Код оценивает ≤3 как 0, а >3 — 1.
   4. Примените тот же порог ко всем удерживаемым предикторам после расчёта композитного балла.
   5. Используйте порог 3 как среднюю точку шкалы отклика от 1 до 5, чтобы создать прозрачное и воспроизводимое правило кодирования.
   6. Выполняйте дихотомизацию только для создания бинарных входов для демонстрации дерева решений C5.0.
   7. Проверьте количество классов после дихотомизации.
   8. Сохраняйте рабочий файл непрерывной партитуры.
2. Создайте кодированный аналитический файл
   1. Сгенерируйте новый файл анализа с бинарным кодом.
   2. Перекодуйте тревогу генеративного искусственного интеллекта, доверие к генеративному искусственному интеллекту, проблемное использование смартфонов, прокрастинацию учёбы, учебную успеваемость, воспитание родителей, негативные эмоции и отношение к генеративному искусственному интеллекту с тем же порогом.
   3. Проверьте количество классов для каждой бинарной переменной.
   4. Сообщайте о правилах кодирования и количестве классов в таблице 1.
   5. Сохранить файл анализа с бинарным кодом.
   6. Предоставьте структуру закодированного аналитического файла в виде дополнительного файла 3.

7. Создать вспомогательный классификатор дерева решений C5.0

1. Настройте среду моделирования
   1. Откройте IBM SPSS Modeler 18.4 на 64-битной операционной системе Windows 10.
   2. Импортируйте файл анализа с бинарным кодом.
   3. Назначить бинарное самосообщаемое мышление высшего порядка в качестве целевого поля.
   4. Назначить все остальные бинарные переменные в качестве входных полей.
   5. Проверяйте имена полей, метки значений и роли целевых и входных.
   6. Запишите название программного обеспечения, версию, операционную систему, реализацию C5.0, имя файла проекта и дату анализа в дополнительную таблицу 2.
2. Разделить набор данных на части
   1. Разделите 776 случаев в формат обучения и тестирования 70:30.
   2. Используйте фиксированный случайный seed 20230307.
   3. Применяйте стратифицированное разбиение по бинарной мишени высшего порядка.
   4. Назначьте 544 случая в обучающую подгруппу и 232 случая для тестирования.
   5. Проверьте низкие HOT и высокие HOT в полном наборе данных, учебном и тестовом подмножестве.
   6. Сохранить запись раздела в дополнительную таблицу 2.
3. Тренируйте и обрежайте дерево C5.0
   1. Обучайте один классификатор C5.0 на учебном подмножестве.
   2. Используйте коэффициент усиления как правило разделённого^{выбора 29}.
   3. Определим энтропию как:
      Энтропия(D) = −Σp_ilog₂(p_i)
      где p_i — доля случаев класса i в наборе данных D.
   4. Определим коэффициент усиления следующим образом:
      Коэффициент усиления (D, C) = [Энтропия(D) − Энтропия(D|C)]/SplitInfo (D, C)
      где C — кандидат-расщепляющая переменная.
   5. Включите обрезку для уменьшения слишком специфических веток, которые могут вписываться в шум подмножества обучающих.
   6. Используйте следующие настройки C5.0: pruning = включено; бустинг = отключён; количество испытаний = 1; затраты на неправильную классификацию = не применяются; Веса классов = не применяются; минимальные записи на одну дочернюю ветвь = 2; глобальная обрезка = включена; поддерево поднятие = включено; коэффициент доверия = 0,25; остановка = стандартные настройки IBM SPSS Modeler C5.0, если не указано иное.
   7. Не применяйте синтетическую перевыборку, взвешивание классов или обучение с учетом стоимости в основном рабочем процессе.
   8. Экспортировать исходное дерево и оставшееся обрезанное.
   9. Сохраняйте итоговую структуру узлов, сводки конечных узлов, вывод важности переменных, правила классификации и настройки модели.
4. Дисбаланс классов документов
   1. Вычислите распределение низкого HOT и высокого HOT перед обучением модели.
   2. Фиксируйте процент отсутствия информации как долю большинства классов в полном наборе данных и подмножестве тестирования.
   3. Интерпретировать дерево как вспомогательный интерпретируемый результат классификации, а не как оптимизированную модель скрининга.
   4. Для будущих приложений, ориентированных на скрининг, рассмотрите веса классов, обучение с учётом стоимости, передискретизацию, повторные тестовые разбивания, кросс-валидацию k-кратных разборов или корректировку порогов.

8. Оценка и сохранение результата классификации

1. Экспортные показатели
   1. Примените сохранённое обрезанное дерево к обучающему подмножеству.
   2. Экспортировать матрицу путаницы обучения, точность, класс-специфическую отзыв, точность по классу и вывод терминального узла.
   3. Примените то же дерево к подмножеству тестирования.
   4. Экспортировать матрицу путаницы тестирования, точность, класс-специфическую отзыв, класс-специфическую точность и вывод терминального узла.
   5. Рассчитайте отзыв как TP/(TP + FN).
   6. Рассчитайте точность как TP/(TP + FP).
   7. Рассчитывайте общую точность как правильно классифицированные дела, делённые на общее количество случаев.
   8. Рассчитайте процент отсутствия информации и сравните точность тестирования с базовым уровнем большинства классов.
   9. Отчитывайте показатели, специфичные для класса, с общей точностью.
2. Экспортные выводы интерпретируемости
   1. Экспортировать таблицу важности переменных с числовыми значениями.
   2. Экспортировать финальную диаграмму дерева с размером выборки узла, прогнозируемым классом, распределением классов и вероятностью класса.
   3. Если полная диаграмма дерева визуально перегружена, упрощённая основная фигура и разместите полную таблицу узлов в дополнительный файл 4.
   4. Экспортные сводки по терминальным узлам, включая путь правил, размер выборки узла, прогнозируемый класс, низкое количество HOT, высокое количество HOT и уверенность классификации.
   5. Опишите один или два репрезентативных пути классификации в Репрезентативных результатах.
3. Сохранить пакет воспроизводимости
   1. Сохраняйте файл raw-response, запись деидентификации, журнал скрининга, отфильтрованный набор данных на уровне предмета, рабочий файл непрерывного результата, файл анализа с бинарным кодом, таблицу потоков выборки, ключ оценки, таблицу надёжности, файл проекта C5.0, файл начального дерева, файл обрезанного дерева, вывод переменной важности, таблицу терминальных узлов, матрицы путаницы и резюме экспортированных моделей.
   2. Предоставьте дополнительную таблицу 1 в качестве записи о оценке и измерениях.
   3. Предоставьте дополнительную таблицу 2 в качестве настройки модели и записи вывода.
   4. Предоставьте дополнительный файл 1 в качестве анкеты для респондентов.
   5. Предоставьте дополнительный файл 2 в качестве образца журнала скрининга.
   6. Предоставьте дополнительный файл 3 в качестве закодированной структуры файла анализа.
   7. Предоставьте дополнительный файл 4 в качестве вывода терминального узла и переменной важности.
   8. Сохранять путь рабочего процесса как: исходный опрос, экспорт > журнал деидентификации и отбора, > отфильтрованный набор данных на уровне элементов > непрерывный рабочий файл с результатами > бинарный кодированный аналитический файл > раздел обучения/тестирования > начальное дерево C5.0 > обрезанное дерево C5.0 > экспортированные результаты классификации > дополнительном пакете воспроизводимости.

Результаты

Описательная статистика удержанных переменных

Таблица 2 содержит описательные статистические данные сохраненных переменных самоотчётного опроса в наборе данных с непрерывными баллами до бинарного кодирования. Средний балл мышления высшего порядка при самооценке составлял 3,71 (SD = 0,68), что выше фиксированного порога средней точки 3 по шкале ответов 1–5. Доверие к генеративному искусственному интеллекту также превысило этот ...

Обсуждение

Этот протокол представляет воспроизводимый рабочий процесс по оценке опросов и C5.0 с деревом решений для организации данных учащихся для самостоятельного отчёта в академическом обучении, поддерживаемом генеративным искусственным интеллектом. Её основной вклад — методологический, а не предсказательный. Рабочий процесс определяет, как определить контекст опроса, отбрасывать ответы, оценивать многоэлементные конструкции, применять фиксированное правило промежуточного кодирования, разбивать...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
IBM SPSS Modeler	IBM Corp.	Версия 18.4	Используется для стратифицированного разделения данных в формате 70:30, построения дерева решений C5.0, обрезки, оценки классификации и экспорта выводов по дереву.
Статистика IBM SPSS	IBM Corp.	Версия 26.0	Используется для проверки данных, расчёта композитных оценок, анализа надёжности, проверки частот и двоичного кодирования.
Устройство ответчика, подключённое к интернету	Устройство, принадлежащее ответчику	Смартфон, планшет или ноутбук с доступом к браузеру	Используется респондентами для заполнения онлайн-анкеты. Специализированное устройство для исследования не предоставлялось.
Microsoft Excel	Microsoft Corp.	Microsoft 365 или Excel 2019 или более поздние версии	Используется для проверки журнала скрининга, проверки кода, форматирования таблиц и проверки экспорта и вывода.
Функция распределения QR-кодов	Вэньцзюаньсин / Звезда анкеты	Встроенная функция QR-кода с ссылкой на анкету	Используется для предоставления стандартизированного доступа к опросу приглашённым студентам во время окна опроса.
Настройка тихого завершения обследования	Участвующий университет	Неучебные перерывы в классе или консультации учеников	Используется для уменьшения вариаций между ответом и контекстом при заполнении анкеты за один сест.
Защищённый каталог хранения данных	Авторы / участвующее учреждение	Институциональное хранилище с контролем доступа	Используется для сохранения исходного экспорта, отфильтрованного набора данных, набора оценок, закодированного набора данных, файлов моделей, логов и экспортируемых выходов с управлением версиями.
Онлайн-платформа опроса Wenjuanxing / Questionnaire Star	Changsha Ranxing Information Technology Co., Ltd.	Веб-платформа; доступ через официальный сайт Вэньцзюаньсин	Используется для составления анкет, распространения QR-кодов, настроек обязательного ответа, проверки дубликатов, экспорта временных меток и экспорта таблиц.
Операционная система Windows	Microsoft Corp.	Windows 10, 64-битная версия	Операционная среда для IBM SPSS Statistics 26.0 и IBM SPSS Modeler 18.4.