Оценка вовлеченности студентов университета в учебном процессе, рефлексивного самовыражения и просоциальных намерений с помощью поведенческого наблюдения и аналитики обучения

Краткое содержание

В данном протоколе интегрированы наблюдение за учебным процессом, рефлексивное письмо, измерение просоциальных намерений и аналитика обучения для оценки поведенческой вовлеченности, рефлексивного самовыражения и социально ориентированных результатов обучения студентов университета в течение 4-недельного периода обучения. В документе описаны порядок этического одобрения, содержание инструментов, рабочий процесс с использованием программного обеспечения, методы обработки пропущенных данных, процедуры устранения неполадок и интерпретация репрезентативных результатов, включая выявленные ограничения при реализации.

Аннотация

Для решения проблемы необходимости многомерной оценки вовлеченности студентов, выходящей за рамки традиционных метрик, в данном протоколе описывается структурированный подход к оценке активности в аудитории, рефлексивного самовыражения, активности в рамках аналитики обучения и просоциальных намерений в курсах бакалавриата. Протокол сочетает в себе интервальное поведенческое наблюдение, еженедельное структурированное рефлексивное письмо, деидентифицированные записи системы управления обучением и предварительный/пост-опросник просоциальных намерений. Обновленные процедуры предоставляют воспроизводимую модель кодирования поведения, рубрику рефлексивного самовыражения с примерами оценок, этапы работы с программным обеспечением и управления данными, а также четкие рекомендации по устранению проблем при расхождениях в оценках наблюдателей, отсутствии записей на платформе, низком уровне подачи рефлексивных работ, плохой видимости через камеру, отсеве участников и непостоянном уровне базовых знаний. Данный протокол следует использовать, когда исследователям необходим малоинвазивный, воспроизводимый способ объединения данных о поведении в аудитории в реальном времени, самоинтерпретации студентов и рутинной активности в системе управления обучением (LMS) в процессе обучения студентов бакалавриата. Он менее подходит для полностью асинхронных курсов без наблюдаемого взаимодействия, условий, запрещающих независимое наблюдение или связывание записей, а также для исследований, требующих биометрического анализа или распознавания эмоций. Репрезентативные результаты представлены на основе реализованного эмпирического применения после подтвержденного этического одобрения, деидентификации записей курса и подготовки репозитория.

Введение

Оценка участия студентов в системе высшего образования требует комплексного многоисточникового подхода. Хотя вовлеченность студентов широко концептуализируется как многомерный конструкт, охватывающий наблюдаемое поведение, когнитивные усилия и взаимодействие с окружающей средой, современные аналитические подходы преимущественно опираются на поверхностные данные логов, такие как частота входов в систему и зарегистрированные системой действия¹. Такая чрезмерная зависимость создает значительные трудности для практических исследований в условиях учебного класса. Наиболее критические формы учебного участия — прямое взаимодействие со сверстниками, когнитивная рефлексия и социальный вклад — зачастую происходят полностью за пределами ограниченного охвата видимости платформы².

Сложность современных университетских аудиторий возросла с внедрением гибридных педагогических моделей, сочетающих цифровые платформы с традиционным очным обучением. Хотя систематические обзоры аналитики обучения подтверждают, что цифровые следы предоставляют ценную информацию о распределении времени, закономерностях доступа и показателях долгосрочного удержания знаний, одни только эти метрики не позволяют определить, является ли внимание учащегося действительно эффективным или осмысленным³. Следовательно, в современных научных работах предлагается основывать аналитику обучения на более прочных теоретических моделях, сопоставляя цифровые следы с более содержательными, контекстуально-зависимыми показателями участия, такими как поведение в аудитории и рефлексивная деятельность⁴.

Рефлексивное письмо придает этому методу оценки важнейшее качественное измерение. Структурированные рефлексии и дневники, заполняемые после занятий, позволяют зафиксировать интерпретации учащихся в отношении образовательной деятельности, выявить трудности в обучении и связать теоретический материал с последующими практическими действиями. Согласно современным эмпирическим данным, рефлексивное выражение концептуализируется как комплексный многокомпонентный конструкт, включающий дескриптивное воспроизведение, аналитический вывод, самореферентное представление и обобщение смыслов⁵. Кроме того, исследования показывают, что систематическое предоставление учащимся рекомендаций по рефлексии постепенно развивает их способность к интроспекции; по мере увеличения частоты структурированной рефлексии в ходе учебного курса параллельно улучшаются навыки самостоятельного исследовательского поиска учащихся⁶.

Вторым серьезным пробелом в современных исследованиях вовлеченности является частое игнорирование процесса социализации в аудитории. В то время как существующие исследования делают основной акцент на индивидуальном поведении или когнитивных процессах, университетские аудитории функционируют как изначально социальные среды обучения, в которых студенты влияют друг на друга посредством сотрудничества и активного взаимодействия. Новые данные свидетельствуют о том, что климат в аудитории и структуры участия тесно коррелируют с просоциальным поведением и установкой, ориентированной на внесение вклада — эти результаты остаются недостаточно изученными по сравнению с традиционными показателями академической успеваемости или удовлетворенности студентов. Просоциальное поведение в академической среде не является просто побочным продуктом эмоциональных состояний или стресса; скорее, оно фундаментально связано с тем, как студенты позиционируют себя в рамках коллективной учебной деятельности⁷. Таким образом, измерение просоциальных намерений служит подходящим инструментом для определения того, выходит ли вовлеченность в учебный процесс за рамки изолированного выполнения заданий, способствуя формированию кооперативного и поддерживающего поведения за пределами непосредственной образовательной среды⁸.

Данные концептуальные разработки подчеркивают необходимость использования интегрированной системы сбора доказательств, развернутой в рамках одного учебного занятия. Многоисточниковый дизайн нивелирует ограничения, связанные с опорой на какой-либо один показатель, обеспечивая перекрестную проверку различных форм участия и раскрывая, как студенты интерпретируют свою внеаудиторную деятельность для стимулирования самостоятельного обучения⁹. В то время как рефлексивные оценки позволяют зафиксировать внутреннее когнитивное состояние учащегося, привязка этих самоотчетов к объективным поведенческим следам значительно повышает интерпретируемость данных об обучении. В настоящее время наблюдается заметное отсутствие практических, готовых к применению в аудитории протоколов, которые бы органично синтезировали систематическое поведенческое наблюдение, структурированную рефлексивную отчетность и аналитику обучения для рутинного внедрения в университетскую практику.

Чтобы устранить эти методологические недостатки, в данной работе представлен протокол оценки, предназначенный для одновременного измерения вовлеченности студентов в учебный процесс, рефлексивного самовыражения и просоциальных намерений. Этот протокол, разработанный специально для условий бакалавриата, предлагает оптимизированную методологию, которая требует минимальных административных затрат без ущерба для научной воспроизводимости. Устраняя аналитический разрыв между наблюдаемым поведением, артикулированным личным опытом и социально ориентированными результатами обучения, данная концепция отвечает растущему запросу на большую концептуальную ясность в исследованиях взаимодействия человека и технологий в образовательной среде¹⁰.

Протокол

Все методы с участием людей были выполнены в соответствии с Хельсинкской декларацией и соответствующими руководствами учреждения. Протокол проведенного исследования был одобрен комитетом по этике Нанчанского технологического института до начала набора участников (номер одобрения: NITE778291). От каждого участвующего студента было получено письменное информированное согласие. Для анализа использовались только деидентифицированные агрегированные данные наблюдений в классе, показатели рефлексии, аналитика обучения и данные опросников; идентифицируемые видеозаписи из классов, имена, идентификаторы учреждений и нередактированные тексты рефлексии были исключены из открытого доступа.

1. Дизайн исследования и отбор участников

1. Реализуйте протокол в течение четырех последовательных учебных периодов для каждой выбранной группы. Зафиксируйте деидентифицированные обозначения курсов, формат обучения, размер класса, опыт преподавателя по данному курсу, а также наличие в каждом занятии фронтального обучения, групповой работы или индивидуальной практики. Ориентируйтесь на первоначальный набор примерно 180–210 студентов бакалавриата в возрасте 18 лет и старше или адаптируйте целевой размер выборки под контекст курса.
2. Убедитесь, что все участники имеют активную институциональную учетную запись на платформе курса, посетят наблюдаемые занятия и получили предварительные инструкции по курсу, которые обычно предоставляются классу. В случае существенных различий в уровне предварительных знаний предоставьте краткий вводный материал, список ресурсов перед занятием или проведите обзор под руководством преподавателя перед окном наблюдения, и зафиксируйте оказанную поддержку в качестве контекстных метаданных.
3. Получите письменное информированное согласие от всех студентов после предоставления исчерпывающего информационного листка. Четко укажите в форме согласия, что исследование связывает поведенческое наблюдение в классе, еженедельные рефлексивные записи и деидентифицированные записи с платформы обучения.
4. Вносите в исследовательский набор данных только давших согласие студентов. Гарантируйте, что отказ от участия не повлияет на посещаемость, оценки, доступ к курсу или взаимодействие с преподавателем.
   1. Перед первым заданием по рефлексии разъясните допустимое и запрещенное использование инструментов искусственного интеллекта (ИИ).
      ПРИМЕЧАНИЕ: Инструменты ИИ могут использоваться только в тех случаях, когда это разрешено политикой курса, и только для общей поддержки в учебе; рефлексивные работы и ответы о просоциальных намерениях должны описывать собственный опыт студента, и любое использование ИИ должно быть раскрыто.
   2. Если преподаватель разрешает использование ИИ для восполнения пробелов в предварительных знаниях, предоставьте всем студентам одни и те же утвержденные промпты или ресурсы и зафиксируйте эту поддержку как адаптацию протокола. Не используйте резюме, созданные ИИ, в качестве основных доказательств рефлексии студентов, за исключением случаев, когда валидационное исследование специально оценивает ответы, созданные с помощью ИИ.
5. Исключите студентов перед началом анализа, если они отозвали согласие, прекратили обучение на курсе в период действия протокола или если у них отсутствуют соответствующие данные в записях наблюдений, рефлексии и аналитики. Используйте дизайн с повторными измерениями для сбора согласованных данных из трех различных источников в течение 4-недельного периода².

2. Сбор базовых данных и управление идентификацией

1. Назначьте одного администратора данных для присвоения каждому согласившемуся участнику восьмизначного буквенно-цифрового идентификатора исследования (Study ID) с помощью псевдослучайного процесса.
2. Создайте файл связи идентификационных данных и Study ID, содержащий имена студентов, институциональные идентификаторы, разделения по группам и номера исследований. Храните этот файл в безопасном месте отдельно от аналитических файлов, обеспечивая его полную недоступность для наблюдателей, кодировщиков рефлексии и исследователей.
3. Уничтожьте или архивируйте этот файл связи после окончательной проверки данных в соответствии с утвержденной политикой учреждения по хранению данных, соблюдая при этом действующие нормы аналитики обучения в высшем образовании в отношении ограниченного связывания и деидентификации¹.
4. Соберите базовые демографические данные о возрасте, поле, курсе обучения и основной специальности участников в течение первой недели до первого наблюдаемого занятия.
5. Используйте опросник просоциальных намерений из шести пунктов, представленный в Дополнительном файле 1, в качестве структурированного базового инструмента перед первым наблюдаемым занятием. Проведите опрос в электронном виде через LMS или на бумаге, используя только присвоенный Study ID. Студенты оценивают каждый пункт по 5-балльной шкале, где 1 = «полностью не согласен», а 5 = «полностью согласен»; рассчитывайте базовый балл как среднее значение заполненных пунктов, если отвечено как минимум на пять из шести вопросов.
6. Экспортируйте все впоследствии собранные рефлексивные тексты без имен, адресов электронной почты или других персональных идентификаторов, чтобы обеспечить полную анонимность перед началом процесса качественного кодирования.

3. Подготовка к наблюдению за учебным процессом

1. Запланируйте наблюдения для каждой учебной группы один раз в неделю в течение 4 недель подряд. Для стандартного 90-минутного занятия определите 70-минутное окно наблюдения, исключив первые 10 мин и последние 10 мин из кодирования⁵.
2. Начните кодирование на 10^й мин и закончите на 80^й мин стандартного 90-минутного занятия. Эти буферные периоды не входят в 70-минутное окно наблюдения; таким образом, стандартное занятие дает 70 мин кодируемого наблюдения, а не 30-минутную сессию.
3. Исключите любой прерванный блок обучения из итоговой оценки, если в классе произошел сбой продолжительностью более 5 мин из-за тревог, смены помещения или сбоев платформы.
4. Рассматривайте вовлеченность в учебном процессе как наблюдаемую совокупность нескольких видов поведения, регистрируя одновременно несколько поведенческих индикаторов в каждой точке измерения¹¹. Индикаторы включают внимание к задаче, вербальное участие, взаимодействие со сверстниками, ведение конспектов или использование устройств с фокусом на задаче, отвлечение от задачи и поведение, направленное на поиск помощи.
5. Организуйте рассадку в классе по группам перед первым наблюдением и строго придерживайтесь этой схемы рассадки на протяжении всего 4-недельного периода.
6. Разместите двух обученных наблюдателей в фиксированных точках с полным обзором помещения для независимого кодирования. Если видеосъемка разрешена учреждением и участники дали согласие, установите две стационарные камеры в задней центральной и задней боковой частях помещения и синхронизируйте их перед сессией.
7. Используйте записи камер только для обучения наблюдателей, проверки надежности и разрешения проблем с видимостью; не используйте видеозаписи в качестве основного источника кодирования и не проводите анализ эмоций по лицу, голосу, биометрический анализ или распознавание личности.

4. Интервальный поведенческий кодинг

1. Разделите 70-минутное окно наблюдения на последовательные интервалы, состоящие из 20-секундного визуального сканирования с последующим 10-секундным периодом записи. Если большая лекция, лабораторное занятие или онлайн-класс требуют иной длительности интервалов, сообщите об адаптированной структуре интервалов и обоснуйте ее до начала сбора данных.
   ПРИМЕЧАНИЕ: Данная структура 20 с / 10 с балансирует между экологическим наблюдением в классе и нагрузкой на кодировщика: период сканирования достаточно продолжителен для выявления устойчивого внимания, сотрудничества и поведения, не связанного с задачей, в то время как период записи снижает нагрузку на память и способствует принятию согласованных бинарных решений.
2. Проводите сканирование четко определенной группы до десяти студентов за интервал по непрерывному циклу в соответствии с рассадкой.
3. Используйте конкретные критерии сканирования, чтобы предотвратить непоследовательность кодировщика, вызванную размытыми оперативными определениями⁴. В ходе каждого сканирования кодируйте шесть бинарных индикаторов на уровне студента. К ним относятся: внимание к задаче, вербальное участие, сотрудничество со сверстниками, ведение записей или использование устройства для выполнения задачи, отвлечение от задачи и поведение, направленное на поиск помощи.
4. Отмечайте индикатор как "1", если указанное поведение проявляется в любой момент в течение 20-секундного сканирования. В противном случае отмечайте его как "0". Кодируйте интервал как отсутствующий, если студент не виден в течение как минимум 10 с сканирования.
5. Фиксируйте внимание к задаче, когда студент визуально ориентирован на преподавателя, назначенные задания, представленную информацию или сверстников, обсуждающих задачу, в течение как минимум 5 последовательных с. Кодируйте вербальное участие при любом слышимом вкладе, связанном с задачей.
6. Кодируйте сотрудничество со сверстниками, когда студенты вступают в видимый обмен информацией по задаче, совместно решают проблему или объясняют материал друг другу. Фиксируйте ведение записей или использование устройства для выполнения задачи при активном письме, печати или цифровом взаимодействии с материалами курса.
7. Отмечайте отвлечение от задачи, если студент вступает в посторонние разговоры, использует устройство в неакадемических целях или проявляет устойчивую незаинтересованность в течение как минимум 5 последовательных с. Фиксируйте поиск помощи, когда студент эксплицитно запрашивает разъяснения или помощь у преподавателя или сверстников.
8. Рассчитайте еженедельный поведенческий балл для каждого студента как общее количество положительных оценок, деленное на все валидные рейтинги. Впоследствии вычислите средние значения за 4 недели для всех шести индикаторов.
9. Вычислите комбинированный индекс наблюдаемой вовлеченности в классе (Observed Classroom Engagement Index, OCEI) для студента i на неделе w, используя заранее определенную математическую модель: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. Сохраняйте поиск помощи в качестве независимой аналитической переменной, поскольку, в зависимости от контекста, он может представлять собой либо конструктивное уточнение, либо трудности с учебным материалом¹². Ознакомьтесь с Рисунком 1 для изучения рабочего процесса исследования и с Таблицей 1 для изучения индексов наблюдения и правил кодирования.

5. Обучение наблюдателей и оценка надежности

1. Проведите обучение наблюдателей, используя 60-минутный сеанс практического обучения, и выполните три раунда калибровки перед началом основной программы.
2. Проведите первый раунд калибровки с помощью guided coding видеозаписи из класса, не участвующего в исследовании. Выполните два последующих раунда в виде независимого кодирования различных видеозаписей, не относящихся к исследованию, с последующим прямым статистическим сравнением с результатами старшего кодера.
3. Приступайте к формальному сбору данных только тогда, когда значение κэппа Коэна достигнет или превысит 0.75, а общий уровень согласованности между экспертами составит более 85%.
4. Внедрите двойную слепую проверку дрейфа для 10% всех сессий и одного рандомизированного 10-минутного сегмента из остальных сессий на протяжении всего 4-недельного протокола.
5. Если значение κэппа для любого индикатора упадет ниже 0.70, проведите повторную калибровку группы кодировщиков в течение 72 ч и повторную проверку затронутых сессий перед фиксацией данных. Постоянно предоставляйте обратную связь и организуйте упражнения по калибровке для поддержания стабильности оценки с течением времени¹³.

6. Сбор и оценка рефлексивных высказываний

1. Проинструктируйте студентов представить один структурированный рефлексивный текст (100–350 слов) по каждому посещенному занятию, что в общей сложности составит 4 записи для каждого участника за 4-недельный протокол.
2. Рассылайте вопросы для рефлексии через LMS или в бумажной форме в течение 2 ч после наблюдаемого занятия и закрывайте окно подачи заявок через 72 ч. В форме для каждого студента в одинаковом порядке должны быть представлены поле ID исследования и следующие три вопроса:
   1. Определить, в какие моменты занятия они чувствовали себя наиболее и наименее вовлеченными.
   2. Объяснить контекстуальные причины, включая сложность задания, имеющиеся базовые знания, взаимодействие в группе, объяснения преподавателя или использование платформы.
   3. Описать, как их участие повлияло на атмосферу в классе и какие действия они намерены предпринять в будущем.
      ПРИМЕЧАНИЕ: Сохраняйте записи объемом менее 100 слов, но помечайте их в базе данных как содержащие мало информации. Также помечайте записи, в которых отсутствуют ответы на вопросы о вовлеченности, контекстуальных причинах или будущих действиях/социальном воздействии, поскольку эти пропуски влияют на оценку качества рефлексии и отчетность о выполнимости.
3. Назначьте двух «слепых» кодировщиков для оценки представленных работ по критериям дескриптивной специфичности, аналитической глубины, саморегуляционной направленности и социального/просоциального значения.
   1. Оценивайте каждое измерение по 4-балльной шкале, где 0 означает отсутствие, 1 — слабые или расплывчатые доказательства, 2 — четкие, но ограниченные доказательства, а 3 — убедительные и детальные доказательства. Например, аналитическая глубина оценивается в 0 баллов, если причина не указана, в 1 балл, если студент лишь заявляет, что задание было сложным, в 2 балла, если студент связывает сложность с конкретным понятием или условиями в классе, и в 3 балла, если студент объясняет взаимодействие между имеющимися знаниями, дискуссией со сверстниками, обратной связью преподавателя и планируемой стратегией обучения. В Таблице 2 и Дополнительном файле 1 приведены примеры уровней оценки для всех четырех измерений рефлексии.
4. Приступайте к формальной оценке только после достижения коэффициента внутриклассовой корреляции 0,80 или выше для каждого измерения на пилотных текстах¹⁴.
5. В ходе протокола случайным образом проводите двойную оценку 15% рефлексий исследования для контроля дрейфа оценок. Оценивайте рефлексивные работы на основе этих многомерных качественных показателей, а не полагаясь исключительно на длину текста или частоту слов.
6. Разработайте или адаптируйте рубрику рефлексивного выражения посредством экспертного обзора, проведенного как минимум двумя исследователями в области образования и одним преподавателем курса. Апробируйте рубрику на 20–30 рефлексиях, не входящих в исследование, пересмотрите неоднозначные дескрипторы и задокументируйте окончательную версию рубрики перед началом формального кодирования.
7. Проведите опрос об просоциальных намерениях, представленный в Дополнительном файле 1. Попросите студентов оценить свою готовность помогать однокурсникам, испытывающим трудности, делиться учебными ресурсами, конструктивно участвовать в дискуссиях, поддерживать сверстников, действовать справедливо при выполнении групповых заданий и улучшать климат обучения в классе. Используйте 5-балльную шкалу, где 1 — «полностью не согласен», а 5 — «полностью согласен». Рассчитывайте средний балл, если заполнены как минимум пять из шести пунктов, и приводите значение альфа Кокрана для исходного и итогового этапов протокола.

7. Извлечение аналитики обучения

1. Назначьте внешнего администратора для выгрузки данных аналитики обучения после 4-й недели, чтобы предотвратить любое влияние на процессы наблюдения и рефлексии.
2. Установите окно выгрузки с 00:00 дня первого наблюдаемого занятия до 23:59 заключительного дня окна рефлексии.
3. Выгрузите только заранее определенные переменные, необходимые для протокола. Зафиксируйте количество активных дней на платформе, просмотры уникальных ресурсов, долю открытых назначенных ресурсов, количество опубликованных ответов в обсуждениях, средний процент просмотра видео и пунктуальность при сдаче заданий.
4. Очистите необработанные выгрузки, удалив учетные записи преподавателей и ассистентов, дублирующиеся записи, тестовые события и точки данных, выходящие за пределы установленного временного интервала.
5. Рассчитайте активный день как любую календарную дату, содержащую хотя бы один аутентифицированный доступ к курсу, за которым следовало значимое взаимодействие, такое как открытие файлов, просмотр видео или публикация ответов.
6. Подсчитайте уникальные открытия ресурсов, игнорируя дублирующиеся события обновления страницы, происходящие в течение 60-s. Определите процент просмотра видео, обрезая просмотренную часть относительно запланированного времени на отметке 01:00, а затем вычислите среднее значение по всем назначенным медиафайлам.
7. Рассчитайте пунктуальность сдачи заданий на основе доли работ, представленных до установленных сроков. Вычислите долю ночного доступа как отношение значимых событий, происходящих между 00:00 и 06:00, к общему числу значимых действий в течение периода наблюдения. Используйте эти временные и ориентированные на вклад метрики, чтобы получить более детальную информацию, чем при простом накоплении логов¹⁵.
8. Используйте заранее определенный рабочий процесс управления данными для необработанной выгрузки из системы управления обучением. Сохраните исходную выгрузку в виде файла «только для чтения», создайте обезличенную рабочую копию, удалите учетные записи преподавателей и ассистентов, удалите дублирующиеся или тестовые события и ведите журнал обработки с указанием количества строк после каждого этапа очистки.
9. Выполните очистку данных в электронных таблицах версии «позже» или проведите статистический анализ в R версии 4.4.0 или более поздней, либо в эквивалентном программном обеспечении.
   1. В электронной таблице выполните действия, описанные в пунктах 7.9.1.1–7.9.1.2.
      1. Импортируйте обезличенные CSV-файлы через Данные > Получить данные > Из текста/CSV и используйте функцию Данные > Удалить дубликаты для удаления повторяющихся строк Study ID/временная метка/событие.
      2. Примените Фильтр, чтобы исключить учетные записи преподавателей или ассистентов, а также записи вне временного окна, и сохраните журнал обработки с указанием количества строк после каждого шага.
   2. В R выполните действия, описанные в пунктах 7.9.2.1–7.9.2.3.
      1. Импортируйте файлы с помощью readr::read_csv(), измените форму еженедельных записей с помощью dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() и tidyr::pivot_wider().
      2. Вычислите каппа Коэна с помощью irr::kappa2(), коэффициенты внутриклассовой корреляции (ICC) с помощью psych::ICC() и альфа Кронбаха с помощью psych::alpha().
      3. Постройте линейные модели с поправкой на группу с помощью stats::lm(); используйте lme4::lmer(), если требуется заранее определенный случайный перехват для группы класса, и используйте lme4::glmer(family = binomial) только для бинарных исходов. Приложите точный скрипт и версии пакетов к материалам заявки.
10. Используйте следующую воспроизводимую последовательность анализа.
    1. Рассчитайте пропорции наблюдения «студент-неделя», вычислите OCEI по формуле из шага 4.9 и объедините баллы еженедельной рефлексии по Study ID и неделе.
    2. Агрегируйте переменные аналитики обучения за идентичный 4-недельный интервал, проверьте наличие пропусков по источникам данных, вычислите описательную статистику и оценки надежности, и постройте заранее определенные модели ассоциации.
    3. Не добавляйте незапланированные предикторы после изучения результатов, если только они не помечены как исследовательские.
11. (Опционально) Для обеспечения прозрачности разместите обезличенный скрипт анализа, кодовую книгу, пустые формы кодирования, вопросы для рефлексии, рубрику рефлексии и просоциальный опросник в открытом репозитории или дополнительных материалах. Не размещайте идентифицируемые необработанные видеозаписи занятий, имена, институциональные ID или неотредактированный текст рефлексии.

8. Измерения после выполнения протокола и интеграция наборов данных

1. Повторно проведите тестирование инструмента просоциальных намерений сразу после завершения последнего окна рефлексии.
2. Попросите студентов оценить свою готовность помогать однокурсникам, делиться ресурсами, вносить конструктивный вклад в обсуждения, поддерживать сверстников, действовать справедливо и улучшать климат обучения по шкале от 1 (полностью не согласен) до 5 (полностью согласен). Рассчитайте итоговый балл каждого участника после протокола путем усреднения ответов, при условии, что они ответили как минимум на пять из шести пунктов.
3. Объедините файлы наблюдений, баллы за рефлексию и записи аналитики обучения, используя анонимизированный идентификатор исследования (Study ID). На основе этого объединения сформируйте два итоговых набора данных: основной файл на уровне участников и файл в длинном формате на недельном уровне.
4. Не заменяйте пропущенные интервалы наблюдений, вызванные отсутствием студента в поле зрения, а также пропущенные еженедельные рефлексии, возникшие из-за их непредоставления. Перед началом анализа отметьте частично заполненные рефлексии, неполные переменные аналитики обучения, рефлексии с низким содержанием информации и несовпадающие идентификаторы Study ID.
5. Используйте анализ полных случаев (complete-case analysis) для предварительно определенных моделей ассоциации, укажите количество исключенных случаев для каждой модели и проведите проверку чувствительности, сравнив включенных и исключенных студентов по доступным базовым переменным.
6. Оставьте просоциальные намерения в качестве основного показателя исхода, чтобы отразить поддерживающие и совместные установки, которые лежат в основе структурных изменений в участии студентов университета.

9. Поиск и устранение неисправностей и адаптация протокола

1. Если два наблюдателя расходятся более чем в одном паттерне бинарных категорий по одному и тому же кластеру студентов или если коэффициент каппа Коэна опускается ниже 0,70 для любого индикатора, следует приостановить формальную оценку за соответствующую сессию, пересмотреть операциональные определения, провести 10-минутный сегмент повторной калибровки и заново закодировать затронутый интервал перед окончательным сохранением данных.
2. Если экспорт данных с платформы неполный, задокументируйте отсутствующее поле, запросите повторный экспорт у внешнего администратора и оставьте студента в сводках наблюдений/рефлексии, исключив недоступную аналитическую переменную из моделей, требующих данного поля.
3. Если менее 80% ожидаемых рефлексий представлены в течение 48 h после открытия задания, отправьте нейтральное напоминание всему классу, предоставьте техническую поддержку при возникновении проблем с доступом и отдельно укажите итоговое количество своевременно поданных, просроченных и отсутствующих работ.
4. Если более 10% студентов в кластере не видны в течение как минимум половины окна сканирования, закодируйте затронутые интервалы как отсутствующие и опирайтесь на записи наблюдателей в реальном времени, вместо того чтобы пытаться сделать вывод о поведении на основе ограниченного обзора видео.
5. Если студент уходит из исследования, отказывается от дальнейшего участия или в его данных по разным источникам отсутствует возможность связывания, удалите этого студента из связанных моделей ассоциаций, но сохраните агрегированные показатели осуществимости протокола, если это разрешено этическим одобрением.
6. Если несколько студентов сообщают, что раздел труден для понимания, инструктор должен дать стандартный педагогический ответ, например, кратко повторно объяснить материал, привести разбор примера, организовать дискуссию с однокурсниками или предоставить дополнительный ресурс. Зафиксируйте это как контекстное событие, поскольку оно может повлиять на поиск помощи, глубину рефлексии и активность на платформе.
7. Адаптируйте размер кластера студентов, длину интервала, подсказки для рефлексии и аналитические переменные под формат обучения, но сохраняйте ту же логику предопределенных поведенческих индикаторов, деидентификации записей, независимого кодирования и прозрачных правил обработки отсутствующих данных.
8. Рассматривайте низкую надежность, высокую долю пропусков, ограниченную глубину рефлексии, слабые просоциальные изменения и слабое согласие между потоками данных как информативные результаты реализации, а не как сбои протокола. Отразите эти результаты в отчете и объясните, отражают ли они контекст учебного класса, ограничения инструментов или проблемы сбора данных.

Результаты

Включение участников, полнота данных и надежность показателей
К участию была приглашена первоначальная когорта из 204 студентов всех разделений курса, из которых 198 человек дали согласие. Позднее четырнадцать случаев были исключены по причине прекращения обучения в период проведения протокола или неполного сопоставления данных в записях наблюдений, рефлексии и платформы. Таким образом, окончательная аналитическая выборка составила 184 студента. Характеристики участников, показатели еженедельного вып...

Обсуждение

В данном исследовании предлагается практический протокол, объединяющий поведенческое наблюдение, рефлексивное письмо и аналитику обучения для комплексного изучения участия студентов университета, их самовыражения и просоциальной осведомленности в рамках одного учебного занятия. Захватывая различные аспекты вовлеченности, этот тримодальный подход отвечает на недавнюю критику в исследованиях высшего образования, согласно которой показатели времени использования и мониторинг на основе сенсоров недостаточны при изолированной...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Лист кодирования наблюдений в классе	Собственная разработка	Шесть бинарных поведенческих индикаторов	Интервальное кодирование концентрации внимания на задаче, вербального участия, сотрудничества со сверстниками, ведения записей/использования устройств по делу, отвлечения от задачи и поиска помощи.
GraphPad Prism	Graphpad	Версия 10.2.3	Построение схем рабочего процесса, графиков еженедельных трендов, графиков распределения и диаграмм ассоциаций.
Институциональная система управления обучением / платформа курса	Принимающий университет	Существующая институциональная система аккаунтов LMS	Сбор деидентифицированных данных аналитики обучения.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Построение схем рабочего процесса, графиков еженедельных трендов, графиков распределения и диаграмм ассоциаций.
R	R Foundation		ggplot2 3.5.1
Программное обеспечение для электронных таблиц	Microsoft Corporation	Microsoft Excel 365 v2402	Ввод данных, очистка, проверка деидентификации и объединение наборов данных наблюдений, рефлексии и аналитики.
SPSS Statistics	IBM Corp	Версия 26.0	Программное обеспечение для статистического анализа; описательная статистика, сравнение с повторными измерениями, каппа Коэна, ICC, альфа Кронбаха, корреляции и регрессионные модели.