Оценка вовлеченности студентов университета в учебном процессе, рефлексивного самовыражения и просоциальных намерений с помощью поведенческого наблюдения и аналитики обучения

Краткое содержание

В данном протоколе интегрированы наблюдение за учебным процессом, рефлексивное письмо, измерение просоциальных намерений и аналитика обучения для оценки поведенческой вовлеченности, рефлексивного самовыражения и социально ориентированных результатов обучения студентов университета в течение 4-недельного периода обучения. В документе описаны порядок этического одобрения, содержание инструментов, рабочий процесс с использованием программного обеспечения, методы обработки пропущенных данных, процедуры устранения неполадок и интерпретация репрезентативных результатов, включая выявленные ограничения при реализации.

Аннотация

Для решения проблемы необходимости многомерной оценки вовлеченности студентов, выходящей за рамки традиционных метрик, в данном протоколе описывается структурированный подход к оценке активности в аудитории, рефлексивного самовыражения, активности в рамках аналитики обучения и просоциальных намерений в курсах бакалавриата. Протокол сочетает в себе интервальное поведенческое наблюдение, еженедельное структурированное рефлексивное письмо, деидентифицированные записи системы управления обучением и предварительный/пост-опросник просоциальных намерений. Обновленные процедуры предоставляют воспроизводимую модель кодирования поведения, рубрику рефлексивного самовыражения с примерами оценок, этапы работы с программным обеспечением и управления данными, а также четкие рекомендации по устранению проблем при расхождениях в оценках наблюдателей, отсутствии записей на платформе, низком уровне подачи рефлексивных работ, плохой видимости через камеру, отсеве участников и непостоянном уровне базовых знаний. Данный протокол следует использовать, когда исследователям необходим малоинвазивный, воспроизводимый способ объединения данных о поведении в аудитории в реальном времени, самоинтерпретации студентов и рутинной активности в системе управления обучением (LMS) в процессе обучения студентов бакалавриата. Он менее подходит для полностью асинхронных курсов без наблюдаемого взаимодействия, условий, запрещающих независимое наблюдение или связывание записей, а также для исследований, требующих биометрического анализа или распознавания эмоций. Репрезентативные результаты представлены на основе реализованного эмпирического применения после подтвержденного этического одобрения, деидентификации записей курса и подготовки репозитория.

Введение

Оценка участия студентов в системе высшего образования требует комплексного многоисточникового подхода. Хотя вовлеченность студентов широко концептуализируется как многомерный конструкт, охватывающий наблюдаемое поведение, когнитивные усилия и взаимодействие с окружающей средой, современные аналитические подходы преимущественно опираются на поверхностные данные логов, такие как частота входов в систему и зарегистрированные системой действия¹. Такая чрезмерная зависимость создает значительные трудности для практических исследований в условиях учебного класса. Наиболее критические формы учебного участия — прямое взаимодействие со сверстниками, когнитивная рефлексия и социальный вклад — зачастую происходят полностью за пределами ограниченного охвата видимости платформы².

Сложность современных университетских аудиторий возросла с внедрением гибридных педагогических моделей, сочетающих цифровые платформы с традиционным очным обучением. Хотя систематические обзоры аналитики обучения подтверждают, что цифровые следы предоставляют ценную информацию о распределении времени, закономерностях доступа и показателях долгосрочного удержания знаний, одни только эти метрики не позволяют определить, является ли внимание учащегося действительно эффективным или осмысленным³. Следовательно, в современных научных работах предлагается основывать аналитику обучения на более прочных теоретических моделях, сопоставляя цифровые следы с более содержательными, контекстуально-зависимыми показателями участия, такими как поведение в аудитории и рефлексивная деятельность⁴.

Рефлексивное письмо придает этому методу оценки важнейшее качественное измерение. Структурированные рефлексии и дневники, заполняемые после занятий, позволяют зафиксировать интерпретации учащихся в отношении образовательной деятельности, выявить трудности в обучении и связать теоретический материал с последующими практическими действиями. Согласно современным эмпирическим данным, рефлексивное выражение концептуализируется как комплексный многокомпонентный конструкт, включающий дескриптивное воспроизведение, аналитический вывод, самореферентное представление и обобщение смыслов⁵. Кроме того, исследования показывают, что систематическое предоставление учащимся рекомендаций по рефлексии постепенно развивает их способность к интроспекции; по мере увеличения частоты структурированной рефлексии в ходе учебного курса параллельно улучшаются навыки самостоятельного исследовательского поиска учащихся⁶.

Вторым серьезным пробелом в современных исследованиях вовлеченности является частое игнорирование процесса социализации в аудитории. В то время как существующие исследования делают основной акцент на индивидуальном поведении или когнитивных процессах, университетские аудитории функционируют как изначально социальные среды обучения, в которых студенты влияют друг на друга посредством сотрудничества и активного взаимодействия. Новые данные свидетельствуют о том, что климат в аудитории и структуры участия тесно коррелируют с просоциальным поведением и установкой, ориентированной на внесение вклада — эти результаты остаются недостаточно изученными по сравнению с традиционными показателями академической успеваемости или удовлетворенности студентов. Просоциальное поведение в академической среде не является просто побочным продуктом эмоциональных состояний или стресса; скорее, оно фундаментально связано с тем, как студенты позиционируют себя в рамках коллективной учебной деятельности⁷. Таким образом, измерение просоциальных намерений служит подходящим инструментом для определения того, выходит ли вовлеченность в учебный процесс за рамки изолированного выполнения заданий, способствуя формированию кооперативного и поддерживающего поведения за пределами непосредственной образовательной среды⁸.

Данные концептуальные разработки подчеркивают необходимость использования интегрированной системы сбора доказательств, развернутой в рамках одного учебного занятия. Многоисточниковый дизайн нивелирует ограничения, связанные с опорой на какой-либо один показатель, обеспечивая перекрестную проверку различных форм участия и раскрывая, как студенты интерпретируют свою внеаудиторную деятельность для стимулирования самостоятельного обучения⁹. В то время как рефлексивные оценки позволяют зафиксировать внутреннее когнитивное состояние учащегося, привязка этих самоотчетов к объективным поведенческим следам значительно повышает интерпретируемость данных об обучении. В настоящее время наблюдается заметное отсутствие практических, готовых к применению в аудитории протоколов, которые бы органично синтезировали систематическое поведенческое наблюдение, структурированную рефлексивную отчетность и аналитику обучения для рутинного внедрения в университетскую практику.

Чтобы устранить эти методологические недостатки, в данной работе представлен протокол оценки, предназначенный для одновременного измерения вовлеченности студентов в учебный процесс, рефлексивного самовыражения и просоциальных намерений. Этот протокол, разработанный специально для условий бакалавриата, предлагает оптимизированную методологию, которая требует минимальных административных затрат без ущерба для научной воспроизводимости. Устраняя аналитический разрыв между наблюдаемым поведением, артикулированным личным опытом и социально ориентированными результатами обучения, данная концепция отвечает растущему запросу на большую концептуальную ясность в исследованиях взаимодействия человека и технологий в образовательной среде¹⁰.

Протокол

Все методы с участием людей были выполнены в соответствии с Хельсинкской декларацией и соответствующими руководствами учреждения. Протокол проведенного исследования был одобрен комитетом по этике Нанчанского технологического института до начала набора участников (номер одобрения: NITE778291). От каждого участвующего студента было получено письменное информированное согласие. Для анализа использовались только деидентифицированные агрегированные данные наблюдений в классе, показатели рефлексии, аналитика обучения и данные опросников; идентифицируемые видеозаписи из классов, имена, идентификаторы учреждений и нередактированные тексты рефлексии были исключены из открытого доступа.

1. Дизайн исследования и отбор участников

1. Реализуйте протокол в течение четырех последовательных учебных периодов для каждой выбранной группы. Зафиксируйте деидентифицированные обозначения курсов, формат обучения, размер класса, опыт преподавателя по данному курсу, а также наличие в каждом занятии фронтального обучения, групповой работы или индивидуальной практики. Ориентируйтесь на первоначальный набор примерно 180–210 студентов бакалавриата в возрасте 18 лет и старше или адаптируйте целевой размер выборки под контекст курса.
2. Убедитесь, что все участники имеют активную институциональную учетную запись на платформе курса, посетят наблюдаемые занятия и получили предварительные инструкции по курсу, которые обычно предоставляются классу. В случае существенных различий в уровне предварительных знаний предоставьте краткий вводный материал, список ресурсов перед занятием или проведите обзор под руководством преподавателя перед окном наблюдения, и зафиксируйте оказанную поддержку в качестве контекстных метаданных.
3. Получите письменное информированное согласие от всех студентов после предоставления исчерпывающего информационного листка. Четко укажите в форме согласия, что исследование связывает поведенческое наблюдение в классе, еженедельные рефлексивные записи и деидентифицированные записи с платформы обучения.
4. Вносите в исследовательский набор данных только давших согласие студентов. Гарантируйте, что отказ от участия не повлияет на посещаемость, оценки, доступ к курсу или взаимодействие с преподавателем.
   1. Перед первым заданием по рефлексии разъясните допустимое и запрещенное использование инструментов искусственного интеллекта (ИИ).
      ПРИМЕЧАНИЕ: Инструменты ИИ могут использоваться только в тех случаях, когда это разрешено политикой курса, и только для общей поддержки в учебе; рефлексивные работы и ответы о просоциальных намерениях должны описывать собственный опыт студента, и любое использование ИИ должно быть раскрыто.
   2. Если преподаватель разрешает использование ИИ для восполнения пробелов в предварительных знаниях, предоставьте всем студентам одни и те же утвержденные промпты или ресурсы и зафиксируйте эту поддержку как адаптацию протокола. Не используйте резюме, созданные ИИ, в качестве основных доказательств рефлексии студентов, за исключением случаев, когда валидационное исследование специально оценивает ответы, созданные с помощью ИИ.
5. Исключите студентов перед началом анализа, если они отозвали согласие, прекратили обучение на курсе в период действия протокола или если у них отсутствуют соответствующие данные в записях наблюдений, рефлексии и аналитики. Используйте дизайн с повторными измерениями для сбора согласованных данных из трех различных источников в течение 4-недельного периода².

2. Сбор базовых данных и управление идентификацией

1. Назначьте одного администратора данных для присвоения каждому согласившемуся участнику восьмизначного буквенно-цифрового идентификатора исследования (Study ID) с помощью псевдослучайного процесса.
2. Создайте файл связи идентификационных данных и Study ID, содержащий имена студентов, институциональные идентификаторы, разделения по группам и номера исследований. Храните этот файл в безопасном месте отдельно от аналитических файлов, обеспечивая его полную недоступность для наблюдателей, кодировщиков рефлексии и исследователей.
3. Уничтожьте или архивируйте этот файл связи после окончательной проверки данных в соответствии с утвержденной политикой учреждения по хранению данных, соблюдая при этом действующие нормы аналитики обучения в высшем образовании в отношении ограниченного связывания и деидентификации¹.
4. Соберите базовые демографические данные о возрасте, поле, курсе обучения и основной специальности участников в течение первой недели до первого наблюдаемого занятия.
5. Используйте опросник просоциальных намерений из шести пунктов, представленный в Дополнительном файле 1, в качестве структурированного базового инструмента перед первым наблюдаемым занятием. Проведите опрос в электронном виде через LMS или на бумаге, используя только присвоенный Study ID. Студенты оценивают каждый пункт по 5-балльной шкале, где 1 = «полностью не согласен», а 5 = «полностью согласен»; рассчитывайте базовый балл как среднее значение заполненных пунктов, если отвечено как минимум на пять из шести вопросов.
6. Экспортируйте все впоследствии собранные рефлексивные тексты без имен, адресов электронной почты или других персональных идентификаторов, чтобы обеспечить полную анонимность перед началом процесса качественного кодирования.

3. Подготовка к наблюдению за учебным процессом

1. Запланируйте наблюдения для каждой учебной группы один раз в неделю в течение 4 недель подряд. Для стандартного 90-минутного занятия определите 70-минутное окно наблюдения, исключив первые 10 мин и последние 10 мин из кодирования⁵.
2. Начните кодирование на 10^й мин и закончите на 80^й мин стандартного 90-минутного занятия. Эти буферные периоды не входят в 70-минутное окно наблюдения; таким образом, стандартное занятие дает 70 мин кодируемого наблюдения, а не 30-минутную сессию.
3. Исключите любой прерванный блок обучения из итоговой оценки, если в классе произошел сбой продолжительностью более 5 мин из-за тревог, смены помещения или сбоев платформы.
4. Рассматривайте вовлеченность в учебном процессе как наблюдаемую совокупность нескольких видов поведения, регистрируя одновременно несколько поведенческих индикаторов в каждой точке измерения¹¹. Индикаторы включают внимание к задаче, вербальное участие, взаимодействие со сверстниками, ведение конспектов или использование устройств с фокусом на задаче, отвлечение от задачи и поведение, направленное на поиск помощи.
5. Организуйте рассадку в классе по группам перед первым наблюдением и строго придерживайтесь этой схемы рассадки на протяжении всего 4-недельного периода.
6. Разместите двух обученных наблюдателей в фиксированных точках с полным обзором помещения для независимого кодирования. Если видеосъемка разрешена учреждением и участники дали согласие, установите две стационарные камеры в задней центральной и задней боковой частях помещения и синхронизируйте их перед сессией.
7. Используйте записи камер только для обучения наблюдателей, проверки надежности и разрешения проблем с видимостью; не используйте видеозаписи в качестве основного источника кодирования и не проводите анализ эмоций по лицу, голосу, биометрический анализ или распознавание личности.

4. Интервальный поведенческий кодинг

1. Разделите 70-минутное окно наблюдения на последовательные интервалы, состоящие из 20-секундного визуального сканирования с последующим 10-секундным периодом записи. Если большая лекция, лабораторное занятие или онлайн-класс требуют иной длительности интервалов, сообщите об адаптированной структуре интервалов и обоснуйте ее до начала сбора данных.
   ПРИМЕЧАНИЕ: Данная структура 20 с / 10 с балансирует между экологическим наблюдением в классе и нагрузкой на кодировщика: период сканирования достаточно продолжителен для выявления устойчивого внимания, сотрудничества и поведения, не связанного с задачей, в то время как период записи снижает нагрузку на память и способствует принятию согласованных бинарных решений.
2. Проводите сканирование четко определенной группы до десяти студентов за интервал по непрерывному циклу в соответствии с рассадкой.
3. Используйте конкретные критерии сканирования, чтобы предотвратить непоследовательность кодировщика, вызванную размытыми оперативными определениями⁴. В ходе каждого сканирования кодируйте шесть бинарных индикаторов на уровне студента. К ним относятся: внимание к задаче, вербальное участие, сотрудничество со сверстниками, ведение записей или использование устройства для выполнения задачи, отвлечение от задачи и поведение, направленное на поиск помощи.
4. Отмечайте индикатор как "1", если указанное поведение проявляется в любой момент в течение 20-секундного сканирования. В противном случае отмечайте его как "0". Кодируйте интервал как отсутствующий, если студент не виден в течение как минимум 10 с сканирования.
5. Фиксируйте внимание к задаче, когда студент визуально ориентирован на преподавателя, назначенные задания, представленную информацию или сверстников, обсуждающих задачу, в течение как минимум 5 последовательных с. Кодируйте вербальное участие при любом слышимом вкладе, связанном с задачей.
6. Кодируйте сотрудничество со сверстниками, когда студенты вступают в видимый обмен информацией по задаче, совместно решают проблему или объясняют материал друг другу. Фиксируйте ведение записей или использование устройства для выполнения задачи при активном письме, печати или цифровом взаимодействии с материалами курса.
7. Отмечайте отвлечение от задачи, если студент вступает в посторонние разговоры, использует устройство в неакадемических целях или проявляет устойчивую незаинтересованность в течение как минимум 5 последовательных с. Фиксируйте поиск помощи, когда студент эксплицитно запрашивает разъяснения или помощь у преподавателя или сверстников.
8. Рассчитайте еженедельный поведенческий балл для каждого студента как общее количество положительных оценок, деленное на все валидные рейтинги. Впоследствии вычислите средние значения за 4 недели для всех шести индикаторов.
9. Вычислите комбинированный индекс наблюдаемой вовлеченности в классе (Observed Classroom Engagement Index, OCEI) для студента i на неделе w, используя заранее определенную математическую модель: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. Сохраняйте поиск помощи в качестве независимой аналитической переменной, поскольку, в зависимости от контекста, он может представлять собой либо конструктивное уточнение, либо трудности с учебным материалом¹². Ознакомьтесь с Рисунком 1 для изучения рабочего процесса исследования и с Таблицей 1 для изучения индексов наблюдения и правил кодирования.

5. Обучение наблюдателей и оценка надежности

1. Проведите обучение наблюдателей, используя 60-минутный сеанс практического обучения, и выполните три раунда калибровки перед началом основной программы.
2. Проведите первый раунд калибровки с помощью guided coding видеозаписи из класса, не участвующего в исследовании. Выполните два последующих раунда в виде независимого кодирования различных видеозаписей, не относящихся к исследованию, с последующим прямым статистическим сравнением с результатами старшего кодера.
3. Приступайте к формальному сбору данных только тогда, когда значение κэппа Коэна достигнет или превысит 0.75, а общий уровень согласованности между экспертами составит более 85%.
4. Внедрите двойную слепую проверку дрейфа для 10% всех сессий и одного рандомизированного 10-минутного сегмента из остальных сессий на протяжении всего 4-недельного протокола.
5. Если значение κэппа для любого индикатора упадет ниже 0.70, проведите повторную калибровку группы кодировщиков в течение 72 ч и повторную проверку затронутых сессий перед фиксацией данных. Постоянно предоставляйте обратную связь и организуйте упражнения по калибровке для поддержания стабильности оценки с течением времени¹³.

6. Сбор и оценка рефлексивных высказываний

1. Проинструктируйте студентов представить один структурированный рефлексивный текст (100–350 слов) по каждому посещенному занятию, что в общей сложности составит 4 записи для каждого участника за 4-недельный протокол.
2. Рассылайте вопросы для рефлексии через LMS или в бумажной форме в течение 2 ч после наблюдаемого занятия и закрывайте окно подачи заявок через 72 ч. В форме для каждого студента в одинаковом порядке должны быть представлены поле ID исследования и следующие три вопроса:
   1. Определить, в какие моменты занятия они чувствовали себя наиболее и наименее вовлеченными.
   2. Объяснить контекстуальные причины, включая сложность задания, имеющиеся базовые знания, взаимодействие в группе, объяснения преподавателя или использование платформы.
   3. Описать, как их участие повлияло на атмосферу в классе и какие действия они намерены предпринять в будущем.
      ПРИМЕЧАНИЕ: Сохраняйте записи объемом менее 100 слов, но помечайте их в базе данных как содержащие мало информации. Также помечайте записи, в которых отсутствуют ответы на вопросы о вовлеченности, контекстуальных причинах или будущих действиях/социальном воздействии, поскольку эти пропуски влияют на оценку качества рефлексии и отчетность о выполнимости.
3. Назначьте двух «слепых» кодировщиков для оценки представленных работ по критериям дескриптивной специфичности, аналитической глубины, саморегуляционной направленности и социального/просоциального значения.
   1. Оценивайте каждое измерение по 4-балльной шкале, где 0 означает отсутствие, 1 — слабые или расплывчатые доказательства, 2 — четкие, но ограниченные доказательства, а 3 — убедительные и детальные доказательства. Например, аналитическая глубина оценивается в 0 баллов, если причина не указана, в 1 балл, если студент лишь заявляет, что задание было сложным, в 2 балла, если студент связывает сложность с конкретным понятием или условиями в классе, и в 3 балла, если студент объясняет взаимодействие между имеющимися знаниями, дискуссией со сверстниками, обратной связью преподавателя и планируемой стратегией обучения. В Таблице 2 и Дополнительном файле 1 приведены примеры уровней оценки для всех четырех измерений рефлексии.
4. Приступайте к формальной оценке только после достижения коэффициента внутриклассовой корреляции 0,80 или выше для каждого измерения на пилотных текстах¹⁴.
5. В ходе протокола случайным образом проводите двойную оценку 15% рефлексий исследования для контроля дрейфа оценок. Оценивайте рефлексивные работы на основе этих многомерных качественных показателей, а не полагаясь исключительно на длину текста или частоту слов.
6. Разработайте или адаптируйте рубрику рефлексивного выражения посредством экспертного обзора, проведенного как минимум двумя исследователями в области образования и одним преподавателем курса. Апробируйте рубрику на 20–30 рефлексиях, не входящих в исследование, пересмотрите неоднозначные дескрипторы и задокументируйте окончательную версию рубрики перед началом формального кодирования.
7. Проведите опрос об просоциальных намерениях, представленный в Дополнительном файле 1. Попросите студентов оценить свою готовность помогать однокурсникам, испытывающим трудности, делиться учебными ресурсами, конструктивно участвовать в дискуссиях, поддерживать сверстников, действовать справедливо при выполнении групповых заданий и улучшать климат обучения в классе. Используйте 5-балльную шкалу, где 1 — «полностью не согласен», а 5 — «полностью согласен». Рассчитывайте средний балл, если заполнены как минимум пять из шести пунктов, и приводите значение альфа Кокрана для исходного и итогового этапов протокола.

7. Извлечение аналитики обучения

1. Назначьте внешнего администратора для выгрузки данных аналитики обучения после 4-й недели, чтобы предотвратить любое влияние на процессы наблюдения и рефлексии.
2. Установите окно выгрузки с 00:00 дня первого наблюдаемого занятия до 23:59 заключительного дня окна рефлексии.
3. Выгрузите только заранее определенные переменные, необходимые для протокола. Зафиксируйте количество активных дней на платформе, просмотры уникальных ресурсов, долю открытых назначенных ресурсов, количество опубликованных ответов в обсуждениях, средний процент просмотра видео и пунктуальность при сдаче заданий.
4. Очистите необработанные выгрузки, удалив учетные записи преподавателей и ассистентов, дублирующиеся записи, тестовые события и точки данных, выходящие за пределы установленного временного интервала.
5. Рассчитайте активный день как любую календарную дату, содержащую хотя бы один аутентифицированный доступ к курсу, за которым следовало значимое взаимодействие, такое как открытие файлов, просмотр видео или публикация ответов.
6. Подсчитайте уникальные открытия ресурсов, игнорируя дублирующиеся события обновления страницы, происходящие в течение 60-s. Определите процент просмотра видео, обрезая просмотренную часть относительно запланированного времени на отметке 01:00, а затем вычислите среднее значение по всем назначенным медиафайлам.
7. Рассчитайте пунктуальность сдачи заданий на основе доли работ, представленных до установленных сроков. Вычислите долю ночного доступа как отношение значимых событий, происходящих между 00:00 и 06:00, к общему числу значимых действий в течение периода наблюдения. Используйте эти временные и ориентированные на вклад метрики, чтобы получить более детальную информацию, чем при простом накоплении логов¹⁵.
8. Используйте заранее определенный рабочий процесс управления данными для необработанной выгрузки из системы управления обучением. Сохраните исходную выгрузку в виде файла «только для чтения», создайте обезличенную рабочую копию, удалите учетные записи преподавателей и ассистентов, удалите дублирующиеся или тестовые события и ведите журнал обработки с указанием количества строк после каждого этапа очистки.
9. Выполните очистку данных в электронных таблицах версии «позже» или проведите статистический анализ в R версии 4.4.0 или более поздней, либо в эквивалентном программном обеспечении.
   1. В электронной таблице выполните действия, описанные в пунктах 7.9.1.1–7.9.1.2.
      1. Импортируйте обезличенные CSV-файлы через Данные > Получить данные > Из текста/CSV и используйте функцию Данные > Удалить дубликаты для удаления повторяющихся строк Study ID/временная метка/событие.
      2. Примените Фильтр, чтобы исключить учетные записи преподавателей или ассистентов, а также записи вне временного окна, и сохраните журнал обработки с указанием количества строк после каждого шага.
   2. В R выполните действия, описанные в пунктах 7.9.2.1–7.9.2.3.
      1. Импортируйте файлы с помощью readr::read_csv(), измените форму еженедельных записей с помощью dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() и tidyr::pivot_wider().
      2. Вычислите каппа Коэна с помощью irr::kappa2(), коэффициенты внутриклассовой корреляции (ICC) с помощью psych::ICC() и альфа Кронбаха с помощью psych::alpha().
      3. Постройте линейные модели с поправкой на группу с помощью stats::lm(); используйте lme4::lmer(), если требуется заранее определенный случайный перехват для группы класса, и используйте lme4::glmer(family = binomial) только для бинарных исходов. Приложите точный скрипт и версии пакетов к материалам заявки.
10. Используйте следующую воспроизводимую последовательность анализа.
    1. Рассчитайте пропорции наблюдения «студент-неделя», вычислите OCEI по формуле из шага 4.9 и объедините баллы еженедельной рефлексии по Study ID и неделе.
    2. Агрегируйте переменные аналитики обучения за идентичный 4-недельный интервал, проверьте наличие пропусков по источникам данных, вычислите описательную статистику и оценки надежности, и постройте заранее определенные модели ассоциации.
    3. Не добавляйте незапланированные предикторы после изучения результатов, если только они не помечены как исследовательские.
11. (Опционально) Для обеспечения прозрачности разместите обезличенный скрипт анализа, кодовую книгу, пустые формы кодирования, вопросы для рефлексии, рубрику рефлексии и просоциальный опросник в открытом репозитории или дополнительных материалах. Не размещайте идентифицируемые необработанные видеозаписи занятий, имена, институциональные ID или неотредактированный текст рефлексии.

8. Измерения после выполнения протокола и интеграция наборов данных

1. Повторно проведите тестирование инструмента просоциальных намерений сразу после завершения последнего окна рефлексии.
2. Попросите студентов оценить свою готовность помогать однокурсникам, делиться ресурсами, вносить конструктивный вклад в обсуждения, поддерживать сверстников, действовать справедливо и улучшать климат обучения по шкале от 1 (полностью не согласен) до 5 (полностью согласен). Рассчитайте итоговый балл каждого участника после протокола путем усреднения ответов, при условии, что они ответили как минимум на пять из шести пунктов.
3. Объедините файлы наблюдений, баллы за рефлексию и записи аналитики обучения, используя анонимизированный идентификатор исследования (Study ID). На основе этого объединения сформируйте два итоговых набора данных: основной файл на уровне участников и файл в длинном формате на недельном уровне.
4. Не заменяйте пропущенные интервалы наблюдений, вызванные отсутствием студента в поле зрения, а также пропущенные еженедельные рефлексии, возникшие из-за их непредоставления. Перед началом анализа отметьте частично заполненные рефлексии, неполные переменные аналитики обучения, рефлексии с низким содержанием информации и несовпадающие идентификаторы Study ID.
5. Используйте анализ полных случаев (complete-case analysis) для предварительно определенных моделей ассоциации, укажите количество исключенных случаев для каждой модели и проведите проверку чувствительности, сравнив включенных и исключенных студентов по доступным базовым переменным.
6. Оставьте просоциальные намерения в качестве основного показателя исхода, чтобы отразить поддерживающие и совместные установки, которые лежат в основе структурных изменений в участии студентов университета.

9. Поиск и устранение неисправностей и адаптация протокола

1. Если два наблюдателя расходятся более чем в одном паттерне бинарных категорий по одному и тому же кластеру студентов или если коэффициент каппа Коэна опускается ниже 0,70 для любого индикатора, следует приостановить формальную оценку за соответствующую сессию, пересмотреть операциональные определения, провести 10-минутный сегмент повторной калибровки и заново закодировать затронутый интервал перед окончательным сохранением данных.
2. Если экспорт данных с платформы неполный, задокументируйте отсутствующее поле, запросите повторный экспорт у внешнего администратора и оставьте студента в сводках наблюдений/рефлексии, исключив недоступную аналитическую переменную из моделей, требующих данного поля.
3. Если менее 80% ожидаемых рефлексий представлены в течение 48 h после открытия задания, отправьте нейтральное напоминание всему классу, предоставьте техническую поддержку при возникновении проблем с доступом и отдельно укажите итоговое количество своевременно поданных, просроченных и отсутствующих работ.
4. Если более 10% студентов в кластере не видны в течение как минимум половины окна сканирования, закодируйте затронутые интервалы как отсутствующие и опирайтесь на записи наблюдателей в реальном времени, вместо того чтобы пытаться сделать вывод о поведении на основе ограниченного обзора видео.
5. Если студент уходит из исследования, отказывается от дальнейшего участия или в его данных по разным источникам отсутствует возможность связывания, удалите этого студента из связанных моделей ассоциаций, но сохраните агрегированные показатели осуществимости протокола, если это разрешено этическим одобрением.
6. Если несколько студентов сообщают, что раздел труден для понимания, инструктор должен дать стандартный педагогический ответ, например, кратко повторно объяснить материал, привести разбор примера, организовать дискуссию с однокурсниками или предоставить дополнительный ресурс. Зафиксируйте это как контекстное событие, поскольку оно может повлиять на поиск помощи, глубину рефлексии и активность на платформе.
7. Адаптируйте размер кластера студентов, длину интервала, подсказки для рефлексии и аналитические переменные под формат обучения, но сохраняйте ту же логику предопределенных поведенческих индикаторов, деидентификации записей, независимого кодирования и прозрачных правил обработки отсутствующих данных.
8. Рассматривайте низкую надежность, высокую долю пропусков, ограниченную глубину рефлексии, слабые просоциальные изменения и слабое согласие между потоками данных как информативные результаты реализации, а не как сбои протокола. Отразите эти результаты в отчете и объясните, отражают ли они контекст учебного класса, ограничения инструментов или проблемы сбора данных.

Результаты

Включение участников, полнота данных и надежность показателей
К участию была приглашена первоначальная когорта из 204 студентов всех разделений курса, из которых 198 человек дали согласие. Позднее четырнадцать случаев были исключены по причине прекращения обучения в период проведения протокола или неполного сопоставления данных в записях наблюдений, рефлексии и платформы. Таким образом, окончательная аналитическая выборка составила 184 студента. Характеристики участников, показатели еженедельного выполнения заданий и общая полнота данных подробно представлены в Таблице 3.

В течение 4-недельной программы было проведено наблюдение за 24 учебными занятиями, что позволило создать синхронизированную запись аналитики обучения для каждого участника. Из 736 ожидаемых рефлексивных отчетов 701 был представлен в течение 72-часового окна, 18 были представлены с опозданием и 17 отсутствовали. В итоге 171 студент успешно и своевременно выполнил все еженедельные рефлексии. Данные аналитики обучения были полностью извлечены для итоговых 184 участников после фильтрации учетных записей преподавателей, дублирующих записей и действий, совершенных за пределами временного окна.

Кодирование наблюдений оставалось высокостабильным на протяжении всего периода выполнения протокола. Межэкспертная надежность для шести поведенческих показателей классного наблюдения продемонстрировала значения каппы Коэна в диапазоне от 0.76 до 0.84, при этом общая согласованность во время тестов на дрейф превысила 86%. Для баллов рефлексивного выражения коэффициенты внутриклассовой корреляции (ICC) по четырем измерениям варьировались от 0.82 до 0.89. В Таблице 4 представлены описательная статистика и показатели надежности для основных переменных исследования.

Наблюдение за поведением в классе
В ходе 4-недельного протокола наблюдалось постепенное улучшение поведения учащихся в классе. Как показано на рисунке 2, показатели концентрации внимания на задании, вербального участия и взаимодействия со сверстниками на 4-й неделе были значительно выше, чем в первые недели. В частности, вербальное участие увеличилось с 0,18 ± 0,09 на первой неделе до 0,24 ± 0,10 к четвертой неделе (p < 0,05). Взаимодействие со сверстниками аналогичным образом выросло с 0,29 ± 0,11 до 0,35 ± 0,12 (p = 0,006). Концентрация внимания на задании продемонстрировала высокозначимое улучшение, изменившись с 0,71 ± 0,12 до 0,76 ± 0,11 (p < 0,001).

Напротив, ведение записей по теме задания или использование устройств демонстрировали лишь незначительный еженедельный рост, который не достиг статистической значимости (p = 0.08). Поведение, направленное на поиск помощи, оставалось стабильно низким на протяжении всего периода наблюдения, не проявляя значимого временного эффекта (p = 0.21). Отвлекаемость на посторонние дела значительно снизилась с 0.14 ± 0.08 на первой неделе до 0.11 ± 0.07 на четвертой неделе (p = 0.03). В целом, совокупный наблюдаемый индекс вовлеченности в учебный процесс (Observed Classroom Engagement Index) значимо вырос с 0.52 ± 0.10 в течение первой недели до 0.58 ± 0.11 к последней неделе (p < 0.001).

Рефлексивные высказывания в течение 4-недельного протокола
Характер рефлексивных высказываний менялся на протяжении периода исследования, хотя степень этих изменений различалась по его отдельным параметрам. Как показано на Рисунке 3, общий балл рефлексии увеличился с 1-й недели до 7,2 ± 1,9 к 4-й неделе (p < 0,001).

Аналитическая глубина была заметно выше в конце 4-й недели по сравнению с первыми двумя неделями (p < 0.001). Аналогичным образом, социальный/просоциальный смысл увеличился с 1.08 ± 0.55 до 1.54 ± 0.60 (p < 0.001), а саморегуляторная ориентация возросла с 1.42 ± 0.63 до 1.69 ± 0.65 (p < 0.05). Напротив, дескриптивная специфичность продемонстрировала лишь слабую тенденцию к росту — с 2.14 ± 0.57 до 2.24 ± 0.55, что не было статистически значимым (p = 0.09).

Средний объем присланных работ по всему протоколу составил от 223 до 231 слова на одну запись. Из 736 ожидаемых рефлексивных отчетов 18 были представлены с опозданием, а 17 отсутствовали; записи с недостаточным объемом информации, а также ответы, в которых были пропущены пункты о контекстуальной причине или будущих действиях/социальном воздействии, были отмечены в базе данных. Эти случаи были сохранены в качестве показателей осуществимости и исключались только из моделей качества рефлексии за конкретную неделю, если соответствующий балл не мог быть присвоен.

Паттерны аналитики обучения в течение периода исследования
Метрики активности на платформе продемонстрировали значительную межиндивидуальную вариативность на протяжении 4-недельного периода, как показано на Рисунке 4.

За весь период студенты в среднем провели на платформе 9.7 ± 2.4 активных дня. Среднее количество просмотров различных ресурсов составило 27.3 ± 8.6, при этом студенты открывали в среднем 0.81 ± 0.14 от общего числа назначенных ресурсов. Кроме того, среднее количество ответов в обсуждениях составило 4.8 ± 2.7. Средний показатель своевременности выполнения заданий и средний уровень завершения просмотра видео составили 0.86 ± 0.18 и 0.79 ± 0.17 соответственно. Доля посещений платформы в ночное время составила в среднем 0.12 ± 0.09.

Примечательно, что ответы в обсуждениях и своевременность выполнения заданий продемонстрировали более выраженную положительную корреляцию с другими показателями участия, несмотря на широкий разброс баллов за своевременность.

Перекрестный анализ наблюдений, рефлексии и данных об обучении
Три источника данных продемонстрировали значимые, хотя и неоднородные, взаимосвязи. Как показано на Рисунке 5, студенты с более высокими индексами наблюдаемой вовлеченности в занятия имели тенденцию к получению более высоких общих баллов за рефлексию. В модели с поправкой на группу (секцию) наблюдаемая вовлеченность в занятия положительно предсказывала общий балл за рефлексию (β = 0.34, p < 0.001).

Среди переменных аналитики обучения ответы в дискуссиях и своевременность выполнения заданий были значимо и положительно коррелировали с качеством рефлексии. Как подробно показано в Таблице 5, ответы в дискуссиях положительно предсказывали общий балл за рефлексию (β = 0.19, p = 0.013), так же как и своевременность выполнения заданий (β = 0.17, p = 0.028). Хотя общее количество просмотров ресурсов и доля открытых назначенных ресурсов изначально демонстрировали положительную связь, эти корреляции значительно ослабли после поправки на вмешивающиеся переменные. Доля доступа в ночное время не показала значимой связи с общим баллом за рефлексию (p = 0.18).

Данные также выявили слабые кросс-корреляции между наблюдаемым поведением в классе и определенными действиями на платформе; например, просмотры исходных ресурсов лишь незначительно коррелировали с индексом вовлеченности в классе (Observed Classroom Engagement Index). Кроме того, студенты, которые чаще участвовали в групповых дискуссиях, демонстрировали более высокий уровень вербального общения, в то время как студенты с более высокой поведенческой регуляцией реже откладывали сдачу заданий.

Изменения просоциальных намерений
Просоциальные намерения продемонстрировали значительный рост от исходного уровня к уровню после тестирования. Средний показатель просоциальных намерений увеличился с 3,61 ± 0,53 на исходном этапе до 3,84 ± 0,50 после 4-недельного протокола (p < 0,001). На рисунке 6 показано парное распределение и скорректированные взаимосвязи.

В окончательной скорректированной модели более высокий показатель наблюдаемой вовлеченности в классе (Observed Classroom Engagement Index) предсказывал более значительный рост просоциальных намерений после выполнения протокола по сравнению с исходным уровнем (β = 0.21, p < 0.05). Среди рефлексивных измерений наиболее существенное независимое влияние на просоциальные намерения после выполнения протокола оказало социально-просоциальное значение (β = 0.29, p < 0.001). Хотя вербальное участие демонстрировало положительную нескорректированную корреляцию с просоциальными результатами после тестирования, эта связь утратила статистическую значимость после контроля исходных значений (p = 0.09). Наконец, частота доступа в позднее ночное время осталась не связанной с просоциальными намерениями после выполнения протокола (p = 0.27).

Наблюдаемые ограничения реализации и нулевые результаты
В ходе проведенного исследования было получено несколько субоптимальных, но информативных результатов, которые не привели к полной остановке протокола. Ни одна из наблюдаемых сессий не потребовала исключения из-за значения каппы наблюдателя ниже 0.70, ни одно поле аналитики обучения не осталось недоступным после окончательного экспорта, и ни одна проблема с видимостью не превысила заранее определенный порог пропусков данных. Наблюдаемые ограничения были сосредоточены в заполнении рефлексий, а также в нулевых или незначительных поведенческих результатах: 18 рефлексий были представлены с опозданием, 17 ожидаемых рефлексий отсутствовали, запись заметок/использование устройств с фокусом на задаче показали лишь незначительный рост (p = 0.08), поиск помощи не выявил значимого временного эффекта (p = 0.21), а доступ в ночное время не был связан с общим баллом рефлексии или просоциальными намерениями после завершения протокола.

Эти результаты были сохранены, поскольку они описывают возможность реализации и граничные условия протокола. Сведения о запоздалых или отсутствующих рефлексиях были приведены в сводках по потоку участников и полноте данных; незначительные или нулевые связи были указаны без выборочного исключения; а процедуры устранения неполадок в разделе «Протокол» определяют, как следует обрабатывать гипотетические сбои, такие как дрейф наблюдателя, ограниченная видимость или отсутствие полей LMS в будущих реализациях.

Обезличенные файлы анализа, словарь данных, скрипты анализа, пустые формы кодирования, подсказки для рефлексии, рубрика рефлексии и опросник просоциальных намерений были размещены в Zenodo: https://zenodo.org/records/20607517. Идентифицируемые необработанные видеозаписи из классов, имена, идентификаторы учреждений и неотредактированные тексты рефлексии не были опубликованы в открытом доступе.

Рисунок 1: Схема рабочего процесса исследования и протокол интеграции данных из нескольких источников. (A) Набор участников, сбор информированного согласия и присвоение идентификаторов исследования (study-ID) в рамках двух курсов бакалавриата и шести учебных групп. (B) 4-недельный цикл сбора данных: еженедельное наблюдение в аудитории, задание по рефлексивному письму и синхронизированное окно захвата аналитики обучения. (C) Три параллельных потока данных: наблюдение за поведением в аудитории, оценка рефлексивных высказываний и деидентифицированные записи с платформы обучения. (D) Создание основного набора данных на уровне участников и базы данных в длинном формате на уровне недель, что позволило получить основные результаты исследования: индекс наблюдаемой вовлеченности в аудитории, балл рефлексии и просоциальные намерения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 2: Еженедельные изменения наблюдаемого поведения в классе в течение 4-недельного протокола. (A) Концентрация на задании. (B) Вербальное участие. (C) Взаимодействие со сверстниками. (D) Ведение записей по теме задания или использование устройств для выполнения задания. (E) Отвлечение от задания. (F) Обращение за помощью. Значения представляют собой еженедельные показатели пропорций на уровне учащихся, полученные в результате интервальных наблюдений в классе. Точки обозначают еженедельные средние значения, а планки погрешностей — стандартные отклонения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 3: Еженедельные изменения рефлексивного выражения в четырех представленных рефлексивных работах. (A) Дескриптивная специфичность. (B) Аналитическая глубина. (C) Саморегуляторная ориентация. (D) Социально-просоциальный смысл. (E) Общий балл рефлексии. Баллы рефлексии присваивались двумя кодировщиками в «слепом» режиме с использованием заранее определенного рубрикатора. Точки обозначают еженедельные средние значения, а планки погрешностей — стандартные отклонения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 4: Распределение показателей аналитики обучения в течение 4-недельного периода исследования. (A) Активные дни на обучающей платформе. (B) Просмотры ресурсов. (C) Доля открытых назначенных ресурсов. (D) Количество опубликованных ответов в обсуждениях. (E) Средний показатель завершения просмотра видео. (F) Своевременность выполнения заданий. (G) Доля посещений в ночное время. Все значения были рассчитаны за тот же 4-недельный период, который использовался для наблюдения в аудитории и рефлексивного письма. Скрипичные диаграммы показывают распределение на уровне студентов, а диаграммы размаха («ящики с усами») указывают медианы и межквартильные размахи. Пожалуйста, нажмите здесь, чтобы просмотреть этот рисунок в большем размере.

Рисунок 5: Связи между наблюдаемой вовлеченностью в классе, рефлексивным выражением и выбранными показателями аналитики обучения. (A) Связь между индексом наблюдаемой вовлеченности в классе и общим баллом за рефлексию. (B) Связь между количеством опубликованных ответов в дискуссиях и общим баллом за рефлексию. (C) Связь между своевременностью выполнения заданий и общим баллом за рефлексию. (D) Связь между вербальным участием и общим баллом за рефлексию. Линии тренда представляют аппроксимированные линейные связи; затененные области указывают на 95% доверительные интервалы. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 6: Изменение просоциальных намерений и их связь с вовлеченностью в учебный процесс и рефлексивным смыслом. (A) Парное распределение показателей просоциальных намерений на исходном этапе и после завершения протокола. Линии соединяют парные показатели до и после вмешательства для одного и того же учащегося. (B) Связь между наблюдаемым индексом вовлеченности в учебный процесс и просоциальными намерениями после протокола с поправкой на исходный показатель. (C) Связь между социально-просоциальным смыслом и просоциальными намерениями после протокола. (D) Связь между вербальным участием и просоциальными намерениями после протокола. Затененные области на панелях B-D указывают 95% доверительные интервалы. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Таблица 1: Индикаторы наблюдения за учащимися в классе и правила кодирования.В таблице подробно описаны операциональные определения и критерии кодирования для таких показателей, как сосредоточенность на задаче, вербальное участие, сотрудничество со сверстниками, ведение записей или использование устройств по существу задания, отвлечение от задачи и поиск помощи. Окно кодирования продолжительностью 70 мин, цикл сканирования 20 с/записи 10 с, процедура кластерного сканирования, правило отсутствия видимости и формула OCEI описаны в разделе «Протокол». Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Таблица 2: Система оценки рефлексивного выражения, примеры уровней баллов и определения переменных аналитики обучения. В таблице представлена рубрика оценки рефлексивных текстов, включая примеры баллов 0, 1, 2 и 3 для каждого рефлексивного измерения, а также операционные определения извлеченных переменных аналитики обучения. Рефлексивные компоненты включают дескриптивную специфичность, аналитическую глубину, саморегуляторную ориентацию, социально-просоциальный смысл, общий балл рефлексии, количество слов и статус отправки. Аналитика обучения включает активные дни, просмотры ресурсов, долю открытых назначенных ресурсов, опубликованные ответы в обсуждениях, средний показатель завершения видео, своевременность выполнения заданий и долю ночного доступа. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Таблица 3: Характеристики участников, поток включения и полнота данных.В таблице обобщены данные о соответствии участников критериям включения, показателях согласия, критериях исключения, конечном размере выборки и полноте данных из трех источников. Представлены базовые демографические характеристики, а также количество ожидаемых рефлексивных записей, своевременных и несвоевременных подач, отсутствующих рефлексий и успешных извлечений данных аналитики обучения. Значения представлены в виде n (%), если не указано иное. Из-за округления сумма процентов может не составлять ровно 100%. Согласно протоколу, несвоевременные рефлексии архивируются, но исключаются из анализа рефлексий по конкретным неделям. Полное извлечение аналитики обучения означает успешное получение деидентифицированных записей за период исследования после удаления учетных записей инструкторов, дубликатов и событий, выходящих за временные рамки исследования. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Таблица 4: Описательная статистика и показатели надежности тестов основных переменных исследования. В таблице представлены средние значения по неделям, стандартные отклонения и индексы надежности для наблюдаемого поведения в классе, рефлексивного выражения, аналитики обучения и просоциальных намерений. Надежность данных наблюдений в классе оценивается с помощью каппы Коэна. Надежность оценки рефлексии представлена в виде коэффициентов внутриклассовой корреляции (ICC) для текстов с двойным кодированием. Внутренняя согласованность показателя просоциальных намерений представлена с использованием α Кронбаха. Переменные аналитики обучения рассчитываются за тот же 4-недельный период, который использовался для наблюдений и рефлексии. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Таблица 5: Многофакторные связи между наблюдаемой вовлеченностью в учебном процессе, рефлексивным выражением, аналитикой обучения и просоциальными намерениями. В таблице подробно описаны инференциальные модели, использованные в основном анализе. Представлены многофакторные предикторы общего балла за рефлексию, скорректированные предикторы просоциальных намерений после протокола (с контролем исходных уровней) и выбранные нескорректированные связи. Значения β представляют собой нестандартизированные коэффициенты регрессии. Все многофакторные модели скорректированы с учетом раздела класса. Для всех оценок приведены стандартные ошибки (SE), 95% доверительные интервалы (CI) и значения p. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Обсуждение

В данном исследовании предлагается практический протокол, объединяющий поведенческое наблюдение, рефлексивное письмо и аналитику обучения для комплексного изучения участия студентов университета, их самовыражения и просоциальной осведомленности в рамках одного учебного занятия. Захватывая различные аспекты вовлеченности, этот тримодальный подход отвечает на недавнюю критику в исследованиях высшего образования, согласно которой показатели времени использования и мониторинг на основе сенсоров недостаточны при изолированной оценке¹. В течение 4-недельного протокола наблюдалось значительное улучшение видимой вовлеченности в аудитории. В частности, вербальное участие и сотрудничество со сверстниками увеличились наряду с вниманием к выполнению задания, в то время как поиск помощи и ведение заметок по существу задачи продемонстрировали минимальные изменения. Эти поведенческие сдвиги указывают на то, что по мере адаптации студентов к учебной среде их вовлеченность перерастает в более стратегическое, социально интерактивное и ориентированное на вклад участие¹⁶.

С точки зрения методологии, ценность данного протокола зависит от строгого соблюдения всех этапов реализации, а не от получения единообразно положительных результатов. Таким образом, обновленный рабочий процесс делает акцент на заранее определенной формуле OCEI, независимом наблюдении, документированной обработке данных программным обеспечением, примерах критериев оценки, порогах надежности и четких правилах обработки отсутствующих данных. Эти дополнения призваны обеспечить воспроизводимость протокола в обычных учебных аудиториях, где записи платформы, посещаемость студентов, видимость в камеру и качество рефлексии могут быть несовершенными.

Данный протокол также следует интерпретировать как чувствительный к формату проведения занятий. В случае больших лекционных курсов наблюдателям могут потребоваться более компактные ротационные группы и более длительный период калибровки; в онлайн-классах наблюдение за поведением может основываться на логах взаимодействия и видимом участии, а не на сканировании помещения; в лабораториях поведение, связанное с техникой безопасности, может потребовать дополнительного индикатора; а в культурно многообразных классах вопросы для рефлексии и пункты, касающиеся просоциальных намерений, должны быть проверены на лингвистическую ясность и культурную приемлемость перед использованием.

Рефлексивное письмо обеспечивает дополнительный уровень понимания этих поведенческих паттернов. Общие показатели рефлексии продемонстрировали устойчивую тенденцию к росту на протяжении всего протокола, при этом наиболее выраженные улучшения наблюдались в аналитической глубине и социальном/просоциальном значении. Вместо простого пересказа событий в классе студенты продемонстрировали растущую способность анализировать учебные ситуации с более широкой, социально значимой перспективы. Это согласуется с недавними данными о том, что повторяющиеся структурированные задания по рефлексии способствуют формированию смыслов высокого порядка и знанийно-ориентированного дискурса, даже если объем текста на поверхностном уровне остается относительно неизменным⁹. Следовательно, рефлексивное письмо в высшем образовании лучше всего понимать как многомерный конструкт, в котором навыки интерпретации, переноса и саморегуляторного прогнозирования развиваются с разной скоростью с течением времени⁵.

Интеграция аналитики обучения дополнительно обосновывает необходимость использования многоисточникового протокола. Существенные действия, такие как ответы в дискуссиях и своевременная сдача заданий, оказались гораздо более информативными показателями вовлеченности, чем общий объем активности. Напротив, доступ к платформе в ночное время не показал значимой связи ни с качеством рефлексии, ни с просоциальными намерениями. Эти результаты подтверждают выводы предыдущих исследований, предостерегающих от чрезмерного доверия к простым показателям частоты посещений или входов в систему при оценке участия студентов⁴. Наши данные свидетельствуют о том, что студенты, конструктивно взаимодействующие с материалами курса, развивают более сильную способность к рефлексии; однако базовая активность на платформе не полностью отражает наблюдаемую вовлеченность в аудиторном обучении. Таким образом, умеренное перекрытие — в противовес избыточному дублированию — данных наблюдения, рефлексии и аналитики подтверждает целесообразность использования стратегий комплексного измерения вместо независимых выводов на основе одного источника¹⁷.

Вторым вкладом данного исследования является расширение оцениваемых результатов за пределы стандартных показателей участия. Просоциальное намерение продемонстрировало измеримый рост от предварительного к последующему тестированию, при этом наиболее сильные связи наблюдались у студентов, которые в своих размышлениях формулировали социально-просоциальные темы и поддерживали обширный профиль взаимодействия. Это согласуется с современными исследованиями в области высшего образования, согласно которым кооперативные характеристики, ориентированные на вклад, являются неотъемлемой частью классного взаимодействия, а не просто побочным эффектом⁸. Более того, эти результаты подтверждают концепцию восприятия учебных классов как сложных социальных систем. Когда студенты активно оценивают свой относительный вклад в обучающее сообщество, их поведение, как правило, смещается от простого соблюдения правил в сторону конструктивного просоциального взаимодействия¹⁸.

Эти выводы предоставляют практические рекомендации для педагогического проектирования. Предложенный протокол не требует специализированных датчиков или инвазивных систем мониторинга. Опираясь исключительно на интервальные наблюдения, еженедельные структурированные рефлексии и стандартные данные учебных платформ, данная комбинация представляет собой высокореализуемое решение для среды обучения студентов бакалавриата, где требуются прозрачные формирующие доказательства вовлеченности, но отсутствует передовая технологическая инфраструктура. Современные педагогические концепции, подчеркивающие значимость учебных сообществ и обучения через создание ценности, предполагают, что переосмысление роли студентов как активных соавторов, а не пассивных потребителей, придает большему смыслу участие в высшем образовании¹⁹. Наш эмпирический вывод о том, что показатели, связанные с вкладом, тесно коррелируют с качеством рефлексии и просоциальными намерениями — гораздо сильнее, чем простой трафик платформы, — убедительно подтверждает необходимость этого педагогического сдвига.

Необходимо признать ряд ограничений. Во-первых, поскольку протокол разработан для ограниченного количества учебных групп, его перенос в условия лабораторных занятий, доминирующих лекций, полностью асинхронного онлайн-обучения или культурно разнообразных сред потребует планируемой адаптации и повторного тестирования надежности. Во-вторых, просоциальное намерение измеряется методом самоотчета и должно интерпретироваться как заявленное намерение, а не как прямой поведенческий факт. В-третьих, аналитика обучения фиксирует активность, опосредованную платформой, и может не учитывать внесетевую подготовку, неформальную поддержку сверстников и нераскрытое использование ИИ при обучении. В-четвертых, 4-недельное окно наблюдения позволяет выявить краткосрочные закономерности реализации, но может не охватить более длительные траектории развития. Наконец, репрезентативные значения за 4 недели следует интерпретировать как доказательства реализации в конкретном контексте, а не как обобщаемые причинно-следственные оценки²⁰.

Будущие исследования должны расширить данную концепцию в нескольких направлениях. Критически важным следующим шагом является воспроизведение протокола в различных академических дисциплинах и форматах обучения. Кроме того, необходимы лонгитюдные исследования, чтобы определить, формируют ли эти краткосрочные рефлексивные практики устойчивые просоциальные установки или долгосрочные поведенческие преимущества. В последующих работах также можно сравнить данную обсервационную модель с альтернативными методологиями, такими как взаимное оценивание, анализ артефактов на уровне групп или анализ последовательности событий. Тем не менее, в своем нынешнем виде этот протокол представляет собой надежный операционный механизм триангуляции того, что студенты делают в аудитории, как они интерпретируют эти действия впоследствии и как они позиционируют себя социально в более широкой образовательной среде.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Лист кодирования наблюдений в классе	Собственная разработка	Шесть бинарных поведенческих индикаторов	Интервальное кодирование концентрации внимания на задаче, вербального участия, сотрудничества со сверстниками, ведения записей/использования устройств по делу, отвлечения от задачи и поиска помощи.
GraphPad Prism	Graphpad	Версия 10.2.3	Построение схем рабочего процесса, графиков еженедельных трендов, графиков распределения и диаграмм ассоциаций.
Институциональная система управления обучением / платформа курса	Принимающий университет	Существующая институциональная система аккаунтов LMS	Сбор деидентифицированных данных аналитики обучения.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Построение схем рабочего процесса, графиков еженедельных трендов, графиков распределения и диаграмм ассоциаций.
R	R Foundation		ggplot2 3.5.1
Программное обеспечение для электронных таблиц	Microsoft Corporation	Microsoft Excel 365 v2402	Ввод данных, очистка, проверка деидентификации и объединение наборов данных наблюдений, рефлексии и аналитики.
SPSS Statistics	IBM Corp	Версия 26.0	Программное обеспечение для статистического анализа; описательная статистика, сравнение с повторными измерениями, каппа Коэна, ICC, альфа Кронбаха, корреляции и регрессионные модели.