Методическая статья

Качественная и количественная валидация инструментов с рейтинговыми шкалами, направленных на оценку качества обучения в вузе

DOI:

10.3791/68648

⸱

29 августа 2025 г.

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В данной статье описан протокол качественной и количественной валидации университетского инструмента обучения служению в соответствии с критерием экономии для создания наиболее надежной и оптимальной версии. Для этой цели используется метод качественной валидации Дельфи и робастный невзвешенный факторный анализ методом наименьших квадратов в качестве количественного метода оптимизации элементов.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В последние годы сервис-обучение (SL) стало высокоэффективной методологией обучения, преодолевая разрыв между теорией и практикой и контекстуализируя обучение в реальных сценариях. Она была успешно внедрена на всех уровнях высшего образования, что привело к заметному повышению квалификации студентов университетов. Тем не менее, как трансформационная методология, SL все еще находится на ранних стадиях развития с точки зрения методов оценки. Следовательно, существует насущная потребность в разработке и валидации надежных и, прежде всего, достоверных измерительных приборов, поскольку применение SL в реальных условиях является его основной ценностью. В данной статье показано, как оптимально спроектировать и валидировать университетские инструменты SL для оценки качества опыта SL на университетском уровне с точки зрения преподавателей университетов, руководствующихся принципом экономии. Модифицированный онлайн-метод Дельфи, устойчивый невзвешенный метод наименьших квадратов исследовательский факторный анализ и подтверждающий факторный анализ были применены для создания нового инструмента QaSLu-27, проверенного на выборке из 16 экспертов, использующих модифицированный онлайн-метод Дельфи, и 118 преподавателей университетов, реализующих проекты SL. Результаты показывают оптимальные психометрические условия для нового инструмента (W = 0,11; α = 0,92; CMIN/DF=1,027; CFI= 0,979; WRMR= 0,0985; RMSEA= 0,046), что привело к разработке новых рейтинговых шкал, позволяющих сравнивать будущих пользователей данной методологии с учетом их атрибутивных и демографических характеристик. Разработка новых валидированных инструментов, которые могут быть использованы в реальном мире и позволяют создавать шкалы, будет очень полезна для измерения внедрения нового опыта в SL, для оценки их прогресса, их участников, их менеджеров и их наблюдателей, способствуя становлению этой области исследований в текущей академической среде и в генерировании новых научных знаний.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Service-Learning (SL), образовательный подход, который объединяет академическое обучение с общественной работой, получает все большее признание в современном образовании. Такой педагогический подход позволяет учащимся применять знания в классе для решения реальных проблем, а также способствует повышению гражданской ответственности и вовлечению в жизнь общества1. Значение SL в современном образовании невозможно переоценить, так как оно вооружает учащихся практическими профессиональными компетенциями, способствует гражданской активности и обеспечивает более глубокое понимание социальных проблем2.

Недавние исследования SL значительно выросли, чему способствовало растущее признание его потенциала как для повышения академического обучения, так и для вовлечения сообщества. Этот рост обусловлен растущим спросом на образовательные модели, которые не только способствуют академическому развитию, но и решают социальные проблемы3. Студенты изучили различные последствия SL, от продвижения социальной справедливости до воспитания гражданственности среди студентов4. Кроме того, исследования в области сервисного обучения все больше фокусируются на его применении в конкретных областях, таких как STEM, здравоохранение и наука об окружающей среде, где решение реальных проблем имеет решающее значение 5,6,7. По мере расширения объема литературы исследователи также начинают изучать, как обучение на службе может эффективно преодолеть разрыв между теорией и практикой таким образом, чтобы это было значимо как для студентов, так и для сообществ, которым они служат.

Однако, несмотря на растущую роль СП, остаются значительные проблемы в измерении эффективности программ СП9. Существуют различные предложения в форме рубрики, такие как предложения Фурко10, Мартина и др.11, Лоренцо и Беландо-Монторо12, Шека и др.13 или Лу и Лэмбрайта14, которые, несмотря на их доказанную полезность в полевых исследованиях, еще не были подтверждены. С другой стороны, есть и другие предложения, такие как Эскофет-Роиг и др.15, Родригес-Искьердо16, Леон-Карраскоса и др.17, Руис-Ордоньес и др.18, Сантос-Пастор и др.19 или Гуль и др.20, которые не имеют качественной валидации или представляют собой очень ограниченную количественную валидацию. Другими недостатками, наблюдаемыми в предыдущих инструментах оценки, являются отсутствие оптимизации факторов и пунктов в соответствии с принципом экономии и полное отсутствие шкал оценки. Такая ситуация характерна для новых научных областей и является естественным процессом, через который проходят все области исследований для достижения оптимальных инструментов для широкого использования.

На момент создания Анкеты для самооценки опыта обучения в университетах (QaSLu), инструмента для оценки качества опыта СЛ на университетском уровне с точки зрения преподавателей университетов, наиболее признанными инструментами, определяющими стандарты обеспечения качества опыта СЛ, были следующие: Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Пуч-Ровира, Мартин и Рубио-Серрано (2017)25, а также Рубио-Серрано, Пуч-Ровира, Мартин и Палос (2015)26. Несмотря на то, что в настоящее время существуют дополнительные инструменты, современные инструменты измерения часто не в состоянии адекватно отразить широкие и тонкие результаты обучения, связанные с этими программами, особенно с точки зрения долгосрочного личностного роста, влияния на общество, причем некоторые из них оказываются слишком общими или не основанными на строгих научных рамках. Этот пробел в инструментах измерения препятствует всестороннему пониманию и оптимизации влияния SL как на учащихся, так и на сообщества.

Следующим шагом в продвижении исследований SL является разработка научно строгих измерительных приборов. Эти инструменты должны быть разработаны не только для фиксации академических результатов, но и для оценки личного и социального воздействия, которое SL может оказать на учащихся и сообщества, которым они служат. Наше исследование направлено на устранение этого пробела путем создания инструмента, основанного на научной строгости, предлагающего более всестороннюю оценку проектов SL и направляющего их будущую реализацию.

Помимо создания инструмента, он будет валидирован, сначала качественно, а затем количественно. Для первоначальной валидации будет использоваться модифицированный онлайн-метод Delphi28. Термин «модифицированный» относится к предложению Каберо ограничить метод Дельфи двумя раундами консультаций, что позволит избежать отсева среди членов экспертной группы. Термин «онлайн» был введен Крус-Рамиресом и Руа-Васкесом29, чтобы подчеркнуть, что консультации проводились по электронной почте, поскольку Интернет помогает преодолеть определенные ограничения, присущие традиционным дельфийским языкам, такие как групповое мышление или влияние доминирующих экспертных мнений, которые могут повлиять на выбор пунктов30,31.

С помощью модифицированного онлайн-метода Дельфи будут оцениваться два типа валидности: конструктная валидность в соответствии с процессом, описанным в исследовании Бакиева и др.32, где эксперты консультируются по поводу актуальности каждого пункта, и содержательная валидность, основанная на работе Gil и Pascual-Ezama33, которая оценивает ясность каждого пункта посредством консультаций с экспертами.

Экспертам будет предоставлена шкала Лайкерта, содержащая четыре варианта ответа (ни одного, мало, совсем много, много). Не вводя каких-либо промежуточных вариантов ответа, эксперты должны занять определенную позицию в пользу или против каждого пункта34, тем самым облегчая процесс принятия решения о том, следует ли сохранить или удалить пункты из вопросника.

Что касается количественной валидации, то она основана на законе экономии, фундаментальном принципе науки, который гласит, что при данной научной проблеме при равных условиях предпочтительнее кратчайшее решение35,36. Таким образом, поиск самого короткого и оптимизированного валидного инструмента предлагает те же научные гарантии, будучи более практичным, экспортируемым и общим для повседневного использования в реальных контекстах без ущерба для надежности или валидности. Подтверждающий факторный анализ (CFA)37 и надежный невзвешенный метод наименьших квадратов (RULS) Exploratory Factor Analysis38,39 будут использоваться в качестве аналитических методов для сокращения ненужных элементов и проверки окончательной структуры инструмента. Индексы соответствия и надежности используются в качестве индикаторов валидности новой структуры по отношению к предыдущей, принимая в качестве ориентира поддержание или повышение надежности и валидности оптимизированного инструмента в пределах уровней, гарантирующих адекватность и надежность новой структуры сокращенного и оптимизированного опросника.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Этот протокол был этически одобрен в 2020 году Национальной комиссией по научным и технологическим исследованиям Чили (CONICYT Fondecyt/Initiation) под номером утверждения: 11170623. Группа внешних экспертов рассмотрела и утвердила весь процесс. В соответствии с Хельсинкской декларацией40-й степени, участники должны были предоставить письменное информированное согласие на участие в исследовании, и было четко указано, что они не будут участвовать в каких-либо экспериментальных условиях.

1. Разработка первого эскиза QaSLu

  1. Проведите контент-анализ элементов из основных инструментов, признанных для оценки опыта SL. Для этого были проанализированы пункты международных инструментов, определяющих стандарты обеспечения качества опыта SL, а также основные рубрики, признанные экспертным сообществом SL.
    ПРИМЕЧАНИЕ: В результате этого обзора QaSLu открыто обращается к социальной справедливости, что является характерным фокусом европейской SL.
  2. Классифицируйте все элементы в зависимости от этапов, связанных с проектированием опыта SL (1. Дизайн, 2. Реализация, 3. Оценка) и применение опыта SL (А. Начальная фаза, Б. Планирование, В. Исполнение, Г. Закрытие и тиражирование).
    ПРИМЕЧАНИЕ: Для обеспечения надежности категоризации было использовано абсолютное соглашение между оценщиками, при котором были приняты только те категории, с которыми согласны все авторы.
  3. Выберите заключительные пункты для первого проекта инструмента для оценки обучения в университете (USL).
    1. Во-первых, устраните дубликаты элементов в каждой категории, как на этапах, связанных с проектированием, так и с применением SL.
    2. Во-вторых, удаляются нерелевантные элементы, которые не согласуются с целями нового инструмента.
    3. Наконец, создайте или адаптируйте элементы в соответствии с целевой аудиторией (преподавателями университета) и целями исследования (оценка качества опыта SL).
      ПРИМЕЧАНИЕ: QaSLu предназначен для обучения в университете. В то время как большинство инструментов оценивали качество SL на университетском уровне, некоторые элементы из предыдущих инструментов пришлось переформулировать, а новые элементы были созданы, чтобы обеспечить полную адаптацию QaSLu к университетскому контексту.
  4. Разработайте первый проект анкеты в соответствии с целями исследования.
    ПРИМЕЧАНИЕ: Черновик QaSLu был создан с использованием Microsoft Word для удобства совместного использования и модификации. Первоначально он состоял из 54 вопросов, на которые можно было ответить по 5-балльной шкале Лайкерта (Никогда, Редко, Иногда, Почти всегда, Всегда). Анкета была разработана с учетом структуры одного фактора или основного компонента, чтобы ее итоговый балл мог быть использован для сравнения пользователей по их характеристикам с помощью стандартизированных шкал оценки.

2. Отбор экспертной группы по методу Дельфи

  1. Выберите большую выборку экспертов по USL, которые могли бы оценить ранее спроектированный инструмент. В этом процессе установите основные критерии включения: 1. Минимум четыре года опыта исследования и разработки/внедрения опыта USL; 2. Членство в академическом органе университета; и 3. Быть докторантом или обладателем докторской степени.
    ПРИМЕЧАНИЕ: На основе критериев включения был создан список из 20 экспертов, которые могли бы сыграть заметную роль в сообществе USL.
  2. Отправьте электронное письмо всем экспертам, отобранным на шаге 2.1, с объяснением целей исследования, этапов метода Дельфи, ожидаемых сроков, критериев включения, а также с вопросом об их готовности и желании участвовать в процессе валидации, а также об их принятии письменного информированного согласия.
    ПРИМЕЧАНИЕ: Все эксперты согласились принять участие.
  3. Сконфигурируйте окончательную экспертную группу для оценки окончательного инструмента оценки USL. Установить новые критерии включения на основе характеристик экспертов, согласившихся участвовать. Окончательный состав экспертной группы был направлен на: 1. Академическое и профессиональное разнообразие, т.е. представительство из разных академических слоев; 2. Географическое разнообразие в местах, где проводились опыты SL; и 3. Гендерное разнообразие.
    ПРИМЕЧАНИЕ: Шестнадцать экспертов USL взяли на себя обязательство и завершили процесс в полном объеме. Итоговая экспертная группа состояла на 75% из женщин и на 25% из мужчин.

3. Качественная валидация опросника QaSLu с помощью модифицированного онлайн-метода Delphi

  1. Отправьте электронное письмо каждому члену экспертной группы с шаблоном для оценки пунктов первого проекта инструмента оценки USL вместе с соответствующими инструкциями (раунд 1 метода Дельфи).
    ПРИМЕЧАНИЕ: Эксперты оценивают релевантность (конструктную валидность) и ясность (содержательную валидность) каждого элемента с помощью 4-балльной шкалы Лайкерта, где 1 означает «неактуально или неясно», а 4 — «очень актуально или очень ясно». Рядом с каждым пунктом есть одно поле для оценки релевантности и другое для ясности, где эксперты должны оценить каждый пункт по шкале от 1 до 4. Под этими полями находится еще один раздел, в котором они могут качественно объяснить свою оценку и предложить возможные изменения пунктов (см. образец проекта анкеты, представленный в качестве Дополнительного файла 1). Не включив в анкету каких-либо промежуточных вариантов ответа, эксперты были вынуждены занять окончательную позицию, что облегчило процесс принятия решения о сохранении или удалении пунктов из анкеты.
  2. Соберите ответы экспертов для 1-го раунда Дельфийской консультации в одном файле.
    ПРИМЕЧАНИЕ: Экспертам было дано 2 недели на то, чтобы завершить оценку релевантности (конструктивной валидности) и ясности (достоверности содержания) 54 пунктов шаблона.
  3. Рассчитайте коэффициент Кендалла, чтобы определить уровень совпадения между ответами экспертов относительно релевантности и ясности.
    1. Сначала откройте меню «Анализ > непараметрические тесты > устаревшие диалоговые окна > K связанных образцов » (см. рис. 1). Выберите все ответы экспертов на предмет актуальности и ясности. Делайте это отдельно, сначала актуальность, а потом ясность.
    2. Переместите элементы в поле Список тестовых переменных. В разделе «Тип теста» выберите параметр «W» Кендалла. Наконец, нажмите OK, чтобы запустить анализ и получить соответствующие результаты.
      ПРИМЕЧАНИЕ: Анализ конкордантности показал, что среди опрошенных экспертов существовало статистически значимое согласие по релевантности (конструктной валидности) и ясности (содержательной валидности).
  4. Оцените конструктную валидность (релевантность) и содержательную валидность (ясность).
    1. Выполнение описательного анализа с использованием пакета статистического программного обеспечения 1. Сначала выберите меню «Анализ» > «Описательная статистика > частоты», а в диалоговом окне «Частоты » выберите баллы релевантности для всех элементов инструмента и добавьте их в поле «Переменные», щелкнув значок со стрелкой.
    2. Затем щелкните значок «Статистика », установите флажок «Процентили» и добавьте процентили 25, 50 и 75 в диалоговое окно «Частоты: статистика », затем нажмите «Продолжить », чтобы вернуться в диалоговое окно «Частоты ».
    3. Наконец, нажмите на значок OK , чтобы сгенерировать желаемые процентили для каждого элемента (см. рисунок 2). После вывода перейдите в раздел Analyze > Descriptive Statistics > Descriptive, а в диалоговом окне Descriptives выберите оценки ясности для всех элементов инструмента и добавьте их в поле Variable(s), щелкнув значок стрелки (см. рис. 3). Наконец, нажмите OK , чтобы создать результаты.
  5. Удалите все пункты, которые 75% экспертов считают крайне неактуальными, и переформулируйте пункты, которые были оценены как очень актуальные, но неясные.
    ПРИМЕЧАНИЕ: После первого раунда консультаций из первоначального проекта QaSLu были исключены 10 пунктов: пункты 4, 5, 9, 16, 27, 45, 51, 52, 53 и 54. Кроме того, были переформулированы 16 пунктов из первого проекта QaSLu: пункты 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 и 49. Переформулировка или переформулировка была основана на предложениях экспертов.
  6. Подготовка отчета о результатах 1-го раунда консультации, который включает в себя следующее: 1. Результат относительно уровня согласия по релевантности или конструктной валидности (коэффициент Кендалла); 2. Установленные критерии принятия решений; 3. Количество валидированных элементов; 4. Количество удаленных элементов; 5. Количество переформулированных позиций, которые все еще находятся на рассмотрении; и 6. Доработанная версия инструмента для оценки USL.
    ПРИМЕЧАНИЕ: Цель создания настоящего доклада заключалась в том, чтобы проинформировать экспертную группу, не перегружая ее чрезмерными данными и не влияя на их будущие оценки.
  7. Отправьте электронное письмо каждому члену экспертной группы с отчетом о результатах 1-го раунда консультации, а также шаблоном для оценки переформулированных пунктов в модифицированной версии инструмента оценки USL, с конкретными инструкциями (2-й раунд Дельфийского метода).
    ПРИМЕЧАНИЕ: Эксперты оценивают ясность (обоснованность содержания) каждого переформулированного элемента с помощью 4-балльной шкалы Лайкерта, где 1 означает «неактуально или неясно», а 4 — «очень актуально или очень ясно». Рядом с каждым пунктом есть поле для ясности оценки с числом от 1 до 4, за которым следует еще один раздел, где они могут качественно объяснить свою оценку и предложить возможные дальнейшие изменения пункта (см. образец проекта анкеты, представленный в качестве Дополнительного файла 2). Не введя никаких промежуточных вариантов ответа, эксперты были вынуждены занять категоричную позицию, либо за, либо против пунктов. Это облегчило процесс принятия решения о включении или исключении пунктов из вопросника.
  8. Соберите ответы экспертов во 2-м раунде Дельфийской консультации в один файл.
    ПРИМЕЧАНИЕ: Экспертам снова было дано две недели на то, чтобы завершить оценку ясности (достоверности содержания) 16 пунктов в шаблоне.
  9. Повторите шаги, описанные в пункте 3.3, но на этот раз выберите только баллы ясности для переформулированных элементов инструмента и включите их в поле «Переменные».
  10. Повторите шаги, описанные в пункте 3.4, удалив все элементы, которые были оценены как очень ясные 75% экспертов.
    ПРИМЕЧАНИЕ: По итогам второго раунда консультаций были исключены следующие пункты: пункты 1, 23, 31 и 41.
  11. Включите несколько контрольных пунктов с целью оценки внутренней согласованности в будущем (рекомендуется включать примерно один контрольный элемент на каждые 10 пунктов).
    ПРИМЕЧАНИЕ: В эту версию прибора были добавлены четыре элемента управления.
  12. Подготовить отчет о результатах 2-го раунда консультации, который включает в себя следующее: 1. Результат относительно уровня согласия по ясности или обоснованности содержания (коэффициент Кендалла); 2. Установленные критерии принятия решений; 3. Количество валидированных элементов; 4. Количество ликвидируемых пунктов; 5. Количество пунктов, включенных в качестве контрольных предметов; и 6. Модифицированная версия QaSLu-45 (41 валидированный пункт + 4 контрольных элемента).
    ПРИМЕЧАНИЕ: Окончательный вариант анкеты был структурирован следующим образом: 1) Цель анкеты, письменное информированное согласие и инструкции; 2) Организация или учреждение, пол, возраст, уровень образования и стаж работы респондента по специальности служебного обучения (данная информация не позволяет идентифицировать участника); 3) Данные об опыте обучения на службе; 4) 45 пунктов для самооценки опыта обучения на службе; и 5) Признательность за участие (образец проекта анкеты представлен в качестве Дополнительного файла 3).
  13. Отправьте экспертной группе отчет о результатах второго раунда консультаций, содержащий окончательную версию разработанного опросника (QaSLu-45), и поблагодарите их за участие в модифицированном онлайн-методе Дельфи.

figure-protocol-1
Рисунок 1: Вычисление коэффициента Кендалла в статистическом программном комплексе 1. (1) Нажмите на значок K Related Samples; (2) Выберите W's Kendall's W; (3) Нажмите на значок OK. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-2
Рисунок 2: Извлечение процентилей в пакете статистического программного обеспечения 1. (1) Нажмите на значок «Частоты»; (2) Нажмите на значок статистики; (3) В диалоговом окне Частоты: Статистика добавьте процентили. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-3
Рисунок 3: Извлечение описаний в пакете статистического программного обеспечения 1. (1) Нажмите на значок «Описание»; (2) Добавьте переменную; (3) Нажмите на значок OK.

4. Адаптация анкеты к онлайн-спецификации защищенного сервера

  1. Перейдите на главную страницу платформы software-as-a-service (SaaS) с частным сервером (см. Таблицу материалов) в качестве зарегистрированного пользователя. Эта регистрация должна быть завершена заранее, предоставив личные данные. После регистрации выберите Создать опрос с нуля (см. рисунок 4).
  2. Создайте первую страницу, которая должна содержать обязательное принятие информированного согласия на продолжение.
  3. Создайте вторую страницу с вопросами об авторстве участников, которые будут использоваться в исследовании в качестве промежуточных или контрольных переменных в исследовании.
    Примечание: Данное исследование включает в себя анализ трех дискретных количественных переменных и пяти номинальных категориальных переменных. Ниже приведено операционное описание этих восьми переменных, включенных в исследование:
    Пол: Номинальная, атрибутивная и дихотомическая переменная с двумя уровнями (мужской/женский).
    Возраст: дискретная количественная переменная, определяющая возраст участника исследования.
    USL Experience: Дискретная количественная переменная, которая измеряет опыт участника в обучении на службе. Шкала начинается с 0, что означает менее одного года опыта обучения на службе (что не эквивалентно «отсутствию опыта»), без верхнего предела.
    Академический уровень: Номинальная дихотомическая переменная с двумя уровнями (PhD/Not PhD), отражающая, имеет ли участник профессиональную докторскую степень.
    Colсотрудничающая организация для деятельности USL: Номинальная переменная с пятью уровнями (Социальные центры, НПО, Фонды, Школы, Альянсы с высшими учебными заведениями или университетами, Государственные органы государственного управления, Центры для пожилых людей и другие центры, связанные со здоровьем). Эта переменная определяет тип организации или учреждения, с которыми участник сотрудничает в процессе обучения на службе.
    Целевая группа деятельности USL: Номинальная переменная с пятью уровнями (Группы с ограниченными возможностями, Студенты, Этнические меньшинства, Пожилые люди, Социально незащищенные группы риска). Эта переменная определяет основную группу бенефициаров деятельности по обучению служению.
    Способ вмешательства для деятельности USL: Номинальная, дихотомическая переменная (Исключительно очное обучение на службе / Включает онлайн-мероприятия полностью или частично). Эта переменная указывает, включает ли деятельность по обучению служению онлайн-компонент.
  4. Создайте несколько страниц для заранее разработанной анкеты, включая вопросы и возможные ответы, через SaaS-платформу с частным сервером.
  5. После создания и сохранения опроса (см. итоговую анкету в Дополнительном файле 2) вернитесь в главное меню платформы, выберите анкету и нажмите на иконку « Открыть > закрыть публичный опрос», чтобы сделать его доступным для участников. Затем нажмите на значок «Получить ссылку на опрос », выбрав один из нескольких вариантов доступа участников (например, ссылку, встроенную в электронное письмо или на веб-сайт, iframe на веб-сайте, всплывающее окно на веб-сайте или ссылку, предоставленную компьютерам колл-центра (см. рисунок 5).
    ПРИМЕЧАНИЕ: Окончательный вариант анкеты был структурирован следующим образом: 1) Цель анкеты, письменное информированное согласие и инструкции; 2) Данные об участнике (учреждение или организация, возраст, пол, уровень образования и стаж работы в сфере служебного обучения). Эта информация обеспечивает анонимность участника; 3) Данные об опыте обучения на службе; 4) 45 пунктов для самооценки опыта обучения на службе; и 5) раздел с выражением благодарности за участие.

figure-protocol-4
Рисунок 4: Создание анкеты с нуля. (1) Нажмите на иконку «Новый опрос»; (2) Выберите «Создать опрос с нуля». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-5
Рисунок 5: Разработка анкеты. (1) Редактирование анкеты; (2) Добавление и настройка страниц и вопросов; (3-5) Разрабатывайте страницы, вопросы и ответы. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

5. Метод отбора проб

  1. Ознакомьтесь со всеми материалами конференций, организованных Испанской сетью университетского обучения за последние 3 года. Составьте список авторов, которые работали над сервис-обучением в последние годы, и соберите их адреса электронной почты.
    ПРИМЕЧАНИЕ: Отбор проб был случайным и оппортунистическим.
  2. Отправьте электронное письмо всем авторам с приглашением принять участие в исследовании. Отправьте электронное письмо повторно через одну и две недели.
    ПРИМЕЧАНИЕ: В письме получателям предлагалось переслать его контактам, которые могут быть заинтересованы в участии. Таким образом, метод случайной выборки был дополнен методом выборки методом снежного кома.
  3. Зайдите на главную страницу SaaS-платформы в качестве зарегистрированного пользователя, выберите созданную анкету и нажмите на кнопку «Результаты». Во всплывающем меню нажмите значок «Анкета», чтобы получить прямой доступ к заполненным анкетам. Исключите любые неполные или ошибочные ответы с помощью платформы SaaS (см. рис. 6).
  4. Как только анкеты достигнут требуемого минимального числа участников (>100), после исключения неполных ответов, перейдите на главную страницу платформы SaaS в качестве зарегистрированного пользователя, выберите анкету и нажмите на значок «Открыть/закрыть публичный опрос», чтобы закрыть опрос и предотвратить дальнейшее участие (см. Шаг 1 на рисунке 5 еще раз).
    ПРИМЕЧАНИЕ: В общей сложности приняли участие 118 преподавателей из 43 высших учебных заведений, из которых 67,80% идентифицировали себя как женщины и 32,20% как мужчины. Средний возраст составил 46,16 лет (SD = 9,60), возраст варьировался от 24 до 65 лет. Что касается академической квалификации, то значительное большинство (76,3%) имели докторскую степень, в то время как остальные участники имели как минимум степень бакалавра. Что касается опыта обучения на службе, то средний показатель составил 6,69 года (SD = 5,39 года), при этом самый низкий показатель был зафиксирован в полгода, а самый высокий - в 34 года. Среди учреждений, с которыми сотрудничали университеты участников, были образовательные центры (в том числе другие университеты), социальные центры, центры для пожилых людей, медицинские центры, НПО, фонды и государственные учреждения, такие как мэрии и советы. Партнерские отношения в области обучения на службе были сформированы с двумя типами учебных заведений: центрами формального образования, составляющими 50,85% выборки, и центрами неформального образования, составляющими оставшиеся 49,15%. Что касается формы обучения на службе, то 64,41% были очными, а 35,59% включали ту или иную форму виртуальной деятельности.

figure-protocol-6
Рисунок 6: Получение ссылки на опрос. (1) Откройте опрос; (2) Нажмите на значок « Получить ссылку» на опрос; (3) Выберите нужный метод. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

6. Количественная валидация анкеты методом факторного анализа

  1. Перейдите на главную страницу SaaS-платформы в качестве зарегистрированного пользователя, выберите созданный опрос и нажмите на значок «Результаты ». Во всплывающем меню нажмите « Экспорт » и выберите параметры подробного отчета (расширенный формат электронной таблицы) в поле «Текст» с расширением значений, разделенных запятыми (.csv) (см. рис. 7). После того, как участники заполнят анкеты, экспортируйте данные на электронную почту в .csv формате, гарантируя, что они хранятся в безопасном, частном и защищенном месте.
  2. Откройте пакет статистического программного обеспечения 1 (см. Таблицу материалов) и выберите меню «Файл» > «Импорт данных > данных CSV». Выберите ранее сохраненный файл .csv. Этот процесс преобразует анонимные данные в требуемый формат анализа для пакета статистического программного обеспечения 1 (см. рисунок 8).
  3. Выберите переменные для статистического анализа (пол, возраст, образовательный ценз, сотрудничающая организация деятельности USL, целевая группа деятельности USL, способ вмешательства для деятельности USL и 45 пунктов из QaSLu) и удалите все нерелевантные данные, импортированные через файл .sav, сгенерированный пакетом статистического программного обеспечения 1.
  4. Оцените внутреннюю согласованность опросника QaSLu-45 с помощью Cronbach's Alpha с пакетом статистического программного обеспечения 1. Для этого выберите меню «Анализ» > «Масштаб > анализа надежности» и перенесите все соответствующие переменные в диалоговое окно «Анализ надежности ». Наконец, нажмите кнопку OK , чтобы сгенерировать желаемый вывод (см. рисунок 9).
    ПРИМЕЧАНИЕ: Опросник продемонстрировал высокую надежность и внутреннюю согласованность, измеренную с помощью альфа Кронбаха (α = 0,917).
  5. Проведите исследовательский факторный анализ с помощью статистического программного комплекса 1.
    1. Чтобы выполнить этот анализ, выберите меню "Анализ" > ">Коэффициент уменьшения размерности". В диалоговом окне «Факторный анализ » выберите все пункты опросника, затем нажмите « Описания» и выберите «Одномерные описания» и «Критерий сферичности КМО и Бартлетта».
    2. Нажмите « Продолжить », чтобы вернуться в главное меню диалогового окна «Факторный анализ ». Затем нажмите « Извлечение » и выберите «Главные компоненты » в качестве метода извлечения.
    3. Отметьте опции для Unrotated Factor Solution (Неповернутый фактор) и Scree Plot (График осыпи), затем нажмите Continue (Продолжить ) еще раз, чтобы вернуться в главное меню диалогового окна Factor Analysis (Факторный анализ ). Наконец, нажмите на значок OK , чтобы сгенерировать вывод (см. рисунок 10).
      ПРИМЕЧАНИЕ: Значимость теста сферичности Бартлетта (χ2 = 2689,72; p = 0,00) и теста на адекватность выборки Кайзера-Мейера-Олкина (KMO) (KMO = 0,793) подтверждают целесообразность этого факторного анализа из-за строгого дизайна элементов и выборки для валидации QaSLu-45. Результаты анализа главных компонент выявили 13 компонент с собственными значениями больше 1,0, что объясняет 69,95% общей дисперсии. Тем не менее, диаграмма осыпи (см. рис. 11) показывает, что первый компонент имеет настолько непропорциональную значимость, что значимость остальных компонентов становится незначительной. Поэтому рекомендуется свести QaSLu-45 к одному компоненту, таким образом получив уникальный итоговый балл для спроектированного QaSLu-45.
  6. Преобразовать файл результатов анкеты, за исключением атрибутивных переменных, в фиксированный формат ASCII (dat), совместимый со статистическим программным обеспечением 2 (см. Таблицу материалов).
    1. Сначала удалите все атрибутивные переменные, оставив в качестве переменных только элементы анкеты в пакете статистического программного обеспечения 1. Затем выберите меню «Файл» > «Экспорт данных > фиксированный текст » (см. рисунок 12).
    2. Сохраните файл в безопасном месте с узнаваемым именем. Этот процесс преобразует анонимные данные в необходимый для анализа формат в статистическом программном комплексе 2.
  7. Выполните подтверждающий факторный анализ (CFA) с помощью пакета статистического программного обеспечения 2 для определения соответствия однофакторной модели опросника.
    1. Чтобы провести этот анализ, выберите «Чтение данных», затем в диалоговом окне «Образец» нажмите «Обзор » и выберите ранее созданный файл ASCII. Количество участников и переменных будет отображаться зеленым цветом в разделе Размер матриц данных .
    2. Далее нажмите на иконку «Открыть набор данных одной группы » и вернитесь в главное меню пакета статистического программного обеспечения 2. В Главном меню нажмите на Настроить анализ. В диалоговом меню отметьте галочкой пункт «Подтверждающий факторный анализ» и нажмите кнопку «Подтвердить ».
    3. В окне CFA: Factor Analysis Configuration примите настройки по умолчанию и нажмите Подтвердить , чтобы вернуться в главное меню. Наконец, в главном меню появится сообщение «Confirmatory Factor Analysis Ready»; затем нажмите кнопку Compute (см. рисунок 13) и дождитесь результатов.
      ПРИМЕЧАНИЕ: Изделия QaSLu-45 продемонстрировали превосходную прочную посадку, хорошую посадку, что было оценено по размерам посадки модели CFA. Согласно предложенному Келли критерию, сравнительный индекс соответствия элементов QaSLu-45 составил >0,95 (CFI = 0,973), поскольку минимальная и максимальная разница в CFA/степенях свободы составляла от 1 до 3 (CMIN/DF = 1,053), среднеквадратичная ошибка аппроксимации составила <0,06 (RMSEA = 0,042), а взвешенная среднеквадратичная невязка составила <1,0 (WRMR = 0,0978).

figure-protocol-7
Рисунок 7: Экспорт данных для использования в пакетах статистического программного обеспечения 1 и 2. (1) Нажмите на иконку результатов ; (2) Нажмите на иконку «Анкеты »; (3) Выберите «Текст» и «CSV» в опции «Подробно». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-8
Рисунок 8: Импорт данных в пакет статистического программного обеспечения 1. Выберите меню «Файл» > «Импорт данных > CSV». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-9
Рисунок 9: Оценка внутренней согласованности анкеты. Выберите меню «Анализ» > «Масштабирование > анализ надежности». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-10
Рисунок 10: Проведение исследовательского факторного анализа с помощью пакета статистического программного обеспечения 1. (1) Нажмите на значок «Факторы »; (2) Нажмите на значок описаний ; (3) Выберите КМО и тест сферичности Бартлетта в опции Подробно; (4) Нажмите на значок «Извлечение »; (5) Выберите «Каменный участок » в опции «Подробно»; (6) нажмите на значок OK . Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-11
Рисунок 11: График осадочных пород факторного анализа главных компонент на исходной версии из 45 пунктов. Обратите внимание, как компонент No 1, согласно исследовательскому факторному анализу, сильно выделяется по отношению к остальным, подчеркивая, что его релевантность намного выше, чем у остальных компонентов вместе взятых, подтверждая, что однофакторная структура является наиболее подходящей для анкеты. Эта таблица была перепечатана из López-de-Arana Prado et al.9. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-12
Рисунок 12: Преобразование файла результатов в формат ASCII в фиксированном формате. (1) Нажмите на значок фиксированного текста ; (2) Выберите Fixed ASCII в меню Сохранить как тип; (3) нажмите на значок «Сохранить ». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-13
Рисунок 13: Выполнение подтверждающего факторного анализа с помощью пакета статистического программного обеспечения 2. (1) Нажмите на значок «Прочитать данные »; (2) Выберите файл ASCII в меню «Образец»; (3) Нажмите на значок «Открыть набор данных для одной группы »; (4) Нажмите на значок «Настроить анализ »; (5) Выберите Подтверждающий факторный анализ в опции Детализированный; (6) нажмите на значок OK ; (7) нажмите на значок «Вычислить ». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

7. Оптимизация анкеты под одну главную составляющую, уменьшение избыточных позиций по принципу экономии

  1. Определите элементы для удаления в оптимизированной версии анкеты, которые имеют обратную связь с главным компонентом.
    1. Просмотрите матрицу компонентов, полученную на шаге 6.5 с использованием пакета статистического программного обеспечения 1 , чтобы определить, какие элементы демонстрируют обратную зависимость с главным фактором. Исключите эти пункты из сокращенной и оптимизированной версии анкеты для одного фактора.
      ПРИМЕЧАНИЕ: На основе матрицы баллов каждого элемента для основного компонента, пункты 6, 16, 28 и 35 были исключены из окончательной конфигурации, поскольку они демонстрировали обратную зависимость с главным компонентом. Поскольку анкета предлагает единый итоговый балл, обратные элементы должны быть исключены, поскольку они маскируют реальные различия между пользователями анкеты.
  2. Выполнение надежного невзвешенного факторного анализа методом наименьших квадратов (RULS) с помощью пакета статистического программного обеспечения 2.
    1. Чтобы выполнить этот анализ, выберите «Чтение данных», затем в диалоговом окне «Образец» нажмите «Обзор » и выберите ранее созданный файл ASCII. Количество участников и переменных будет отображаться зеленым цветом в разделе Размер матриц данных .
    2. Далее нажмите на иконку «Открыть набор данных одной группы » и вернитесь в главное меню пакета статистического программного обеспечения 2. В Главном меню нажмите на Настроить анализ. В диалоговом меню выберите пункт «Исследовательский факторный анализ» и нажмите кнопку «Подтвердить ».
    3. В меню конфигурации исследовательского факторного анализа выберите элементы с обратной зависимостью от главного компонента в соответствии с исследовательским факторным анализом, проведенным с помощью пакета статистического программного обеспечения 1, и переместите их в поле с блоком исключенных переменных.
    4. Затем отметьте опции « Матрица корреляции Пирсона » и «Параллельный анализ », измените значение параметра «Число факторов/компонентов» на 1 и выберите «Надежный факторный анализ » (см. рисунок 14). Наконец, нажмите кнопку «Подтвердить», чтобы вернуться в главное меню, а затем нажмите «Вычислить», чтобы сгенерировать результаты.
  3. Определите элементы для удаления из оптимизированной версии анкеты, у которых показатель адекватности выборки (MSA) ниже 0,49 MSA. Для этого просмотрите результаты, полученные с помощью исследовательского факторного анализа RULS с помощью пакета статистического программного обеспечения 2, в частности, индексы местоположения элемента и индексы достаточности элемента.
    ПРИМЕЧАНИЕ: Исследовательский факторный анализ RULS предлагает отбросить 14 элементов, чтобы адаптировать конструкцию к одному главному компоненту: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 и 42. В результате получается окончательная конфигурация из 27 элементов, оптимизированных для одного главного компонента, с высокой психометрической устойчивостью. Эта версия получила название QaSLu-27 (образец проекта анкеты представлен в качестве Дополнительного файла 4).

figure-protocol-14
Рисунок 14: Выполнение надежного метода невзвешенных наименьших квадратов с помощью пакета статистического программного обеспечения 2. (1) Нажмите на значок «Прочитать данные »; (2) Выберите файл ASCII в меню «Образец»; (3) Нажмите на значок «Открыть набор данных для одной группы »; (4) Нажмите на значок «Настроить анализ »; (5) Выберите «Разведочный факторный анализ» в опции «Детализированный»; (6) Проверьте опции Корреляционная матрица Пирсона и Параллельный анализ ; (7) Измените количество факторов/компонентов на 1; (8) отметьте Надежный факторный анализ в опциях; (9) нажмите на кнопку «Подтвердить »; (10) Нажмите на значок «Вычислить ». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

8. Рассмотрение адекватности психометрических свойств QaSLu-27 по отношению к QaSLu-45.

  1. Повторно примените шаг 6.4, исключив из анализа любые пункты, которые не являются частью оптимизированной версии анкеты.
  2. Повторно примените шаг 6.5, исключив из анализа любые пункты, которые не являются частью оптимизированной версии анкеты.
  3. Повторно примените шаг 6.7, исключив из анализа любые пункты, которые не являются частью оптимизированной версии анкеты.
  4. Сравните адекватность психометрических свойств оптимизированного варианта опросника с исходным вариантом в табличном формате.
    Значительное улучшение наблюдалось в тесте на адекватность выборки KMO (KMO = 0,863) и тесте сферичности Бартлетта (χ2 = 1447,76; p = 0,000). Факторный анализ главных компонент с QaSLu-27 выявил семь компонент с собственными значениями > 1,0, что составляет 65,59% от общей дисперсии. Надежная статистика пригодности, определенная с помощью CFA, показала несколько улучшенные результаты, а надежность, измеренная альфа Кронбаха, увеличилась (α = 0,92), несмотря на то, что QaSLu-27 содержит всего 27 элементов вместо 45. Эти результаты подтверждают вывод о том, что достоверность и надежность окончательной конфигурации значительно выше, чем у версии из 45 элементов.

9. Разработка рейтинговых шкал

  1. Создайте новую переменную, суммировав баллы по всем пунктам в оптимизированной версии анкеты.
    1. Выберите пункт Меню преобразования > поле Вычислить переменную и назовите новую переменную как SUM27 в диалоговом окне Вычислительная переменная .
    2. Выберите функцию «Сумма» и заполните числовое выражение, включая элементы из оптимизированной версии анкеты. Наконец, нажмите на значок OK , чтобы сгенерировать новую переменную SUM27 (см. рисунок 15).
  2. Рассчитайте различные процентили конечного результата из оптимизированной версии анкеты.
    1. Выберите меню «Анализ» > «Описательная статистика > частоты» и в диалоговом окне «Частоты » выберите переменную SUM27 и переместите ее в поле «Переменные», щелкнув значок со стрелкой.
    2. Затем щелкните значок «Статистика », выберите «Процентили» и добавьте следующие процентили: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 и 99. Нажмите на значок «Продолжить », чтобы вернуться в диалоговое окно «Частоты». Наконец, нажмите на значок OK , чтобы сгенерировать желаемые процентили для SUM27 (см. рисунок 1).
    3. Повторите этот процесс для каждой шкалы оценки, применив фильтры в соответствии с добавленными переменными. Для этого нажмите на значок «Разделить файл », выберите каждую номинальную или порядковую переменную, которая считается релевантной, выберите «Организовать вывод по группам», нажмите на значок со стрелкой и, наконец, нажмите на значок OK , чтобы сгенерировать желаемые процентили для SUM27, отфильтрованные по каждой переменной.
  3. Создайте таблицу для каждой шкалы оценки.
    1. Создайте строку для заголовков таблиц, за которой следует строка для Низкий (с подстроками для процентилей 1, 10 и 20), Средний/Низкий (с подстроками для процентилей 30 и 40), Средний (процентиль 50), Средний/Высокий (с подстроками для процентилей 60 и 70) и Высокий (с подстроками для процентилей 80, 90 и 99).
    2. В строке заголовка создайте несколько столбцов: первый с меткой Level (с именами уровней, перечисленными ниже), второй с меткой Percentile (с каждым процентилем, перечисленным ниже), и, начиная с третьего столбца, перечислите названия различных условий переменной, выбранной для каждой таблицы.
    3. Заполните таблицу диапазоном баллов для процентилей, рассчитанных ранее. То есть, процентиль 1 = 0 -, процентиль 4, процентиль 10 = процентиль 5 - процентиль 14, процентиль 20 = процентиль 15 - процентиль 24, процентиль 30 = процентиль 25 - процентиль 34, процентиль 40 = процентиль 35 - процентиль 44, процентиль 50 = процентиль 45 - процентиль 54, процентиль 60 = процентиль 55 - процентиль 64, процентиль 70 = процентиль 65 - процентиль 74, процентиль 80 = процентиль 75 - процентиль 84, процентиль 90 = процентиль 85 - процентиль 94, и Процентиль 99 = Процентиль 95 -Процентиль 99. Повторите этот процесс для каждой шкалы оценки с выбранными номинальными или порядковыми переменными.

figure-protocol-15
Рисунок 15: Создание новой переменной путем суммирования баллов по всем элементам в пакете статистического программного обеспечения 1. (1) Нажмите на иконку "Вычислить переменную "; (2) Выберите функцию Сумма; (3) заполните Числовое выражение всеми пунктами; (4) Присвойте имя новой переменной; (5) нажмите на значок OK . Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Следуя этому строгому качественно-количественному протоколу валидации, мы разработали надежный, оптимизированный и экономный инструмент для самооценки опыта обучения в университетах под названием QaSLu (Опросник для самооценки опыта обучения на службе в высшем образовании). Этот окончательный инструмент получил качественное одобрение от 16 экспертов SL по методу Дельфи с двумя раундами онлайн-консультаций и адаптаций, а также надежной количественной валидацией с помощью конфирматорного ф...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Методы, используемые для валидации приборов, имеют ряд преимуществ. Метод Дельфи облегчил сбор информации от группы экспертов, что позволило систематизировать эту информацию для анализа. Это позволило осуществить отбор и уточнение ответов на основе экспертных оценок и предложений 32,47,48,49. Кроме того, этот подход дал значительные результаты в относительно ко...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторам нечего раскрывать.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы выражают благодарность Национальной комиссии по научным и технологическим исследованиям Чили (CONICYT Fondecyt/Initiation), а также всем экспертам, участвовавшим в качественной валидации по методу Дельфи, и всем участникам количественной валидации и оценки.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Encuestafacil.com SaasEncuestafacil.com2025Программное обеспечение как услуга в Encuestafacil.com на частном сервере данных
Факторный анализUniversitat Rovira i Virgili12.06.07Программный комплекс, используемый при факторном анализе данных
Статистический пакет для социальных наук (SPSS)IBM24Программный комплекс, используемый при статистическом анализе данных

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

Похожие статьи