Качественная и количественная валидация инструментов с рейтинговыми шкалами, направленных на оценку качества обучения в вузе
29 августа 2025 г.
В данной статье описан протокол качественной и количественной валидации университетского инструмента обучения служению в соответствии с критерием экономии для создания наиболее надежной и оптимальной версии. Для этой цели используется метод качественной валидации Дельфи и робастный невзвешенный факторный анализ методом наименьших квадратов в качестве количественного метода оптимизации элементов.
В развивающейся области университетского обучения на службе нам не хватает стандартизированных инструментов, сочетающих в себе надежность и валидность, как качественную, так и количественную, и достаточно кратких, чтобы их можно было легко использовать. Включение рейтинга и шкал позволяет сравнивать специалистов для оценки качества обучения в университете. В настоящее время нет другого инструмента, который бы этого достиг.
QaSLu — это первый инструмент, созданный в результате строгого процесса качественной и количественной валидации, руководствуясь принципом экономии. Он краток, но чрезвычайно научно обоснован. Этот протокол прокладывает путь вперед для новых научных инструментов, которые являются действительными, надежными и практичными.
Не только для обучения на службе, но и в области образования в целом. Мы планируем создать новые рейтинги и шкалы для других различных групп, а также расширить участвующую выборку, чтобы улучшить оценку QaSLu и сделать ее полезной в различных контекстах. Для начала создайте первый черновик QaSLu на настольном компьютере.
Проведите контент-анализ элементов из основных инструментов, признанных для оценки опыта обучения на службе. Просматривайте элементы из международных инструментов, определяющих стандарты качества, и из основных рубрик, признанных экспертным сообществом по обучению на службе. Классифицируйте все элементы по этапам, связанным с проектированием опыта обучения услугам, таким как проектирование, реализация и оценка.
Затем классифицируйте все элементы по применению сервис-обучения, такие как начальная фаза, планирование, выполнение, закрытие и репликация. Выберите большую выборку экспертов в области университетского обучения для оценки проекта документа. Сформировать окончательную экспертную группу для оценки окончательного инструмента оценки USL с целью составления списка экспертов с академическим и профессиональным разнообразием, географическим разнообразием и гендерным разнообразием.
После того, как данные от экспертов в раунде 1 будут получены, рассчитайте коэффициент соответствия Кендалла для релевантности, последовательно нажимая на «Анализ», «Непараметрические тесты», «Устаревшие диалоги» и «K связанных образцов». Выберите W Кендалла в разделе Тип теста. Затем выберите все ответы экспертов относительно актуальности и ясности.
Переместите элементы в список тестовых переменных и нажмите кнопку OK, чтобы запустить анализ. После получения отзывов экспертов раунда 2 повторите оценку коэффициента соответствия Кендалла, сделанную ранее, и удалите пункты, оцененные как крайне нерелевантные. Переформулируйте пункты, которые считаются очень актуальными, но неясными, чтобы улучшить формулировки и точность, чтобы получить окончательную версию Анкеты для самооценки опыта обучения в университетах, QaSLu-45.
После того, как будет получено достаточное количество заполненных вопросников, оцените внутреннюю согласованность вопросника с помощью первого пакета статистического программного обеспечения. Нажмите «Анализ», затем «Масштаб», затем «Анализ надежности». Выберите «Альфа» в диалоговом окне, затем перенесите все соответствующие переменные в диалоговое окно «Анализ надежности» и нажмите «ОК», чтобы создать выходные данные.
Выполните исследовательский факторный анализ в первом пакете статистического программного обеспечения, открыв «Анализ», затем нажмите «Уменьшение размерности», а затем «Фактор». В диалоговом окне «Факторный анализ» перенесите все элементы анкеты в поле «Переменные», затем нажмите «Описания» и «KMO и тест сферичности Бартлетта» и выберите «Одномерные описания». Нажмите «Продолжить».
Затем нажмите «Извлечение» и выберите «Главные компоненты» в качестве метода извлечения. Отметьте опции для решения Unrotated factor и Scree plot, затем нажмите Continue и нажмите OK, чтобы создать выходные данные. Определите для удаления элементы, которые имеют обратную связь с главным компонентом.
Используя матрицу компонентов, полученную по результатам исследовательского факторного анализа, пометить элементы с отрицательными нагрузками по главному фактору и исключить их из сокращенной, оптимизированной однофакторной версии QaSLu. Затем выполните подтверждающий факторный анализ с помощью второго пакета статистического программного обеспечения, чтобы оценить правильность соответствия однофакторной модели. Выберите «Чтение данных», нажмите «Обзор» в диалоговом окне «Образец» и выберите ранее созданный файл данных ASCII.
Убедитесь, что количество участников и переменных отображается зеленым цветом в поле Размер матриц данных. Теперь нажмите «Открыть набор данных одной группы» и вернитесь в главное меню. Нажмите «Настроить анализ» в главном меню, затем отметьте галочкой «Подтверждающий факторный анализ» в диалоговом меню и нажмите «Подтвердить» в окне настройки CFA:Факторный анализ.
Примите настройки по умолчанию и нажмите «Подтвердить», чтобы вернуться в главное меню. Когда сообщение, Подтверждающий факторный анализ готов! , нажмите на кнопку «Вычислить» и дождитесь результатов.
Затем откройте второй пакет статистического программного обеспечения, чтобы выполнить надежный невзвешенный исследовательский факторный анализ методом наименьших квадратов. Выберите «Чтение данных», затем нажмите «Обзор» в диалоговом окне «Образец» и выберите ранее созданный файл ASCII. Количество участников и переменных будет отображаться зеленым цветом в разделе Размер матриц данных.
Теперь нажмите на иконку «Открыть набор данных для одной группы», чтобы вернуться в главное меню. В главном меню нажмите «Настроить анализ», затем в диалоговом меню выберите «Исследовательский факторный анализ» и нажмите кнопку «Подтвердить». В меню Конфигурация исследовательского факторного анализа выберите элементы, определенные как имеющие обратную связь с главным компонентом, и переместите их в поле Исключенные переменные.
Теперь отметьте параметры «Матрица корреляции Пирсона» и «Параллельный анализ», установите для параметра «Число факторов или компонентов» значение 1 и выберите «Надежный факторный анализ». Нажмите кнопку Подтвердить, чтобы вернуться в главное меню, а затем нажмите кнопку Вычислить, чтобы получить результаты. Чтобы определить подлежащие исключению элементы с показателем адекватности выборки или оценкой MSA ниже 0,49, просмотрите результаты, полученные в результате исследовательского факторного анализа RULS с помощью второго пакета статистического программного обеспечения, в частности, индексы местоположения элемента и достаточности элемента, и исключите их из сокращенной оптимизированной однофакторной версии QaSLu.
Создайте новую переменную в пакете статистического программного обеспечения One без исключенных элементов, выбрав меню Transform и нажав Compute Variable. Назовите новую переменную как SUM 27, затем выберите функцию SUM и завершите числовое выражение оптимизированным списком элементов. Нажмите кнопку OK, чтобы создать новую переменную SUM 27.
Рассчитайте процентили для SUM 27, выбрав «Анализ», а затем «Описательная статистика» и «Частоты». Переместите SUM 27 в поле «Переменные», затем нажмите на значок «Статистика». Выберите Процентили и добавьте 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 и 99.
Нажмите «Продолжить», затем OK, чтобы создать процентили. Повторите процедуру процентиля для каждой шкалы оценки, щелкнув значок «Разделить файл» и выбрав каждую соответствующую переменную, затем выберите «Организовать вывод по группам». Нажмите кнопку со стрелкой и нажмите OK, чтобы создать сгруппированные процентили для SUM 27.
Чтобы создать таблицу для каждой шкалы оценки, сначала добавьте строку заголовка и строки для уровней Низкий, Средний/Низкий, Средний, Средний/Высокий и Высокий с указанными подстроками процентиля. В строке заголовка добавьте столбец Уровень, столбец Процентиль и дополнительные столбцы для условий выбранной переменной. Заполните каждую таблицу диапазонами баллов, сопоставленными с вычисленными процентилями.
Результаты, полученные из участвующей выборки, представлены для установленных сравнений на основе шкал оценки, использованных в исследовании. Различные ранги для каждой категории состояли из промежуточных баллов между ними. Например, 50-й процентиль был получен из баллов 45-го процентиля и 54-го процентиля.
Все ранги, кроме 1-го и 99-го процентилей, показывают идеально ограниченные диапазоны, соответствующие 4-му и 95-му процентилям плюс любые возможные корректировки баллов. Каждая из этих шкал позволяет сравнивать баллы каждого потенциального пользователя, выбирая подходящую шкалу оценки в соответствии с его характеристиками.
Просмотрите полный транскрипт и получите доступ к тысячам научных видео
Обзор
В данной работе представлен инструмент QaSLu — первый стандартизированный инструмент для оценки университетских программ обучения через служение. В нем сочетаются качественные и количественные методы валидации, что обеспечивает надежность и достоверность результатов при сохранении краткости инструмента.
Основные компоненты исследования
Область науки
- Университетское социально-ориентированное обучение
- Валидация приборов
- Качественные и количественные методы исследования
Теоретические сведения
- В сфере обучения через служение отсутствуют стандартизированные инструменты оценки.
- Существующие инструменты не обеспечивают надлежащего сочетания надежности и валидности.
- Существует потребность в кратком, но научно обоснованном инструменте оценки.
- QaSLu призван восполнить этот пробел в данной области.
Цель исследования
- Создать надежный и валидный инструмент для оценки сервисного обучения в университете.
- Использовать качественные и количественные методы для проведения валидации.
- Придерживаться принципа парсимонии (экономии) при разработке инструмента.
Используемые методы
- Метод качественной валидации Дельфи
- Робастный эксплораторный факторный анализ методом невзвешенных наименьших квадратов
- Методы оптимизации пунктов
- Сравнительный анализ качества обучения через служение
Основные результаты
- Валидация QaSLu была проведена с помощью строгих качественных и количественных методов.
- Инструмент является кратким, но при этом надежным, что позволяет проводить эффективную оценку.
- Он создает прецедент для будущих научных инструментов в данной области.
- Конструкция инструмента облегчает проведение сравнительного анализа между специалистами.
Выводы
- QaSLu представляет собой практическое решение для оценки программ обучения через служение.
- Данное исследование демонстрирует важность строгой валидации при разработке инструментария.
- Этот протокол может служить руководством для будущих исследований по созданию валидных и надежных научных инструментов.
Часто задаваемые вопросы
Значимость для промышленности
Надежная валидация измерительных инструментов имеет решающее значение для получения достоверных, воспроизводимых и практически значимых данных в исследованиях на этапе раннего поиска и трансляционных исследованиях. Протокол QaSLu-27 демонстрирует строгий, статистически обоснованный подход к разработке инструментов, что обеспечивает прогностическую достоверность и сопоставимость результатов различных исследований. Такие валидированные инструменты позволяют научно-исследовательским группам предприятий стандартизировать оценку качества и оптимизировать распределение ресурсов в рамках различных исследовательских инициатив.
Стратегическое применение в биофармацевтических исследованиях и разработках
Ранний поиск и валидация мишеней
- Обеспечивает строгое тестирование гипотез с помощью валидированных инструментов количественного измерения.
- Способствует снижению биологических рисков за счет обеспечения надежности и четкости измерений.
- Облегчает приоритизацию портфеля проектов путем предоставления стандартизированных и сопоставимых метрик качества.
Скрининг и разработка анализа
- Подготовка валидированных шкал оценки для последующих рабочих процессов скрининга и анализа.
- Повышение воспроизводимости и стандартизации анализа посредством психометрической валидации.
- Обеспечение масштабируемого внедрения инструментов оценки качества между различными исследовательскими группами.
Трансляционные и доклинические исследования
- Приведение инструментов измерения в соответствие с потребностями трансляционных исследований для единообразной интерпретации данных.
- Обеспечение преемственности от этапа открытия до доклинической валидации за счет возможности проведения надежных сравнений.
- Снижение риска систематической ошибки измерения в многоцентровых исследованиях или исследованиях с участием нескольких когорт.
Интеграция конвейера и рабочих процессов
Рабочий процесс валидации QaSLu-27 служит примером передовых методов интеграции новых инструментов измерения — от этапа первичного поиска до фаз доклинических исследований.
- Биология открытий: обеспечивает основу для разработки методов измерения на базе гипотез с применением статистической валидации.
- Скрининг: позволяет получать воспроизводимые количественные результаты для достоверного сравнения условий.
- Аналитика: обеспечивает проведение надежного статистического анализа, включая факторный анализ и расчет показателей на основе процентилей.
- Трансляционные исследования: поддерживают сопоставимость данных в различных контекстах и их гармонизацию.
- Корпоративное повторное использование: создает масштабируемый и адаптивный протокол для разработки приборов в будущем.
Операционное и корпоративное воздействие
- Научная ценность: Повышает прогностическую достоверность и снижает неопределенность измерений.
- Операционная ценность: Способствует стандартизации, воспроизводимости и масштабируемости инструментов оценки.
- Стратегическая ценность: Обосновывает решения о продолжении или прекращении разработки (go/no-go) и повышает эффективность использования капитала за счет снижения рисков при измерениях.
- Влияние на портфель: Обеспечивает приоритизацию и продвижение исследовательских программ с учетом рисков.
Особенности реализации
- Требуются экспертные знания в области психометрики, статистического анализа и разработки инструментов измерения.
- Необходим доступ к статистическому программному обеспечению для проведения факторного анализа и проверки надежности.
- Требуется согласование стандартов измерения и критериев валидации между исследовательскими группами.
- Может потребоваться адаптация для использования в различных областях исследований или для разных популяций.
- Результаты зависят от достаточного объема выборки и экспертной оценки для обеспечения надежной валидации.
