대학 서비스 학습의 질을 평가하기 위한 평가 척도를 사용한 도구의 정성적 및 정량적 검증

대학 봉사 학습이라는 새로운 분야에서는 정성적 및 양적 신뢰성과 타당성을 결합하고 쉽게 사용할 수 있을 만큼 간략한 표준화된 도구가 부족합니다. 등급과 척도를 통합하면 전문가 간의 비교를 통해 대학 서비스 학습의 질을 평가할 수 있습니다. 현재 이를 달성하는 다른 도구는 없습니다.

QaSLu는 간결한 원칙에 따라 엄격한 정성적 및 정량적 검증 프로세스를 통해 만들어진 최초의 도구입니다. 그것은 짧지만 과학적으로 매우 강력합니다. 이 프로토콜은 유효하고 견고하며 실용적인 새로운 과학 기기를 위한 길을 설정합니다.

서비스 학습뿐만 아니라 교육 분야 전반에서도. 우리는 다른 다른 그룹에 대한 새로운 등급과 척도를 만들고 참여 샘플을 확장하여 QaSLu의 가치를 개선하고 다양한 맥락에서 유용하게 만들 계획입니다. 시작하려면 데스크톱에서 QaSLu의 첫 번째 초안을 만듭니다.

서비스 학습 경험을 평가하는 데 인정되는 기본 도구의 항목에 대한 콘텐츠 분석을 수행합니다. 품질 표준을 정의하는 국제 도구와 서비스 학습 전문가 커뮤니티에서 인정하는 기본 루브릭의 항목을 검토합니다. 설계, 구현 및 평가와 같은 서비스 학습 경험 설계와 관련된 단계별로 모든 항목을 분류합니다.

그런 다음 초기 단계, 계획, 실행, 종료 및 복제와 같은 서비스 학습 적용에 따라 모든 항목을 분류합니다. 초안 도구를 평가하기 위해 대학 서비스 학습 전문가의 대규모 샘플을 선택합니다. 학문적 및 직업적 다양성, 지리적 다양성 및 성별 다양성을 갖춘 전문가 목록을 목표로 USL을 평가하기 위한 최종 전문가 그룹을 구성합니다.

1라운드의 전문가로부터 데이터를 받으면 분석, 비모수 테스트, 레거시 대화 및 K 관련 샘플을 순차적으로 클릭하여 관련성에 대한 Kendall의 일치 계수를 계산합니다. 테스트 유형에서 Kendall's W를 선택합니다. 그런 다음 관련성 및 명확성에 관한 전문가의 모든 응답을 선택합니다.

항목을 테스트 변수 목록으로 이동하고 확인을 클릭하여 분석을 실행합니다. 2라운드 전문가 피드백을 받은 후 Kendall의 일치 계수가 이전에 수행되었는지 재평가하고 매우 관련이 없는 것으로 평가된 항목을 제거합니다. 관련성이 높지만 불분명한 것으로 간주되는 항목을 재구성하여 대학 서비스 학습 경험의 자체 평가를 위한 설문지인 QaSLu-45의 최종 버전을 산출하기 위해 표현과 정확성을 개선합니다.

충분히 작성된 설문지를 얻으면 통계 소프트웨어 패키지 1을 사용하여 설문지의 내부 일관성을 평가합니다. 분석을 클릭한 다음 Scale을 클릭한 다음 Reliability Analysis를 클릭합니다. 대화 상자에서 알파를 선택한 다음 모든 관련 변수를 신뢰도 분석 대화 상자로 전송하고 확인을 클릭하여 출력을 생성합니다.

분석을 열어 통계 소프트웨어 패키지 1에서 탐색적 요인 분석을 수행한 다음 차원 축소를 클릭한 다음 요인을 클릭합니다. 요인 분석 대화 상자에서 모든 설문지 항목을 변수 상자로 전송한 다음 기술 및 KMO 및 Bartlett의 구형도 검정을 누르고 일변량 기술 정의를 선택합니다. 계속을 클릭합니다.

그런 다음 추출을 누르고 추출 방법으로 주성분을 선택합니다. 회전되지 않은 요인 솔루션 및 스크리 플롯에 대한 옵션을 선택한 다음 계속을 클릭하고 확인을 눌러 출력을 생성합니다. 주성분과 반비례 관계를 나타내는 제거 항목을 식별합니다.

탐색적 요인 분석 결과에서 얻은 성분 행렬을 사용하여 주요인에 음의 부하가 있는 항목에 플래그를 지정하고 QaSLu의 축소되고 최적화된 단일 요인 버전에서 제외합니다. 다음으로, 통계 소프트웨어 패키지 2를 사용하여 확증적 요인 분석을 수행하여 1요인 모델의 적합도를 평가합니다. 데이터 읽기를 선택하고 샘플 대화 상자에서 찾아보기를 클릭한 다음 이전에 만든 ASCII 데이터 파일을 선택합니다.

참가자 및 변수 수가 데이터 행렬의 크기에 녹색으로 표시되는지 확인합니다. 이제 단일 그룹 데이터 세트 열기를 누르고 기본 메뉴로 돌아갑니다. 기본 메뉴에서 분석 구성을 클릭한 다음 대화 상자 메뉴에서 확증적 요인 분석을 선택하고 CFA:요인 분석 구성 창에서 확인을 클릭합니다.

기본 설정을 수락하고 확인을 클릭하여 기본 메뉴로 돌아갑니다. 메시지가 표시되면 확증 요인 분석이 준비되었습니다! 가 나타나면 계산 버튼을 클릭하고 결과를 기다립니다.

그런 다음 통계 소프트웨어 패키지 2를 열어 강력한 가중치가 없는 최소 제곱 탐색적 요인 분석을 수행합니다. 데이터 읽기를 선택한 다음 샘플 대화 상자에서 찾아보기를 클릭하고 이전에 만든 ASCII 파일을 선택합니다. 참가자 수와 변수는 데이터 행렬 크기 섹션에 녹색으로 표시됩니다.

이제 단일 그룹 데이터 세트 열기 아이콘을 클릭하여 기본 메뉴로 돌아갑니다. 메인 메뉴에서 분석 구성을 클릭한 다음 대화 메뉴에서 탐색적 요인 분석을 선택하고 확인 버튼을 클릭합니다. 탐색적 요인 분석 구성 메뉴에서 주성분과 반비례 관계를 갖는 것으로 식별된 항목을 선택하고 제외된 변수 상자로 이동합니다.

이제 Pearson 상관 행렬 및 병렬 분석 옵션을 선택하고 요인 또는 성분 수를 1로 설정한 다음 강력한 요인 분석을 선택합니다. 확인을 클릭하여 기본 메뉴로 돌아간 다음 계산을 클릭하여 결과를 생성합니다. 샘플링 적정성 또는 MSA 점수가 0.49 미만인 제거 항목을 식별하려면 통계 소프트웨어 패키지 2를 사용하여 RULS 탐색적 요인 분석에서 얻은 결과, 특히 항목 위치 및 항목 적정성 지수를 검토하고 QaSLu의 축소된 최적화된 단일 요인 버전에서 제외합니다.

변환 메뉴를 선택하고 변수 계산을 눌러 제거된 항목이 없는 통계 소프트웨어 패키지에 새 변수를 만듭니다. 새 변수의 이름을 SUM 27로 지정한 다음 SUM 함수를 선택하고 최적화된 항목 목록으로 숫자 표현식을 완성합니다. 확인을 클릭하여 새 변수 SUM 27을 생성합니다.

분석을 선택한 다음 기술 통계량 및 빈도를 선택하여 SUM 27에 대한 백분위수를 계산합니다. SUM 27을 변수 상자로 이동한 다음 통계 아이콘을 클릭합니다. 백분위수를 선택하고 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 및 99를 더합니다.

계속을 클릭한 다음 확인을 클릭하여 백분위수를 생성합니다. 파일 분할 아이콘을 클릭하고 각 관련 변수를 선택하여 각 등급 척도에 대해 백분위수 절차를 반복한 다음 그룹별로 출력 구성을 선택합니다. 화살표 버튼을 클릭하고 확인을 눌러 SUM 27에 대한 그룹화된 백분위수를 생성합니다.

각 등급 척도에 대한 표를 만들려면 먼저 제목 행과 지정된 백분위수 하위 행이 있는 낮음, 중간/낮음, 중간, 중간/높음 및 높음 수준에 대한 행을 추가합니다. 제목 행에서 수준 열, 백분위수 열 및 선택한 변수의 조건에 대한 추가 열을 추가합니다. 계산된 백분위수에 매핑된 점수 범위로 각 테이블을 작성합니다.

참여 샘플에서 얻은 결과는 연구에 사용된 평가 척도를 기반으로 확립된 비교에 제시됩니다. 각 범주의 다른 순위는 그 사이의 중간 지점으로 구성되었습니다. 예를 들어, 50번째 백분위수는 45번째 백분위수와 54번째 백분위수의 점수에서 얻었습니다.

1번째 및 99번째 백분위수를 제외한 모든 순위는 4번째 및 95번째 백분위수에 가능한 점수 조정에 해당하는 완벽하게 제한된 범위를 보여줍니다. 이러한 각 척도를 사용하면 특성에 따라 적절한 평가 척도를 선택하여 각 관점 사용자의 점수를 비교할 수 있습니다.