방법 논문

대학 서비스 학습의 질을 평가하기 위한 평가 척도를 사용한 도구의 정성적 및 정량적 검증

DOI:

10.3791/68648

⸱

2025년 8월 29일

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

이 논문에서

요약

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 백서는 가능한 가장 강력하고 최적의 버전을 만들기 위해 간결한 기준에 따라 대학 서비스 학습 도구를 정성적 및 정량적으로 검증하기 위한 프로토콜을 간략하게 설명합니다. 이를 위해 정량적 항목 최적화 방법인 Delphi 정성적 검증 방법과 Robust Unweighted Unleast Squares Exploratory Factor Analysis가 활용됩니다.

초록

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

서비스 학습(SL)은 최근 몇 년 동안 이론과 실습 사이의 격차를 해소하는 동시에 실제 시나리오에서 학습을 맥락화하는 매우 효과적인 학습 방법론이 되었습니다. 이는 모든 수준의 고등 교육에서 성공적으로 구현되어 대학생들의 기술이 눈에 띄게 향상되었습니다. 그러나 혁신적인 방법론으로서 SL은 평가 방법 측면에서 아직 개발 초기 단계에 있습니다. 결과적으로, SL을 실제 상황에 적용하는 것이 주요 가치이기 때문에 신뢰할 수 있고 무엇보다도 유효한 측정 장비를 설계하고 검증해야 할 시급한 필요성이 있습니다. 이 논문은 검소함의 원칙에 따라 대학 교수의 관점에서 대학 수준의 SL 경험의 품질을 평가하기 위해 대학 SL 도구를 최적으로 설계하고 검증하는 방법을 보여줍니다. 온라인 수정 델파이 방법, 강력한 가중치 없는 최소 제곱 탐색적 요인 분석 및 확증적 요인 분석을 적용하여 온라인 수정된 델파이 방법을 사용하는 16명의 전문가와 SL 프로젝트를 구현하는 118명의 대학 교사 샘플을 통해 검증된 새로운 도구인 QaSLu-27을 만들었습니다. 결과는 새 기기에 대한 최적의 심리 측정 조건을 보여줍니다(W = 0.11; α = 0.92; CMIN/DF=1.027; CFI= 0.979; WRMR= 0.0985; RMSEA= 0.046), 귀속 및 인구통계학적 특성을 고려하여 이 방법론의 미래 사용자를 비교할 수 있는 새로운 평가 척도가 개발되었습니다. 현실 세계에서 사용할 수 있고 저울을 생성할 수 있는 검증된 새로운 도구의 설계는 SL에서 새로운 경험의 구현을 측정하고 진행 상황, 참가자, 관리자 및 모니터를 평가하는 데 매우 유용할 것이며 현재 학문적 틀과 새로운 과학 지식 생성에서 이 연구 분야의 확립에 기여합니다.

서론

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

학문적 학습과 지역 사회 봉사를 통합하는 교육적 접근 방식인 서비스학습(SL)은 현대 교육에서 점점 더 인정을 받고 있습니다. 이러한 교육학적 접근 방식을 통해 학생들은 교실 지식을 실제 문제에 적용하는 동시에 시민적 책임과 지역 사회 참여를 촉진할 수 있습니다1. 학생들에게 실용적인 전문 역량을 갖추고, 시민 참여를 촉진하며, 사회 문제에 대한 더 깊은 이해를 제공한다는 점에서 현재 교육에서 SL의 중요성은 아무리 강조해도 지나치지 않습니다2.

SL에 대한 최근 연구는 학문적 학습과 지역 사회 참여를 모두 향상시킬 수 있는 잠재력에 대한 인식이 높아짐에 따라 크게 성장했습니다. 이러한 성장은 학문적 발전을 촉진할 뿐만 아니라 사회적 과제를 해결하는 교육 모델에 대한 수요 증가에 의해 주도됩니다3. 학생들은 사회 정의 증진부터 학생들의 시민 의식 함양에 이르기까지 SL의 다양한 영향을 탐구했습니다4. 또한 서비스 학습 연구는 실제 문제 해결이 중요한 STEM, 의료 및 환경 과학과 같은 특정 분야에서의 적용에 점점 더 초점을 맞추고 있습니다5,6,7. 문헌 본문이 확장됨에 따라 연구자들은 서비스 학습이 학생과 그들이 봉사하는 지역 사회 모두에게 의미 있는 방식으로 이론과 실습 사이의 격차를 효과적으로 해소할 수 있는 방법을 탐구하기 시작했습니다8.

그러나 역할이 커지고 있음에도 불구하고 SL 프로그램의 효과를 측정하는 데는 중요한 과제가 남아 있습니다9. Furco10, Martín et al.11, Lorenzo 및 Belando-Montoro12, Shek et al.13 또는 Lu and Lambright14와 같은 루브릭 형태의 다양한 제안이 있는데, 이는 현장 연구에서 입증된 유용성에도 불구하고 아직 검증되지 않았습니다. 한편, Escofet-Roig et al.15, Rodríguez-Izquierdo16, León-Carrascosa et al.17, Ruiz-Ordoñez et al.18, Santos-Pastor et al.19 또는 Gul et al.20과 같은 다른 제안은 질적 검증이 부족하거나 매우 제한된 정량적 검증을 제시합니다. 이전 평가 도구에서 관찰된 다른 단점은 검소함의 원칙을 준수하기 위한 요소 및 항목의 최적화가 부족하고 평가 척도가 완전히 부족하다는 것입니다. 이러한 상황은 새로운 과학 분야에서 일반적이며 널리 사용할 수 있는 최적의 장비를 얻기 위해 모든 연구 영역이 거치는 자연스러운 과정입니다.

대학 교수의 관점에서 대학 수준의 SL 경험의 질을 평가하는 도구인 대학 봉사 학습 경험의 자체 평가를 위한 설문지(QaSLu)를 만들 당시 SL 경험의 품질을 보장하기 위한 표준을 정의한 가장 잘 알려진 도구는 다음과 같습니다. Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín 및 Rubio-Serrano (2017)25 및 Rubio-Serrano, Puig-Rovira, Martín 및 Palos (2015)26. 현재 추가 도구가 있지만 현재의 측정 도구는 특히 장기적인 개인 성장, 지역 사회 영향 측면에서 이러한 프로그램과 관련된 광범위하고 미묘한 학습 결과를 적절하게 포착하지 못하는 경우가 많으며, 일부는 지나치게 일반적이거나 엄격한 과학적 프레임워크를 기반으로 하지 않는 것으로 밝혀졌습니다 9,27. 측정 도구의 이러한 격차는 SL이 학생과 지역 사회 모두에 미치는 영향에 대한 포괄적인 이해와 최적화를 방해합니다.

SL 연구를 발전시키는 다음 단계는 과학적으로 엄격한 측정 장비를 개발하는 것입니다. 이러한 도구는 학업 성과를 포착할 뿐만 아니라 SL이 학생과 그들이 봉사하는 지역 사회에 미칠 수 있는 개인적, 사회적 영향을 평가하도록 설계되어야 합니다. 우리의 연구는 과학적 엄격함에 기반을 둔 도구를 만들고 SL 프로젝트에 대한 보다 포괄적인 평가를 제공하며 향후 구현을 안내함으로써 이러한 격차를 해소하는 것을 목표로 합니다.

기기를 만드는 것 외에도 먼저 정성적으로, 그 다음에는 정량적으로 검증됩니다. 초기 검증을 위해 수정된 온라인 Delphi 방법이 사용됩니다28. "수정된"이라는 용어는 델파이 방법을 두 차례의 협의로 제한하여 전문가 그룹 구성원의 탈락을 방지하려는 카베로의 제안을 의미합니다. "온라인"이라는 용어는 Cruz-Ramírez와 Rúa-Vásquez29에 의해 도입되어 인터넷이 항목 선택에 영향을 미칠 수 있는 집단 사고 또는 지배적인 전문가 의견의 영향과 같은 전통적인 델파이에 내재된 특정 한계를 극복하는 데 도움이 되기 때문에 상담이 이메일을 통해 수행되었음을 강조했습니다30,31.

수정된 온라인 Delphi 방법을 사용하여 두 가지 유형의 타당성을 평가합니다: Bakieva et al.의 연구32에 설명된 프로세스에 따라 각 항목의 관련성에 대해 전문가와 상담하는 구성 타당성과 전문가 상담을 통해 각 항목의 명확성을 평가하는 Gil 및 Pascual-Ezama33의 작업을 기반으로 한 내용 타당성.

전문가에게는 네 가지 응답 옵션(없음, 작음, 꽤 많음, 많음)이 포함된 리커트 척도가 제공됩니다. 중간 응답 대안을 도입하지 않음으로써 전문가는 각 항목34에 대해 찬성 또는 반대하는 확실한 입장을 취해야 하므로 설문지의 항목을 유지할지 또는 제거할지에 대한 의사 결정 과정이 용이해집니다.

정량적 검증과 관련하여 과학적 문제가 주어지면 동일한 조건에서 가장 짧은 솔루션이 바람직하다는 과학의 기본 원리인 검소의 법칙을 기반으로 합니다35,36. 따라서 가장 짧고 가장 최적화된 유효한 도구를 찾는 것은 신뢰성이나 타당성을 희생하지 않고 실제 상황에서 일상적인 사용을 위해 보다 실용적이고 수출 가능하며 일반적이며 동일한 과학적 보증을 제공합니다. 확증적 요인 분석(CFA)37 및 강력한 가중되지 않은 최소 제곱(RULS) 탐색적 요인 분석(38,39)은 불필요한 항목을 줄이고 기기의 최종 구조를 검증하기 위한 분석 기법으로 사용됩니다. 적합성 및 신뢰도 지수는 이전 구조에 대한 새로운 구조의 타당성을 나타내는 지표로 사용되며, 축소 및 최적화된 설문지의 새로운 구조의 적절성과 견고성을 보장하는 수준 내에서 최적화된 도구의 신뢰성과 타당성을 유지하거나 개선하기 위한 참고 자료로 사용됩니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

프로토콜

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 프로토콜은 2020년 칠레 과학기술연구위원회(CONICYT Fondecyt/Initiation)에 의해 승인 번호: 11170623로 윤리적으로 승인되었습니다. 외부 전문가 그룹이 전체 프로세스를 검토하고 검증했습니다. 헬싱키40 선언에 따라 참가자는 연구 참여에 대한 서면 동의서를 제공해야 했으며 어떠한 실험 조건에도 관여하지 않을 것임을 명확하게 전달했습니다.

1. QaSLu의 첫 번째 초안 설계

  1. SL 경험을 평가하기 위해 인식되는 기본 도구의 항목에 대한 콘텐츠 분석을 수행합니다. 이를 달성하기 위해 SL 경험의 품질을 보장하기 위한 표준을 정의하는 국제 도구의 항목과 SL 전문가 커뮤니티에서 인정하는 기본 루브릭을 검토했습니다.
    참고: 이 검토의 결과, QaSLu는 유럽 SL의 특징적인 초점인 사회 정의를 명시적으로 다루고 있습니다.
  2. SL 경험 설계와 관련된 단계(1. 디자인, 2. 구현, 3. 평가) 및 SL 경험의 적용(A. 초기 단계, B. 계획, C. 실행, D. 종료 및 복제).
    참고: 분류의 신뢰성을 보장하기 위해 절대적인 평가자 간 합의가 사용되었으며 모든 저자가 동의하는 분류만 수락했습니다.
  3. USL(University Service-Learning)을 평가하기 위한 도구의 첫 번째 초안에 대한 최종 항목을 선택합니다.
    1. 첫째, SL 경험의 설계 및 적용과 관련된 단계 모두에서 각 범주 내에서 중복 항목을 제거합니다.
    2. 둘째, 새 기기의 목표에 부합하지 않는 관련 없는 항목을 제거합니다.
    3. 마지막으로 대상 모집단(대학 교수진)과 연구 목표(SL 경험의 질 평가)에 맞게 항목을 생성하거나 조정합니다.
      참고: QaSLu는 대학 서비스 학습을 위해 설계되었습니다. 대부분의 도구는 대학 수준에서 SL의 품질을 평가했지만 이전 도구의 일부 항목을 재구성해야 했으며 QaSLu가 대학 상황에 완전히 적응할 수 있도록 새로운 항목을 만들었습니다.
  4. 연구 목표를 달성하기 위해 설문지의 첫 번째 초안을 디자인합니다.
    참고: QaSLu 초안은 쉽게 공유하고 수정할 수 있도록 Microsoft Word를 사용하여 작성되었습니다. 처음에는 54점 리커트 척도(절대, 드물게, 가끔, 거의 항상, 항상)를 통해 답변된 5개 항목으로 구성되었습니다. 설문지는 단일 요인 또는 주요 구성 요소 구조를 염두에 두고 설계되었으므로 최종 점수를 사용하여 표준화된 평가 척도를 통해 사용자의 특성에 따라 사용자를 비교할 수 있습니다.

2. 델파이 방법에 대한 전문가 그룹 선정

  1. 이전에 설계된 기기를 평가할 수 있는 USL 전문가의 대규모 샘플을 선택합니다. 이 과정에서 필수 포함 기준을 설정합니다. 1. USL 경험을 연구하고 설계/구현하는 데 최소 4년의 경험이 있어야 합니다. 2. 대학 학술 단체의 회원 자격; 그리고 3. 박사 과정 후보자 또는 박사 학위 소지자.
    참고: 포함 기준에 따라 USL 커뮤니티에서 중요한 역할을 할 수 있는 20명의 전문가 목록이 작성되었습니다.
  2. 2.1단계에서 선택된 모든 전문가에게 이메일을 보내 연구 목표, Delphi 방법의 단계, 예상 일정, 포함 기준을 설명하고 검증 프로세스에 참여할 수 있는 가용성 및 의지에 대해 질문하고 서면 동의서 수락.
    참고: 모든 전문가가 참여에 동의했습니다.
  3. USL을 평가하기 위한 최종 도구를 평가하기 위해 최종 전문가 그룹을 구성합니다. 참여에 동의한 전문가의 특성을 기반으로 새로운 포함 기준을 설정합니다. 전문가 그룹의 최종 구성은 다음을 목표로 했습니다. 1. 학문적 및 직업적 다양성, 즉 다양한 학문적 계층의 대표성; 2. SL 체험이 수행된 장소의 지리적 다양성; 그리고 3. 성별 다양성.
    참고: 16명의 USL 전문가가 전체 프로세스에 전념하고 완료했습니다. 최종 전문가 그룹은 여성 75%, 남성 25%로 구성되었습니다.

3. 수정된 온라인 델파이 방법을 통한 QaSLu 설문지의 정성적 검증

  1. 관련 지침(델파이 방법의 1라운드)과 함께 USL 평가를 위한 도구의 첫 번째 초안 항목을 평가하기 위한 템플릿과 함께 전문가 그룹의 각 구성원에게 이메일을 보냅니다.
    참고: 전문가들은 4점 리커트 척도를 사용하여 각 항목의 관련성(구성 타당성)과 명확성(내용 타당성)을 평가하며, 여기서 1은 "관련성이 없거나 명확하지 않음"을 나타내고 4는 "매우 관련성이 높거나 매우 명확함"을 나타냅니다. 각 항목 옆에는 관련성을 평가하는 상자와 명확성을 평가하는 상자가 있으며, 전문가는 각 항목을 1에서 4까지의 척도로 평가해야 합니다. 이 상자 아래에는 추가 섹션이 있어 평가를 질적으로 설명하고 항목에 대한 가능한 수정을 제안할 수 있습니다( 보충 파일 1로 제공된 설문지의 샘플 초안 참조). 중간 응답 옵션을 포함하지 않음으로써 전문가들은 명확한 입장을 취해야 했고, 이는 설문지 항목의 유지 또는 제거에 관한 의사 결정 과정을 용이하게 했습니다.
  2. Delphi 상담의 1라운드에 대한 전문가의 응답을 단일 파일로 수집합니다.
    참고: 전문가들은 템플릿에 있는 54개 항목의 관련성(구성 타당성) 및 명확성(내용 타당성) 평가를 완료하는 데 2주가 주어졌습니다.
  3. Kendall 계수를 계산하여 관련성과 명확성에 대한 전문가의 응답 간의 일치 수준을 결정합니다.
    1. 먼저 Analyze > Nonparametric Tests > Legacy Dialogs > K Related Samples 메뉴에 액세스합니다( 그림 1 참조). 관련성 및 명확성에 관한 전문가의 모든 응답을 선택합니다. 이 작업을 별도로 수행하고 먼저 관련성을 확보한 다음 명확성을 유지하십시오.
    2. 항목을 테스트 변수 목록 상자로 이동합니다. 테스트 유형 섹션에서 Kendall의 W 옵션을 선택합니다. 마지막으로 확인 을 클릭하여 분석을 실행하고 해당 결과를 얻습니다.
      참고: 일치성 분석 결과 관련성(구성 타당성)과 명확성(내용 타당성)에 대해 질문을 받은 전문가들 사이에 통계적으로 유의미한 합의가 있는 것으로 나타났습니다.
  4. 구성 타당성(관련성)과 내용 타당성(명확성)을 평가합니다.
    1. 통계 소프트웨어 패키지 1을 사용하여 기술 분석을 수행합니다. 먼저 기술 통계 > 빈도> 분석 메뉴를 선택하고 빈도 대화 상자에서 기기의 모든 항목에 대한 관련성 점수를 선택하고 화살표 아이콘을 클릭하여 변수 상자에 추가합니다.
    2. 그런 다음 통계 아이콘을 클릭하고 백분위수 상자를 선택한 다음 백분위수 25, 50 및 75를 빈도: 통계 대화 상자에 추가한 다음 계속 을 클릭하여 빈도 대화 상자로 돌아갑니다.
    3. 마지막으로 확인 아이콘을 클릭하여 각 항목에 대해 원하는 백분위수를 생성합니다( 그림 2 참조). 출력 후 기술 통계 분석 > 기술 통계> 이동하고 기술 대화 상자에서 기기의 모든 항목에 대한 명확도 점수를 선택하고 화살표 아이콘을 클릭하여 변수 상자에 추가합니다( 그림 3 참조). 마지막으로 확인 을 클릭하여 결과를 생성합니다.
  5. 전문가의 75%가 관련성이 매우 낮다고 생각하는 항목을 제거하고 관련성이 높지만 불분명하다고 평가된 항목을 재구성합니다.
    참고: 1차 협의 후 QaSLu의 초기 초안에서 10개 항목(항목 4, 5, 9, 16, 27, 45, 51, 52, 53 및 54)이 제거되었습니다. 또한 QaSLu 초안의 16개 항목(항목 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 및 49)이 재구성되었습니다. 재구성 또는 표현 변경은 전문가의 제안을 기반으로 했습니다.
  6. 다음을 포함하는 협의 1라운드에 대한 결과 보고서를 준비합니다. 1. 관련성 또는 구성 타당성에 대한 합의 수준에 관한 결과(Kendall의 계수) 2. 의사결정 기준 설정 3. 검증된 항목의 수; 4. 제거된 항목의 수; 5. 아직 검토 중인 재구성된 항목의 수; 그리고 6. USL을 평가하기 위한 기기의 수정된 버전입니다.
    참고: 이 보고서를 작성한 목적은 과도한 데이터로 전문가 그룹을 압도하지 않고 향후 평가에 영향을 미치지 않고 전문가 그룹에 알리는 것이었습니다.
  7. 특정 지침(델파이 방법 2라운드)과 함께 USL 평가를 위한 수정된 버전의 도구에서 재구성된 항목을 평가하기 위한 템플릿과 함께 상담 1라운드 결과에 대한 보고서와 함께 전문가 그룹의 각 구성원에게 이메일을 보냅니다.
    참고: 전문가들은 4점 리커트 척도를 사용하여 재구성된 각 항목의 명확성(내용 타당성)을 평가하며, 여기서 1은 "관련성이 없거나 명확하지 않음"을 나타내고 4는 "매우 관련성이 높거나 매우 명확한"을 나타냅니다. 각 항목 옆에는 1에서 4까지의 숫자가 있는 명확성을 평가하는 상자가 있고, 그 뒤에는 평가를 정성적으로 설명하고 항목에 대한 추가 수정 가능성을 제안할 수 있는 또 다른 섹션이 있습니다( 보충 파일 2로 제공된 설문지의 샘플 초안 참조). 중간 대응 옵션을 도입하지 않음으로써 전문가들은 해당 항목에 찬성하거나 반대하는 결정적인 입장을 취할 수밖에 없었습니다. 이를 통해 설문지에서 항목의 포함 또는 제외에 관한 의사 결정 과정이 용이해졌습니다.
  8. Delphi 상담 2라운드에서 전문가의 응답을 단일 파일로 컴파일합니다.
    참고: 전문가들은 템플릿에 있는 16개 항목의 명확성(내용 타당성)에 대한 평가를 완료하는 데 다시 2주가 주어졌습니다.
  9. 3.3의 단계를 반복하되 이번에는 기기의 재구성된 항목에 대한 명확도 점수만 선택하고 변수 상자에 통합합니다.
  10. 3.4의 단계를 반복하여 전문가의 75%가 매우 명확하다고 평가한 모든 항목을 제거합니다.
    참고: 2차 협의 후 항목 1, 23, 31 및 41이 제거되었습니다.
  11. 향후 내부 일관성을 평가하기 위해 여러 제어 항목을 포함합니다(10개 항목마다 약 하나의 제어 항목을 포함하는 것이 좋습니다).
    참고: 이 버전의 기기에는 4개의 제어 항목이 추가되었습니다.
  12. 다음을 포함하는 협의 2라운드에 대한 결과 보고서를 준비합니다. 1. 명확성 또는 내용 타당성에 대한 합의 수준에 관한 결과(Kendall의 계수) 2. 의사결정 기준 설정 3. 검증된 항목의 수; 4. 제거된 항목의 수; 5. 통제 항목으로 포함된 항목의 수; 그리고 6. QaSLu-45의 수정된 버전(검증된 항목 41개 + 대조군 항목 4개).
    참고: 설문지의 최종 버전은 다음과 같이 구성되었습니다: 1) 설문지의 목적, 서면 동의서 및 지침; 2) 피고인의 조직 또는 기관, 성별, 연령, 교육 수준 및 서비스 학습에 대한 수년간의 전문 경험(이 정보는 참가자 식별을 허용하지 않음) 3) 서비스 학습 경험에 대한 데이터; 4) 봉사 학습 경험에 대한 자체 평가를 위한 45개 항목; 5) 참여에 대한 감사(설문지의 샘플 초안은 보충 파일 3으로 제공됨).
  13. 설계된 설문지(QaSLu-45)의 최종 버전이 포함된 2차 상담 결과 보고서를 전문가 그룹에 보내고 수정된 온라인 델파이 방법에 참여해 주셔서 감사합니다.

figure-protocol-1
그림 1: 통계 소프트웨어 패키지 1에서 Kendall의 계수 계산. (1) K 관련 샘플 아이콘을 클릭합니다. (2) Kendall의 W를 선택합니다. (3) 확인 아이콘을 클릭합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-2
그림 2: 통계 소프트웨어 패키지 1에서 백분위수 추출. (1) 주파수 아이콘을 클릭합니다. (2) 통계 아이콘을 클릭합니다. (3) 빈도: 통계 대화 상자에서 백분위수를 추가합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-3
그림 3: 통계 소프트웨어 패키지 1에서 설명 추출. (1) 설명 아이콘을 클릭합니다. (2) 변수를 추가합니다. (3) 확인 아이콘을 클릭합니다.

4. 설문지를 보안 서버의 온라인 사양에 맞게 조정

  1. 이동 개인 서버( 자료 표 참조)가 있는 SaaS(Software-as-a-Service) 플랫폼의 기본 페이지로 등록된 사용자로 이동합니다. 이 등록은 사전에 개인 데이터를 제공하여 완료해야 합니다. 등록이 완료되면 처음부터 설문 조사 만들기 를 선택합니다( 그림 4 참조).
  2. 계속하기 위한 필수 수락 동의를 포함해야 하는 첫 번째 페이지를 만듭니다.
  3. 연구에서 개입 또는 제어 변수로 연구에서 사용될 참가자 귀인 질문이 포함된 두 번째 페이지를 만듭니다.
    참고: 이 연구에는 3개의 개별 정량적 변수와 5개의 명목 범주형 변수에 대한 분석이 포함됩니다. 다음은 연구에 포함된 8가지 변수에 대한 운영 설명입니다.
    성별: 두 가지 수준(남성/여성)이 있는 명목상, 속성 및 이분법 변수입니다.
    연령: 연구에서 참가자의 연령을 결정하는 이산 정량적 변수입니다.
    USL 경험: 참가자의 서비스 학습 경험을 측정하는 이산 정량적 변수입니다. 척도는 0부터 시작하며, 서비스 러닝 경험이 1년 미만('경험 없음'과 동일하지 않음)을 나타내며 상한선이 없습니다.
    학업 수준: 참가자가 전문 박사 학위를 보유하고 있는지 여부를 반영하는 두 가지 수준(박사/박사 아님)이 있는 명목상의 이분법 변수입니다.
    USL 활동을 위한 협력 조직: 5가지 수준(사회 센터, NGO, 재단, 학교, 고등 교육 기관 또는 대학과의 제휴, 정부 공공 행정, 노인 센터 및 기타 건강 관련 센터)의 명목 변수입니다. 이 변수는 참가자가 서비스 학습 환경에서 협업하는 조직 또는 기관의 유형을 식별합니다.
    USL 활동의 대상 그룹: 5가지 수준(장애 그룹, 학생, 소수 민족, 노인, 사회적 위험에 처한 소외 계층)의 명목 변수. 이 변수는 서비스 학습 활동의 주요 수혜자 그룹을 식별합니다.
    USL 활동에 대한 개입 방식: 명목상, 이분법 변수(독점적으로 대면 서비스 학습 / 전체 또는 일부 온라인 활동 포함). 이 변수는 서비스 학습 활동에 온라인 구성요소가 포함되는지 여부를 표시합니다.
  4. 개인 서버가 있는 SaaS 플랫폼을 통해 질문과 가능한 답변을 포함하여 이전에 디자인한 설문지에 대한 여러 페이지를 만듭니다.
  5. 설문조사를 만들고 저장한 후(보충 파일 2의 최종 설문지 참조) 플랫폼의 메인 메뉴로 돌아가서 설문지를 선택한 다음 공개 설문조사 열기 > 닫기 아이콘을 클릭하여 참가자가 사용할 수 있도록 합니다. 그런 다음 참가자 액세스를 위한 여러 옵션(예: 이메일 또는 웹 사이트에 포함된 링크, 웹 사이트의 iframe, 웹 사이트의 팝업 또는 콜 센터의 컴퓨터에 제공되는 링크, 그림 5 참조) 중에서 선택하여 설문 조사에 대한 링크 얻기 아이콘을 클릭합니다.
    참고: 설문지의 최종 버전은 다음과 같이 구성되었습니다: 1) 설문지의 목적, 서면 동의서 및 지침; 2) 참가자 세부 정보(기관 또는 조직, 연령, 성별, 교육 수준 및 서비스 학습 분야의 전문 경력 연수). 이 정보는 참가자의 익명성을 보장합니다. 3) 서비스 학습 경험에 대한 데이터; 4) 봉사 학습 경험에 대한 자체 평가를 위한 45개 항목; 5) 참여에 대한 감사를 표현하는 섹션.

figure-protocol-4
그림 4: 처음부터 설문지 만들기. (1) 새 설문조사 아이콘을 클릭합니다. (2) 처음부터 설문조사 만들기를 선택합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-5
그림 5: 설문지 디자인. (1) 설문조사를 편집합니다. (2) 페이지 및 질문을 추가하고 구성합니다. (3-5) 페이지, 질문, 답변을 개발합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

5. 샘플링 방법

  1. 지난 3년 동안 스페인 대학 서비스 학습 네트워크에서 주최한 컨퍼런스의 모든 절차본을 검토합니다. 최근 몇 년 동안 서비스 학습에 참여한 저자 목록을 작성하고 이메일 주소를 수집합니다.
    참고: 샘플링은 우발적이고 기회주의적이었습니다.
  2. 모든 저자에게 연구에 참여하도록 초대하는 이메일을 보냅니다. 1주와 2주 후에 이메일을 다시 보냅니다.
    참고: 이 이메일은 수신자가 참여에 관심이 있을 수 있는 연락처에 전달하도록 권장했습니다. 따라서 부수적 샘플링 방법은 눈덩이 샘플링 기술로 보완되었습니다.
  3. 등록된 사용자로 SaaS 플랫폼의 메인 페이지에 액세스하여 생성된 설문지를 선택한 다음 결과를 클릭합니다. 팝업 메뉴에서 설문지 아이콘을 클릭하여 완료된 설문지에 직접 액세스합니다. SaaS 플랫폼을 통해 불완전하거나 잘못된 응답을 제거합니다( 그림 6 참조).
  4. 설문지가 필요한 최소 참가자 수(>100명)에 도달하면 불완전한 응답을 제외한 후 등록된 사용자로 SaaS 플랫폼의 기본 페이지로 이동하여 설문지를 선택한 다음 공개 설문조사 열기/닫기 아이콘을 클릭하여 설문조사를 닫고 추가 참여를 방지합니다( 그림 5 의 1단계 다시 참조).
    참고: 43개 고등교육기관에서 총 118명의 교육자가 참여했으며 67.80%가 여성, 32.20%가 남성으로 식별되었습니다. 평균 연령은 46.16세(SD = 9.60)였으며 연령은 24세에서 65세 사이였습니다. 학력과 관련하여 대다수(76.3%)가 박사 학위를 소지했으며 나머지 참가자는 최소 학사 학위를 가지고 있었습니다. 봉사학습 경험 측면에서 평균은 6.69년(SD = 5.39년)으로 가장 낮은 것은 반년, 가장 높은 것은 34년으로 기록되었습니다. 참가자 대학이 협력한 기관에는 교육 센터(다른 대학 포함), 사회 센터, 노인 센터, 보건 센터, NGO, 재단, 시청 및 의회와 같은 정부 기관이 포함되었습니다. 서비스 학습 파트너십은 표본의 50.85%를 차지하는 정규 교육 센터와 나머지 49.15%를 차지하는 비정규 교육 센터의 두 가지 유형의 기관과 형성되었습니다. 서비스 학습 경험의 양식과 관련하여 64.41%는 대면이었고 35.59%는 어떤 형태로든 가상 활동을 포함했습니다.

figure-protocol-6
그림 6: 설문조사에 대한 링크 얻기. (1) 설문조사를 엽니다. (2) 설문조사에 대한 링크 얻기 아이콘을 클릭합니다. (3) 원하는 방법을 선택합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

6. 요인분석에 의한 설문지의 정량적 검증

  1. 등록된 사용자로 SaaS 플랫폼의 메인 페이지로 이동하여 생성된 설문조사를 선택한 다음 결과 아이콘을 클릭합니다. 팝업 메뉴에서 내보내기 를 클릭하고 쉼표로 구분된 값(.csv) 확장자를 사용하여 텍스트에서 세부 보고서 옵션(고급 스프레드시트 형식)을 선택합니다( 그림 7 참조). 참가자가 설문지를 작성하면 데이터를 .csv 형식으로 이메일 계정으로 내보내 안전하고 비공개이며 보호된 위치에 저장되도록 합니다.
  2. 통계 소프트웨어 패키지 1( 재료 표 참조)을 열고 파일 메뉴 > CSV 데이터> 데이터 가져오기를 선택합니다. 이전에 저장한 .csv 파일을 선택합니다. 이 프로세스는 익명 데이터를 통계 소프트웨어 패키지 1에 필요한 분석 형식으로 변환합니다( 그림 8 참조).
  3. 통계적으로 분석할 변수(성별, 연령, 학력, USL 활동의 협력 조직, USL 활동의 대상 그룹, USL 활동에 대한 개입 방식 및 QaSLu의 45개 항목)를 선택하고 통계 소프트웨어 패키지 1에서 생성된 .sav 파일을 통해 가져온 관련 없는 데이터를 제거합니다.
  4. 통계 소프트웨어 패키지 1과 함께 Cronbach's Alpha를 사용하여 QaSLu-45 설문지의 내부 일관성을 평가합니다. 이렇게 하려면 분석 메뉴 > 배율 > 신뢰도 분석을 선택하고 모든 관련 변수를 신뢰도 분석 대화 상자로 전송합니다. 마지막으로 OK 버튼을 클릭하여 원하는 출력을 생성합니다( 그림 9 참조).
    참고: 설문지는 Cronbach's Alpha(α = 0.917)로 측정한 바와 같이 높은 신뢰성과 내부 일관성을 보여주었습니다.
  5. 통계 소프트웨어 패키지 1을 사용하여 탐색적 요인 분석을 수행합니다.
    1. 이 분석을 수행하려면 분석 메뉴 > 차원 축소 > 계수를 선택합니다. 요인 분석 대화 상자에서 설문지의 모든 항목을 선택한 다음 설명을 클릭하고 단변량 설명 과 KMO 및 Bartlett의 구형 검정을 선택합니다.
    2. 계속을 클릭하여 요인 분석 대화 상자의 기본 메뉴로 돌아갑니다. 그런 다음 추출을 클릭하고 추출 방법으로 주성분을 선택합니다.
    3. 회전되지 않은 요인 솔루션 및 스크리 플롯 옵션을 선택한 다음 계속을 다시 클릭하여 요인 분석 대화 상자의 기본 메뉴로 돌아갑니다. 마지막으로 OK 아이콘을 클릭하여 출력을 생성합니다(그림 10 참조).
      참고: Bartlett의 구형 검정(χ2 = 2689.72; p = 0.00) 및 KMO(Kaiser-Meyer-Olkin) 샘플링 적정성 검정(KMO = 0.793)의 유의성은 QaSLu-45의 검증을 위한 항목의 강력한 설계와 샘플링으로 인해 이 요인 분석의 적절성을 확인합니다. 주성분 분석 결과 고유값이 1.0보다 큰 13개 성분이 나타났으며, 이는 전체 분산의 69.95%를 설명했습니다. 그러나 스크리도 ( 그림 11 참조)는 첫 번째 구성 요소가 불균형한 관련성을 가지므로 나머지 구성 요소의 중요성이 무시할 수 있음을 보여줍니다. 따라서 QaSLu-45를 단일 구성 요소로 줄여 설계된 QaSLu-45에 대한 고유한 최종 점수를 얻는 것이 좋습니다.
  6. 속성 변수를 제외한 설문지의 결과 파일을 통계 소프트웨어 패키지 2와 호환되는 ASCII 고정 형식(dat)으로 변환합니다( 재료 표 참조).
    1. 먼저 모든 속성 변수를 제거하고 설문지 항목만 통계 소프트웨어 패키지 1의 변수로 남겨둡니다. 그런 다음 File Menu(파일 메뉴) > Export Data > Fixed Text(고정 텍스트 내보내기 )를 선택합니다( 그림 12 참조).
    2. 인식할 수 있는 이름으로 안전한 위치에 파일을 저장합니다. 이 프로세스는 익명 데이터를 통계 소프트웨어 패키지 2의 분석에 필요한 형식으로 변환합니다.
  7. 통계 소프트웨어 패키지 2를 사용하여 확증적 요인 분석(CFA)을 수행하여 설문지의 1요인 모델에 대한 적합도를 결정합니다.
    1. 이 분석을 수행하려면 데이터 읽기를 선택한 다음 샘플 대화 상자에서 찾아보기 를 클릭하고 이전에 만든 ASCII 파일을 선택합니다. 참가자 수와 변수는 데이터 행렬의 크기 섹션에 녹색으로 표시됩니다.
    2. 그런 다음 단일 그룹 데이터 세트 열기 아이콘을 클릭하고 통계 소프트웨어 패키지 2의 기본 메뉴로 돌아갑니다. Main Menu(메인 메뉴)에서 Configure Analysis(분석 구성)를 클릭합니다. 대화 상자 메뉴에서 확증적 요인 분석을 선택하고 확인 버튼을 클릭합니다.
    3. CFA: 요인 분석 구성 창에서 기본 설정을 적용하고 확인을 클릭하여 기본 메뉴로 돌아갑니다. 마지막으로 "확증 요인 분석 준비"라는 메시지가 메인 메뉴에 표시됩니다. 그런 다음 계산 단추(그림 13 참조)를 클릭하고 결과를 기다립니다.
      참고: QaSLu-45 항목은 CFA 모델의 적합도 측정으로 평가한 바와 같이 우수한 견고한 적합도를 보여주었습니다. Kelley가 제안한 기준에 따르면, >CFA/자유도의 최소-최대 차이가 1과 3 사이(CMIN/DF = 1.053), 근사의 제곱 평균 제곱근 오차는 <0.06(RMSEA = 0.042), 가중 제곱 평균 제곱근 잔차는 <1.0(WRMR = 0.0978)이었습니다.

figure-protocol-7
그림 7: 통계 소프트웨어 패키지 1 및 2에서 사용할 데이터 내보내기. (1) 결과 아이콘을 클릭합니다. (2) 설문지 아이콘을 클릭합니다. (3) 세부 사항 옵션에서 텍스트 및 CSV 를 선택합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-8
그림 8: 통계 소프트웨어 패키지 1로 데이터 가져오기. 파일 메뉴를 선택> CSV 데이터> 데이터 가져오기. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-9
그림 9: 설문지의 내부 일관성 평가. 분석 메뉴를 선택하여 신뢰도 분석을 > 배율> 선택합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-10
그림 10: 통계 소프트웨어 패키지 1을 사용하여 탐색적 요인 분석 수행. (1) 요인 아이콘을 클릭합니다. (2) 설명 아이콘을 클릭합니다. (3) 세부 옵션에서 KMO 및 Bartlett의 구형 테스트를 선택합니다. (4) 추출 아이콘을 클릭합니다 . (5) 선택 Scree 플롯 에서 상세 옵션; (6) 확인 아이콘을 클릭합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-11
그림 11: 45개 항목의 초기 버전에 대한 주성분 요인 분석의 퇴적물 그래프. 탐색적 요인 분석에 따르면 구성 요소 번호 1이 나머지 구성 요소와 관련하여 얼마나 엄청나게 두드러지는지에 주목하여 그 관련성이 나머지 구성 요소를 합친 것보다 훨씬 더 크다는 것을 강조하여 단일 요소 구조가 설문지에 가장 적합한지 확인합니다. 이 표는 López-de-Arana Prado et al.9에서 재출판되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-12
그림 12: 결과 파일을 고정 형식의 ASCII 형식으로 변환합니다. (1) 고정 텍스트 아이콘을 클릭합니다. (2) 선택 고정 ASCII 에서 다른 이름으로 저장 유형 메뉴; (3) 저장 아이콘을 클릭합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-protocol-13
그림 13: 통계 소프트웨어 패키지 2를 사용하여 확증적 요인 분석 수행. (1) 데이터 읽기 아이콘을 클릭합니다. (2) 샘플 메뉴에서 ASCII 파일을 선택합니다. (3) 단일 그룹 데이터 세트 열기 아이콘을 클릭합니다. (4) 분석 구성 아이콘을 클릭합니다. (5) 세부 옵션에서 확증적 요인 분석을 선택합니다. (6) 확인 아이콘을 클릭합니다. (7) 컴퓨팅 아이콘을 클릭합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

7. 단일 주성분에 대한 설문지 최적화, 간결한 원칙에 따라 초과 항목 감소

  1. 주성분과 반비례 관계가 있는 최적화된 버전의 설문지에서 제거할 항목을 식별합니다.
    1. 통계 소프트웨어 패키지 1을 사용하여 6.5단계에서 얻은 성분 매트릭스를 검토하여 주요인과 반비례 관계를 나타내는 항목을 확인합니다. 단일 요인에 대한 설문지의 축소 및 최적화된 버전에서 이러한 항목을 제외합니다.
      참고: 주성분에 대한 각 항목의 점수 행렬을 기반으로 항목 6, 16, 28 및 35는 주성분과 반비례 관계를 나타내기 때문에 최종 구성에서 삭제되었습니다. 설문지는 단일 최종 점수를 제공하기 때문에 설문지 사용자 간의 실제 차이를 가리기 때문에 반대 항목을 제거해야 합니다.
  2. 통계 소프트웨어 패키지 2를 사용하여 강력한 가중되지 않은 최소 제곱(RULS) 탐색적 요인 분석을 수행합니다.
    1. 이 분석을 수행하려면 데이터 읽기를 선택한 다음 샘플 대화 상자에서 찾아보기 를 클릭하고 이전에 만든 ASCII 파일을 선택합니다. 참가자 수와 변수는 데이터 행렬의 크기 섹션에 녹색으로 표시됩니다.
    2. 그런 다음 단일 그룹 데이터 세트 열기 아이콘을 클릭하고 통계 소프트웨어 패키지 2의 기본 메뉴로 돌아갑니다. Main Menu(메인 메뉴)에서 Configure Analysis(분석 구성)를 클릭합니다. 대화 상자 메뉴에서 탐색적 요인 분석을 선택하고 확인 버튼을 클릭합니다.
    3. 탐색적 요인 분석 구성 메뉴에서 통계 소프트웨어 패키지 1로 수행한 탐색적 요인 분석에 따라 주성분과 반비례 관계가 있는 항목을 선택하고 제외된 변수가 있는 상자로 이동합니다.
    4. 그런 다음 Pearson Correlation Matrix 및 Parallel Analysis 옵션을 선택하고 요인/성분 수를 1로 변경한 다음 Robust Factor Analysis 를 선택합니다( 그림 14 참조). 마지막으로 확인 버튼을 클릭하여 메인 메뉴로 돌아간 다음 계산을 클릭하여 결과를 생성합니다.
  3. 샘플링 적정성 측정(MSA)이 0.49 MSA 미만인 최적화된 버전의 설문지에서 제거할 항목을 식별합니다. 이를 위해 통계 소프트웨어 패키지 2를 사용한 RULS 탐색적 요인 분석에서 얻은 결과, 특히 항목 위치 및 항목 적정성 지수를 검토합니다.
    참고: RULS 탐색적 요인 분석은 설계를 단일 주성분에 맞게 조정하기 위해 14개 항목을 버릴 것을 제안합니다: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 및 42. 그 결과 단일 주성분에 최적화된 27개 항목의 최종 구성이 생성되며 관련 심리 측정 견고성이 높습니다. 이 버전은 QaSLu-27이라고 불렸습니다(설문지의 샘플 초안은 보충 파일 4로 제공됨).

figure-protocol-14
그림 14: 통계 소프트웨어 패키지 2를 사용하여 강력한 가중치가 없는 최소 제곱 수행. (1) 데이터 읽기 아이콘을 클릭합니다. (2) 샘플 메뉴에서 ASCII 파일을 선택합니다. (3) 단일 그룹 데이터 세트 열기 아이콘을 클릭합니다. (4) 분석 구성 아이콘을 클릭합니다. (5) 세부 옵션에서 탐색적 요인 분석을 선택합니다. (6) Pearson Correlation Matrix 및 Parallel Analysis 옵션을 선택합니다. (7) 요인/성분의 수를 1로 변경합니다. (8) 옵션에서 강력한 요인 분석을 확인하십시오. (9) 확인 버튼을 클릭합니다. (10) Compute 아이콘을 클릭합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

8. QaSLu-45와 관련하여 QaSLu-27의 심리 측정 특성의 적절성을 검토합니다.

  1. 6.4단계를 다시 적용하여 최적화된 버전의 설문지에 포함되지 않은 항목을 분석에서 제외합니다.
  2. 6.5단계를 다시 적용하여 최적화된 버전의 설문지에 포함되지 않은 항목을 분석에서 제외합니다.
  3. 6.7단계를 다시 적용하여 최적화된 버전의 설문지에 포함되지 않은 항목을 분석에서 제외합니다.
  4. 최적화된 버전의 설문지의 심리 측정 특성의 적절성을 표 형식의 원본 버전과 비교합니다.
    참고: KMO 샘플링 적정성 테스트(KMO = 0.863) 및 Bartlett의 구형도 테스트(χ2 = 1447.76; p = 0.000)에서 상당한 개선이 관찰되었습니다. QaSLu-27을 사용한 주성분 요인 분석에서는 고유값이 1.0> 7개의 구성 요소가 전체 분산의 65.59%를 차지하는 것으로 나타났습니다. CFA를 사용하여 결정된 강력한 적합도 통계는 약간 개선된 결과를 보여주었고 QaSLu-27에는 45개 항목이 아닌 27개 항목만 포함되어 있음에도 불구하고 Cronbach's alpha로 측정한 신뢰도가 증가했습니다(α = 0.92). 이러한 결과는 최종 구성의 타당성과 견고성이 45개 항목 버전의 타당성과 견고성이 훨씬 높다는 결론을 뒷받침합니다.

9. 등급 척도 개발

  1. 최적화된 버전의 설문지에 있는 모든 항목의 점수를 합산하여 새 변수를 만듭니다.
    1. 변환 메뉴(Transform Menu) > 변수 계산(Compute Variable) 을 선택하고 변수 계산(Compute Variable) 대화상자에서 새 변수의 이름을 SUM27 로 지정합니다.
    2. Sum 함수를 선택하고 최적화된 버전의 설문지 항목을 포함하여 숫자 표현식을 작성합니다. 마지막으로 확인 아이콘을 클릭하여 새 변수 SUM27을 생성합니다(그림 15 참조).
  2. 최적화된 버전의 설문지에서 최종 결과의 다양한 백분위수를 계산합니다.
    1. 분석 메뉴 > 기술 통계량 > 빈도를 선택하고 빈도 대화 상자에서 변수 SUM27을 선택하고 화살표 아이콘을 클릭하여 변수 상자로 이동합니다.
    2. 그런 다음 통계 아이콘을 클릭하고 백분위수를 선택한 다음 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 및 99 백분위수를 추가합니다. 계속(Continue) 아이콘을 클릭하여 주파수(Frequencies) 대화 상자로 돌아갑니다. 마지막으로 확인 아이콘을 클릭하여 SUM27에 대해 원하는 백분위수를 생성합니다( 그림 1 참조).
    3. 추가된 변수에 따라 필터를 적용하여 각 등급 척도에 대해 이 과정을 반복합니다. 이렇게 하려면 파일 분할 아이콘을 클릭하고 관련성이 있는 것으로 간주되는 각 명목 또는 순서 변수를 선택한 다음 그룹별 출력 구성을 선택하고 화살표 아이콘을 클릭한 다음 마지막으로 확인 아이콘을 클릭하여 각 변수별로 필터링된 SUM27에 대해 원하는 백분위수를 생성합니다.
  3. 각 등급 척도에 대한 표를 만듭니다.
    1. 테이블 제목에 대한 행을 만든 다음 낮음(백분위수 1, 10 및 20에 대한 하위 행 포함), 중간/낮음(백분위수 30 및 40에 대한 하위 행 포함), 중간(백분위수 50), 중간/높음(백분위수 60 및 70에 대한 하위 행 포함) 및 높음(백분위수 80, 90 및 99에 대한 하위 행 포함)에 대한 행을 만듭니다.
    2. 제목 행에서 여러 열을 만듭니다: 첫 번째 레이블이 지정된 수준(아래에 나열된 수준 이름 포함), 두 번째 레이블이 지정된 백분위수(각 백분위수가 아래에 나열됨) 및 세 번째 열부터는 각 테이블에 대해 선택한 변수의 다양한 조건 이름을 나열합니다.
    3. 이전에 계산한 백분위수의 점수 범위로 표를 작성합니다. 즉, 백분위수 1 = 0 -, 백분위수 4, 백분위수 10 = 백분위수 5 - 백분위수 14, 백분위수 20 = 백분위수 15 - 백분위수 24, 백분위수 30 = 백분위수 25 - 백분위수 34, 백분위수 40 = 백분위수 35 - 백분위수 44, 백분위수 50 = 백분위수 45 - 백분위수 54, 백분위수 60 = 백분위수 55 - 백분위수 64, 백분위수 70 = 백분위수 65 - 백분위수 74, 백분위수 80 = 백분위수 75 - 백분위수 84, 백분위수 90 = 백분위수 85 - 백분위수 94, 백분위수 99 = 백분위수 95 -백분위수 99. 선택한 명목 또는 순서 변수를 사용하여 각 등급 척도에 대해 이 프로세스를 반복합니다.

figure-protocol-15
그림 15: 통계 소프트웨어 패키지 1에 있는 모든 항목의 점수를 합산하여 새 변수를 만듭니다. (1) 변수 계산 아이콘을 클릭합니다. (2) 합계 함수를 선택합니다. (3) 모든 항목으로 숫자 표현식을 완성합니다. (4) 새 변수에 이름을 할당합니다. (5) 확인 아이콘을 클릭합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

결과

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 엄격한 정성적-정량적 검증 프로토콜에 따라 우리는 QaSLu(고등 교육에서 봉사 학습 경험의 자체 평가를 위한 설문지)라는 대학 서비스 학습 경험의 자체 평가를 위한 강력하고 최적화되며 절약적인 도구를 개발했습니다. 이 최종 도구는 델파이 방법에 따라 16명의 SL 전문가로부터 두 차례의 온라인 상담 및 적응, 확증 요인 분석 및 강력한 가중 최소 제곱 요인 탐색 분석을 통한 강력한 정량적 검증을 통해 정성적 승인을 받았습니다 38,41,42 SL에 대한 전문 지식을 갖춘 118명의 대학 교수 샘플을 사용합니다. 궁극적으로 이 노동 집약적이고 복잡한 정성적-정량적 검증 프로세스는 연령, 성별, 학업 수준, 대학 서비스 학습 경험, 개입의 주요 역할, 수혜 기관 또는 조직, SL 활동의 주요 대상 그...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

토론

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

기기 검증에 사용되는 방법은 몇 가지 장점을 제공합니다. Delphi 방법은 전문가 패널의 통찰력 수집을 용이하게 하여 분석을 위해 이 정보를 체계적으로 구성할 수 있게 해주었습니다. 이를 통해 전문가 추정 및 제안 32,47,48,49를 기반으로 응답을 선택하고 개선할 수 있었습니다. 또한 이 접근 방식은 비교적 짧은 시간 내에 상당한 결과를 가져왔습니다48. 게다가 수정된 "온라인" Delphi 방법은 이메일을 통해 진행되었기 때문에 상담 라운드의 실행 단계에서 사용되었습니다. 이 적응은 전통적인 델파이 방법 30,31,50,51,52,53과 관련된 한계를 해결했습니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

공개 사항

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 공개할 것이 없습니다.

감사의 글

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 칠레 과학기술연구위원회(CONICYT Fondecyt/Initiation)와 델파이 방법을 통한 정성적 검증에 참여한 모든 전문가, 정량적 검증 및 채점에 참여한 모든 참가자에게 감사를 표하고 싶습니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재료

이 논문에 사용된 재료 목록
이름회사카탈로그 번호댓글
Encuestafacil.com 사스Encuestafacil.com2025Encuestafacil.com 개인 데이터 서버의 서비스형 소프트웨어
요인 분석Universitat Rovira i Virgili12.06.07데이터의 요인 분석에 사용되는 소프트웨어 패키지
사회과학을 위한 통계 패키지(SPSS)IBM24데이터의 통계 분석에 사용되는 소프트웨어 패키지

참고문헌

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재인쇄 및 허가

이 JoVE 논문의 텍스트 또는 그림 재사용 허가 요청

허가 요청

태그

관련 논문