Yöntem makalesi

Üniversite Hizmet Öğrenme Kalitesini Değerlendirmeye Yönelik Derecelendirme Ölçekleri ile Araçların Niteliksel ve Niceliksel Geçerliliği

DOI:

10.3791/68648

⸱

29 Ağustos 2025

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu makale, mümkün olan en sağlam ve optimal versiyonu oluşturmak için cimrilik kriterini takip ederek bir üniversite hizmet-öğrenme aracını niteliksel ve niceliksel olarak doğrulamak için protokolün ana hatlarını çizmektedir. Bu amaçla, Delphi nitel doğrulama yöntemi ve nicel madde optimizasyonu yöntemi olarak Robust Ağırlıksız En Küçük Kareler Açımlayıcı Faktör Analizi kullanılmıştır.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Hizmet Ederek Öğrenme (SL), son yıllarda oldukça etkili bir öğrenme metodolojisi haline geldi ve gerçek dünya senaryolarında öğrenmeyi bağlamsallaştırırken teori ve pratik arasındaki boşluğu doldurdu. Yüksek öğrenimin tüm seviyelerinde başarıyla uygulanmış ve üniversite öğrencilerinin becerilerinde kayda değer gelişmeler sağlamıştır. Bununla birlikte, dönüştürücü bir metodoloji olarak SL, değerlendirme yöntemleri açısından hala gelişimin erken aşamalarındadır. Sonuç olarak, SL'nin gerçek dünya bağlamlarına uygulanması birincil değeri olduğundan, güvenilir ve hepsinden önemlisi geçerli ölçüm cihazlarının tasarlanması ve doğrulanması için acil bir ihtiyaç vardır. Bu makale, cimrilik ilkesinin rehberliğinde, üniversite profesörlerinin bakış açısından üniversite düzeyindeki SL deneyimlerinin kalitesini değerlendirmek için üniversite SL araçlarının en uygun şekilde nasıl tasarlanacağını ve doğrulanacağını göstermektedir. Çevrimiçi modifiye edilmiş Delphi yöntemi, Sağlam Ağırlıksız En Küçük Kareler Açımlayıcı Faktör Analizi ve Doğrulayıcı Faktör Analizi, çevrimiçi modifiye edilmiş Delphi yöntemini kullanan 16 uzmandan oluşan bir örneklem ve SL projelerini uygulayan 118 üniversite öğretmeninden oluşan bir örneklem aracılığıyla doğrulanan yeni bir araç olan QaSLu-27'yi oluşturmak için uygulanmıştır. Sonuçlar, yeni enstrüman için en uygun psikometrik koşulları göstermektedir (W = 0.11; α = 0.92; CMIN/DF=1.027; CFI= 0.979; WRMR= 0.0985; RMSEA= 0.046), bu metodolojinin gelecekteki kullanıcılarının atıfsal ve demografik özelliklerini göz önünde bulundurarak karşılaştırılmasına olanak tanıyan yeni derecelendirme ölçeklerinin geliştirilmesine yol açmıştır. Gerçek dünyada kullanılabilen ve ölçeklerin oluşturulmasına izin veren yeni doğrulanmış araçların tasarımı, SL'deki yeni deneyimlerin uygulanmasını ölçmek, ilerlemelerini, katılımcılarını, yöneticilerini ve monitörlerini değerlendirmek, bu çalışma alanının mevcut akademik çerçevede kurulmasına ve yeni bilimsel bilginin üretilmesine katkıda bulunmak için çok yararlı olacaktır.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Akademik öğrenmeyi toplum hizmetiyle bütünleştiren bir eğitim yaklaşımı olan Hizmet-Öğrenme (SL), çağdaş eğitimde giderek daha fazla tanınırlık kazanmıştır. Bu pedagojik yaklaşım, öğrencilerin sınıf bilgilerini gerçek dünyadaki zorluklara uygulamalarını sağlarken, aynı zamanda sivil sorumluluğu ve toplum katılımını da teşvik eder1. SL'nin mevcut eğitimdeki önemi, öğrencileri pratik mesleki yeterliliklerle donattığı, sivil katılımı teşvik ettiği ve sosyal konuların daha derin bir şekilde anlaşılmasını sağladığı için göz ardı edilemez2.

SL ile ilgili son araştırmalar, hem akademik öğrenmeyi hem de toplum katılımını geliştirme potansiyelinin artan kabulüyle önemli ölçüde artmıştır. Bu büyüme, yalnızca akademik gelişimi teşvik etmekle kalmayıp aynı zamanda toplumsal zorlukları da ele alan eğitim modellerine yönelik artan talepten kaynaklanmaktadır3. Öğrenciler, sosyal adaleti teşvik etmekten öğrenciler arasında yurttaşlık bilincini geliştirmeye kadar SL'nin çeşitli etkilerini araştırdılar4. Ek olarak, hizmet-öğrenme araştırması, gerçek dünyada problem çözmenin kritik olduğu STEM, sağlık ve çevre bilimi gibi belirli alanlardaki uygulamasına giderek daha fazla odaklanmıştır 5,6,7. Literatür genişledikçe, araştırmacılar da hizmet-öğrenmenin teori ve pratik arasındaki boşluğu hem öğrenciler hem de hizmet ettikleri topluluklar için anlamlı olacak şekilde nasıl etkili bir şekilde kapatabileceğini keşfetmeye başlıyorlar8.

Bununla birlikte, artan rolüne rağmen, SL programlarınınetkinliğinin ölçülmesinde önemli zorluklar devam etmektedir 9. Furco10, Martín ve ark.11, Lorenzo ve Belando-Montoro12, Shek ve ark.13 veya Lu ve Lambright14 gibi, saha çalışmalarında kanıtlanmış yararlılıklarına rağmen henüz doğrulanmamış olan bir değerlendirme listesi şeklinde çeşitli öneriler vardır. Öte yandan, Escofet-Roig ve ark.15, Rodríguez-Izquierdo16, León-Carrascosa ve ark.17, Ruiz-Ordoñez ve ark.18, Santos-Pastor ve ark.19 veya Gul ve ark.20 gibi nitel geçerliliği olmayan veya çok sınırlı nicel doğrulama sunan başka öneriler de vardır. Önceki değerlendirme araçlarında gözlemlenen diğer eksiklikler, cimrilik ilkesine uymak için faktörlerin ve öğelerin optimizasyonunun olmaması ve derecelendirme ölçeklerinin tamamen olmamasıdır. Bu durum yeni bilimsel alanlarda yaygındır ve yaygın kullanım için en uygun araçları elde etmek için tüm çalışma alanlarının geçtiği doğal bir süreçtir.

Üniversite düzeyindeki SL deneyimlerinin kalitesini üniversite profesörlerinin bakış açısından değerlendirmek için bir araç olan Üniversite Hizmet-Öğrenme Deneyimlerinin Öz Değerlendirmesi Anketi'nin (QaSLu) oluşturulması sırasında, SL deneyimlerinin kalitesini sağlamak için standartları tanımlayan en tanınmış araçlar şunlardı: Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín ve Rubio-Serrano (2017)25 ve Rubio-Serrano, Puig-Rovira, Martín ve Palos (2015)26. Şu anda ek araçlar mevcut olsa da, mevcut ölçüm araçları, özellikle uzun vadeli kişisel gelişim, topluluk etkisi açısından, bu programlarla ilişkili geniş ve incelikli öğrenme çıktılarını yeterince yakalayamamaktadır ve bazılarının aşırı genel olduğu veya titiz bilimsel çerçevelere dayanmadığı bulunmuştur 9,27. Ölçüm araçlarındaki bu boşluk, SL'nin hem öğrenciler hem de topluluklar üzerindeki etkisinin kapsamlı bir şekilde anlaşılmasını ve optimizasyonunu engellemektedir.

SL araştırmasını ilerletmenin bir sonraki adımı, bilimsel olarak titiz ölçüm cihazlarının geliştirilmesini içerir. Bu araçlar yalnızca akademik sonuçları yakalamak için değil, aynı zamanda SL'nin öğrenciler ve hizmet ettikleri topluluklar üzerindeki kişisel ve sosyal etkilerini değerlendirmek için de tasarlanmalıdır. Araştırmamız, bilimsel titizliğe dayanan bir araç oluşturarak, SL projelerinin daha kapsamlı bir değerlendirmesini sunarak ve gelecekteki uygulamalarına rehberlik ederek bu boşluğu gidermeyi amaçlamaktadır.

Enstrümanın oluşturulmasına ek olarak, önce kalitatif ve daha sonra kantitatif olarak doğrulanacaktır. İlk doğrulama için, değiştirilmiş çevrimiçi Delphi yöntemi kullanılacaktır28. "Değiştirilmiş" terimi, Cabero'nun Delphi yöntemini iki tur danışma ile sınırlama önerisini ifade eder, böylece uzman grup üyeleri arasında okulu bırakmayı önler. "Çevrimiçi" terimi, Cruz-Ramírez ve Rúa-Vásquez29 tarafından, istişarelerin e-posta yoluyla yürütüldüğünü vurgulamak için tanıtıldı, çünkü İnternet, geleneksel Delphi'nin doğasında bulunan grup düşüncesi veya baskın uzman görüşlerinin etkisi gibi belirli sınırlamaların üstesinden gelmeye yardımcı oluyor, bu da ürün seçimini etkileyebilir30,31.

Değiştirilmiş çevrimiçi Delphi yöntemi kullanılarak, iki tür geçerlilik değerlendirilecektir: Bakieva ve ark.'nın çalışmasında32 özetlenen süreci takip eden yapı geçerliliği, burada her bir öğenin uygunluğu konusunda uzmanlara danışılır ve Gil ve Pascual-Ezama'nınçalışmasına dayalı olarak içerik geçerliliği 33, uzman danışmanlığı yoluyla her bir öğenin netliğini değerlendiren.

Uzmanlara dört yanıt seçeneği (yok, az, oldukça fazla, çok) içeren bir Likert ölçeği sağlanacaktır. Herhangi bir ara yanıt alternatifi sunmayarak, uzmanların herbir madde 34 lehine veya aleyhine kesin bir pozisyon almaları gerekmektedir, böylece anketteki maddelerin tutulup tutulmayacağına veya çıkarılıp çıkarılmayacağına dair karar verme sürecini kolaylaştırmaktadır.

Nicel doğrulama ile ilgili olarak, bilimde temel bir ilke olan cimrilik yasasına dayanır ve bilimsel bir problem verildiğinde, eşit koşullar altında en kısa çözümün tercih edildiğini belirtir35,36. Bu nedenle, en kısa ve en optimize edilmiş geçerli enstrüman arayışı, güvenilirlik veya geçerlilikten ödün vermeden gerçek bağlamlarda günlük kullanım için daha pratik, dışa aktarılabilir ve genel olan aynı bilimsel garantileri sunar. Doğrulayıcı Faktör Analizi (CFA)37 ve Sağlam Ağırlıksız En Küçük Kareler (RULS) Açımlayıcı Faktör Analizi38,39, gereksiz öğeleri azaltmak ve enstrümanın nihai yapısını doğrulamak için analitik teknikler olarak kullanılacaktır. Uyum ve güvenilirlik endeksleri, azaltılmış ve optimize edilmiş anketin yeni yapısının yeterliliğini ve sağlamlığını garanti eden seviyeler dahilinde optimize edilmiş aracın güvenilirliğini ve geçerliliğini korumak veya iyileştirmek için referans alınarak, yeni yapının bir öncekine göre geçerliliğinin göstergeleri olarak kullanılır.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu protokol, 2020 yılında Şili Ulusal Bilimsel ve Teknolojik Araştırma Komisyonu (CONICYT Fondecyt/Initiation) tarafından 11170623 numaralı onay numarasıyla etik olarak onaylanmıştır. Bir grup dış uzman, tüm süreci gözden geçirdi ve doğruladı. Helsinki40 Bildirgesi uyarınca, katılımcıların çalışmaya katılmak için yazılı bilgilendirilmiş onam vermeleri gerekiyordu ve herhangi bir deneysel koşulda yer almayacakları açıkça bildirildi.

1. Bir QaSLu'nun ilk taslağının tasarlanması

  1. SL deneyimlerini değerlendirmek için tanınan birincil araçlardan öğelerin içerik analizini yapın. Bunu başarmak için, SL deneyimlerinin kalitesini sağlamak için standartları tanımlayan uluslararası araçlardan öğeler ve SL uzman topluluğu tarafından tanınan birincil değerlendirme listeleri gözden geçirildi.
    NOT: Bu incelemenin bir sonucu olarak, QaSLu, Avrupa SL'nin karakteristik bir odak noktası olan sosyal adaleti açıkça ele almaktadır.
  2. Tüm öğeleri, SL deneyimlerinin tasarlanmasında yer alan aşamalara göre kategorilere ayırın (1. Tasarım, 2. Uygulama, 3. Değerlendirme) ve SL deneyimlerinin uygulanması (A. Başlangıç Aşaması, B. Planlama, C. Yürütme, D. Kapanış ve Çoğaltma).
    NOT: Kategorizasyonun güvenilirliğini sağlamak için, yalnızca tüm yazarların aynı fikirde olduğu kategorizasyonlar kabul edilerek mutlak değerlendiriciler arası anlaşma kullanılmıştır.
  3. Üniversite Hizmet Öğrenimini (USL) değerlendirmek için aracın ilk taslağı için son öğeleri seçin.
    1. İlk olarak, hem SL deneyimlerinin tasarımı hem de uygulanmasıyla ilgili aşamalarda her kategorideki yinelenen öğeleri ortadan kaldırın.
    2. İkinci olarak, yeni enstrümanın hedefleriyle uyuşmayan ilgisiz öğeler kaldırılır.
    3. Son olarak, hedef kitleye (üniversite öğretim üyesi) ve çalışmanın hedeflerine (SL deneyimlerinin kalitesini değerlendirme) uygun öğeler oluşturun veya uyarlayın.
      NOT: QaSLu, üniversitede hizmet ederek öğrenme için tasarlanmıştır. Çoğu araç üniversite düzeyinde SL'nin kalitesini değerlendirirken, önceki araçlardan bazı öğelerin yeniden formüle edilmesi gerekiyordu ve QaSLu'nun üniversite bağlamına tam olarak uyarlanmasını sağlamak için yeni öğeler oluşturuldu.
  4. Anketin ilk taslağını çalışmanın amaçlarını karşılayacak şekilde tasarlayın.
    NOT: QaSLu'nun taslağı, paylaşım ve değişiklik kolaylığı için Microsoft Word kullanılarak oluşturulmuştur. Başlangıçta, 5'li Likert ölçeği (Asla, Nadiren, Bazen, Neredeyse Her Zaman, Her Zaman) ile cevaplanan 54 maddeden oluşuyordu. Anket, tek bir faktör veya ana bileşen yapısı göz önünde bulundurularak tasarlanmıştır, böylece nihai puanı, standartlaştırılmış derecelendirme ölçekleri aracılığıyla kullanıcıları özelliklerine göre karşılaştırmak için kullanılabilir.

2. Delphi metodu için uzman grubunun seçimi

  1. USL'de daha önce tasarlanmış enstrümanı değerlendirebilecek geniş bir uzman örneği seçin. Bu süreçte, temel dahil etme kriterlerini belirleyin: 1. USL deneyimlerini araştırma ve tasarlama/uygulama konusunda en az dört yıllık deneyim; 2. Bir üniversite akademik organına üyelik; ve 3. Doktora adayı veya doktora derecesi sahibi olmak.
    NOT: Dahil edilme kriterlerine dayanarak, USL topluluğunda önemli bir rol oynayabilecek 20 uzmandan oluşan bir liste oluşturulmuştur.
  2. Adım 2.1'de seçilen tüm uzmanlara, araştırma hedeflerini, Delphi yönteminin aşamalarını, beklenen zaman çizelgelerini, dahil edilme kriterlerini açıklayan ve yazılı bilgilendirilmiş onayı kabul etmelerinin yanı sıra doğrulama sürecine katılmaya hazır olup olmadıklarını ve katılmaya istekli olup olmadıklarını soran bir e-posta gönderin.
    NOT: Tüm uzmanlar katılmayı kabul etti.
  3. USL'yi değerlendirmek için kesin aracı değerlendirmek üzere son uzman grubunu yapılandırın. Katılmayı kabul eden uzmanların özelliklerine dayalı olarak yeni dahil etme kriterlerini oluşturun. Uzman grubunun nihai yapılandırması şunları amaçladı: 1. Akademik ve mesleki çeşitlilik, yani farklı akademik tabakalardan temsil; 2. SL deneyimlerinin yürütüldüğü yerlerdeki coğrafi çeşitlilik; ve 3. Cinsiyet çeşitliliği.
    NOT: On altı USL uzmanı süreci bütünüyle taahhüt etmiş ve tamamlamıştır. Son uzman grubunun u'i kadın ve %'i erkeklerden oluşuyordu.

3. QaSLu anketinin Değiştirilmiş Çevrimiçi Delphi Yöntemi ile kalitatif olarak doğrulanması

  1. Uzman grubunun her bir üyesine, USL'yi değerlendirmek için aracın ilk taslağının öğelerini ve ilgili talimatları değerlendirmek için bir şablon içeren bir e-posta gönderin (Delphi Metodunun 1. Turu).
    NOT: Uzmanlar, her bir maddenin alaka düzeyini (yapı geçerliliği) ve netliğini (içerik geçerliliğini), 1'in "ilgili değil veya net değil" ve 4'ün "çok alakalı veya çok açık" anlamına geldiği 4 puanlık bir Likert ölçeği kullanarak değerlendirir. Her öğenin yanında, alaka düzeyini değerlendirmek için bir kutu ve netlik için başka bir kutu vardır - uzmanların her bir öğeyi 1'den 4'e kadar bir ölçekte derecelendirmesi gerekir. Bu kutuların altında, başka bir bölüm, değerlendirmelerini niteliksel olarak açıklamalarına ve maddelerde olası revizyonları önermelerine olanak tanır ( Ek Dosya 1 olarak sağlanan anketin örnek taslağına bakın). Herhangi bir ara yanıt seçeneği dahil edilmeyerek, uzmanlar kesin bir duruş sergilemeye zorlandı ve bu da anketteki öğelerin saklanması veya kaldırılması ile ilgili karar verme sürecini kolaylaştırdı.
  2. Delphi danışmanlığının 1. turu için uzmanlardan gelen yanıtları tek bir dosyada toplayın.
    NOT: Uzmanlara, şablonda yer alan 54 maddenin alaka düzeyi (yapı geçerliliği) ve anlaşılırlığı (içerik geçerliliği) değerlendirmesini tamamlamaları için 2 hafta süre verilmiştir.
  3. Uzmanların alaka düzeyi ve netlik ile ilgili yanıtları arasındaki uyum düzeyini belirlemek için Kendall katsayısını hesaplayın.
    1. Önce Analiz > Parametrik Olmayan Testler > Eski İletişim Kutuları > K İlgili Örnekler menüsüne erişin (bkz. Şekil 1). Uzmanlardan alaka düzeyi ve netlik ile ilgili tüm yanıtları seçin. Bunu ayrı ayrı yapın, önce alaka düzeyi ve sonra netlik.
    2. Öğeleri Test Değişkenleri Listesi kutusuna taşıyın. Test Türü bölümünde, Kendall'ın W seçeneğini seçin. Son olarak, analizi çalıştırmak ve ilgili sonuçları elde etmek için Tamam'a tıklayın.
      NOT: Uyum analizi, sorgulanan uzmanlar arasında uygunluk (yapı geçerliliği) ve açıklık (içerik geçerliliği) konusunda istatistiksel olarak anlamlı bir uyum olduğunu ortaya koymuştur.
  4. Yapı geçerliliğini (alaka düzeyi) ve içerik geçerliliğini (netlik) değerlendirin.
    1. İstatistiksel yazılım paketi 1'i kullanarak tanımlayıcı bir analiz gerçekleştirin. İlk olarak, Tanımlayıcı İstatistikler > Frekanslar > Analiz menüsünü seçin ve Frekanslar iletişim kutusunda, enstrümanın tüm öğeleri için alaka puanlarını seçin ve ok simgesine tıklayarak bunları Değişkenler kutusuna ekleyin.
    2. Ardından, İstatistikler simgesini tıklatın, Yüzdelik dilimler kutusunu işaretleyin ve 25, 50 ve 75 yüzdelik dilimlerini Sıklıklar: İstatistikler iletişim kutusuna ekleyin, ardından Sıklıklar iletişim kutusuna dönmek için Devam'ı tıklatın.
    3. Son olarak, her öğe için istenen yüzdelik dilimleri oluşturmak için Tamam simgesine tıklayın (bkz. Şekil 2). Çıktıdan sonra, Tanımlayıcı İstatistikler > Analiz > Tanımlayıcı'ya gidin ve Tanımlayıcılar iletişim kutusunda, enstrümanın tüm öğeleri için netlik puanlarını seçin ve ok simgesine tıklayarak bunları Değişken(ler) kutusuna ekleyin (bkz. Şekil 3). Son olarak, sonuçları oluşturmak için Tamam'ı tıklayın.
  5. Uzmanların u'inin son derece alakasız olduğunu düşündüğü öğeleri kaldırın ve son derece alakalı ancak belirsiz olarak derecelendirilen öğeleri yeniden formüle edin.
    NOT: İlk istişare turundan sonra, QaSLu'nun ilk taslağından 10 madde çıkarıldı: 4, 5, 9, 16, 27, 45, 51, 52, 53 ve 54. maddeler. Ek olarak, QaSLu'nun ilk taslağından 16 madde yeniden formüle edildi: 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 ve 49. maddeler. Yeniden formüle etme veya yeniden ifade etme, uzmanların önerilerine dayanıyordu.
  6. İstişarenin 1. Turu için aşağıdakileri içeren bir sonuç raporu hazırlayın: 1. Alaka düzeyi veya yapı geçerliliği konusundaki anlaşma düzeyine ilişkin sonuç (Kendall katsayısı); 2. Belirlenen karar verme kriterleri; 3. Doğrulanmış öğelerin sayısı; 4. Kaldırılan öğelerin sayısı; 5. Halen incelenmekte olan yeniden formüle edilmiş öğelerin sayısı; ve 6. USL'yi değerlendirmek için aracın değiştirilmiş versiyonu.
    NOT: Bu raporun oluşturulmasındaki amaç, uzman grubunu aşırı veri ile boğmadan ve gelecekteki değerlendirmelerini etkilemeden bilgilendirmekti.
  7. Uzman grubunun her bir üyesine, konsültasyonun 1. turunun sonuçlarına ilişkin raporla birlikte, USL'yi değerlendirmek için aracın değiştirilmiş versiyonunda yeniden formüle edilmiş öğeleri değerlendirmek için bir şablonla birlikte, özel talimatlarla birlikte (Delphi Yönteminin 2. turu) bir e-posta gönderin.
    NOT: Uzmanlar, yeniden formüle edilen her bir öğenin netliğini (içerik geçerliliğini), 1'in "ilgili değil veya net değil" ve 4'ün "çok alakalı veya çok açık" anlamına geldiği 4'lü bir Likert ölçeği kullanarak değerlendirir. Her bir maddenin yanında, 1'den 4'e kadar bir sayı içeren derecelendirme netliği için bir kutu ve ardından değerlendirmelerini niteliksel olarak açıklayabilecekleri ve maddede olası daha fazla revizyon önerebilecekleri başka bir bölüm vardır ( Ek Dosya 2 olarak sağlanan anketin örnek taslağına bakın). Uzmanlar, herhangi bir ara yanıt seçeneği sunmayarak, maddelerin lehine veya aleyhine kesin bir duruş sergilemek zorunda kaldılar. Bu, maddelerin ankete dahil edilmesi veya anketten çıkarılması ile ilgili karar verme sürecini kolaylaştırdı.
  8. Delphi danışmanlığının 2. turunda uzmanlardan gelen yanıtları tek bir dosyada derleyin.
    NOT: Uzmanlara, şablondaki 16 maddenin anlaşılırlığı (içerik geçerliliği) ile ilgili değerlendirmelerini tamamlamaları için yine iki hafta süre verildi.
  9. 3.3'teki adımları tekrarlayın, ancak bu sefer yalnızca enstrümanın yeniden formüle edilmiş öğeleri için netlik puanlarını seçin ve bunları Değişken(ler) kutusuna dahil edin.
  10. Uzmanların u'i tarafından son derece net olarak derecelendirilen tüm öğeleri kaldırarak 3.4'teki adımları tekrarlayın.
    NOT: İkinci tur istişarenin ardından şu maddeler kaldırılmıştır: 1, 23, 31 ve 41. maddeler.
  11. Gelecekte iç tutarlılığı değerlendirmek amacıyla birkaç kontrol öğesi ekleyin (her 10 öğe için yaklaşık bir kontrol öğesi eklemeniz önerilir).
    NOT: Cihazın bu versiyonuna dört kontrol öğesi eklenmiştir.
  12. İstişarenin 2. Turu için aşağıdakileri içeren bir sonuç raporu hazırlayın: 1. Açıklık veya içerik geçerliliği konusundaki anlaşma düzeyine ilişkin sonuç (Kendall katsayısı); 2. Belirlenen karar verme kriterleri; 3. Doğrulanmış öğelerin sayısı; 4. Elenen öğelerin sayısı; 5. Kontrol öğeleri olarak dahil edilen öğelerin sayısı; ve 6. QaSLu-45'in değiştirilmiş versiyonu (41 doğrulanmış öğe + 4 kontrol öğesi).
    NOT: Anketin son hali aşağıdaki gibi yapılandırılmıştır: 1) Anketin amacı, yazılı bilgilendirilmiş onam ve talimatlar; 2) Katılımcının organizasyonu veya kurumu, cinsiyeti, yaşı, eğitim düzeyi ve hizmet-öğrenmede mesleki deneyim yılları (bu bilgiler katılımcının kimliğinin belirlenmesine izin vermez); 3) Hizmet ederek öğrenme deneyimine ilişkin veriler; 4) Hizmet-öğrenme deneyimlerinin öz değerlendirmesi için 45 madde; ve 5) Katılım için teşekkür (anketin örnek bir taslağı Ek Dosya 3 olarak sunulmaktadır).
  13. İkinci konsültasyon turunun sonuç raporunu, tasarlanan anketin son halini (QaSLu-45) içeren uzman grubuna gönderin ve değiştirilmiş çevrimiçi Delphi Metodu'na katılımları için teşekkür edin.

figure-protocol-1
Şekil 1: İstatistiksel yazılım paketinde Kendall katsayısının hesaplanması 1. (1) K İlgili Örnekler simgesine tıklayın; (2) Kendall'ın W'sini seçin; (3) OK simgesine tıklayın. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-2
Şekil 2: İstatistiksel yazılım paketinde yüzdelik dilimlerin çıkarılması 1. (1) Frekanslar simgesine tıklayın; (2) İstatistik simgesine tıklayın; (3) Frekanslar: İstatistikler iletişim kutusunda, yüzdelik dilimleri ekleyin. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-3
Şekil 3: İstatistiksel yazılım paketinde tanımlayıcıların çıkarılması 1. (1) Açıklayıcı simgeye tıklayın; (2) Değişken(ler)i ekleyin; (3) OK simgesine tıklayın.

4. Anketi güvenli bir sunucunun çevrimiçi özelliklerine uyarlamak

  1. Kayıtlı bir kullanıcı olarak özel bir sunucuyla ( Materyal Tablosuna bakın) hizmet olarak yazılım (SaaS) platformunun ana sayfasına gidin. Bu kayıt, kişisel veriler sağlanarak önceden tamamlanmalıdır. Kaydolduktan sonra, Anketinizi sıfırdan oluşturun'u seçin (bkz. Şekil 4).
  2. Devam etmek için zorunlu kabul, bilgilendirilmiş onay içermesi gereken ilk sayfayı oluşturun.
  3. Araştırmada araya giren veya kontrol değişkenleri olarak kullanılacak olan katılımcı ilişkilendirme sorularının yer aldığı ikinci sayfayı oluşturun.
    NOT: Bu çalışma, üç ayrı nicel değişkenin ve beş nominal kategorik değişkenin analizini içermektedir. Çalışmada yer alan bu sekiz değişkenin operasyonel açıklaması aşağıdadır:
    Cinsiyet: İki seviyeli (erkek/kadın) nominal, niteleyici ve ikili bir değişken.
    Yaş: Çalışmadaki katılımcının yaşını belirleyen ayrı bir nicel değişken.
    USL Deneyimi: Katılımcının hizmet-öğrenme deneyimini ölçen ayrı bir nicel değişken. Ölçek 0'dan başlar ve hizmet ederek öğrenmede bir yıldan az deneyimi temsil eder (bu, 'deneyim yok'a eşdeğer değildir) ve üst sınır yoktur.
    Akademik Düzey: Katılımcının profesyonel bir doktora sahibi olup olmadığını yansıtan, iki seviyeli (Doktora/Doktora Değil) nominal, ikili bir değişken.
    USL Faaliyeti için İşbirliği Yapan Kuruluş: Beş seviyeli nominal bir değişken (Sosyal merkezler, STK'lar, Vakıflar, Okullar, Yüksek Öğretim Kurumları veya Üniversitelerle İttifaklar, Devlet kamu idareleri, Kıdemli merkezler ve diğer sağlıkla ilgili merkezler). Bu değişken, katılımcının hizmet-öğrenme deneyiminde işbirliği yaptığı kuruluş veya kurum türünü tanımlar.
    USL Faaliyetinin Hedef Grubu: Beş seviyeli nominal bir değişken (Engelli gruplar, Öğrenciler, Etnik azınlıklar, Yaşlı bireyler, Sosyal risk altındaki dezavantajlı gruplar). Bu değişken, hizmet-öğrenme faaliyetinin birincil yararlanıcı grubunu tanımlar.
    USL Etkinliği için Müdahale Modu: Nominal, ikili bir değişken (Yalnızca yüz yüze hizmet-öğrenme / Tamamen veya kısmen çevrimiçi etkinlikleri içerir). Bu değişken, hizmet-öğrenme etkinliğinin çevrimiçi bir bileşen içerip içermediğini gösterir.
  4. Özel bir sunucuya sahip SaaS platformu aracılığıyla sorular ve olası cevaplar da dahil olmak üzere önceden tasarlanmış anket için birkaç sayfa oluşturun.
  5. Anketi oluşturup kaydettikten sonra ( Ek Dosya 2'deki son ankete bakın), platformun ana menüsüne dönün, anketi seçin ve katılımcıların kullanımına sunmak için Herkese Açık Anketi Aç > Kapat simgesine tıklayın. Ardından, katılımcı erişimi için çeşitli seçenekler arasından seçim yaparak Ankete Bağlantı Al simgesine tıklayın (örneğin, bir e-postaya veya bir web sitesine yerleştirilmiş bir bağlantı, bir web sitesindeki bir iframe , bir web sitesindeki bir açılır pencere veya bir çağrı merkezinin bilgisayarlarına sağlanan bir bağlantı, bkz. Şekil 5).
    NOT: Anketin son hali aşağıdaki gibi yapılandırılmıştır: 1) Anketin amacı, yazılı bilgilendirilmiş onam ve talimatlar; 2) Katılımcı bilgileri (kurum veya kuruluş, yaş, cinsiyet, eğitim düzeyi ve hizmet ederek öğrenmede mesleki deneyim yılı). Bu bilgiler katılımcının anonimliğini sağlar; 3) Hizmet ederek öğrenme deneyimine ilişkin veriler; 4) Hizmet-öğrenme deneyimlerinin öz değerlendirmesi için 45 madde; ve 5) Katılım için minnettarlığını ifade eden bir bölüm.

figure-protocol-4
Şekil 4: Anketi sıfırdan oluşturma. (1) Yeni Anket simgesine tıklayın; (2) Anketinizi Sıfırdan Oluşturun'u seçin. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-5
Şekil 5: Anketin tasarlanması. (1) Anketi düzenleyin; (2) Sayfalar ve sorular ekleyin ve yapılandırın; (3-5) Sayfalar, sorular ve cevaplar geliştirin. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

5. Örnekleme yöntemi

  1. Son 3 yılda İspanyol Üniversite Hizmet-Öğrenme Ağı tarafından düzenlenen konferanslardan elde edilen tüm bildirileri gözden geçirin. Son yıllarda hizmet öğrenimi üzerinde çalışan yazarların bir listesini derleyin ve e-posta adreslerini toplayın.
    NOT: Örnekleme tesadüfi ve fırsatçıydı.
  2. Tüm yazarlara çalışmaya katılmaya davet eden bir e-posta gönderin. E-postayı bir ve iki hafta sonra yeniden gönderin.
    NOT: E-posta, alıcıları e-postayı, e-postaya katılmak isteyebilecek ilgili kişilere iletmeye teşvik etti. Böylece, tesadüfi örnekleme yöntemi, kartopu örnekleme tekniği ile tamamlanmıştır.
  3. SaaS platformunun ana sayfasına kayıtlı bir kullanıcı olarak erişin, oluşturulan anketi seçin ve Sonuçlar'a tıklayın. Açılır menüde, tamamlanan anketlere doğrudan erişmek için Anket simgesini tıklayın. SaaS platformu aracılığıyla eksik veya hatalı yanıtları ortadan kaldırın (bkz. Şekil 6).
  4. Anketler gerekli minimum katılımcı sayısına (>100) ulaştığında, eksik yanıtları hariç tuttuktan sonra, kayıtlı bir kullanıcı olarak SaaS platformunun ana sayfasına gidin, anketi seçin ve anketi kapatmak ve daha fazla katılımı önlemek için Halka Açık Anketi Aç/Kapat simgesine tıklayın (Şekil 5'teki Adım 1'e tekrar bakın).
    NOT: Toplantıya 43 yükseköğretim kurumundan toplam 118 eğitimci katılmış olup, g,80'i kadın, 2,20'si erkek olarak tanımlanmıştır. Ortalama yaş 46.16 (SS = 9.60) idi ve yaşları 24 ile 65 arasında değişiyordu. Akademik niteliklerle ilgili olarak, önemli bir çoğunluk (v.3) doktora derecesine sahipken, geri kalan katılımcılar en az lisans derecesine sahipti. Hizmet-öğrenme deneyimi açısından, ortalama 6.69 yıl (SS = 5.39 yıl), en düşük yarım yıl ve en yüksek 34 yıl olarak kaydedildi. Katılımcıların üniversitelerinin işbirliği yaptığı kurumlar arasında eğitim merkezleri (diğer üniversiteler dahil), sosyal merkezler, yaşlı merkezleri, sağlık merkezleri, STK'lar, vakıflar, belediye binaları ve konseyler gibi devlet kurumları yer aldı. Örneklemin P,85'ini oluşturan örgün eğitim merkezleri ve kalan I,15'ini oluşturan yaygın eğitim merkezleri olmak üzere iki tür kurumla hizmet-öğrenme ortaklıkları kurulmuştur. Hizmet-öğrenme deneyimlerinin modalitesi ile ilgili olarak, d.41'i yüz yüze, 5.59'u ise bir tür sanal etkinlik içeriyordu.

figure-protocol-6
Şekil 6: Ankete bir bağlantı alma. (1) Anketi açın; (2) Ankete Bir Bağlantı Alın simgesine tıklayın; (3) İstediğiniz yöntemi seçin. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

6. Anketin faktör analizi ile nicel geçerliliği

  1. Kayıtlı bir kullanıcı olarak SaaS platformunun ana sayfasına gidin, oluşturulan anketi seçin ve Sonuçlar simgesine tıklayın. Açılır menüde, Dışa Aktar'a tıklayın ve Metin'de virgülle ayrılmış değerler (.csv) uzantısıyla ayrıntılı rapor seçeneklerini (gelişmiş elektronik tablo biçimi) seçin (bkz. Şekil 7). Katılımcılar anketleri tamamladıktan sonra, verileri güvenli, özel ve korumalı bir yerde saklandığından emin olarak .csv biçiminde bir e-posta hesabına aktarın.
  2. İstatistiksel yazılım paketi 1'i açın (Malzeme Tablosu'na bakın) ve Verileri İçe Aktar > Dosya Menüsü'nü > CSV Verileri'ni seçin. Önceden kaydedilmiş .csv dosyasını seçin. Bu işlem, anonim verileri istatistiksel yazılım paketi 1 için gerekli analiz formatına dönüştürür (bkz. Şekil 8).
  3. İstatistiksel olarak analiz edilecek değişkenleri seçin (Cinsiyet, Yaş, Eğitim Yeterliliği, USL Faaliyetinin İşbirliği Organizasyonu, USL Aktivitesinin Hedef Grubu, USL Aktivitesi için Müdahale Modu ve QaSLu'daki 45 madde) ve istatistiksel yazılım paketi 1 tarafından oluşturulan .sav dosyası aracılığıyla içe aktarılan ilgisiz verileri kaldırın.
  4. İstatistiksel yazılım paketi 1 ile Cronbach Alfa kullanarak QaSLu-45 anketinin iç tutarlılığını değerlendirin. Bunu yapmak için, Analiz Menüsünü seçin > Güvenilirlik Analizi > Ölçeklendirin ve ilgili tüm değişkenleri Güvenilirlik Analizi iletişim kutusuna aktarın. Son olarak, tıklayın OK İstenen çıktıyı oluşturmak için düğmesine basın (bkz. Şekil 9).
    NOT: Anket, Cronbach Alfa (α = 0.917) ile ölçüldüğü üzere yüksek güvenilirlik ve iç tutarlılık göstermiştir.
  5. İstatistiksel yazılım paketi 1'i kullanarak açımlayıcı faktör analizini gerçekleştirin.
    1. Bu analizi gerçekleştirmek için Analiz Menüsü > Boyut Azaltma > Faktörü'nü seçin. Faktör Analizi iletişim kutusunda, anketteki tüm öğeleri seçin, ardından Tanımlayıcılar'a tıklayın ve Tek Değişkenli Tanımlayıcılar ile KMO ve Bartlett'in Küresellik Testi'ni seçin.
    2. Faktör Analizi iletişim kutusunun ana menüsüne dönmek için Devam'a tıklayın. Ardından, Çıkarma'ya tıklayın ve çıkarma yöntemi olarak Temel Bileşenler'i seçin.
    3. Döndürülmemiş Faktör Çözümü ve Ekran Grafiği seçeneklerini kontrol edin, ardından Faktör Analizi iletişim kutusunun ana menüsüne dönmek için tekrar Devam'a tıklayın. Son olarak, çıktıyı oluşturmak için Tamam simgesine tıklayın (bkz. Şekil 10).
      NOT: Bartlett'in Küresellik Testi (χ2 = 2689.72; p = 0.00) ve Kaiser-Meyer-Olkin (KMO) Örnekleme Yeterlilik Testi'nin (KMO = 0.793) anlamlılığı, maddelerin güçlü tasarımı ve QaSLu-45'in validasyonu için örneklemenin uygunluğunu doğrulamaktadır. Temel bileşenler analizi sonuçları, özdeğerleri 1.0'dan büyük olan ve toplam varyansın i.95'ini açıklayan 13 bileşen ortaya koymuştur. Bununla birlikte, kayşat grafiği (bkz. Şekil 11), ilk bileşenin o kadar orantısız bir alaka düzeyine sahip olduğunu ve kalan bileşenlerin öneminin ihmal edilebilir hale geldiğini göstermektedir. Bu nedenle, QaSLu-45'in tek bir bileşene indirgenmesi ve böylece tasarlanan QaSLu-45 için benzersiz bir nihai puan elde edilmesi önerilir.
  6. Anketin sonuç dosyasını, öznitelik değişkenleri hariç, istatistiksel yazılım paketi 2 ile uyumlu ASCII sabit formatına (dat) dönüştürün (bkz. Malzeme Tablosu).
    1. Önce tüm öznitelik değişkenlerini kaldırın ve istatistiksel yazılım paketi 1'de yalnızca anket öğelerini değişken olarak bırakın. Ardından, Verileri Sabit Metin > Dışa Aktar > Dosya Menüsü'nü seçin (bkz. Şekil 12).
    2. Dosyayı tanınabilir bir adla güvenli bir konuma kaydedin. Bu işlem, anonim verileri istatistiksel yazılım paketi 2'de analiz için gerekli formata dönüştürür.
  7. Anketin tek faktörlü modeline uygunluğu belirlemek için istatistiksel yazılım paketi 2 ile Doğrulayıcı Faktör Analizi (DFA) gerçekleştirin.
    1. Bu çözümlemeyi gerçekleştirmek için Verileri Oku'yu seçin, ardından Örnek iletişim kutusunda Gözat'ı tıklatın ve önceden oluşturulan ASCII dosyasını seçin. Katılımcı ve değişken sayısı Veri Matrislerinin Boyutu bölümünde yeşil olarak görüntülenecektir.
    2. Ardından, Tek Grup Veri Kümesini Aç simgesine tıklayın ve istatistiksel yazılım paketi 2'nin ana menüsüne dönün. Ana Menü'de Analizi Yapılandır'a tıklayın. İletişim Menüsünde , Doğrulayıcı Faktör Analizi'ni işaretleyin ve Onayla düğmesine tıklayın.
    3. CFA: Faktör Analizi Yapılandırması penceresinde, varsayılan ayarları kabul edin ve ana menüye dönmek için Onayla'ya tıklayın. Son olarak, Ana Menü'de "Doğrulayıcı Faktör Analizi Hazır" mesajı görülecektir; ardından Hesaplama düğmesine tıklayın (bkz. Şekil 13) ve sonuçları bekleyin.
      NOT: QaSLu-45 öğeleri, CFA modelinin uyum ölçüleri tarafından değerlendirildiği üzere mükemmel sağlam uyum kalitesi göstermiştir. Kelley'in önerdiği kritere göre, QaSLu-45 maddelerinin Karşılaştırmalı Uyum İndeksi >0.95 (CFI = 0.973) idi, çünkü CFA/serbestlik derecelerindeki minimum-maksimum fark 1 ile 3 arasında (CMIN/DF = 1.053), yaklaşımın ortalama kare hatası <0.06 (RMSEA = 0.042) ve ağırlıklı ortalama kare kök kalıntısı <1.0 (WRMR = 0.0978) idi.

figure-protocol-7
Şekil 7: İstatistiksel yazılım paketleri 1 ve 2'de kullanmak üzere verilerin dışa aktarılması. (1) Sonuçlar simgesine tıklayın; (2) Anketler simgesine tıklayın; (3) Seçin Metin ve CSV içinde Ayrıntılı seçenek. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-8
Şekil 8: Verilerin istatistiksel yazılım paketine aktarılması 1. Verileri İçe Aktar >> CSV Verilerini Dosya Menüsü'nü seçin. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-9
Şekil 9: Anketin iç tutarlılığının değerlendirilmesi. Analiz Et menüsünü seçin > Güvenilirlik Analizi > ölçeklendirin. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-10
Şekil 10: İstatistiksel yazılım paketi 1 ile açımlayıcı faktör analizinin gerçekleştirilmesi. (1) Faktörler simgesine tıklayın; (2) Tanımlayıcılar simgesine tıklayın; (3) Ayrıntılı seçenekte KMO ve Bartlett'in Küresellik testini seçin; (4) Çıkarma simgesine tıklayın; (5) Ayrıntılı seçeneğinde Scree Plot'u seçin; (6) Tamam simgesine tıklayın. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-11
Şekil 11: 45 maddenin ilk versiyonunda temel bileşen faktör analizinin tortu grafiği. Açımlayıcı faktör analizine göre 1 numaralı bileşenin, diğerlerine göre nasıl büyük bir şekilde öne çıktığına dikkat edin, alaka düzeyinin diğer bileşenlerin toplamından çok daha büyük olduğunu vurgulayarak, tek faktörlü yapının anket için en uygun olduğunu doğrulayın. Bu tablo López-de-Arana Prado et al.9'dan yeniden yayınlanmıştır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-12
Şekil 12: Sonuç dosyasını sabit formatta ASCII formatına dönüştürme. (1) Sabit Metin simgesine tıklayın; (2) Kayıt türü menüsünde Sabit ASCII'yi seçin; (3) Kaydet simgesine tıklayın. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-13
Şekil 13: İstatistiksel yazılım paketi 2 ile Doğrulayıcı Faktör Analizi Yapma. (1) Verileri Oku simgesine tıklayın; (2) Örnek menüsünde ASCII dosyasını seçin; (3) Tek Grup Veri Kümesini Aç simgesine tıklayın; (4) Analizi Yapılandır simgesine tıklayın; (5) Ayrıntılı seçeneğinde Doğrulayıcı Faktör Analizi'ni seçin; (6) Tamam simgesine tıklayın; (7) Compute (Hesaplama) simgesine tıklayın. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

7. Anketin tek bir temel bileşen için optimizasyonu, fazla maddelerin cimrilik ilkesine göre azaltılması

  1. Anketin optimize edilmiş versiyonunda, ana bileşenle ters bir ilişkisi olan kaldırılacak öğeleri belirleyin.
    1. Hangi öğelerin ana faktör ile ters bir ilişki sergilediğini belirlemek için istatistiksel yazılım paketi 1'i kullanarak adım 6.5'te elde edilen Bileşen Matrisini gözden geçirin. Bu öğeleri, tek bir faktör için anketin küçültülmüş ve optimize edilmiş sürümünden hariç tutun.
      NOT: Ana bileşen için her bir öğenin puan matrisine bağlı olarak, 6, 16, 28 ve 35 numaralı maddeler, ana bileşenle ters bir ilişki sergiledikleri için son konfigürasyondan çıkarılmıştır. Anket tek bir nihai puan sunduğundan, anketin kullanıcıları arasındaki gerçek farkları maskeledikleri için ters maddeler ortadan kaldırılmalıdır.
  2. İstatistiksel yazılım paketi 2 ile Sağlam Ağırlıksız En Küçük Kareler (RULS) Açımlayıcı Faktör Analizi gerçekleştirin.
    1. Bu analizi gerçekleştirmek için Verileri Oku'yu seçin, ardından Örnek iletişim kutusunda Gözat'a tıklayın ve daha önce oluşturulan ASCII dosyasını seçin. Katılımcı ve değişken sayısı Veri Matrislerinin Boyutu bölümünde yeşil olarak görüntülenecektir.
    2. Ardından, Tek Grup Veri Kümesini Aç simgesine tıklayın ve istatistiksel yazılım paketi 2'nin ana menüsüne dönün. Ana Menü'de Analizi Yapılandır'a tıklayın. İletişim Menüsünde , Açımlayıcı Faktör Analizi'ni seçin ve Onayla düğmesine tıklayın.
    3. Açımlayıcı Faktör Analizi Yapılandırma Menüsünde, istatistiksel yazılım paketi 1 ile yapılan açımlayıcı faktör analizine göre temel bileşenle ters ilişkisi olan öğeleri seçin ve bunları hariç tutulan değişkenler kutusunun bulunduğu kutuya taşıyın.
    4. Ardından Pearson Korelasyon Matrisi ve Paralel Analiz seçeneklerini kontrol edin, Faktör/Bileşen Sayısı'nı 1 olarak değiştirin ve Sağlam Faktör Analizi'ni seçin (bkz. Şekil 14). Son olarak, ana menüye dönmek için Onayla düğmesine tıklayın ve ardından sonuçları oluşturmak için Hesaplama'ya tıklayın.
  3. Anketin optimize edilmiş sürümünden kaldırılacak ve 0,49 MSA'nın altında bir Örnekleme Yeterliliği Ölçüsü (MSA) olan öğeleri belirleyin. Bunu yapmak için, İstatistiksel Yazılım Paketi 2 ile RULS Açımlayıcı Faktör Analizinden elde edilen sonuçları, özellikle Madde Konumu ve Madde Yeterlilik İndekslerini gözden geçirin.
    NOT: RULS Açımlayıcı Faktör Analizi, tasarımı tek bir temel bileşene uyarlamak için 14 öğenin atılmasını önerir: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 ve 42. Bu, tek bir ana bileşen için optimize edilmiş ve yüksek ilişkili psikometrik sağlamlığa sahip 27 öğeden oluşan nihai bir yapılandırmayla sonuçlanır. Bu versiyon QaSLu-27 olarak adlandırılmıştır (anketin örnek bir taslağı Ek Dosya 4 olarak verilmiştir).

figure-protocol-14
Şekil 14: İstatistiksel yazılım paketi 2 ile Sağlam Ağırlıksız En Küçük Kareler Gerçekleştirme. (1) Verileri Oku simgesine tıklayın; (2) Örnek menüsünde ASCII dosyasını seçin; (3) Tek Grup Veri Kümesini Aç simgesine tıklayın; (4) Analizi Yapılandır simgesine tıklayın; (5) Ayrıntılı seçeneğinde Açımlayıcı Faktör Analizi'ni seçin; (6) Pearson Korelasyon Matrisi ve Paralel Analiz seçeneklerini kontrol edin; (7) Faktör/bileşen sayısını 1 olarak değiştirin; (8) seçeneklerde Sağlam Faktör Analizini kontrol edin; (9) Onayla düğmesine tıklayın; (10) Compute (Hesaplama) simgesine tıklayın. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

8. QaSLu-27'nin psikometrik özelliklerinin QaSLu-45'e göre yeterliliğinin gözden geçirilmesi.

  1. Anketin optimize edilmiş versiyonunun bir parçası olmayan herhangi bir öğeyi analizden hariç tutarak adım 6.4'ü yeniden uygulayın.
  2. Anketin optimize edilmiş versiyonunun bir parçası olmayan herhangi bir öğeyi analizden çıkararak adım 6.5'i yeniden uygulayın.
  3. Anketin optimize edilmiş versiyonunun bir parçası olmayan herhangi bir öğeyi analizden hariç tutarak adım 6.7'yi yeniden uygulayın.
  4. Anketin optimize edilmiş versiyonunun psikometrik özelliklerinin yeterliliğini bir tablo formatındaki orijinal versiyonla karşılaştırın.
    NOT: KMO Örnekleme Yeterliliği Testi (KMO = 0.863) ve Bartlett Küresellik Testinde (χ2 = 1447.76; p = 0.000) anlamlı bir iyileşme gözlenmiştir. QaSLu-27 ile yapılan temel bileşen faktör analizi, özdeğerleri 1.0 > olan ve toplam varyansın e.59'unu oluşturan yedi bileşen ortaya koymuştur. CFA kullanılarak belirlenen sağlam uyum iyiliği istatistikleri, QaSLu-27'nin 45 yerine sadece 27 madde içermesine rağmen, biraz daha iyi sonuçlar gösterdi ve Cronbach alfa ile ölçülen güvenilirlik arttı (α = 0.92). Bu bulgular, nihai konfigürasyonun geçerliliği ve sağlamlığının 45 maddelik versiyondan önemli ölçüde daha yüksek olduğu sonucunu desteklemektedir.

9. Derecelendirme ölçeklerinin geliştirilmesi

  1. Anketin optimize edilmiş sürümündeki tüm öğelerin puanlarını toplayarak yeni bir değişken oluşturun.
    1. Dönüştürme Menüsü'nü > Hesaplama Değişkeni'ni seçin ve Hesaplama Değişkeni iletişim kutusunda yeni değişkeni SUM27 olarak adlandırın.
    2. Topla işlevini seçin ve anketin en iyi duruma getirilmiş sürümündeki öğeler de dahil olmak üzere Sayısal İfade'yi doldurun. Son olarak, yeni SUM27 değişkenini oluşturmak için Tamam simgesine tıklayın (bkz. Şekil 15).
  2. Anketin optimize edilmiş versiyonundan nihai sonucun farklı yüzdelik dilimlerini hesaplayın.
    1. Tanımlayıcı İstatistikler > Frekanslar > Analiz Et Menüsü'nü seçin ve Frekanslar iletişim kutusunda SUM27 değişkenini seçin ve ok simgesini tıklatarak Değişken(ler) kutusuna taşıyın.
    2. Ardından, İstatistikler simgesini tıklayın, Yüzdelik Dilimler'i seçin ve şu yüzdelik dilimleri ekleyin: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 ve 99. Frekanslar iletişim kutusuna dönmek için Devam simgesine tıklayın. Son olarak, SUM27 için istenen yüzdelik dilimleri oluşturmak için Tamam simgesine tıklayın (bkz. Şekil 1).
    3. Eklenen değişkenlere göre filtreler uygulayarak her derecelendirme ölçeği için bu işlemi tekrarlayın. Bunu yapmak için, Dosyayı Böl simgesine tıklayın, ilgili olduğu düşünülen her bir nominal veya sıralı değişkeni seçin, Çıktıyı Gruplara Göre Düzenle'yi seçin, ok simgesine tıklayın ve son olarak, her değişkene göre filtrelenmiş SUM27 için istenen yüzdelik dilimleri oluşturmak için Tamam simgesine tıklayın.
  3. Her derecelendirme ölçeği için bir tablo oluşturun.
    1. Tablo başlıkları için bir satır oluşturun, ardından Düşük (1, 10 ve 20 yüzdelik dilimleri için alt satırlarla), Orta/Düşük (30 ve 40 yüzdelik dilimleri için alt satırlarla), Orta (50 yüzdelik dilimi), Orta/Yüksek (60 ve 70 yüzdelik dilimleri için alt satırlarla) ve Yüksek (80, 90 ve 99 yüzdelik dilimleri için alt satırlarla) için bir satır oluşturun.
    2. Başlık satırında birkaç sütun oluşturun: ilki Düzey (düzey adları aşağıda listelenmiştir), ikincisi Yüzdebirlik (her yüzdebirlik aşağıda listelenmiştir) olarak etiketlenmiştir ve üçüncü sütundan itibaren, her tablo için seçilen değişkenin farklı koşullarının adlarını listeleyin.
    3. Tabloyu, daha önce hesaplanan yüzdelik dilimler için puan aralığıyla doldurun. Yani, Yüzdelik 1 = 0 -, Yüzdelik 4, Yüzdelik 10 = Yüzdelik 5 - Yüzdelik 14, Yüzdelik 20 = Yüzdelik 15 - Yüzdelik 24, Yüzdelik 30 = Yüzdelik 25 - Yüzdelik 34, Yüzdelik 40 = Yüzdelik 35 - Yüzdelik 44, Yüzdelik 50 = Yüzdelik 45 - Yüzdelik 54, Yüzdelik 60 = Yüzdelik 55 - Yüzdelik 64, Yüzdelik 70 = Yüzdelik 65 - Yüzdelik 70 = Yüzdelik 65 - Yüzdelik 74, Yüzdelik 80 = Yüzdelik 75 - Yüzdelik 84, Yüzdelik 90 = Yüzdelik 85 - Yüzdelik 94, ve Yüzdelik 99 = Yüzdelik 95 -Yüzdelik 99. Seçilen nominal veya sıralı değişkenlerle her derecelendirme ölçeği için bu işlemi tekrarlayın.

figure-protocol-15
Şekil 15: İstatistik yazılım paketi 1'deki tüm öğelerin puanlarını toplayarak yeni bir değişken oluşturma. (1) Hesaplama Değişkeni simgesine tıklayın; (2) Topla işlevini seçin; (3) Sayısal İfadeyi tüm öğelerle doldurun; (4) Yeni değişkene bir ad atayın; (5) OK simgesine tıklayın. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu titiz nitel-nicel doğrulama protokolünü takiben, üniversite hizmet-öğrenme deneyimlerinin öz değerlendirmesi için QaSLu (Yüksek Öğretimde Hizmet-Öğrenme Deneyimlerinin Öz Değerlendirmesi Anketi) adlı sağlam, optimize edilmiş ve cimri bir araç geliştirdik. Bu nihai araç, Delphi yöntemi kapsamında 16 SL uzmanından kalitatif onay aldı, iki tur çevrimiçi danışma ve uyarlamanın yanı sıra Doğrulayıcı Faktör Analizi ve Sağlam Ağırlıksız En Küçük Kareler faktörü keşif analizi 38,41,42 yoluyla...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cihaz validasyonu için kullanılan yöntemler çeşitli avantajlar sunar. Delphi yöntemi, uzmanlardan oluşan bir panelden içgörü toplanmasını kolaylaştırdı ve bu bilgilerin analiz için sistematik olarak düzenlenmesini sağladı. Uzman tahminlerine ve önerilerine dayalı olarak yanıtların seçilmesine ve iyileştirilmesine izin verdi 32,47,48,49. Ayrıca, bu yaklaşım nisp...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarların ifşa edecek hiçbir şeyi yok.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar, Şili Ulusal Bilimsel ve Teknolojik Araştırma Komisyonu'na (CONICYT Fondecyt/Initiation) ve ayrıca Delphi yöntemi ile nitel doğrulamaya katılan tüm uzmanlara ve nicel doğrulama ve puanlamadaki tüm katılımcılara şükranlarını sunarlar.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Encuestafacil.com SaasEncuestafacil.com2025Encuestafacil.com özel veri sunucusunda Hizmet Olarak Yazılım
Faktör AnaliziUniversitat Rovira i Virgili12.06.07Verilerin faktöriyel analizinde kullanılan yazılım paketi
Sosyal Bilimler için İstatistik Paketi (SPSS)IBM24Verilerin istatistiksel analizinde kullanılan yazılım paketi

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

Hizmetle renme De erlendirmesiAra Do rulamasKalitatif Do rulamaA mlay c Fakt r AnaliziDo rulay c Fakt r AnaliziPsikometrik De erlendirmeAnket Geli tirme

İlgili makaleler