Psikoloji Deneylerinde Güvenilirlik
Kaynak: Gary Lewandowski, Dave Strohmetz ve Natalie Ciarocco'nun laboratuvarları—Monmouth Üniversitesi
Bir şeyi bilimsel olarak incelemek için, bir ar…
1. Anahtar değişkenleri tanımlayın.
- Uygunsuz içeriğin operasyonel bir tanımını (, yani , bir araştırmacının bir kavramla tam olarak ne demek istediğinin net bir açıklaması) oluşturun.
- Kuruluş tarafından oluşturulan tanımlara bakın TV Ebeveyn Yönergeleri ve Federal İletişim Komisyonu tarafından onaylandı.
- Uygunsuz içerik, kaba veya kaba davranışlar ( ör. , tuvalet mizahı), sözlü veya fiziksel saldırganlık tasvirleri ( ör. , isim takma, vurma, vb.), kötü dil (, ör. , küfür sözcükleri) veya uyuşturucu kullanımı, şiddet veya sekse atıfta bulunur.
2. Uygunsuz içeriğin operasyonel tanımından kodlama kategorileri oluşturun.
- Araştırma katılımcılarının (burada değerlendiriciler olarak anılacaktır) hedeflenen, uygunsuz davranışın örneklerini tanımlamaları için sistematik bir süreç tasarlayın (bkz. Tablo 1).
| Kodlama Kategorileri | Temalar ve Örnekler | Sayı |
| Kaba Davranış | Tuvalet mizahı Kasıtlı olarak iğrenç davranışlar | |
| Kaba Davranış | Başkalarını bozmak Kötü Davranışlar | |
| Dil | Küfürlü kelimeler kullanmak | |
| Sözlü Saldırganlık | Hakaretler Bağırmak İsim Arama | |
| Fiziksel Saldırganlık | Vurma İtme/İtme Açma | |
| İlaç Referansları | Sözlü (müstehcen ifadeler/konuşma) Sözsüz (uyuşturucu kullanımını taklit eden) | |
| Cinsel Referanslar | Sözlü (müstehcen ifadeler/konuşma) Sözsüz (cinsel eylemleri taklit eden) |
Tablo 1. Uygunsuz davranış örneklerinin nasıl kaydedileceğine dair örnek. Bu günlük, değerlendiriciler arasında sistematik olarak kullanılabilir.
3. Değerlendiricilere SpongeBob SquarePants'ın aynı bölümünü ayrı ayrı izlemelerini ve kodlama sayılarını sağlamalarını söyleyin.
4. Değerlendiricilere Caillou'nun aynı bölümünü ayrı ayrı izlemelerini ve kodlama sayılarını sağlamalarını söyleyin.
5. Değerlendiricilerin her gösteri için benzer derecelendirmeler bulup bulmadığını görmek için derecelendirmeleri karşılaştırın.
- Güvenilirlik, değişken olan uygunsuz içeriği tutarlı bir şekilde ölçme yeteneğidir.
- Değerlendiriciler arası güvenirlik, değişkenleri birden fazla kişinin ölçebilmesi ve ölçümlerinin uyumlu olabilmesidir.
Bilimsel araştırma, veri toplamak için kesin yöntemler kullanır, ancak ölçümlerin elde edilmesinde genellikle değişkenlik vardır.
Güvenilirlik, herhangi bir deneysel ölçüm için değerlendirilebilir ve bugün, çizgi filmlerdeki uygunsuz davranışların ölçümlerine bir göz atacağız.
İzleyiciler aynı şovdaki uygunsuz materyal miktarı konusunda hemfikir olduklarında, birden fazla bölümde, yargıları son derece güvenilir olarak kabul edilir. Bu durumda, değerlendiriciler arası güvenilirlik olarak adlandırılan gözlemciler arasındaki tutarlılık nedeniyle değerlendirmeler farklı gösterilere yayılabilir.
Bu video, bir çizgi filmin diğerinden daha uygunsuz içeriğe sahip olup olmadığını inceleyen bir deneyin nasıl tasarlanacağını ve gerçekleştirileceğini, ayrıca nasıl analiz edileceğini ve yorumlanacağını gösterir.
Güvenirliği ve değerlendiriciler arası güvenilirliği incelemek için, bu deneyde denek içi bir tasarım kullanılmıştır. Katılımcılardan iki farklı çizgi filmin iki bölümünü izlemeleri isteniyor mu? Sünger Bob SquarePants ve Caillou.
Bu çizgi film izleme bağlamında, bağımlı değişken, katılımcıların gözlemlediği uygunsuz davranışların sayısıdır. Bunlar şunları içerir: her türlü kaba ve kaba davranış, kötü dil, sözlü ve fiziksel saldırganlık ve uyuşturucu ve cinsel içeriğe atıfta bulunma.
Belirli bir çizgi filmin uygunsuz içeriğinin puanlanmasında güvenilirlik varsa, katılımcılar bu çizgi filmi farklı bölümlerde tutarlı bir şekilde derecelendirecektir.
Ayrıca, birden fazla katılımcı saydıkları uygunsuz örneklerin sayısı konusunda hemfikirse, değerlendiriciler arası güvenilirlik mevcuttur.
Bu nedenle, değerlendiriciler arası güvenilirliğin oluşturulması, araştırmacıların birden fazla koşul arasındaki verileri daha güçlü bir şekilde karşılaştırmak için aynı katılımcıları kullanmalarına olanak tanır.
Çalışmayı yürütmek için dört klip hazırlayın: iki farklı çizgi filmden iki farklı bölüm, SpongeBob SquarePants ve Caillou.
Katılımcıların uygunsuz davranış örneklerini sistematik olarak tanımlamasına izin vermek için kategoriler, somut örnekler ve her bir olayı saymak için boşluk içeren bir kodlama sayfası oluşturun.
Katılımcı ekranın önünde otururken, ona dört kodlama sayfası verin. Katılımcıya SpongeBob SquarePants'ın iki bölümünü ayrı ayrı izlemesini söyleyin.
Katılımcı her bölümü izlerken, uygunsuz davranışların her oluşumunu tanımlamalarını söyleyin.
Aynı kodlama şemasını kullanarak, katılımcıya Caillou'nun iki bölümünü izlemesini ve derecelendirmesini söyleyin.
Katılımcıların güvenilirliğini analiz etmek için mi? Çizgi film içeriğinin derecelendirmeleri, farklı çizgi film bölümlerinde her katılımcı arasındaki kodlama sayfalarını karşılaştırın. Tüm yanıtları bir ana sayfada toplayın.
Bölümler ve çizgi filmler arasında her değerlendirici için toplam uygunsuz davranış sayısının grafiğini çıkarın.
Sünger Bob sürekli olarak Caillou'dan daha yüksek puan aldığından, iki farklı çizgi filmin puanlamasında yüksek güvenilirlik gözlemlendiğini unutmayın.
Bununla birlikte, Caillou'daki uygunsuz içeriğin puanlamasında Sünger Bob'a kıyasla daha güçlü değerlendiriciler arası güvenilirlik bulundu. Değerlendiriciler arası güvenilirliğin azalması, Sünger Bob'un 2. bölümünün puanlamasında daha belirgindi.
Artık içerik analizi bağlamında güvenilirliğe aşina olduğunuza göre, bu yaklaşımı diğer araştırma alanlarına da uygulayabilirsiniz.
Birçok psikolojik deney, her bir öğe arasındaki güvenilirliğin katılımcılar arasında tutarlı olması gereken bilişsel değerlendirmeler ve anketler kullanarak bilgi toplar.
EEG veya göz takibi gibi nörofizyolojik ölçümlerde güvenilirlik, tekrarlanabilir deneyler yapmak için çok önemlidir. Bu güvenilirlik, araştırmacıların birden fazla denekte beyin fonksiyonu ve hastalık durumları arasında ilişki kurmasına olanak tanır.
Ek olarak, araştırmacılar bir deneydeki belirli ölçümlerin zaman içinde tutarlı olmasını sağlamalıdır. Örneğin, egzersiz rutinlerinden önceki ve sonraki verileri karşılaştırmak için ağırlık ölçümleri güvenilir bir şekilde yapılır.
JoVE'nin psikolojik deneylerde güvenilirliği belirlemeye yönelik tanıtımını yeni izlediniz. Şimdi, uygunsuz davranış gibi psikolojik bir yapıyı nasıl ölçeceğinizi, bir deney tasarlayacağınızı ve son olarak sonuçlardan güvenilirliği nasıl değerlendireceğinizi iyi anlamalısınız.
İzlediğiniz için teşekkürler!?
View the full transcript and gain access to JoVE Science Education videos
Q1: What is inter-rater reliability in psychology experiments?
Inter-rater reliability occurs when multiple observers or raters agree on their measurements of the same behavior or phenomenon. When participants consistently count the same number of inappropriate instances across different episodes or shows, this demonstrates strong inter-rater reliability. Establishing inter-rater reliability allows researchers to confidently compare data between multiple conditions using the same participants.
Q2: How do you measure reliability in content analysis studies?
Reliability in content analysis is measured by comparing coding sheets between participants across different episodes or conditions. Researchers sum all responses on a master sheet and graph the total number of occurrences for each rater. High reliability is demonstrated when raters consistently score the same content similarly, such as SpongeBob consistently scoring higher than Caillou across episodes.
Q3: Why is a coding sheet important when analyzing behavioral content?
A coding sheet provides a systematic framework for identifying and counting specific behaviors. It includes concrete categories, examples, and space to record each occurrence, ensuring participants apply consistent criteria when observing. This standardization helps establish reliability by allowing multiple raters to independently assess the same content using identical definitions and measurement procedures.
Q4: What design did researchers use to examine reliability in the cartoon study?
Researchers used a within-subjects repeated-measures design where participants watched multiple episodes from two different cartoons. Each participant rated the same cartoons across different episodes, allowing researchers to assess both test-retest reliability within a cartoon and inter-rater reliability across participants. This design strengthens comparisons between conditions by using the same participants.
Q5: How does reliability apply beyond content analysis in psychology research?
Reliability is essential across multiple psychological measurement methods. Cognitive assessments and surveys require consistent item reliability between participants. Neurophysiological measures like EEG or eye tracking must be reliable to establish associations between brain function and disease states. Additionally, researchers must ensure measurements remain consistent over time, such as weight measurements taken before and after exercise interventions.
Q6: What dependent variable was measured in the cartoon content study?
The dependent variable was the number of inappropriate behaviors participants observed in each cartoon episode. Inappropriate behaviors included crude and rude actions, bad language, verbal and physical aggression, and references to drugs or sexual content. Participants used the coding sheet to systematically count and record each occurrence of these behaviors while watching the cartoons.
Q7: Why is quantifying psychological constructs challenging for researchers?
Psychological constructs like inappropriate behavior are abstract and subjective, making them difficult to measure directly. Researchers must develop operational definitions and systematic measurement tools, such as coding sheets with concrete examples, to transform abstract concepts into quantifiable data. This process requires careful design to ensure different observers can reliably identify and count the same behaviors consistently.