Psikoloji Deneylerinde Güvenilirlik

Reliability in Psychology Experiments

JoVE Science Education
Experimental Psychology

A subscription to JoVE is required to view this content. Sign in or start your free trial.

JoVE Science Education Experimental Psychology

Reliability in Psychology Experiments

2.4: Perspectives on Experimental Psychology

2.13: Placebos in Research

8,614 Views

•

05:13 min

•

February 04, 2015

Please note that all translations are automatically generated. Click here for the English version.

Overview

Kaynak: Gary Lewandowski, Dave Strohmetz ve Natalie Ciarocco’nun laboratuvarları—Monmouth Üniversitesi

Bir şeyi bilimsel olarak incelemek için, bir araştırmacının onu ölçmenin bir yolunu belirlemesi gerekir. Bununla birlikte, psikolojik yapıların ölçülmesi ve ölçülmesi zor olabilir. Bu video, içerik analizi bağlamında güvenilirliği incelemektedir.

Pediatrics dergisinde yakın zamanda yapılan bir araştırma, hızlı tempolu bir çizgi film izleyen 4 yaşındaki çocukların, bir oyunda kurallara uymak, bir yetişkinin talimatlarını dinlemek ve hazzı ertelemek gibi bilişsel görevlerde daha yavaş tempolu bir çizgi film izleyen diğer çocuklara kıyasla daha kötü performans gösterdiğini bildirdi. ¹ Çizgi filmin hızına ek olarak, içeriği de genç izleyicileri üzerinde zararlı etkilere sahip olabilir.

Bu video, SpongeBob SquarePants çizgi filminin Caillou çizgi filminden daha uygunsuz içeriğe sahip olup olmadığı sorusunu incelerken güvenilirlik konusunu örneklendirmek için iki gruplu basit bir tasarım kullanır.

Procedure

1. Anahtar değişkenleri tanımlayın.

Uygunsuz içeriğin operasyonel bir tanımını (, yani , bir araştırmacının bir kavramla tam olarak ne demek istediğinin net bir açıklaması) oluşturun.
Kuruluş tarafından oluşturulan tanımlara bakın TV Ebeveyn Yönergeleri ve Federal İletişim Komisyonu tarafından onaylandı.
Uygunsuz içerik, kaba veya kaba davranışlar ( ör. , tuvalet mizahı), sözlü veya fiziksel saldırganlık tasvirleri ( ör. , isim takma, vurma, vb.), kötü dil (, ör. , küfür sözcükleri) veya uyuşturucu kullanımı, şiddet veya sekse atıfta bulunur.

2. Uygunsuz içeriğin operasyonel tanımından kodlama kategorileri oluşturun.

Araştırma katılımcılarının (burada değerlendiriciler olarak anılacaktır) hedeflenen, uygunsuz davranışın örneklerini tanımlamaları için sistematik bir süreç tasarlayın (bkz. Tablo 1).

Kodlama Kategorileri	Temalar ve Örnekler	Sayı
Kaba Davranış	Tuvalet mizahı Kasıtlı olarak iğrenç davranışlar
Kaba Davranış	Başkalarını bozmak Kötü Davranışlar
Dil	Küfürlü kelimeler kullanmak
Sözlü Saldırganlık	Hakaretler Bağırmak İsim Arama
Fiziksel Saldırganlık	Vurma İtme/İtme Açma
İlaç Referansları	Sözlü (müstehcen ifadeler/konuşma) Sözsüz (uyuşturucu kullanımını taklit eden)
Cinsel Referanslar	Sözlü (müstehcen ifadeler/konuşma) Sözsüz (cinsel eylemleri taklit eden)

Tablo 1. Uygunsuz davranış örneklerinin nasıl kaydedileceğine dair örnek. Bu günlük, değerlendiriciler arasında sistematik olarak kullanılabilir.

3. Değerlendiricilere SpongeBob SquarePants’ın aynı bölümünü ayrı ayrı izlemelerini ve kodlama sayılarını sağlamalarını söyleyin.

4. Değerlendiricilere Caillou’nun aynı bölümünü ayrı ayrı izlemelerini ve kodlama sayılarını sağlamalarını söyleyin.

5. Değerlendiricilerin her gösteri için benzer derecelendirmeler bulup bulmadığını görmek için derecelendirmeleri karşılaştırın.

Güvenilirlik, değişken olan uygunsuz içeriği tutarlı bir şekilde ölçme yeteneğidir.
Değerlendiriciler arası güvenirlik, değişkenleri birden fazla kişinin ölçebilmesi ve ölçümlerinin uyumlu olabilmesidir.

Bilimsel araştırma, veri toplamak için kesin yöntemler kullanır, ancak ölçümlerin elde edilmesinde genellikle değişkenlik vardır.

Güvenilirlik, herhangi bir deneysel ölçüm için değerlendirilebilir ve bugün, çizgi filmlerdeki uygunsuz davranışların ölçümlerine bir göz atacağız.

İzleyiciler aynı şovda (birden fazla bölümde) uygunsuz materyal miktarı konusunda hemfikir olduklarında, yargıları son derece güvenilir olarak kabul edilir. Bu durumda, değerlendiriciler arası güvenilirlik olarak adlandırılan gözlemciler arasındaki tutarlılık nedeniyle değerlendirmeler farklı gösterilere yayılabilir.

Bu video, bir çizgi filmin diğerinden daha uygunsuz içeriğe sahip olup olmadığını inceleyen bir deneyin nasıl tasarlanacağını ve gerçekleştirileceğini, ayrıca nasıl analiz edileceğini ve yorumlanacağını gösterir.

Güvenirliği ve değerlendiriciler arası güvenilirliği incelemek için, bu deneyde denek içi bir tasarım kullanılmıştır. Katılımcılardan iki farklı çizgi filmin iki bölümünü izlemeleri istenir: SpongeBob SquarePants ve Caillou.

Bu çizgi film izleme bağlamında, bağımlı değişken, katılımcıların gözlemlediği uygunsuz davranışların sayısıdır. Bunlar şunları içerir: her türlü kaba ve kaba davranış, kötü dil, sözlü ve fiziksel saldırganlık ve uyuşturucu ve cinsel içeriğe atıfta bulunma.

Belirli bir çizgi filmin uygunsuz içeriğinin puanlanmasında güvenilirlik varsa, katılımcılar bu çizgi filmi farklı bölümlerde tutarlı bir şekilde derecelendirecektir.

Ayrıca, birden fazla katılımcı saydıkları uygunsuz örneklerin sayısı konusunda hemfikirse, değerlendiriciler arası güvenilirlik mevcuttur.

Bu nedenle, değerlendiriciler arası güvenilirliğin oluşturulması, araştırmacıların birden fazla koşul arasındaki verileri daha güçlü bir şekilde karşılaştırmak için aynı katılımcıları kullanmalarına olanak tanır.

Çalışmayı yürütmek için dört klip hazırlayın: iki farklı çizgi filmden iki farklı bölüm, SpongeBob SquarePants ve Caillou.

Katılımcıların uygunsuz davranış örneklerini sistematik olarak tanımlamasına izin vermek için kategoriler, somut örnekler ve her bir olayı saymak için boşluk içeren bir kodlama sayfası oluşturun.

Katılımcı ekranın önünde otururken, ona dört kodlama sayfası verin. Katılımcıya SpongeBob SquarePants’ın iki bölümünü ayrı ayrı izlemesini söyleyin.

Katılımcı her bölümü izlerken, uygunsuz davranışların her oluşumunu tanımlamalarını söyleyin.

Aynı kodlama şemasını kullanarak, katılımcıya Caillou’nun iki bölümünü izlemesini ve derecelendirmesini söyleyin.

Katılımcıların çizgi film içeriği derecelendirmelerinin güvenilirliğini analiz etmek için, her bir katılımcı arasındaki farklı çizgi film bölümlerindeki kodlama sayfalarını karşılaştırın. Tüm yanıtları bir ana sayfada toplayın.

Bölümler ve çizgi filmler arasında her değerlendirici için toplam uygunsuz davranış sayısının grafiğini çıkarın.

Sünger Bob sürekli olarak Caillou’dan daha yüksek puan aldığından, iki farklı çizgi filmin puanlamasında yüksek güvenilirlik gözlemlendiğini unutmayın.

Bununla birlikte, Caillou’daki uygunsuz içeriğin puanlamasında Sünger Bob’a kıyasla daha güçlü değerlendiriciler arası güvenilirlik bulundu. Değerlendiriciler arası güvenilirliğin azalması, Sünger Bob’un 2. bölümünün puanlamasında daha belirgindi.

Artık içerik analizi bağlamında güvenilirliğe aşina olduğunuza göre, bu yaklaşımı diğer araştırma alanlarına da uygulayabilirsiniz.

Birçok psikolojik deney, her bir öğe arasındaki güvenilirliğin katılımcılar arasında tutarlı olması gereken bilişsel değerlendirmeler ve anketler kullanarak bilgi toplar.

EEG veya göz takibi gibi nörofizyolojik ölçümlerde güvenilirlik, tekrarlanabilir deneyler yapmak için çok önemlidir. Bu güvenilirlik, araştırmacıların birden fazla denekte beyin fonksiyonu ve hastalık durumları arasında ilişki kurmasına olanak tanır.

Ek olarak, araştırmacılar bir deneydeki belirli ölçümlerin zaman içinde tutarlı olmasını sağlamalıdır. Örneğin, egzersiz rutinlerinden önceki ve sonraki verileri karşılaştırmak için ağırlık ölçümleri güvenilir bir şekilde yapılır.

Az önce JoVE’nin psikolojik deneylerde güvenilirliği belirlemeye yönelik tanıtımını izlediniz. Şimdi, uygunsuz davranış gibi psikolojik bir yapıyı nasıl ölçeceğinizi, bir deney tasarlayacağınızı ve son olarak sonuçlardan güvenilirliği nasıl değerlendireceğinizi iyi anlamalısınız.

İzlediğiniz için teşekkürler!

Results

Sonuçlar, değerlendiricilerin her bir çizgi film bölümündeki derecelendirmelerinde yüksek düzeyde bir uyum veya tutarlılığa sahip olduğunu göstermektedir, bu da değerlendiriciler arası güvenilirliğin yüksek olduğunu göstermektedir (Şekil 1). Caillou’dan daha uygunsuz içeriğe sahip olan SpongeBob SquarePants bölümlerinde de güvenilirlik veya tutarlılık vardır. Sonuçlar ayrıca değerlendiriciler arasındaki bireysel önyargıları da ortaya çıkardı. Örneğin, Değerlendirici 3, Sünger Bob’da diğer 2 değerlendiriciden daha fazla uygunsuz içerik bildirdi ve Değerlendirici 1, Caillou’da diğer değerlendiricilerden daha az bildirdi.

Şekil 1. 1. (üstte) ve 2. (altta) bölümler için değerlendirici ve çizgi film tarafından uygunsuz içerik örnekleri.

Applications and Summary

Researchers have increasingly turned their attention toward analyzing television’s content, especially as it relates to children. As discussed prior to this current experiment, a recent study in the journal Pediatrics correlated the fast pace of the SpongeBob SquarePants cartoon to relatively poor cognitive abilities in the children who watch it.

Since the results of our experiment appear reliable, future research could examine whether the relative amount of inappropriate content in SpongeBob is also (or alternatively) responsible for children’s lower cognitive performance after watching.

One of the most important applications of reliability is in the use of survey instruments. Researchers must be sure that participants will consistently answer each of the items in a particular scale. That is, in a 5-item measure of life satisfaction, participants should answer items 1 and 2 in a somewhat similar fashion to how they answer questions 3, 4, and 5. In addition, researchers want to make sure that their measurements in an experiment are consistent over time. So if a researcher is using pupil dilation to indicate interest in a stimulus, the researcher must be sure that pupil dilation is a consistent indicator of interest.

Transcript

Bilimsel araştırma, veri toplamak için kesin yöntemler kullanır, ancak ölçümlerin elde edilmesinde genellikle değişkenlik vardır.

Güvenilirlik, herhangi bir deneysel ölçüm için değerlendirilebilir ve bugün, çizgi filmlerdeki uygunsuz davranışların ölçümlerine bir göz atacağız.

İzleyiciler aynı şovdaki uygunsuz materyal miktarı konusunda hemfikir olduklarında, birden fazla bölümde, yargıları son derece güvenilir olarak kabul edilir. Bu durumda, değerlendiriciler arası güvenilirlik olarak adlandırılan gözlemciler arasındaki tutarlılık nedeniyle değerlendirmeler farklı gösterilere yayılabilir.

Bu video, bir çizgi filmin diğerinden daha uygunsuz içeriğe sahip olup olmadığını inceleyen bir deneyin nasıl tasarlanacağını ve gerçekleştirileceğini, ayrıca nasıl analiz edileceğini ve yorumlanacağını gösterir.

Güvenirliği ve değerlendiriciler arası güvenilirliği incelemek için, bu deneyde denek içi bir tasarım kullanılmıştır. Katılımcılardan iki farklı çizgi filmin iki bölümünü izlemeleri isteniyor mu? Sünger Bob SquarePants ve Caillou.

Bu çizgi film izleme bağlamında, bağımlı değişken, katılımcıların gözlemlediği uygunsuz davranışların sayısıdır. Bunlar şunları içerir: her türlü kaba ve kaba davranış, kötü dil, sözlü ve fiziksel saldırganlık ve uyuşturucu ve cinsel içeriğe atıfta bulunma.

Belirli bir çizgi filmin uygunsuz içeriğinin puanlanmasında güvenilirlik varsa, katılımcılar bu çizgi filmi farklı bölümlerde tutarlı bir şekilde derecelendirecektir.

Ayrıca, birden fazla katılımcı saydıkları uygunsuz örneklerin sayısı konusunda hemfikirse, değerlendiriciler arası güvenilirlik mevcuttur.

Bu nedenle, değerlendiriciler arası güvenilirliğin oluşturulması, araştırmacıların birden fazla koşul arasındaki verileri daha güçlü bir şekilde karşılaştırmak için aynı katılımcıları kullanmalarına olanak tanır.

Çalışmayı yürütmek için dört klip hazırlayın: iki farklı çizgi filmden iki farklı bölüm, SpongeBob SquarePants ve Caillou.

Katılımcıların uygunsuz davranış örneklerini sistematik olarak tanımlamasına izin vermek için kategoriler, somut örnekler ve her bir olayı saymak için boşluk içeren bir kodlama sayfası oluşturun.

Katılımcı ekranın önünde otururken, ona dört kodlama sayfası verin. Katılımcıya SpongeBob SquarePants’ın iki bölümünü ayrı ayrı izlemesini söyleyin.

Katılımcı her bölümü izlerken, uygunsuz davranışların her oluşumunu tanımlamalarını söyleyin.

Aynı kodlama şemasını kullanarak, katılımcıya Caillou’nun iki bölümünü izlemesini ve derecelendirmesini söyleyin.

Katılımcıların güvenilirliğini analiz etmek için mi? Çizgi film içeriğinin derecelendirmeleri, farklı çizgi film bölümlerinde her katılımcı arasındaki kodlama sayfalarını karşılaştırın. Tüm yanıtları bir ana sayfada toplayın.

Bölümler ve çizgi filmler arasında her değerlendirici için toplam uygunsuz davranış sayısının grafiğini çıkarın.

Sünger Bob sürekli olarak Caillou’dan daha yüksek puan aldığından, iki farklı çizgi filmin puanlamasında yüksek güvenilirlik gözlemlendiğini unutmayın.

Bununla birlikte, Caillou’daki uygunsuz içeriğin puanlamasında Sünger Bob’a kıyasla daha güçlü değerlendiriciler arası güvenilirlik bulundu. Değerlendiriciler arası güvenilirliğin azalması, Sünger Bob’un 2. bölümünün puanlamasında daha belirgindi.

Artık içerik analizi bağlamında güvenilirliğe aşina olduğunuza göre, bu yaklaşımı diğer araştırma alanlarına da uygulayabilirsiniz.

Birçok psikolojik deney, her bir öğe arasındaki güvenilirliğin katılımcılar arasında tutarlı olması gereken bilişsel değerlendirmeler ve anketler kullanarak bilgi toplar.

EEG veya göz takibi gibi nörofizyolojik ölçümlerde güvenilirlik, tekrarlanabilir deneyler yapmak için çok önemlidir. Bu güvenilirlik, araştırmacıların birden fazla denekte beyin fonksiyonu ve hastalık durumları arasında ilişki kurmasına olanak tanır.

Ek olarak, araştırmacılar bir deneydeki belirli ölçümlerin zaman içinde tutarlı olmasını sağlamalıdır. Örneğin, egzersiz rutinlerinden önceki ve sonraki verileri karşılaştırmak için ağırlık ölçümleri güvenilir bir şekilde yapılır.

JoVE’nin psikolojik deneylerde güvenilirliği belirlemeye yönelik tanıtımını yeni izlediniz. Şimdi, uygunsuz davranış gibi psikolojik bir yapıyı nasıl ölçeceğinizi, bir deney tasarlayacağınızı ve son olarak sonuçlardan güvenilirliği nasıl değerlendireceğinizi iyi anlamalısınız.

İzlediğiniz için teşekkürler!?

Tags

Güvenirlik Psikoloji Deneyleri Ölçümler Değişkenlik Değerlendiriciler Arası Güvenirlik Uygunsuz Davranışlar Karikatürler Denek İçi Tasarım Bağımlı Değişken Kaba ve Kaba Davranışlar Kötü Dil Sözel Saldırganlık Fiziksel Saldırganlık Uyuşturucuya Atıflar Cinsel İçerik