Rzetelność w eksperymentach psychologicznych

Reliability in Psychology Experiments

JoVE Science Education
Experimental Psychology

A subscription to JoVE is required to view this content. Sign in or start your free trial.

JoVE Science Education Experimental Psychology

Reliability in Psychology Experiments

2.4: Perspectives on Experimental Psychology

2.13: Placebos in Research

8,614 Views

•

05:13 min

•

February 04, 2015

Please note that all translations are automatically generated. Click here for the English version.

Overview

Źródło: Laboratoria Gary’ego Lewandowskiego, Dave’a Strohmetza i Natalie Ciarocco — Monmouth University

Aby zbadać coś naukowo, badacz musi znaleźć sposób na ilościowe określenie tego. Jednak konstrukty psychologiczne mogą być trudne do zmierzenia i oszacowania. Ten film analizuje wiarygodność w kontekście analizy treści.

Niedawne badanie opublikowane w czasopiśmie Pediatrics wykazało, że 4-latki, które oglądały kreskówkę w szybkim tempie, miały gorsze wyniki w zadaniach poznawczych, takich jak przestrzeganie zasad w grze, słuchanie wskazówek od osoby dorosłej i opóźnianie gratyfikacji, w porównaniu z innymi dziećmi, które oglądały kreskówkę w wolniejszym tempie. ¹ Oprócz tempa kreskówki, treść kreskówki może mieć również szkodliwy wpływ na jej młodych widzów.

Ten film wykorzystuje prosty projekt dwóch grup, aby zilustrować kwestię niezawodności, badając kwestię, czy kreskówka SpongeBob Kanciastoporty ma więcej nieodpowiednich treści niż kreskówka Caillou.

Procedure

1. Zdefiniuj kluczowe zmienne.

Stwórz operacyjną definicję (i., jasny opis tego, co dokładnie badacz rozumie przez pojęcie) nieodpowiednich treści.
Zapoznaj się z definicjami opracowanymi przez organizację TV Parental Guidelines i zatwierdzonymi przez Federalną Komisję Łączności.
Nieodpowiednie treści to wszelkie niegrzeczne lub niegrzeczne zachowania (e.g., humor toaletowy), obrazy agresji werbalnej lub fizycznej (e.g., wyzwiska, bicie, itp.), wulgarny język (e.g., przekleństwa) lub odniesienia do zażywania narkotyków, przemocy lub seksu.

2. Utwórz kategorie kodowania na podstawie operacyjnej definicji nieodpowiednich treści.

Zaprojektuj systematyczny proces dla uczestników badania (zwanych tutaj oceniającymi) w celu zidentyfikowania przypadków ukierunkowanego, niewłaściwego zachowania (patrz Tabela 1).

Kategorie kodowania	Tematy i przykłady	Hrabia
Prymitywne zachowanie	Humor toaletowy Celowo obrzydliwe zachowania
Niegrzeczne zachowanie	Przeszkadzanie innym Złe maniery
Język	Używanie przekleństw
Agresja słowna	Obelgi Krzycząc Wołanie po imieniu
Agresja fizyczna	Trafienie Pchanie/popychanie Potknięcie
Referencje od leków	Werbalne (sugestywne wypowiedzi/rozmowa) Niewerbalne (naśladujące zażywanie narkotyków)
Odniesienia seksualne	Werbalne (sugestywne wypowiedzi/rozmowa) Niewerbalne (naśladujące akty seksualne)

Tabela 1. Przykład rejestrowania przypadków niewłaściwych zachowań. Ten dziennik może być systematycznie używany przez oceniających.

3. Poinstruuj oceniających, aby osobno obejrzeli ten sam odcinek SpongeBob Kanciastoporty i podali liczbę kodów.

4. Poinstruuj oceniających, aby osobno obejrzeli ten sam odcinek Caillou i podali liczbę kodów.

5. Porównaj oceny, aby zobaczyć, czy oceniający uzyskali podobne oceny dla każdego programu.

Niezawodność to zdolność do konsekwentnego mierzenia zmiennej — nieodpowiedniej treści.
Rzetelność między oceniającymi to zdolność więcej niż jednej osoby do mierzenia zmiennych i do tego, aby ich pomiary były zgodne.

W badaniach naukowych wykorzystuje się precyzyjne metody gromadzenia danych, ale często występuje zmienność w uzyskiwaniu pomiarów.

Wiarygodność można ocenić dla każdego pomiaru eksperymentalnego, a dzisiaj przyjrzymy się pomiarom niewłaściwych zachowań w kreskówkach.

Gdy widzowie zgadzają się co do ilości nieodpowiednich materiałów w tym samym programie – w wielu odcinkach – ich osądy są uważane za wysoce wiarygodne. W takim przypadku oceny mogą obejmować różne pokazy ze względu na spójność między obserwatorami, co określa się mianem wiarygodności między oceniającymi.

Ten film pokazuje, jak projektować i wykonywać, a także jak analizować i interpretować eksperyment sprawdzający, czy jedna kreskówka zawiera więcej nieodpowiednich treści niż inna.

Aby zbadać rzetelność i rzetelność między oceniającymi, w tym eksperymencie zastosowano projekt wewnątrzobiektowy. Uczestnicy proszeni są o obejrzenie dwóch odcinków dwóch różnych kreskówek – SpongeBob Kanciastoporty i Caillou.

W tym kontekście oglądania kreskówek zmienną zależną jest liczba niewłaściwych zachowań, które obserwują uczestnicy. Należą do nich: wszelkie niegrzeczne i niegrzeczne zachowania, wulgarny język, agresja werbalna i fizyczna oraz odniesienia do narkotyków i treści seksualnych.

Jeśli istnieje wiarygodność w ocenie nieodpowiednich treści danego kreskówki, uczestnicy będą konsekwentnie oceniać tę kreskówkę w różnych odcinkach.

Co więcej, jeśli wielu uczestników zgadza się co do liczby zliczonych przez nich niewłaściwych przypadków, istnieje wiarygodność między oceniającymi.

W ten sposób ustalenie wiarygodności między oceniającymi pozwala badaczom na wykorzystanie tych samych uczestników do bardziej szczegółowego porównywania danych między wieloma warunkami.

Aby przeprowadzić badanie, przygotuj cztery klipy: dwa różne odcinki z dwóch różnych kreskówek, SpongeBob Kanciastoporty i Caillou.

Aby umożliwić uczestnikom systematyczne identyfikowanie przypadków niewłaściwego zachowania, utwórz arkusz kodowania z kategoriami, konkretnymi przykładami i miejscem na liczenie każdego wystąpienia.

Gdy uczestnik będzie siedział przed ekranem, przekaż mu cztery arkusze kodowania. Poinstruuj uczestnika, aby osobno obejrzał dwa odcinki SpongeBob Kanciastoporty.

Gdy uczestnik ogląda każdy odcinek, poinstruuj go, aby zidentyfikował każde wystąpienie niewłaściwego zachowania.

Korzystając z tego samego schematu kodowania, poinstruuj uczestnika, aby obejrzał i ocenił dwa odcinki Caillou.

Aby przeanalizować wiarygodność ocen treści kreskówkowych przez uczestników, porównaj arkusze kodowania między każdym uczestnikiem w różnych odcinkach kreskówek. Zsumuj wszystkie odpowiedzi w arkuszu wzorcowym.

Wykres przedstawiający łączną liczbę nieodpowiednich zachowań dla każdego oceniającego w odcinkach i kreskówkach.

Zauważ, że zaobserwowano wysoką wiarygodność w punktacji dwóch różnych kreskówek, ponieważ SpongeBob jest konsekwentnie oceniany wyżej niż Caillou.

Jednak większą wiarygodność między oceniającymi stwierdzono w punktacji nieodpowiednich treści w Caillou w porównaniu ze SpongeBobem. Zmniejszona wiarygodność między oceniającymi była bardziej widoczna w punktacji 2. odcinka SpongeBoba.

Teraz, gdy znasz już rzetelność w kontekście analizy treści, możesz zastosować to podejście do innych obszarów badań.

Wiele eksperymentów psychologicznych zbiera informacje za pomocą ocen poznawczych i ankiet, w których wiarygodność między każdym z elementów musi być spójna między uczestnikami.

Wiarygodność pomiarów neurofizjologicznych, takich jak EEG lub śledzenie ruchu gałek ocznych, jest niezbędna do przeprowadzania powtarzalnych eksperymentów. Ta niezawodność pozwala naukowcom na powiązanie funkcji mózgu ze stanami chorobowymi u wielu osób.

Ponadto badacze muszą upewnić się, że pewne pomiary w eksperymencie są spójne w czasie. Na przykład pomiary masy ciała są wykonywane wiarygodnie w celu porównania danych przed i po ćwiczeniach.

Właśnie obejrzeliście wprowadzenie JoVE do określania wiarygodności w eksperymentach psychologicznych. Teraz powinieneś dobrze zrozumieć, jak określić ilościowo konstrukt psychologiczny, taki jak niewłaściwe zachowanie, zaprojektować eksperyment i wreszcie, jak ocenić wiarygodność na podstawie wyników.

Dziękujemy za oglądanie!

Results

Wyniki wskazują, że oceniający mieli wysoki poziom zgodności lub spójności w swoich ocenach w każdym odcinku kreskówki, co wskazuje na wysoką wiarygodność między oceniającymi (Rysunek 1). Istnieje również niezawodność lub spójność w odcinkach SpongeBob Kanciastoporty, które mają więcej nieodpowiednich treści niż Caillou. Wyniki ujawniły również indywidualne uprzedzenia wśród oceniających. Na przykład Oceniający 3 zgłosił więcej nieodpowiednich treści w SpongeBob niż pozostali 2 oceniający, a Oceniający 1 zgłosił mniej w Caillou niż inni oceniający.

Rysunek 1. Przypadki nieodpowiednich treści według oceniającego i kreskówki w odcinkach 1 (na górze) i 2 (na dole).

Applications and Summary

Researchers have increasingly turned their attention toward analyzing television’s content, especially as it relates to children. As discussed prior to this current experiment, a recent study in the journal Pediatrics correlated the fast pace of the SpongeBob SquarePants cartoon to relatively poor cognitive abilities in the children who watch it.

Since the results of our experiment appear reliable, future research could examine whether the relative amount of inappropriate content in SpongeBob is also (or alternatively) responsible for children’s lower cognitive performance after watching.

One of the most important applications of reliability is in the use of survey instruments. Researchers must be sure that participants will consistently answer each of the items in a particular scale. That is, in a 5-item measure of life satisfaction, participants should answer items 1 and 2 in a somewhat similar fashion to how they answer questions 3, 4, and 5. In addition, researchers want to make sure that their measurements in an experiment are consistent over time. So if a researcher is using pupil dilation to indicate interest in a stimulus, the researcher must be sure that pupil dilation is a consistent indicator of interest.

Transcript

W badaniach naukowych wykorzystuje się precyzyjne metody gromadzenia danych, ale często występuje zmienność w uzyskiwaniu pomiarów.

Wiarygodność można ocenić dla każdego pomiaru eksperymentalnego, a dzisiaj przyjrzymy się pomiarom niewłaściwych zachowań w kreskówkach.

Kiedy widzowie zgadzają się co do ilości nieodpowiednich materiałów w tym samym programie – w wielu odcinkach – ich osądy są uważane za wysoce wiarygodne. W takim przypadku oceny mogą obejmować różne pokazy ze względu na spójność między obserwatorami, co określa się mianem wiarygodności między oceniającymi.

Ten film pokazuje, jak projektować i wykonywać, a także jak analizować i interpretować eksperyment sprawdzający, czy jedna kreskówka zawiera więcej nieodpowiednich treści niż inna.

Aby zbadać rzetelność i rzetelność między oceniającymi, w tym eksperymencie zastosowano projekt wewnątrzobiektowy. Uczestnicy proszeni są o obejrzenie dwóch odcinków dwóch różnych kreskówek? SpongeBob Kanciastoporty i Caillou.

W tym kontekście oglądania kreskówek zmienną zależną jest liczba niewłaściwych zachowań, które obserwują uczestnicy. Należą do nich: wszelkie niegrzeczne i niegrzeczne zachowania, wulgarny język, agresja werbalna i fizyczna oraz odniesienia do narkotyków i treści seksualnych.

Jeśli istnieje wiarygodność w ocenie nieodpowiednich treści danego kreskówki, uczestnicy będą konsekwentnie oceniać tę kreskówkę w różnych odcinkach.

Co więcej, jeśli wielu uczestników zgadza się co do liczby zliczonych przez nich niewłaściwych przypadków, istnieje wiarygodność między oceniającymi.

W ten sposób ustalenie wiarygodności między oceniającymi pozwala badaczom na wykorzystanie tych samych uczestników do bardziej szczegółowego porównywania danych między wieloma warunkami.

Aby przeprowadzić badanie, przygotuj cztery klipy: dwa różne odcinki z dwóch różnych kreskówek, SpongeBob Kanciastoporty i Caillou.

Aby umożliwić uczestnikom systematyczne identyfikowanie przypadków niewłaściwego zachowania, utwórz arkusz kodowania z kategoriami, konkretnymi przykładami i miejscem na liczenie każdego wystąpienia.

Gdy uczestnik będzie siedział przed ekranem, przekaż mu cztery arkusze kodowania. Poinstruuj uczestnika, aby osobno obejrzał dwa odcinki SpongeBob Kanciastoporty.

Gdy uczestnik ogląda każdy odcinek, poinstruuj go, aby zidentyfikował każde wystąpienie niewłaściwego zachowania.

Korzystając z tego samego schematu kodowania, poinstruuj uczestnika, aby obejrzał i ocenił dwa odcinki Caillou.

Analizować wiarygodność uczestników? oceny treści kreskówek, porównaj arkusze kodowania między każdym uczestnikiem w różnych odcinkach kreskówek. Zsumuj wszystkie odpowiedzi w arkuszu wzorcowym.

Wykres przedstawiający łączną liczbę nieodpowiednich zachowań dla każdego oceniającego w odcinkach i kreskówkach.

Zauważ, że zaobserwowano wysoką wiarygodność w punktacji dwóch różnych kreskówek, ponieważ SpongeBob jest konsekwentnie oceniany wyżej niż Caillou.

Jednak większą wiarygodność między oceniającymi stwierdzono w punktacji nieodpowiednich treści w Caillou w porównaniu ze SpongeBobem. Zmniejszona wiarygodność między oceniającymi była bardziej widoczna w punktacji 2. odcinka SpongeBoba.

Teraz, gdy jest Ci już znana rzetelność w kontekście analizy treści, możesz zastosować to podejście do innych obszarów badań.

Wiele eksperymentów psychologicznych zbiera informacje za pomocą ocen poznawczych i ankiet, w których wiarygodność między każdym z elementów musi być spójna między uczestnikami.

Wiarygodność pomiarów neurofizjologicznych, takich jak EEG lub śledzenie ruchu gałek ocznych, jest niezbędna do przeprowadzania powtarzalnych eksperymentów. Ta niezawodność pozwala naukowcom na powiązanie funkcji mózgu ze stanami chorobowymi u wielu osób.

Ponadto badacze muszą upewnić się, że pewne pomiary w eksperymencie są spójne w czasie. Na przykład pomiary masy ciała są wykonywane wiarygodnie w celu porównania danych przed i po ćwiczeniach.

Właśnie obejrzałeś wprowadzenie JoVE do określania wiarygodności w eksperymentach psychologicznych. Teraz powinieneś dobrze zrozumieć, jak określić ilościowo konstrukt psychologiczny, taki jak niewłaściwe zachowanie, zaprojektować eksperyment i wreszcie, jak ocenić wiarygodność na podstawie wyników.

Dzięki za oglądanie!?

Tags

Wiarygodność Eksperymenty psychologiczne Pomiary Zmienność Wiarygodność między oceniającymi Niewłaściwe zachowania Kreskówki Projektowanie wewnątrzobiektowe Zmienna zależna Prymitywne i niegrzeczne zachowania Wulgarny język Agresja werbalna Agresja fizyczna Odniesienia Do Narkotyków Treści Seksualne