Rzetelność w eksperymentach psychologicznych
Źródło: Laboratoria Gary'ego Lewandowskiego, Dave'a Strohmetza i Natalie Ciarocco — Monmouth University
Aby zbadać coś naukowo, badacz musi znaleźć sp…
1. Zdefiniuj kluczowe zmienne.
- Stwórz operacyjną definicję (i., jasny opis tego, co dokładnie badacz rozumie przez pojęcie) nieodpowiednich treści.
- Zapoznaj się z definicjami opracowanymi przez organizację TV Parental Guidelines i zatwierdzonymi przez Federalną Komisję Łączności.
- Nieodpowiednie treści to wszelkie niegrzeczne lub niegrzeczne zachowania (e.g., humor toaletowy), obrazy agresji werbalnej lub fizycznej (e.g., wyzwiska, bicie, itp.), wulgarny język (e.g., przekleństwa) lub odniesienia do zażywania narkotyków, przemocy lub seksu.
2. Utwórz kategorie kodowania na podstawie operacyjnej definicji nieodpowiednich treści.
- Zaprojektuj systematyczny proces dla uczestników badania (zwanych tutaj oceniającymi) w celu zidentyfikowania przypadków ukierunkowanego, niewłaściwego zachowania (patrz Tabela 1).
| Kategorie kodowania | Tematy i przykłady | Hrabia |
| Prymitywne zachowanie | Humor toaletowy Celowo obrzydliwe zachowania | |
| Niegrzeczne zachowanie | Przeszkadzanie innym Złe maniery | |
| Język | Używanie przekleństw | |
| Agresja słowna | Obelgi Krzycząc Wołanie po imieniu | |
| Agresja fizyczna | Trafienie Pchanie/popychanie Potknięcie | |
| Referencje od leków | Werbalne (sugestywne wypowiedzi/rozmowa) Niewerbalne (naśladujące zażywanie narkotyków) | |
| Odniesienia seksualne | Werbalne (sugestywne wypowiedzi/rozmowa) Niewerbalne (naśladujące akty seksualne) |
Tabela 1. Przykład rejestrowania przypadków niewłaściwych zachowań. Ten dziennik może być systematycznie używany przez oceniających.
3. Poinstruuj oceniających, aby osobno obejrzeli ten sam odcinek SpongeBob Kanciastoporty i podali liczbę kodów.
4. Poinstruuj oceniających, aby osobno obejrzeli ten sam odcinek Caillou i podali liczbę kodów.
5. Porównaj oceny, aby zobaczyć, czy oceniający uzyskali podobne oceny dla każdego programu.
- Niezawodność to zdolność do konsekwentnego mierzenia zmiennej — nieodpowiedniej treści.
- Rzetelność między oceniającymi to zdolność więcej niż jednej osoby do mierzenia zmiennych i do tego, aby ich pomiary były zgodne.
Zaloguj się lub , aby uzyskać dostęp do pełnej treści. Dowiedz się więcej o dostępie Twojej instytucji do treści JoVE tutaj
W badaniach naukowych wykorzystuje się precyzyjne metody gromadzenia danych, ale często występuje zmienność w uzyskiwaniu pomiarów.
Wiarygodność można ocenić dla każdego pomiaru eksperymentalnego, a dzisiaj przyjrzymy się pomiarom niewłaściwych zachowań w kreskówkach.
Kiedy widzowie zgadzają się co do ilości nieodpowiednich materiałów w tym samym programie – w wielu odcinkach – ich osądy są uważane za wysoce wiarygodne. W takim przypadku oceny mogą obejmować różne pokazy ze względu na spójność między obserwatorami, co określa się mianem wiarygodności między oceniającymi.
Ten film pokazuje, jak projektować i wykonywać, a także jak analizować i interpretować eksperyment sprawdzający, czy jedna kreskówka zawiera więcej nieodpowiednich treści niż inna.
Aby zbadać rzetelność i rzetelność między oceniającymi, w tym eksperymencie zastosowano projekt wewnątrzobiektowy. Uczestnicy proszeni są o obejrzenie dwóch odcinków dwóch różnych kreskówek? SpongeBob Kanciastoporty i Caillou.
W tym kontekście oglądania kreskówek zmienną zależną jest liczba niewłaściwych zachowań, które obserwują uczestnicy. Należą do nich: wszelkie niegrzeczne i niegrzeczne zachowania, wulgarny język, agresja werbalna i fizyczna oraz odniesienia do narkotyków i treści seksualnych.
Jeśli istnieje wiarygodność w ocenie nieodpowiednich treści danego kreskówki, uczestnicy będą konsekwentnie oceniać tę kreskówkę w różnych odcinkach.
Co więcej, jeśli wielu uczestników zgadza się co do liczby zliczonych przez nich niewłaściwych przypadków, istnieje wiarygodność między oceniającymi.
W ten sposób ustalenie wiarygodności między oceniającymi pozwala badaczom na wykorzystanie tych samych uczestników do bardziej szczegółowego porównywania danych między wieloma warunkami.
Aby przeprowadzić badanie, przygotuj cztery klipy: dwa różne odcinki z dwóch różnych kreskówek, SpongeBob Kanciastoporty i Caillou.
Aby umożliwić uczestnikom systematyczne identyfikowanie przypadków niewłaściwego zachowania, utwórz arkusz kodowania z kategoriami, konkretnymi przykładami i miejscem na liczenie każdego wystąpienia.
Gdy uczestnik będzie siedział przed ekranem, przekaż mu cztery arkusze kodowania. Poinstruuj uczestnika, aby osobno obejrzał dwa odcinki SpongeBob Kanciastoporty.
Gdy uczestnik ogląda każdy odcinek, poinstruuj go, aby zidentyfikował każde wystąpienie niewłaściwego zachowania.
Korzystając z tego samego schematu kodowania, poinstruuj uczestnika, aby obejrzał i ocenił dwa odcinki Caillou.
Analizować wiarygodność uczestników? oceny treści kreskówek, porównaj arkusze kodowania między każdym uczestnikiem w różnych odcinkach kreskówek. Zsumuj wszystkie odpowiedzi w arkuszu wzorcowym.
Wykres przedstawiający łączną liczbę nieodpowiednich zachowań dla każdego oceniającego w odcinkach i kreskówkach.
Zauważ, że zaobserwowano wysoką wiarygodność w punktacji dwóch różnych kreskówek, ponieważ SpongeBob jest konsekwentnie oceniany wyżej niż Caillou.
Jednak większą wiarygodność między oceniającymi stwierdzono w punktacji nieodpowiednich treści w Caillou w porównaniu ze SpongeBobem. Zmniejszona wiarygodność między oceniającymi była bardziej widoczna w punktacji 2. odcinka SpongeBoba.
Teraz, gdy jest Ci już znana rzetelność w kontekście analizy treści, możesz zastosować to podejście do innych obszarów badań.
Wiele eksperymentów psychologicznych zbiera informacje za pomocą ocen poznawczych i ankiet, w których wiarygodność między każdym z elementów musi być spójna między uczestnikami.
Wiarygodność pomiarów neurofizjologicznych, takich jak EEG lub śledzenie ruchu gałek ocznych, jest niezbędna do przeprowadzania powtarzalnych eksperymentów. Ta niezawodność pozwala naukowcom na powiązanie funkcji mózgu ze stanami chorobowymi u wielu osób.
Ponadto badacze muszą upewnić się, że pewne pomiary w eksperymencie są spójne w czasie. Na przykład pomiary masy ciała są wykonywane wiarygodnie w celu porównania danych przed i po ćwiczeniach.
Właśnie obejrzałeś wprowadzenie JoVE do określania wiarygodności w eksperymentach psychologicznych. Teraz powinieneś dobrze zrozumieć, jak określić ilościowo konstrukt psychologiczny, taki jak niewłaściwe zachowanie, zaprojektować eksperyment i wreszcie, jak ocenić wiarygodność na podstawie wyników.
Dzięki za oglądanie!?
View the full transcript and gain access to JoVE Science Education videos
Q1: What is inter-rater reliability in psychology experiments?
Inter-rater reliability occurs when multiple observers or raters agree on their measurements of the same behavior or phenomenon. When participants consistently count the same number of inappropriate instances across different episodes or shows, this demonstrates strong inter-rater reliability. Establishing inter-rater reliability allows researchers to confidently compare data between multiple conditions using the same participants.
Q2: How do you measure reliability in content analysis studies?
Reliability in content analysis is measured by comparing coding sheets between participants across different episodes or conditions. Researchers sum all responses on a master sheet and graph the total number of occurrences for each rater. High reliability is demonstrated when raters consistently score the same content similarly, such as SpongeBob consistently scoring higher than Caillou across episodes.
Q3: Why is a coding sheet important when analyzing behavioral content?
A coding sheet provides a systematic framework for identifying and counting specific behaviors. It includes concrete categories, examples, and space to record each occurrence, ensuring participants apply consistent criteria when observing. This standardization helps establish reliability by allowing multiple raters to independently assess the same content using identical definitions and measurement procedures.
Q4: What design did researchers use to examine reliability in the cartoon study?
Researchers used a within-subjects repeated-measures design where participants watched multiple episodes from two different cartoons. Each participant rated the same cartoons across different episodes, allowing researchers to assess both test-retest reliability within a cartoon and inter-rater reliability across participants. This design strengthens comparisons between conditions by using the same participants.
Q5: How does reliability apply beyond content analysis in psychology research?
Reliability is essential across multiple psychological measurement methods. Cognitive assessments and surveys require consistent item reliability between participants. Neurophysiological measures like EEG or eye tracking must be reliable to establish associations between brain function and disease states. Additionally, researchers must ensure measurements remain consistent over time, such as weight measurements taken before and after exercise interventions.
Q6: What dependent variable was measured in the cartoon content study?
The dependent variable was the number of inappropriate behaviors participants observed in each cartoon episode. Inappropriate behaviors included crude and rude actions, bad language, verbal and physical aggression, and references to drugs or sexual content. Participants used the coding sheet to systematically count and record each occurrence of these behaviors while watching the cartoons.
Q7: Why is quantifying psychological constructs challenging for researchers?
Psychological constructs like inappropriate behavior are abstract and subjective, making them difficult to measure directly. Researchers must develop operational definitions and systematic measurement tools, such as coding sheets with concrete examples, to transform abstract concepts into quantifiable data. This process requires careful design to ensure different observers can reliably identify and count the same behaviors consistently.