심리적 실험의 신뢰성
출처: 게리 레반도프스키,데이브 스트로메츠, 나탈리 시아로코-몬머스 대학교 의 연구소
과학적으로 무언가를 공부하기 위해, 연구원은 그것을 정량화하는 쪽을 결정해야 합니다. 그러나 심리적 구조는 측정하고 정량화하는 데 어려울 수 있습니다. 이 비디오는 콘텐츠 분석의 컨텍…
1. 주요 변수를 정의합니다.
- 부적절한 콘텐츠에 대한 운영정의(즉,연구원이 개념에 의해 의미하는 바를 정확하게 설명)를 만듭니다.
- 조직 TV 부모 지침에 의해 생성 되고 연방 통신 위원회의 승인을 받은 정의를 참조하십시오.
- 부적절한 내용은 조잡하거나 무례한 행동(예 :화장실 유머), 언어 적 또는 신체적 침략묘사(예 :이름 부르기, 타격 등),나쁜 언어(예 :저주 단어), 또는 약물 사용, 폭력 또는 성별에 대한 참조입니다.
2. 부적절한 콘텐츠의 운영 정의에서 코딩 범주를 만듭니다.
- 연구 참가자를 위한 체계적인 프로세스(여기에 평가자로 지칭)를 설계하여 표적적이고 부적절한 동작의 인스턴스를 식별합니다(표 1참조).
| 코딩 범주 | 테마 및 모범 | 세다 |
| 원유 행동 | 화장실 유머 의도적으로 역겨운 행동 | |
| 무례한 행동 | 다른 사람을 방해 가난한 매너 | |
| 언어 | 저주 단어 사용 | |
| 언어적 침략 | 모욕 소리 이름 호출 | |
| 물리적 침략 | 타격 밀기/밀기 일인가 | |
| 약물 참조 | 구두(암시적 진술/대화) 비언어적 (약물 사용을 모방) | |
| 성적 참조 | 구두(암시적 진술/대화) 비언어적 (성행위를 모방) |
표 1. 부적절한 동작의 인스턴스를 기록하는 방법의 예입니다. 이 로그는 요금자 간에 체계적으로 사용할 수있습니다.
3. 평가자가 스폰지 밥 스퀘어 팬츠의 동일한 에피소드를 별도로 보고 코딩 수를 제공하도록 지시합니다.
4. 평가자가 Caillou의 동일한 에피소드를 별도로 보고 코딩 수를 제공하도록 지시합니다.
5. 등급을 비교하여 각 쇼에 대해 평가자가 비슷한 등급을 내왔는지 확인합니다.
- 신뢰성은 변수와 부적절한 콘텐츠를 일관되게 측정하는 기능입니다.
- 인터 레이터 신뢰성은 두 명 이상의 사람이 변수를 측정하고 측정이 일치하는 기능입니다.
과학 연구는 정확한 방법을 사용하여 데이터를 수집하지만 측정값 수집에 변동성이 있는 경우가 많습니다.
모든 실험적 측정에 대한 신뢰성을 평가할 수 있으며, 오늘은 만화에서 부적절한 행동의 측정을 살펴 보겠습니다.
시청자가 여러 에피소드에 걸쳐 동일한 프로그램 내에서 부적절한 자료의 양에 동의할 때 그들의 판단은 매우 신뢰할 수 있는 것으로 간주됩니다. 이 경우 평가는 관찰자 간의 일관성으로 인해 여러 쇼로 확장될 수 있으며, 이를 평가자 간 신뢰도라고 합니다.
이 동영상은 한 만화가 다른 만화보다 부적절한 콘텐츠가 더 많은지 여부를 조사하는 실험을 디자인하고 수행하는 방법과 분석 및 해석하는 방법을 보여줍니다.
신뢰도와 평가자 간 신뢰도를 조사하기 위해 이 실험에서는 피험자 내 설계가 사용됩니다. 참가자는 두 개의 다른 만화의 두 에피소드를 시청해야 합니까? 스폰지밥 스퀘어팬츠와 카일루.
이러한 만화 시청의 맥락에서 종속 변수는 참가자가 관찰하는 부적절한 행동의 수입니다. 여기에는 거칠고 무례한 행동, 욕설, 언어 및 신체적 공격, 약물 및 성적 콘텐츠에 대한 언급이 포함됩니다.
특정 만화의 부적절한 콘텐츠에 대한 점수에 신뢰성이 있는 경우 참가자는 여러 에피소드에서 해당 만화를 일관되게 평가합니다.
더욱이, 여러 참가자가 자신이 계수하는 부적절한 사례의 수에 동의하는 경우, 평가자 간 신뢰도가 존재합니다.
따라서 평가자 간 신뢰성을 확립하면 연구자는 동일한 참가자를 사용하여 여러 조건 간의 데이터를 보다 강력하게 비교할 수 있습니다.
연구를 수행하기 위해 4개의 클립을 준비하십시오: 두 개의 다른 만화, SpongeBob SquarePants와 Caillou의 두 개의 다른 에피소드.
참가자가 부적절한 행동의 사례를 체계적으로 식별할 수 있도록 범주, 구체적인 예 및 각 발생을 계산할 수 있는 공간이 포함된 코딩 시트를 만듭니다.
참가자가 화면 앞에 앉은 상태에서 4개의 코딩 시트를 건네줍니다. 참가자에게 네모바지 스폰지밥의 두 에피소드를 따로 시청하도록 지시합니다.
참가자가 각 에피소드를 시청하면서 부적절한 행동이 발생하는 모든 경우를 식별하도록 지시합니다.
동일한 코딩 체계를 사용하여 참가자에게 Caillou의 두 에피소드를 시청하고 평가하도록 지시합니다.
참가자의 신뢰성을 분석하기 위해? 만화 콘텐츠의 등급, 만화의 여러 에피소드에서 각 참가자 간의 코딩 시트를 비교합니다. 마스터 시트의 모든 응답을 합산합니다.
에피소드와 만화에 걸쳐 각 평가자에 대한 부적절한 행동의 총 수를 그래프로 표시합니다.
두 개의 다른 만화의 점수에서 높은 신뢰성이 관찰되었는데, 스폰지밥이 Caillou보다 일관되게 더 높은 점수를 받았기 때문입니다.
하지만, Caillou에서 부적절한 콘텐츠에 대한 점수는 SpongeBob에 비해 더 강한 평가자 간 신뢰도가 발견되었습니다. 평가자 간의 신뢰도 감소는 스폰지밥의 에피소드 2 스코어링에서 더 분명하게 나타났습니다.
이제 콘텐츠 분석의 맥락에서 신뢰성에 익숙해졌으므로 이 접근 방식을 다른 연구 영역에 적용할 수 있습니다.?
많은 심리학 실험은 인지 평가 및 설문 조사를 활용하여 정보를 수집하며, 각 항목 간의 신뢰성은 참가자 간에 일관되어야 합니다.
EEG 또는 시선 추적과 같은 신경 생리학적 측정의 신뢰성은 반복 가능한 실험을 수행하는 데 필수적입니다. 이러한 신뢰성을 통해 연구자들은 여러 피험자에 걸쳐 뇌 기능과 질병 상태를 연관시킬 수 있습니다.
또한 연구원은 실험의 특정 측정값이 시간이 지남에 따라 일관성이 있는지 확인해야 합니다. 예를 들어, 운동 루틴 전후의 데이터를 비교하기 위해 체중 측정이 안정적으로 수행됩니다.
당신은 방금 심리학 실험에서 신뢰성을 결정하는 JoVE의 소개를 보았습니다. 이제 부적절한 행동과 같은 심리적 구조를 정량화하는 방법, 실험을 설계하는 방법, 마지막으로 결과에서 신뢰성을 평가하는 방법을 잘 이해해야 합니다.
시청해주셔서 감사합니다!?
View the full transcript and gain access to JoVE Science Education videos
Q1: What is inter-rater reliability in psychology experiments?
Inter-rater reliability occurs when multiple observers or raters agree on their measurements of the same behavior or phenomenon. When participants consistently count the same number of inappropriate instances across different episodes or shows, this demonstrates strong inter-rater reliability. Establishing inter-rater reliability allows researchers to confidently compare data between multiple conditions using the same participants.
Q2: How do you measure reliability in content analysis studies?
Reliability in content analysis is measured by comparing coding sheets between participants across different episodes or conditions. Researchers sum all responses on a master sheet and graph the total number of occurrences for each rater. High reliability is demonstrated when raters consistently score the same content similarly, such as SpongeBob consistently scoring higher than Caillou across episodes.
Q3: Why is a coding sheet important when analyzing behavioral content?
A coding sheet provides a systematic framework for identifying and counting specific behaviors. It includes concrete categories, examples, and space to record each occurrence, ensuring participants apply consistent criteria when observing. This standardization helps establish reliability by allowing multiple raters to independently assess the same content using identical definitions and measurement procedures.
Q4: What design did researchers use to examine reliability in the cartoon study?
Researchers used a within-subjects repeated-measures design where participants watched multiple episodes from two different cartoons. Each participant rated the same cartoons across different episodes, allowing researchers to assess both test-retest reliability within a cartoon and inter-rater reliability across participants. This design strengthens comparisons between conditions by using the same participants.
Q5: How does reliability apply beyond content analysis in psychology research?
Reliability is essential across multiple psychological measurement methods. Cognitive assessments and surveys require consistent item reliability between participants. Neurophysiological measures like EEG or eye tracking must be reliable to establish associations between brain function and disease states. Additionally, researchers must ensure measurements remain consistent over time, such as weight measurements taken before and after exercise interventions.
Q6: What dependent variable was measured in the cartoon content study?
The dependent variable was the number of inappropriate behaviors participants observed in each cartoon episode. Inappropriate behaviors included crude and rude actions, bad language, verbal and physical aggression, and references to drugs or sexual content. Participants used the coding sheet to systematically count and record each occurrence of these behaviors while watching the cartoons.
Q7: Why is quantifying psychological constructs challenging for researchers?
Psychological constructs like inappropriate behavior are abstract and subjective, making them difficult to measure directly. Researchers must develop operational definitions and systematic measurement tools, such as coding sheets with concrete examples, to transform abstract concepts into quantifiable data. This process requires careful design to ensure different observers can reliably identify and count the same behaviors consistently.