Overview
Fonte: Laboratori di Gary Lewandowski,Dave Strohmetz e Natalie Ciarocco—Monmouth University
Per studiare qualcosa scientificamente, un ricercatore deve determinare un modo per quantificarlo. Tuttavia, i costrutti psicologici possono essere difficili da misurare e quantificare. Questo video esamina l'affidabilità nel contesto dell'analisi dei contenuti.
Un recente studio sulla rivista Pediatrics ha riferito che i bambini di 4 anni che guardavano un cartone animato frenetico avevano prestazioni peggiori su compiti cognitivi, come seguire le regole in un gioco, ascoltare la direzione di un adulto e ritardare la gratificazione, rispetto ad altri bambini che guardavano un cartone animato dal ritmo più lento. 1 Oltre al ritmo del cartone animato, il contenuto del cartone animato può anche avere effetti deleteri sui suoi giovani spettatori.
Questo video utilizza un semplice design a due gruppi, per esemplificare la questione dell'affidabilità, nell'esaminare la questione se il cartone animato SpongeBob SquarePants abbia più contenuti inappropriati rispetto al cartone animato Caillou.
Procedure
1. Definire le variabili chiave.
- Creare una definizione operativa(cioèuna chiara descrizione di ciò che un ricercatore intende esattamente con un concetto) di contenuti inappropriati.
- Consulta le definizioni create dall'organizzazione TV Parental Guidelines e approvate dalla Federal Communications Commission.
- Il contenuto inappropriato è qualsiasi comportamento rozzo o maleducato(ad esempio,umorismo da toilette), rappresentazioni di aggressioni verbali o fisiche(ad esempio,chiamare il nome, colpire, ecc.),Linguaggio volgare(ad esempio,parolacce) o riferimenti all'uso di droghe, violenza o sesso.
2. Creare categorie di codifica dalla definizione operativa di contenuti inappropriati.
- Progettare un processo sistematico per i partecipanti alla ricerca (indicati qui come i valutatori) per identificare le istanze del comportamento mirato e inappropriato (vedere Tabella 1).
| Categorie di codifica | Temi ed esempi | Contare |
| Comportamento grezzo | Umorismo da toilette Comportamenti volutamente disgustosi |
|
| Comportamento scortese | Disturbare gli altri Cattive maniere |
|
| Lingua | Usare parolacce | |
| Aggressione verbale | Insulti Urlare Chiamata del nome |
|
| Aggressione fisica | Colpire Spingere/Spingere Intervento |
|
| Riferimenti ai farmaci | Verbale (dichiarazioni/conversazioni suggestive) Non verbale (che imita l'uso di droghe) |
|
| Riferimenti sessuali | Verbale (dichiarazioni/conversazioni suggestive) Non verbale (che imita atti sessuali) |
Tabella 1. Esempio di come registrare istanze di comportamenti inappropriati. Questo registro può essere utilizzato sistematicamente tra ivalutatori.
3. Istruisci i valutatori a guardare separatamente lo stesso episodio di SpongeBob SquarePants e fornire conteggi di codifica.
4. Istruisci i valutatori a guardare separatamente lo stesso episodio di Caillou e fornire conteggi di codifica.
5. Confronta le valutazioni per vedere se i Valutatori hanno venire con valutazioni simili per ogni spettacolo.
- L'affidabilità è la capacità di misurare in modo coerente la variabile: contenuto inappropriato.
- L'affidabilità inter-rater è la capacità per più di una persona di misurare le variabili e per le loro misurazioni di essere in accordo.
La ricerca scientifica utilizza metodi precisi per raccogliere dati, ma spesso esiste una variabilità nell'ottenere misurazioni.
L'affidabilità può essere valutata per qualsiasi misurazione sperimentale e oggi daremo un'occhiata alle misurazioni dei comportamenti inappropriati nei cartoni animati.
Quando gli spettatori concordano sulla quantità di materiale inappropriato all'interno dello stesso show, in più episodi, i loro giudizi sono considerati altamente affidabili. In questo caso, le valutazioni possono estendersi a diversi spettacoli a causa della coerenza tra gli osservatori, che viene definita affidabilità inter-rater.
Questo video dimostra come progettare ed eseguire, nonché come analizzare e interpretare, un esperimento che esamina se un cartone animato ha più contenuti inappropriati di un altro.
Per esaminare l'affidabilità e l'affidabilità inter-rater, in questo esperimento viene utilizzato un design all'interno dei soggetti. Ai partecipanti viene chiesto di guardare due episodi di due diversi cartoni animati: SpongeBob SquarePants e Caillou.
All'interno di questo contesto di visione dei cartoni animati, la variabile dipendente è il numero di comportamenti inappropriati che i partecipanti osservano. Questi includono: qualsiasi comportamento rozzo e maleducato, cattivo linguaggio, aggressione verbale e fisica e riferimenti a droghe e contenuti sessuali.
Se esiste affidabilità nel punteggio di contenuti inappropriati di un cartone animato specifico, i partecipanti valuteranno costantemente quel cartone animato in diversi episodi.
Inoltre, se più partecipanti sono d'accordo con il numero di istanze inappropriate che contano, esiste l'affidabilità inter-rater.
Pertanto, stabilire l'affidabilità inter-rater consente ai ricercatori di utilizzare gli stessi partecipanti per confrontare in modo più potente i dati tra più condizioni.
Per condurre lo studio, prepara quattro clip: due diversi episodi di due diversi cartoni animati, SpongeBob SquarePants e Caillou.
Per consentire ai partecipanti di identificare sistematicamente i casi di comportamento inappropriato, creare un foglio di codifica con categorie, esempi concreti e spazio per contare ogni occorrenza.
Con il partecipante seduto davanti allo schermo, consegna loro quattro fogli di codifica. Istruisci il partecipante a guardare separatamente due episodi di SpongeBob SquarePants.
Mentre il partecipante guarda ogni episodio, istruisci a identificare ogni evento di comportamento inappropriato.
Utilizzando lo stesso schema di codifica, istruisci il partecipante a guardare e valutare due episodi di Caillou.
Per analizzare l'affidabilità delle valutazioni dei partecipanti sui contenuti dei cartoni animati, confronta i fogli di codifica tra ciascun partecipante nei diversi episodi dei cartoni animati. Sommare tutte le risposte in un foglio master.
Rappresenta il grafico del numero totale di comportamenti inappropriati per ogni valutatore tra episodi e cartoni animati.
Si noti che è stata osservata un'elevata affidabilità nel punteggio dei due diversi cartoni animati, poiché SpongeBob ha costantemente ottenuto un punteggio superiore a Caillou.
Tuttavia, una maggiore affidabilità inter-rater è stata trovata nel punteggio dei contenuti inappropriati in Caillou rispetto a SpongeBob. La ridotta affidabilità inter-rater è stata più evidente nel punteggio dell'episodio 2 di SpongeBob.
Ora che hai familiarità con l'affidabilità nel contesto dell'analisi dei contenuti, puoi applicare questo approccio ad altre aree di ricerca.
Molti esperimenti psicologici raccolgono informazioni utilizzando valutazioni e sondaggi cognitivi, in cui l'affidabilità tra ciascuno degli elementi deve essere coerente tra i partecipanti.
L'affidabilità nelle misure neurofisiologiche, come l'EEG o l'eye tracking, è essenziale per condurre esperimenti ripetibili. Questa affidabilità consente ai ricercatori di fare associazioni tra funzione cerebrale e stati di malattia su più soggetti.
Inoltre, i ricercatori devono garantire che alcune misurazioni in un esperimento siano coerenti nel tempo. Ad esempio, le misurazioni del peso vengono prese in modo affidabile per confrontare i dati prima e dopo le routine di allenamento.
Hai appena visto l'introduzione di JoVE alla determinazione dell'affidabilità negli esperimenti psicologici. Ora dovresti avere una buona comprensione di come quantificare un costrutto psicologico come un comportamento inappropriato, progettare un esperimento e infine come valutare l'affidabilità dai risultati.
Grazie per l'attenzione!
Subscription Required. Please recommend JoVE to your librarian.
Results
I risultati indicano che i valutatori avevano un alto livello di accordo o coerenza nelle loro valutazioni all'interno di ciascun episodio del cartone animato, il che indica un'elevata affidabilità inter-rater (Figura 1). C'è anche affidabilità o coerenza negli episodi di SpongeBob SquarePants che hanno contenuti più inappropriati di Caillou. I risultati hanno anche rivelato pregiudizi individuali tra i valutatori. Ad esempio, Rater 3 ha riportato più contenuti inappropriati in SpongeBob rispetto agli altri 2 valutatori e Rater 1 ha riportato meno in Caillou rispetto ad altri valutatori.
Figura 1. Istanze di contenuti inappropriati per valutatore e cartone animato per gli episodi 1 (in alto) e 2 (in basso).
Subscription Required. Please recommend JoVE to your librarian.
Applications and Summary
I ricercatori hanno rivolto sempre più la loro attenzione verso l'analisi dei contenuti televisivi, soprattutto per quanto riguarda i bambini. Come discusso prima di questo esperimento attuale, un recente studio sulla rivista Pediatrics ha correlato il ritmo veloce del cartone animato SpongeBob SquarePants a capacità cognitive relativamente scarse nei bambini che lo guardano.
Poiché i risultati del nostro esperimento sembrano affidabili, la ricerca futura potrebbe esaminare se la quantità relativa di contenuti inappropriati in SpongeBob è anche (o in alternativa) responsabile delle minori prestazioni cognitive dei bambini dopo la visione.
Una delle applicazioni più importanti dell'affidabilità è nell'uso di strumenti di rilevamento. I ricercatori devono essere sicuri che i partecipanti risponderanno in modo coerente a ciascuno degli elementi in una particolare scala. Cioè, in una misura di 5 elementi della soddisfazione della vita, i partecipanti dovrebbero rispondere ai punti 1 e 2 in modo in qualche modo simile a come rispondono alle domande 3, 4 e 5. Inoltre, i ricercatori vogliono assicurarsi che le loro misurazioni in un esperimento siano coerenti nel tempo. Quindi, se un ricercatore sta usando la dilatazione della pupilla per indicare l'interesse per uno stimolo, il ricercatore deve essere sicuro che la dilatazione della pupilla sia un indicatore coerente di interesse.
Subscription Required. Please recommend JoVE to your librarian.
References
- Lillard, A. S., & Peterson, J. The Immediate Impact of Different Types of Television on Young Children's Executive Function. Pediatrics. 128(4):644-9. doi: 10.1542/peds.2010-1919 (2011).
