Affidabilità negli esperimenti di psicologia

Reliability in Psychology Experiments

JoVE Science Education
Experimental Psychology

A subscription to JoVE is required to view this content. Sign in or start your free trial.

JoVE Science Education Experimental Psychology

Reliability in Psychology Experiments

2.4: Perspectives on Experimental Psychology

2.13: Placebos in Research

8,615 Views

•

05:13 min

•

February 04, 2015

Overview

Fonte: Laboratori di Gary Lewandowski,Dave Strohmetz e Natalie Ciarocco—Monmouth University

Per studiare qualcosa scientificamente, un ricercatore deve determinare un modo per quantificarlo. Tuttavia, i costrutti psicologici possono essere difficili da misurare e quantificare. Questo video esamina l’affidabilità nel contesto dell’analisi dei contenuti.

Un recente studio sulla rivista Pediatrics ha riferito che i bambini di 4 anni che guardavano un cartone animato frenetico avevano prestazioni peggiori su compiti cognitivi, come seguire le regole in un gioco, ascoltare la direzione di un adulto e ritardare la gratificazione, rispetto ad altri bambini che guardavano un cartone animato dal ritmo più lento. ¹ Oltre al ritmo del cartone animato, il contenuto del cartone animato può anche avere effetti deleteri sui suoi giovani spettatori.

Questo video utilizza un semplice design a due gruppi, per esemplificare la questione dell’affidabilità, nell’esaminare la questione se il cartone animato SpongeBob SquarePants abbia più contenuti inappropriati rispetto al cartone animato Caillou.

Procedure

1. Definire le variabili chiave.

Creare una definizione operativa(cioèuna chiara descrizione di ciò che un ricercatore intende esattamente con un concetto) di contenuti inappropriati.
Consulta le definizioni create dall’organizzazione TV Parental Guidelines e approvate dalla Federal Communications Commission.
Il contenuto inappropriato è qualsiasi comportamento rozzo o maleducato(ad esempio,umorismo da toilette), rappresentazioni di aggressioni verbali o fisiche(ad esempio,chiamare il nome, colpire, ecc.),Linguaggio volgare(ad esempio,parolacce) o riferimenti all’uso di droghe, violenza o sesso.

2. Creare categorie di codifica dalla definizione operativa di contenuti inappropriati.

Progettare un processo sistematico per i partecipanti alla ricerca (indicati qui come i valutatori) per identificare le istanze del comportamento mirato e inappropriato (vedere Tabella 1).

Categorie di codifica	Temi ed esempi	Contare
Comportamento grezzo	Umorismo da toilette Comportamenti volutamente disgustosi
Comportamento scortese	Disturbare gli altri Cattive maniere
Lingua	Usare parolacce
Aggressione verbale	Insulti Urlare Chiamata del nome
Aggressione fisica	Colpire Spingere/Spingere Intervento
Riferimenti ai farmaci	Verbale (dichiarazioni/conversazioni suggestive) Non verbale (che imita l’uso di droghe)
Riferimenti sessuali	Verbale (dichiarazioni/conversazioni suggestive) Non verbale (che imita atti sessuali)

Tabella 1. Esempio di come registrare istanze di comportamenti inappropriati. Questo registro può essere utilizzato sistematicamente tra ivalutatori.

3. Istruisci i valutatori a guardare separatamente lo stesso episodio di SpongeBob SquarePants e fornire conteggi di codifica.

4. Istruisci i valutatori a guardare separatamente lo stesso episodio di Caillou e fornire conteggi di codifica.

5. Confronta le valutazioni per vedere se i Valutatori hanno venire con valutazioni simili per ogni spettacolo.

L’affidabilità è la capacità di misurare in modo coerente la variabile: contenuto inappropriato.
L’affidabilità inter-rater è la capacità per più di una persona di misurare le variabili e per le loro misurazioni di essere in accordo.

La ricerca scientifica utilizza metodi precisi per raccogliere dati, ma spesso esiste una variabilità nell’ottenere misurazioni.

L’affidabilità può essere valutata per qualsiasi misurazione sperimentale e oggi daremo un’occhiata alle misurazioni dei comportamenti inappropriati nei cartoni animati.

Quando gli spettatori concordano sulla quantità di materiale inappropriato all’interno dello stesso show, in più episodi, i loro giudizi sono considerati altamente affidabili. In questo caso, le valutazioni possono estendersi a diversi spettacoli a causa della coerenza tra gli osservatori, che viene definita affidabilità inter-rater.

Questo video dimostra come progettare ed eseguire, nonché come analizzare e interpretare, un esperimento che esamina se un cartone animato ha più contenuti inappropriati di un altro.

Per esaminare l’affidabilità e l’affidabilità inter-rater, in questo esperimento viene utilizzato un design all’interno dei soggetti. Ai partecipanti viene chiesto di guardare due episodi di due diversi cartoni animati: SpongeBob SquarePants e Caillou.

All’interno di questo contesto di visione dei cartoni animati, la variabile dipendente è il numero di comportamenti inappropriati che i partecipanti osservano. Questi includono: qualsiasi comportamento rozzo e maleducato, cattivo linguaggio, aggressione verbale e fisica e riferimenti a droghe e contenuti sessuali.

Se esiste affidabilità nel punteggio di contenuti inappropriati di un cartone animato specifico, i partecipanti valuteranno costantemente quel cartone animato in diversi episodi.

Inoltre, se più partecipanti sono d’accordo con il numero di istanze inappropriate che contano, esiste l’affidabilità inter-rater.

Pertanto, stabilire l’affidabilità inter-rater consente ai ricercatori di utilizzare gli stessi partecipanti per confrontare in modo più potente i dati tra più condizioni.

Per condurre lo studio, prepara quattro clip: due diversi episodi di due diversi cartoni animati, SpongeBob SquarePants e Caillou.

Per consentire ai partecipanti di identificare sistematicamente i casi di comportamento inappropriato, creare un foglio di codifica con categorie, esempi concreti e spazio per contare ogni occorrenza.

Con il partecipante seduto davanti allo schermo, consegna loro quattro fogli di codifica. Istruisci il partecipante a guardare separatamente due episodi di SpongeBob SquarePants.

Mentre il partecipante guarda ogni episodio, istruisci a identificare ogni evento di comportamento inappropriato.

Utilizzando lo stesso schema di codifica, istruisci il partecipante a guardare e valutare due episodi di Caillou.

Per analizzare l’affidabilità delle valutazioni dei partecipanti sui contenuti dei cartoni animati, confronta i fogli di codifica tra ciascun partecipante nei diversi episodi dei cartoni animati. Sommare tutte le risposte in un foglio master.

Rappresenta il grafico del numero totale di comportamenti inappropriati per ogni valutatore tra episodi e cartoni animati.

Si noti che è stata osservata un’elevata affidabilità nel punteggio dei due diversi cartoni animati, poiché SpongeBob ha costantemente ottenuto un punteggio superiore a Caillou.

Tuttavia, una maggiore affidabilità inter-rater è stata trovata nel punteggio dei contenuti inappropriati in Caillou rispetto a SpongeBob. La ridotta affidabilità inter-rater è stata più evidente nel punteggio dell’episodio 2 di SpongeBob.

Ora che hai familiarità con l’affidabilità nel contesto dell’analisi dei contenuti, puoi applicare questo approccio ad altre aree di ricerca.

Molti esperimenti psicologici raccolgono informazioni utilizzando valutazioni e sondaggi cognitivi, in cui l’affidabilità tra ciascuno degli elementi deve essere coerente tra i partecipanti.

L’affidabilità nelle misure neurofisiologiche, come l’EEG o l’eye tracking, è essenziale per condurre esperimenti ripetibili. Questa affidabilità consente ai ricercatori di fare associazioni tra funzione cerebrale e stati di malattia su più soggetti.

Inoltre, i ricercatori devono garantire che alcune misurazioni in un esperimento siano coerenti nel tempo. Ad esempio, le misurazioni del peso vengono prese in modo affidabile per confrontare i dati prima e dopo le routine di allenamento.

Hai appena visto l’introduzione di JoVE alla determinazione dell’affidabilità negli esperimenti psicologici. Ora dovresti avere una buona comprensione di come quantificare un costrutto psicologico come un comportamento inappropriato, progettare un esperimento e infine come valutare l’affidabilità dai risultati.

Grazie per l’attenzione!

Results

I risultati indicano che i valutatori avevano un alto livello di accordo o coerenza nelle loro valutazioni all’interno di ciascun episodio del cartone animato, il che indica un’elevata affidabilità inter-rater (Figura 1). C’è anche affidabilità o coerenza negli episodi di SpongeBob SquarePants che hanno contenuti più inappropriati di Caillou. I risultati hanno anche rivelato pregiudizi individuali tra i valutatori. Ad esempio, Rater 3 ha riportato più contenuti inappropriati in SpongeBob rispetto agli altri 2 valutatori e Rater 1 ha riportato meno in Caillou rispetto ad altri valutatori.

Figura 1. Istanze di contenuti inappropriati per valutatore e cartone animato per gli episodi 1 (in alto) e 2 (in basso).

Applications and Summary

I ricercatori hanno rivolto sempre più la loro attenzione verso l’analisi dei contenuti televisivi, soprattutto per quanto riguarda i bambini. Come discusso prima di questo esperimento attuale, un recente studio sulla rivista Pediatrics ha correlato il ritmo veloce del cartone animato SpongeBob SquarePants a capacità cognitive relativamente scarse nei bambini che lo guardano.

Poiché i risultati del nostro esperimento sembrano affidabili, la ricerca futura potrebbe esaminare se la quantità relativa di contenuti inappropriati in SpongeBob è anche (o in alternativa) responsabile delle minori prestazioni cognitive dei bambini dopo la visione.

Una delle applicazioni più importanti dell’affidabilità è nell’uso di strumenti di rilevamento. I ricercatori devono essere sicuri che i partecipanti risponderanno in modo coerente a ciascuno degli elementi in una particolare scala. Cioè, in una misura di 5 elementi della soddisfazione della vita, i partecipanti dovrebbero rispondere ai punti 1 e 2 in modo in qualche modo simile a come rispondono alle domande 3, 4 e 5. Inoltre, i ricercatori vogliono assicurarsi che le loro misurazioni in un esperimento siano coerenti nel tempo. Quindi, se un ricercatore sta usando la dilatazione della pupilla per indicare l’interesse per uno stimolo, il ricercatore deve essere sicuro che la dilatazione della pupilla sia un indicatore coerente di interesse.

Transcript

La ricerca scientifica utilizza metodi precisi per raccogliere dati, ma spesso esiste una variabilità nell’ottenere le misurazioni.

L’affidabilità può essere valutata per qualsiasi misurazione sperimentale e oggi daremo un’occhiata alle misurazioni di comportamenti inappropriati nei cartoni animati.

Quando gli spettatori concordano sulla quantità di materiale inappropriato all’interno dello stesso show, in più episodi, i loro giudizi sono considerati altamente affidabili. In questo caso, le valutazioni possono estendersi a diversi spettacoli a causa della coerenza tra gli osservatori, che viene definita affidabilità tra valutatori.

Questo video mostra come progettare ed eseguire, nonché come analizzare e interpretare, un esperimento che esamina se un cartone animato ha più contenuti inappropriati di un altro.

Per esaminare l’affidabilità e l’affidabilità tra valutatori, in questo esperimento viene utilizzato un disegno all’interno dei soggetti. Ai partecipanti viene chiesto di guardare due episodi di due cartoni animati diversi? SpongeBob SquarePants e Caillou.

In questo contesto di visione dei cartoni animati, la variabile dipendente è il numero di comportamenti inappropriati osservati dai partecipanti. Questi includono: comportamenti volgari e maleducati, linguaggio volgare, aggressione verbale e fisica e riferimenti a droghe e contenuti sessuali.

Se esiste affidabilità nel punteggio del contenuto inappropriato di un cartone animato specifico, i partecipanti valuteranno costantemente quel cartone animato in diversi episodi.

Inoltre, se più partecipanti sono d’accordo con il numero di istanze inappropriate che contano, esiste l’affidabilità tra valutatori.

Pertanto, stabilire l’affidabilità tra i valutatori consente ai ricercatori di utilizzare gli stessi partecipanti per confrontare in modo più efficace i dati tra più condizioni.

Per condurre lo studio, prepara quattro clip: due diversi episodi di due diversi cartoni animati, SpongeBob SquarePants e Caillou.

Per consentire ai partecipanti di identificare sistematicamente i casi di comportamento inappropriato, creare un foglio di codifica con categorie, esempi concreti e spazio per contare ogni occorrenza.

Con il partecipante seduto davanti allo schermo, consegnagli quattro fogli di programmazione. Chiedi al partecipante di guardare separatamente due episodi di SpongeBob SquarePants.

Mentre il partecipante guarda ogni episodio, chiedigli di identificare ogni occorrenza di comportamento inappropriato.

Utilizzando lo stesso schema di codifica, chiedi al partecipante di guardare e valutare due episodi di Caillou.

Per analizzare l’affidabilità dei partecipanti? Valutazioni dei contenuti dei cartoni animati, confronta i fogli di codifica tra ciascun partecipante nei diversi episodi dei cartoni animati. Sommare tutte le risposte su un foglio master.

Rappresenta graficamente il numero totale di comportamenti inappropriati per ogni valutatore tra episodi e cartoni animati.

Si noti che è stata osservata un’elevata affidabilità nel punteggio dei due diversi cartoni animati, poiché SpongeBob ha costantemente un punteggio più alto di Caillou.

Tuttavia, una maggiore affidabilità tra i valutatori è stata riscontrata nel punteggio dei contenuti inappropriati in Caillou rispetto a SpongeBob. La ridotta affidabilità tra i valutatori è stata più evidente nella colonna sonora dell’episodio 2 di SpongeBob.

Ora che hai familiarità con l’affidabilità nel contesto dell’analisi dei contenuti, puoi applicare questo approccio ad altre aree di ricerca.

Molti esperimenti psicologici raccolgono informazioni utilizzando valutazioni cognitive e sondaggi, in cui l’affidabilità tra ciascuno degli elementi deve essere coerente tra i partecipanti.

L’affidabilità delle misure neurofisiologiche, come l’EEG o l’eye tracking, è essenziale per condurre esperimenti ripetibili. Questa affidabilità consente ai ricercatori di stabilire associazioni tra la funzione cerebrale e gli stati patologici in più soggetti.

Inoltre, i ricercatori devono garantire che determinate misurazioni in un esperimento siano coerenti nel tempo. Ad esempio, le misurazioni del peso vengono effettuate in modo affidabile per confrontare i dati prima e dopo le routine di allenamento.

Hai appena visto l’introduzione di JoVE su come determinare l’affidabilità negli esperimenti psicologici. Ora dovresti avere una buona comprensione di come quantificare un costrutto psicologico come un comportamento inappropriato, progettare un esperimento e, infine, come valutare l’affidabilità dai risultati.

Grazie per l’attenzione!?

Tags

Valore vuoto problema