Confiabilidad en los experimentos de Psicología

Experimental Psychology

Your institution must subscribe to JoVE's Psychology collection to access this content.

Fill out the form below to receive a free trial or learn more about access:

Welcome!

Enter your email below to get your free 1 hour trial to JoVE!





By clicking "Submit", you agree to our policies.

 

Overview

Fuente: Laboratorios de Gary Lewandowski, Dave Strohmetz y Natalie Ciarocco — Universidad de Monmouth

Para estudiar algo científico, un investigador debe determinar una manera de cuantificarlo. Sin embargo, los constructos psicológicos pueden ser difícil medir y cuantificar. Este video examina la confiabilidad en el contexto de análisis de contenido.

Un estudio reciente en la revista Pediatrics informó que 4 años de edad que vieron una caricatura rápida tenían peor rendimiento en tareas cognitivas, como las siguientes reglas en un juego, escuchar a la dirección de un adulto y demorar la gratificación, en comparación con otros niños que vieron una caricatura al ritmo más lenta. 1 además del ritmo de los dibujos animados, el contenido de los dibujos animados también puede tener efectos nocivos en sus jóvenes espectadores.

Este vídeo utiliza un simple diseño de dos grupos, para ejemplificar el tema de la fiabilidad, en el examen de la cuestión de si la historieta SpongeBob SquarePants tiene contenido más inapropiado que hace los dibujos animados de Caillou.

Cite this Video

JoVE Science Education Database. Fundamentos de la psicología experimental. Confiabilidad en los experimentos de Psicología. JoVE, Cambridge, MA, (2017).

Procedure

1. definir las variables clave.

  1. Crear una definición operativa (es decir, una descripción clara de exactamente lo que un investigador significa un concepto) de contenido inapropiado.
  2. Consulte las definiciones creadas por la organización pautas parentales de TV y aprobado por la Comisión Federal de comunicaciones.
  3. Contenido inapropiado es cualquier crudo o grosero comportamiento (p. ej., humor de inodoro), representaciones de la agresión verbal o física (por ejemplo, insultos, golpes, etc.), lenguaje (p. ej., palabras de maldición) o referencias al consumo de drogas, violencia o sexo.

2. crear categorías de codificación de la definición operacional de contenido inapropiado.

  1. Diseño de un proceso sistemático para los participantes de la investigación (referidos aquí como los calificadores) para identificar casos de comportamiento inadecuado, dirigido (ver tabla 1).
Categorías de codificación Temas y ejemplos Conde
Comportamiento crudo Humor de inodoro
Comportamientos útil asquerosos
Comportamiento grosero Interrumpir a otros
Malos modales
Idioma Usando palabras de maldición
Agresión verbal Insultos
Gritando
Insultos
Agresión física Golpear
Empujar/empujar
De disparo
Referencias de la droga Verbal (conversación y sugestiva declaraciones)
No verbal (mímica de uso de drogas)
Referencias sexuales Verbal (conversación y sugestiva declaraciones)
No verbal (mímica de actos sexuales)

Tabla 1. Ejemplo de cómo a instancias de registros de conductas inapropiadas. Este registro puede ser utilizado sistemáticamente a través de calificadores.

3. instruir a calificadores por separado ver el mismo episodio de SpongeBob SquarePants y codificación de cuentas.

4. instruir a calificadores por separado ver el mismo episodio de Caillou y codificación de cuentas.

5. Comparar para ver si los calificadores se subieron con una clasificación similar para cada espectáculo.

  1. Confiabilidad es la capacidad de medir sistemáticamente la variable — contenido inapropiado.
  2. Inter-rater confiabilidad es la capacidad para más de una persona medir las variables y sus mediciones estar de acuerdo.

Investigación científica utiliza métodos precisos para recoger datos, sin embargo, existe variabilidad en la obtención de las mediciones a menudo.

Confiabilidad puede evaluarse cualquier medida experimental, y hoy en día, tenemos un vistazo a las medidas de comportamientos inapropiados en los dibujos animados.

Cuando los espectadores están de acuerdo en la cantidad de material inadecuado dentro del mismo espectáculo, a través de múltiples episodios, sus juicios se consideran altamente confiables. En este caso, las evaluaciones pueden extender a través de diferentes espectáculos debido a la consistencia entre observadores, que se conoce como inter-rater confiabilidad.

Este video muestra cómo diseñar y realizar, así como analizar e interpretar un experimento examinando si una historieta tiene contenido inadecuado más que otro.

Para examinar la fiabilidad y confiabilidad inter-calificador, se utiliza un diseño de asignaturas en este experimento. Los participantes se les pide que ver dos episodios de dos dibujos diferentes, SpongeBob SquarePants y Caillou.

En este contexto de observación de dibujos animados, la variable dependiente es observar el número de participantes de conductas inapropiadas. Estos incluyen: cualquier comportamientos groseros y maleducados, malas palabras, agresión verbal y física y referencias a drogas y contenido sexual.

Si fiabilidad existe en la calificación del contenido inapropiado de una historieta específica, los participantes constantemente tarifa eso dibujos animados a través de diferentes episodios.

Por otra parte, si varios participantes están de acuerdo con el número de casos inadecuados cuentan, inter-rater confiabilidad existe.

Por lo tanto, establecer inter-rater confiabilidad permite a los investigadores a utilizar a los mismos participantes para comparar más de gran alcance datos entre varias condiciones.

Para realizar el estudio, preparar cuatro clips: dos episodios diferentes de dos dibujos diferentes, SpongeBob SquarePants y Caillou.

Para permitir a los participantes identificar sistemáticamente los casos de comportamiento inadecuado, crear una hoja de codificación con categorías, ejemplos concretos y espacio para contar cada ocurrencia.

Con el participante sentado delante de la pantalla, de la mano los cuatro hojas de codificación. Instruir a los participantes por separado ver dos episodios de SpongeBob SquarePants.

Ya que el participante cada episodio, instrúyalos para identificar cada ocurrencia de la conducta inapropiada.

Utilizando el mismo esquema de codificación, instruir a los participantes a ver y a tasa de dos episodios de Caillou.

Para analizar la fiabilidad de las clasificaciones de los participantes del contenido de la historieta, comparar las hojas de codificación entre cada participante a través de los diferentes episodios de dibujos animados. En definitiva todas las respuestas en una hoja principal.

Ver el número total de conductas inapropiadas para cada evaluador a través de episodios y dibujos animados.

Nota que alta confiabilidad fue observada en la puntuación de las dos caricaturas diferentes, como Bob esponja constantemente se anotó más arriba de Caillou.

Sin embargo, más fuerte inter-rater confiabilidad se encontró en el marcador de contenido inapropiado en Caillou comparado con Bob esponja. Reduce inter-rater confiabilidad fue más evidente en la calificación del episodio 2 de Bob esponja.

Ahora que está familiarizado con la confiabilidad en el contexto de análisis de contenido, puede aplicar este enfoque a otras áreas de investigación.

Muchos experimentos psicológicos recopilan información mediante la utilización de evaluaciones cognitivas y encuestas, en las que fiabilidad entre cada uno de los elementos debe ser coherente entre los participantes.

Fiabilidad en las medidas neurofisiológicas, como el EEG o seguimiento del ojo, es esencial para llevar a cabo experimentos repetibles. Esta confiabilidad permite a los investigadores hacer asociaciones entre Estados de la función y enfermedad del cerebro a través de varias asignaturas.

Además, los investigadores deben asegurarse que ciertas medidas en un experimento son consistentes con el tiempo. Por ejemplo, peso confiablemente mediciones para comparar los datos antes y después de las rutinas de ejercicio.

Sólo ha visto la introducción de Zeus para determinar confiabilidad en experimentos psicológicos. Ahora debe tener una buena comprensión de cómo cuantificar un constructo psicológico como conducta inapropiada, diseñar un experimento y, finalmente, cómo evaluar la confiabilidad de los resultados.

¡Gracias por ver!

Results

Los resultados indican que los calificadores tenían un alto nivel de acuerdo o consistencia en sus rangos dentro de cada episodio de dibujos animados, que indica alta confiabilidad inter-calificador (figura 1). También hay fiabilidad o consistencia en los episodios de SpongeBob SquarePants más inadecuado contenido de Caillou. Los resultados también revelaron sesgos individuales entre calificadores. Por ejemplo, 3 asesores registrados más inadecuado contenido de Bob esponja que los otros 2 calificadores y evaluador 1 menos en Caillou informó que otros evaluadores.

Figure 1
Figura 1. Instancias de contenido inapropiado por asesores y dibujos animados para los episodios 1 (superior) y 2 (abajo).

Applications and Summary

Los investigadores han convertido cada vez más su atención hacia el análisis de contenido de la televisión, especialmente en lo relacionado con los niños. Como hemos comentado antes de este experimento actual, un estudio reciente en la revista Pediatrics correlacionó el rápido ritmo de los dibujos animados SpongeBob SquarePants relativamente pobres habilidades cognitivas en los niños que la observan.

Puesto que los resultados de nuestro experimento aparecen confiables, la investigación futura podría examinar si la cantidad relativa de contenidos inapropiados en Bob esponja es también (o en su defecto) responsable de menor rendimiento cognitivo de los niños después de ver.

Una de las más importantes aplicaciones de fiabilidad está en el uso de instrumentos de encuesta. Los investigadores deben estar seguros de que los participantes constantemente responder cada uno de los ítems de una escala particular. Es decir, en una medida de 5 ítems de satisfacción con la vida, los participantes deben responder temas 1 y 2 de manera similar a cómo responder a preguntas 3, 4 y 5.  Además, los investigadores quieren asegurarse de que sus mediciones en un experimento son consistentes con el tiempo. Así que si un investigador es mediante dilatación de la pupila para indicar interés por un estímulo, el investigador debe estar seguro de que la dilatación de la pupila es un indicador consistente de interés.

References

  1. Lillard, A. S., & Peterson, J. The Immediate Impact of Different Types of Television on Young Children's Executive Function. Pediatrics. 128(4):644-9. doi: 10.1542/peds.2010-1919 (2011).

1. definir las variables clave.

  1. Crear una definición operativa (es decir, una descripción clara de exactamente lo que un investigador significa un concepto) de contenido inapropiado.
  2. Consulte las definiciones creadas por la organización pautas parentales de TV y aprobado por la Comisión Federal de comunicaciones.
  3. Contenido inapropiado es cualquier crudo o grosero comportamiento (p. ej., humor de inodoro), representaciones de la agresión verbal o física (por ejemplo, insultos, golpes, etc.), lenguaje (p. ej., palabras de maldición) o referencias al consumo de drogas, violencia o sexo.

2. crear categorías de codificación de la definición operacional de contenido inapropiado.

  1. Diseño de un proceso sistemático para los participantes de la investigación (referidos aquí como los calificadores) para identificar casos de comportamiento inadecuado, dirigido (ver tabla 1).
Categorías de codificación Temas y ejemplos Conde
Comportamiento crudo Humor de inodoro
Comportamientos útil asquerosos
Comportamiento grosero Interrumpir a otros
Malos modales
Idioma Usando palabras de maldición
Agresión verbal Insultos
Gritando
Insultos
Agresión física Golpear
Empujar/empujar
De disparo
Referencias de la droga Verbal (conversación y sugestiva declaraciones)
No verbal (mímica de uso de drogas)
Referencias sexuales Verbal (conversación y sugestiva declaraciones)
No verbal (mímica de actos sexuales)

Tabla 1. Ejemplo de cómo a instancias de registros de conductas inapropiadas. Este registro puede ser utilizado sistemáticamente a través de calificadores.

3. instruir a calificadores por separado ver el mismo episodio de SpongeBob SquarePants y codificación de cuentas.

4. instruir a calificadores por separado ver el mismo episodio de Caillou y codificación de cuentas.

5. Comparar para ver si los calificadores se subieron con una clasificación similar para cada espectáculo.

  1. Confiabilidad es la capacidad de medir sistemáticamente la variable — contenido inapropiado.
  2. Inter-rater confiabilidad es la capacidad para más de una persona medir las variables y sus mediciones estar de acuerdo.

Investigación científica utiliza métodos precisos para recoger datos, sin embargo, existe variabilidad en la obtención de las mediciones a menudo.

Confiabilidad puede evaluarse cualquier medida experimental, y hoy en día, tenemos un vistazo a las medidas de comportamientos inapropiados en los dibujos animados.

Cuando los espectadores están de acuerdo en la cantidad de material inadecuado dentro del mismo espectáculo, a través de múltiples episodios, sus juicios se consideran altamente confiables. En este caso, las evaluaciones pueden extender a través de diferentes espectáculos debido a la consistencia entre observadores, que se conoce como inter-rater confiabilidad.

Este video muestra cómo diseñar y realizar, así como analizar e interpretar un experimento examinando si una historieta tiene contenido inadecuado más que otro.

Para examinar la fiabilidad y confiabilidad inter-calificador, se utiliza un diseño de asignaturas en este experimento. Los participantes se les pide que ver dos episodios de dos dibujos diferentes, SpongeBob SquarePants y Caillou.

En este contexto de observación de dibujos animados, la variable dependiente es observar el número de participantes de conductas inapropiadas. Estos incluyen: cualquier comportamientos groseros y maleducados, malas palabras, agresión verbal y física y referencias a drogas y contenido sexual.

Si fiabilidad existe en la calificación del contenido inapropiado de una historieta específica, los participantes constantemente tarifa eso dibujos animados a través de diferentes episodios.

Por otra parte, si varios participantes están de acuerdo con el número de casos inadecuados cuentan, inter-rater confiabilidad existe.

Por lo tanto, establecer inter-rater confiabilidad permite a los investigadores a utilizar a los mismos participantes para comparar más de gran alcance datos entre varias condiciones.

Para realizar el estudio, preparar cuatro clips: dos episodios diferentes de dos dibujos diferentes, SpongeBob SquarePants y Caillou.

Para permitir a los participantes identificar sistemáticamente los casos de comportamiento inadecuado, crear una hoja de codificación con categorías, ejemplos concretos y espacio para contar cada ocurrencia.

Con el participante sentado delante de la pantalla, de la mano los cuatro hojas de codificación. Instruir a los participantes por separado ver dos episodios de SpongeBob SquarePants.

Ya que el participante cada episodio, instrúyalos para identificar cada ocurrencia de la conducta inapropiada.

Utilizando el mismo esquema de codificación, instruir a los participantes a ver y a tasa de dos episodios de Caillou.

Para analizar la fiabilidad de las clasificaciones de los participantes del contenido de la historieta, comparar las hojas de codificación entre cada participante a través de los diferentes episodios de dibujos animados. En definitiva todas las respuestas en una hoja principal.

Ver el número total de conductas inapropiadas para cada evaluador a través de episodios y dibujos animados.

Nota que alta confiabilidad fue observada en la puntuación de las dos caricaturas diferentes, como Bob esponja constantemente se anotó más arriba de Caillou.

Sin embargo, más fuerte inter-rater confiabilidad se encontró en el marcador de contenido inapropiado en Caillou comparado con Bob esponja. Reduce inter-rater confiabilidad fue más evidente en la calificación del episodio 2 de Bob esponja.

Ahora que está familiarizado con la confiabilidad en el contexto de análisis de contenido, puede aplicar este enfoque a otras áreas de investigación.

Muchos experimentos psicológicos recopilan información mediante la utilización de evaluaciones cognitivas y encuestas, en las que fiabilidad entre cada uno de los elementos debe ser coherente entre los participantes.

Fiabilidad en las medidas neurofisiológicas, como el EEG o seguimiento del ojo, es esencial para llevar a cabo experimentos repetibles. Esta confiabilidad permite a los investigadores hacer asociaciones entre Estados de la función y enfermedad del cerebro a través de varias asignaturas.

Además, los investigadores deben asegurarse que ciertas medidas en un experimento son consistentes con el tiempo. Por ejemplo, peso confiablemente mediciones para comparar los datos antes y después de las rutinas de ejercicio.

Sólo ha visto la introducción de Zeus para determinar confiabilidad en experimentos psicológicos. Ahora debe tener una buena comprensión de cómo cuantificar un constructo psicológico como conducta inapropiada, diseñar un experimento y, finalmente, cómo evaluar la confiabilidad de los resultados.

¡Gracias por ver!

A subscription to JoVE is required to view this article.
You will only be able to see the first 20 seconds.

RECOMMEND JoVE