Overview
Fonte: Laboratórios de Gary Lewandowski, Dave Strohmetz, e Natalie Ciarocco - Universidade de Monmouth
Para estudar algo cientificamente, um pesquisador precisa determinar uma maneira de quantificá-lo. No entanto, construções psicológicas podem ser desafiadoras para medir e quantificar. Este vídeo examina a confiabilidade no contexto da análise de conteúdo.
Um estudo recente na revista Pediatrics relatou que crianças de 4 anos que assistiram a um desenho animado rápido tiveram pior desempenho em tarefas cognitivas, como seguir regras em um jogo, ouvir a direção de um adulto e atrasar a gratificação, em comparação com outras crianças que assistiram a um desenho animado mais lento. 1 Além do ritmo do desenho animado, o conteúdo do desenho animado também pode ter efeitos deletérios em seus jovens espectadores.
Este vídeo usa um design simples de dois grupos, para exemplificar a questão da confiabilidade, ao examinar a questão de saber se o desenho animado Bob Esponja SquarePants tem conteúdo mais inapropriado do que o desenho animado Caillou.
Procedure
1. Defina as variáveis-chave.
- Crie uma definição operacional (ou seja,uma descrição clara do que um pesquisador significa por um conceito) de conteúdo inadequado.
- Consulte definições criadas pela organização TV Diretrizes Parentais e aprovadas pela Comissão Federal de Comunicações.
- Conteúdo inadequado é qualquer comportamento grosseiro ou rude (por exemplo,humor do banheiro), representações de agressão verbal ou física (por exemplo,xingamentos, acertos, etc.),linguagem ruim(por exemplo,palavrões), ou referências ao uso de drogas, violência ou sexo.
2. Criar categorias de codificação a partir da definição operacional de conteúdo inadequado.
- Elaborar um processo sistemático para os participantes da pesquisa (referidos aqui como avaliadores) identificar instâncias do comportamento direcionado e inadequado (ver Tabela 1).
| Categorias de codificação | Temas e Exemplares | Contar |
| Comportamento bruto | Humor de banheiro Comportamentos propositadamente nojentos |
|
| Comportamento Rude | Perturbando os outros Maus Modos |
|
| Idioma | Usando palavrões | |
| Agressão Verbal | Insultos Gritando Xingamentos |
|
| Agressão Física | Bater Empurrando/Empurrando Tropeçar |
|
| Referências de drogas | Verbal (declarações/conversas sugestivas) Não verbal (imitando o uso de drogas) |
|
| Referências Sexuais | Verbal (declarações/conversas sugestivas) Não verbal (imitando atos sexuais) |
Mesa 1. Exemplo de como registrar casos de comportamentos inadequados. Este log pode ser usado sistematicamente entre os raters.
3. Instrua os avaliadores a assistir separadamente o mesmo episódio do SpongeBob SquarePants e fornecer contagem de codificação.
4. Instrua os avaliadores a assistir separadamente o mesmo episódio de Caillou e fornecer contagem de codificação.
5. Compare as classificações para ver se os Raters apresentaram classificações semelhantes para cada programa.
- Confiabilidade é a capacidade de medir consistentemente a variável — conteúdo inadequado.
- A confiabilidade entre taxas é a capacidade de mais de uma pessoa medir as variáveis e que suas medidas estejam de acordo.
A pesquisa científica utiliza métodos precisos para coletar dados, mas a variabilidade na obtenção de medições muitas vezes existe.
A confiabilidade pode ser avaliada para qualquer medição experimental, e hoje, vamos ter uma olhada em medidas de comportamentos inadequados em desenhos animados.
Quando os espectadores concordam com a quantidade de material inapropriado dentro do mesmo programa — em vários episódios — seus julgamentos são considerados altamente confiáveis. Neste caso, as avaliações podem se estender por diferentes espetáculos devido à consistência entre os observadores, que é referida como confiabilidade inter-rater.
Este vídeo demonstra como projetar e executar, bem como como analisar e interpretar, um experimento examinando se um desenho animado tem conteúdo mais inapropriado do que outro.
Para examinar a confiabilidade e a confiabilidade entre taxas, um design dentro dos sujeitos é usado neste experimento. Os participantes devem assistir a dois episódios de dois desenhos animados diferentes : SpongeBob SquarePants e Caillou.
Dentro desse contexto de observação de desenhos animados, a variável dependente é o número de comportamentos inadequados observados pelos participantes. Estes incluem: quaisquer comportamentos brutos e rudes, linguagem ruim, agressão verbal e física, e referências a drogas e conteúdo sexual.
Se houver confiabilidade na pontuação de conteúdo inapropriado de um desenho animado específico, os participantes irão consistentemente classificar esse desenho animado em diferentes episódios.
Além disso, se vários participantes estiverem de acordo com o número de instâncias inadequadas que contam, a confiabilidade entre taxas existe.
Assim, estabelecer a confiabilidade entre taxas permite que os pesquisadores usem os mesmos participantes para comparar dados de forma mais poderosa entre múltiplas condições.
Para conduzir o estudo, prepare quatro clipes: dois episódios diferentes de dois desenhos diferentes, Bob Esponja Calças Quadradas e Caillou.
Para permitir que os participantes identifiquem sistematicamente casos de comportamento inadequado, crie uma folha de codificação com categorias, exemplos concretos e espaço para contar cada ocorrência.
Com o participante sentado na frente da tela, entregue-lhes quatro folhas de codificação. Instrua o participante a assistir separadamente dois episódios de SpongeBob SquarePants.
À medida que o participante assiste a cada episódio, instrua-os a identificar cada ocorrência de comportamento inadequado.
Usando o mesmo esquema de codificação, instrua o participante a assistir e classificar dois episódios de Caillou.
Para analisar a confiabilidade das classificações dos participantes do conteúdo de desenhos animados, compare as folhas de codificação entre cada participante nos diferentes episódios de desenhos animados. Soma todas as respostas em uma planilha.
Gráfico o número total de comportamentos inadequados para cada rater através de episódios e desenhos animados.
Note-se que a alta confiabilidade foi observada na pontuação dos dois desenhos animados diferentes, já que o Bob Esponja é consistentemente pontuado maior que Caillou.
No entanto, uma confiabilidade inter-rater mais forte foi encontrada na pontuação de conteúdo inadequado em Caillou em comparação com o Bob Esponja. A redução da confiabilidade entre taxas foi mais óbvia na pontuação do Episódio 2 do Bob Esponja.
Agora que você está familiarizado com a confiabilidade no contexto da análise de conteúdo, você pode aplicar essa abordagem a outras áreas de pesquisa.
Muitos experimentos psicológicos coletam informações utilizando avaliações cognitivas e inquéritos, nos quais a confiabilidade entre cada um dos itens deve ser consistente entre os participantes.
A confiabilidade em medidas neurofisiológicas, como EEG ou rastreamento ocular, é essencial para a realização de experimentos repetitivos. Essa confiabilidade permite que os pesquisadores façam associações entre a função cerebral e estados da doença em vários indivíduos.
Além disso, os pesquisadores devem garantir que certas medidas em um experimento sejam consistentes ao longo do tempo. Por exemplo, as medidas de peso são tomadas de forma confiável para comparar dados antes e depois das rotinas de exercícios.
Você acabou de assistir a introdução de JoVE para determinar a confiabilidade em experimentos psicológicos. Agora você deve ter uma boa compreensão de como quantificar uma construção psicológica, como comportamento inadequado, projetar um experimento e, finalmente, como avaliar a confiabilidade a partir dos resultados.
Obrigado por assistir!
Subscription Required. Please recommend JoVE to your librarian.
Results
Os resultados indicam que os avaliadores apresentaram um alto nível de concordância ou consistência em suas classificações dentro de cada episódio de desenho animado, o que indica alta confiabilidade inter-rater(Figura 1). Há também confiabilidade ou consistência em episódios do Bob Esponja SquarePants com conteúdo mais inapropriado do que Caillou. Os resultados também revelaram vieses individuais entre os raters. Por exemplo, Rater 3 relatou mais conteúdo inapropriado no Bob Esponja do que os outros 2 raters, e Rater 1 relatou menos em Caillou do que outros raters.
Figura 1. Exemplos de conteúdo impróprio por rater e desenho animado para os episódios 1 (superior) e 2 (inferior).
Subscription Required. Please recommend JoVE to your librarian.
Applications and Summary
Os pesquisadores têm cada vez mais voltado sua atenção para a análise do conteúdo da televisão, especialmente no que se refere às crianças. Como discutido antes deste experimento atual, um estudo recente na revista Pediatrics correlacionou o ritmo acelerado do desenho animado Bob Esponja SquarePants a habilidades cognitivas relativamente pobres nas crianças que o assistem.
Uma vez que os resultados do nosso experimento parecem confiáveis, pesquisas futuras poderiam examinar se a quantidade relativa de conteúdo inadequado no Bob Esponja também é (ou alternativamente) responsável pelo menor desempenho cognitivo das crianças após assistir.
Uma das aplicações mais importantes de confiabilidade está no uso de instrumentos de pesquisa. Os pesquisadores devem ter certeza de que os participantes responderão consistentemente a cada um dos itens em uma escala específica. Ou seja, em uma medida de 5 itens de satisfação com a vida, os participantes devem responder aos itens 1 e 2 de forma um tanto semelhante à forma como respondem às perguntas 3, 4 e 5. Além disso, os pesquisadores querem ter certeza de que suas medidas em um experimento são consistentes ao longo do tempo. Portanto, se um pesquisador está usando a dilatação pupilar para indicar interesse em um estímulo, o pesquisador deve ter certeza de que a dilatação pupilar é um indicador consistente de interesse.
Subscription Required. Please recommend JoVE to your librarian.
References
- Lillard, A. S., & Peterson, J. The Immediate Impact of Different Types of Television on Young Children's Executive Function. Pediatrics. 128(4):644-9. doi: 10.1542/peds.2010-1919 (2011).
