JoVE Science Education

Experimental Psychology

Teste piloto

JoVE Science Education
Experimental Psychology

A subscription to JoVE is required to view this content. Sign in or start your free trial.

JoVE Science Education Experimental Psychology

Pilot Testing

2.4: Perspectives on Experimental Psychology

2.13: Placebos in Research

10,273 Views

•

07:17 min

•

April 30, 2023

Overview

Fonte: Laboratórios de Gary Lewandowski, Dave Strohmetz, e Natalie Ciarocco – Universidade de Monmouth

Em qualquer experimento, os pesquisadores têm o desafio de criar experiências para os participantes que sejam consistentes (ou seja,confiáveis) e autênticos (ou seja,válidos). No entanto, há muitas maneiras de manipular qualquer variável. Por exemplo, se você quer que os participantes se sintam tristes, você pode fazê-los pensar em sua própria memória triste, assistir a um vídeo triste ou ler uma história triste.

Os pesquisadores devem encontrar a melhor maneira de operacionalizar uma construção psicológica para produzir a manipulação mais eficaz possível. Muitas vezes, antes de executar o estudo principal, os pesquisadores vão testar(ou seja,tentar) suas manipulações para verificar sua eficácia.

Este vídeo demonstra como operacionalizar a mesma variável independente (estresse agudo) de três maneiras diferentes. Especificamente, este estudo busca identificar o melhor som (estático, relógio de tique-taque ou bebê chorando) para tocar durante uma tarefa difícil (resolver problemas matemáticos complexos) para manipular o estresse de forma ideal.

Estudos psicológicos geralmente usam tamanhos amostrais mais altos do que estudos em outras ciências. Um grande número de participantes ajuda a garantir que a população em estudo seja melhor representada e a margem de erro acompanhada do estudo do comportamento humano seja suficientemente contabilizada. Neste vídeo, demonstramos este experimento usando apenas três participantes, um para cada condição. No entanto, como representado nos resultados, utilizou-se um total de 120 (40 para cada condição) participantes para chegar às conclusões do experimento refletidas na seção Resultados.

Procedure

1. Defina as variáveis-chave.

Crie uma definição operacional (ou seja,uma descrição clara do que um pesquisador significa por um conceito) de som estressante.
1. Para os propósitos deste experimento, um som estressante é qualquer ruído que cria uma sensação de tensão, imediatismo ou ansiedade dentro dos participantes.
  1. Isso será manipulado através de três sons diferentes: estático, relógio de tique-taque, e um bebê chorando.
Crie uma definição operacional (ou seja,uma descrição clara do que um pesquisador significa por um conceito) de estresse agudo.
1. Para efeitos deste experimento, o estresse agudo é definido como o estresse ou sensação de tensão e tensão resultantes de demandas ou pressões recentes.
  1. Para medir isso com precisão, pergunte aos participantes sobre seus próprios níveis de estresse usando uma pergunta simples.

2. Conduzir o estudo.

Conheça o aluno/participante do laboratório.
Fornecer ao participante consentimento informado, uma breve descrição da pesquisa (concentração em uma tarefa), uma noção do procedimento, uma indicação de potenciais riscos/benefícios, o direito de retirada a qualquer momento e uma maneira de obter ajuda se sentirem desconforto.
Executar a condição estática.
1. Diga ao participante “Vou te dar uma série de problemas matemáticos que devem ser fáceis de resolver. Seu trabalho é completar o máximo possível no limite de 2 minutos. Por favor, tente se concentrar e ignorar qualquer som que você possa ouvir.
2. Dê ao participante a folha de problemas matemáticos(Figura 1),inicie o temporizador (definido para 2 minutos), toque o som estático e diga “você pode começar”.
  
  Figura 1: Tarefa matemática. Exemplos de problemas matemáticos dados aos participantes
Dê ao participante a variável dependente.
1. Dê ao participante uma medida que lhe peça para indicar como se sente atualmente(Figura 2). O item estressado aparece embutido em vários outros itens de distração (ou seja,, itens não relacionados ao presente estudo, mas incluídos para tornar o verdadeiro propósito do estudo menos óbvio). Os sentimentos serão avaliados em uma escala de 1 a 7, variando de “nem um pouco” a “muito”.
  
  Figura 2: Pesquisa sobre sentimentos. Os participantes classificam seus sentimentos em uma escala de 1 a 7 (nem um pouco)

3. Debrief o participante.

Diga ao participante a natureza do estudo.
1. “Obrigado por participar. Neste estudo eu estava tentando determinar que tipo de som levou os participantes a experimentar mais estresse. Havia três condições. Todos trabalharam nos mesmos problemas matemáticos por dois minutos, mas cada grupo o fez enquanto ouvia estática, um relógio de tique-taque ou um bebê chorando. Nós imaginamos que o grupo que ouviu o bebê chorando relataria o estresse mais agudo.”
Explique explicitamente por que a decepção era necessária para o experimento.
1. “Queremos falar sobre a decepção que usamos neste estudo. Usamos a decepção dizendo aos participantes que o estudo era sobre concentração, o que não era verdade, mas não queríamos que os participantes soubessem que o estudo era realmente sobre estresse porque pode ter levado a níveis de estresse não naturalmente aumentados. Também indicamos que os problemas matemáticos eram fáceis, quando na verdade não eram. Optamos por problemas difíceis para aumentar as demandas dos participantes, o que geralmente cria uma sensação de estresse. Em ambos os casos, a decepção era necessária porque queríamos obter as reações naturais dos participantes. Se os participantes souberem o verdadeiro raciocínio e hipótese por trás do estudo, poderão atuar de forma não natural ao tentar refutar propositalmente a hipótese do experimentador. Devido à natureza do engano, é bastante natural que os participantes não percebam que estavam sendo enganados.”

4. Execute os passos 2 e 3 acima de duas vezes adicionais — uma para o relógio de tique-taque e outra para o bebê chorando.

Cada condição tem um participante único, sendo tudo exatamente o mesmo, exceto pelo som tocado.

Antes de administrar qualquer experimento, é benéfico realizar uma análise preliminar menor, ou um estudo piloto, para testar e refinar o procedimento experimental. O teste piloto é a avaliação de um aspecto de um estudo piloto.

Em experimentos psicológicos, os pesquisadores têm o desafio de criar experiências para os participantes que sejam consistentes e autênticos; no entanto, existem muitas maneiras de manipular qualquer variável. Por exemplo, se você quer que os participantes se sintam tristes, você pode fazê-los pensar em sua própria memória triste, assistir a um vídeo triste ou ler uma história triste.

Os pesquisadores devem encontrar a melhor maneira de modificar uma construção psicológica para produzir a manipulação mais eficaz. Muitas vezes, antes de executar o estudo principal, os pesquisadores “testam” suas manipulações para verificar sua eficácia.

Este vídeo demonstra como projetar e executar um teste piloto com um exemplo que busca identificar o melhor som para reproduzir durante uma tarefa difícil para manipular o estresse agudo.

Antes de realizar um teste piloto, o design experimental adequado é essencial. Esse processo inclui a criação de definições operacionais ou descrições claras de conceitos específicos.

Neste experimento, vários sons estressantes estão sendo pilotados como indutores de estresse agudo para o participante enquanto eles completam uma tarefa difícil.

Para efeitos deste experimento, a definição operacional de um som estressante é qualquer ruído que cria uma sensação de tensão, imediatismo ou ansiedade dentro dos participantes.

Isso será manipulado através de três sons diferentes — estático, relógio de tique-taque e bebê chorando — que são submetidos a três grupos experimentais.

Em seguida, uma definição operacional é criada para estresse agudo. Para efeitos deste experimento, o estresse agudo é definido como o estresse ou sensação de tensão e tensão resultantes de demandas ou pressões recentes.

Aqui, a pressão é aplicada através da administração de problemas matemáticos complexos.

A fim de medir o estresse agudo com precisão, os participantes serão questionados sobre seus próprios níveis de estresse usando uma pergunta simples em uma pesquisa.

O item “estressado” aparece incorporado em vários outros itens de distração e é classificado em uma escala de 1 a 7.

Os itens de distração não estão relacionados com o presente estudo, mas estão incluídos para tornar o verdadeiro propósito do estudo menos óbvio.

A partir dessa escala, o experimentador avaliará os diferentes sons para descobrir qual deles resulta mais consistentemente no mais alto nível de estresse agudo no participante.

Para realizar o estudo, primeiro conheça o participante do laboratório. Fornecer ao participante o consentimento informado. Esta é uma breve descrição da pesquisa, um sentido do procedimento, uma indicação de potenciais riscos e benefícios, a liberdade de retirada a qualquer momento e uma maneira de obter ajuda se sentirem desconforto.

Para executar a condição, diga ao participante que eles receberão uma série de problemas matemáticos que devem ser fáceis de resolver, e eles devem completar o máximo possível no prazo de 2 minutos. Diga ao participante para tentar se concentrar e ignorar qualquer som que possa ouvir.

Em seguida, dê ao participante a folha de problemas matemáticos. Inicie o temporizador e reprodução imediatamente do som que está sendo testado. Agora, indique ao participante que eles podem começar.

Seguindo a tarefa matemática, meça a variável dependente do estresse agudo dando ao participante um formulário que pede que ele indique como se sente atualmente.

Após o experimento, interrogue o participante, dizendo-lhes a natureza do estudo. Especificamente, explique que para determinar que tipo de som levou ao maior estresse, três grupos diferentes trabalharam nos mesmos problemas matemáticos por 2 minutos enquanto ouviam um dos três sons.

Ainda mais interrogue o participante explicando que a decepção foi utilizada neste experimento, indicando que o estudo era sobre concentração e que os problemas matemáticos eram fáceis.

Explique que, em ambos os casos, a decepção foi necessária para captar a reação natural dos participantes. Divulgar que o estudo era, na verdade, sobre induzir o estresse e que problemas matemáticos difíceis seriam usados provavelmente aumentaria os níveis iniciais de estresse.

Em um estudo piloto em larga escala, 40 participantes foram testados para cada som utilizado. Esse número de participantes foi necessário para garantir que os resultados sejam confiáveis e reflexivos para a maior população.

Após a coleta de dados de 120 pessoas, foi realizada uma análise de variância comparando as condições estáticas, do relógio e do bebê chorando para ver como elas influenciaram o nível de estresse. Os números aqui apresentados refletem os níveis médios de estresse relatados que os participantes indicaram na escala de 1 a 7 para o item “estressado” em cada condição.

Como visto na figura, a condição do bebê chorando relatou o maior estresse como hipótese.

Agora que você está familiarizado com a forma como os pesquisadores conduzem experimentos piloto, vamos dar uma olhada em como esses dados são incorporados em estudos futuros.

Por exemplo, com base nos resultados deste estudo piloto, os pesquisadores expandiram o tipo de problemas matemáticos dados — fáceis ou difíceis — para induzir diferentes níveis de estresse e, em seguida, examinaram os efeitos sobre comportamentos de relacionamento.

Os resultados indicaram que aqueles sob maior estresse eram mais propensos a prestar atenção aos parceiros alternativos e eram menos propensos a dar elogios ao próprio parceiro.

Em outro estudo, foram coletados dados piloto para testar a viabilidade do uso de um programa de telefone celular multimídia para intervenção de cessação do tabagismo de jovens.

Como o conteúdo do programa foi considerado apropriado e tecnicamente fácil de distribuir para o público-alvo, o estudo foi projetado para uma população maior de jovens e revelou seus benefícios para ajudar os jovens a parar de fumar.

Você acabou de assistir a introdução de JoVE aos testes de pilotos. Agora você deve ter uma boa compreensão de como modificar uma variável para determinar a melhor manipulação para um experimento. O vídeo demonstrou como realizar um teste piloto, bem como como avaliar os resultados, e concluiu com exemplos de estudos maiores informados por testes piloto.

Results

O pesquisador utilizou 40 participantes por condição e, como resultado, coletou dados de 120 participantes no total. Os números acima refletem os níveis médios de estresse relatados que os participantes indicaram na escala 1-7 para o item estressado em cada condição. Este experimento multi-grupo mostrou como os pesquisadores podem operacionalizar a mesma construção de várias maneiras.

Um grande número de participantes é necessário para garantir que os resultados sejam confiáveis. Se esta pesquisa fosse realizada utilizando apenas alguns participantes, é provável que os resultados tivessem sido muito diferentes e não refletissem a maior população.

Após a coleta de dados de 120 pessoas, foi realizada uma análise de variância (ANOVA) comparando as condições estáticas, do relógio e do bebê chorando para ver como elas influenciaram o nível de estresse. Como mostrado na Figura 3,a condição do bebê chorando relatou o maior estresse como hipótese.

Figura 3: Os efeitos de diferentes ruídos nos níveis de estresse. São mostrados os níveis médios de estresse relatados por condição.

Applications and Summary

O uso de um teste piloto ajuda os pesquisadores a determinar a maneira mais eficaz de manipular o estresse. Com esse conhecimento, os pesquisadores podem usar a melhor manipulação em seu estudo futuro.

Por exemplo, os pesquisadores manipularam o estresse fazendo com que os participantes fizessem problemas matemáticos fáceis ou difíceis para determinar como o estresse influenciou os comportamentos de relacionamento. ¹ Os resultados indicaram que aqueles sob estresse eram mais propensos a prestar atenção aos parceiros alternativos e eram menos propensos a dar elogios ao próprio parceiro.

Outro estudo de estresse utilizou um método totalmente diferente para manipular o estresse. ² Neste estudo, os pesquisadores induziram o estresse ao fazer com que os participantes mergulhassem o braço em água fria para ver como o estresse influenciou a memória a longo prazo. Os resultados indicaram que a exposição ao estresse levou a um pior desempenho em tarefas de memória de longo prazo.

References

Lewandowski, G. W., Jr., Mattingly, B. A., & Pedreiro, A. Under pressure: The effects of stress on positive and negative relationship behaviors. Journal of Social Psychology. 154, 463-473. doi: 10.1080/00224545.2014.933162 (2014).
Trammell, J. P., & Clore, G. L. Does stress enhance or impair memory consolidation? Cognition and Emotion. 28 (2), 361-374. doi:10.1080/02699931.2013.822346 (2014).

Transcript

Before administering any experiment it is beneficial to perform a smaller preliminary analysis, or a pilot study, to test and refine the experimental procedure. Pilot testing is the assessment of one aspect of a pilot study.

In psychological experiments, researchers have the challenge of creating experiences for participants that are consistent and authentic; however, there are many ways to manipulate any one variable. For example, if you want participants to feel sad you can have them think of their own sad memory, watch a sad video, or read a sad story.

Researchers must find the best way to modify a psychological construct in order to produce the most effective manipulation. Often, before running the main study, researchers will “pilot test” their manipulations to check their effectiveness.

This video demonstrates how to design and execute a pilot test with an example that seeks to identify the best sound to play during a difficult task to maximally manipulate acute stress.

Before performing a pilot test, proper experimental design is essential. This process includes creation of operational definitions, or clear descriptions of specific concepts.

In this experiment, several stressful sounds are being piloted as acute stress inducers for the participant while they complete a difficult task.

For the purposes of this experiment, the operational definition of a stressful sound is any noise that creates a feeling of tension, immediacy, or anxiety within participants.

This will be manipulated through three different sounds—static, ticking clock, and crying baby—which are subjected to three experimental groups.

Next an operational definition is created for acute stress. For the purposes of this experiment, acute stress is defined as the stress or feeling of tension and strain resulting from recent demands or pressures.

Here, pressure is applied through administration of complex math problems.

In order to measure acute stress accurately, participants will be asked about their own stress levels using a straightforward question on a survey.

The item “stressed” appears embedded within several other distractor items and is rated on a 1 to 7 scale.

Distractor items are not related to the present study but are included to make the true purpose of the study less obvious.

From this scale, the experimenter will evaluate the different sounds to find which one most consistently results in the highest level of acute stress in the participant.

To conduct the study, first meet the participant at the lab. Provide the participant with informed consent. This is a brief description of the research, a sense of the procedure, an indication of potential risks and benefits, the freedom of withdrawal at any time, and a manner to get help if they experience discomfort.

To run the condition, tell the participant that they will receive a series of math problems that should be easy to solve, and they are to complete as many as possible in the 2 min time limit. Tell the participant to try to concentrate and ignore any sounds they may hear.

Next, give the participant the math problem sheet. Start the timer and immediately play the sound being tested. Now, indicate to the participant that they may start.

Following the math task, measure the dependent variable of acute stress by giving the participant a form that asks them to indicate how they currently feel.

After the experiment, debrief the participant by telling them the nature of the study. Specifically, explain that to determine what type of sound led to the most stress, three different groups worked on the same math problems for 2 min while listening to one of three sounds.

Further debrief the participant by explaining that deception was used in this experiment by indicating that the study was about concentration and that the math problems were easy.

Explain that in both cases, deception was necessary to capture the participants’ natural reaction. Divulging that the study was actually about inducing stress and that difficult math problems would be used would likely increase initial stress levels.

In a large-scale pilot study, 40 participants were tested for each sound used. This number of participants was necessary to ensure that the results are reliable and reflective of the greater population.

After collecting data from 120 people, an analysis of variance comparing the static, ticking clock, and crying baby conditions was performed to see how they influenced stress level. The numbers presented here reflect the mean reported stress levels that participants indicated on the 1 to 7 scale for the “stressed” item in each condition.

As seen in the figure, the crying baby condition reported the most stress as hypothesized.

Now that you are familiar with how researchers conduct pilot experiments, let’s take a look at how these data are incorporated into future studies.

For example, based on the results of this pilot study, researchers expanded upon the type of math problems given—easy or difficult—to induce different levels of stress and then examined the effects on relationship behaviors.

The results indicated that those under more stress were more likely to pay attention to alternate partners and were less likely to give their own partner compliments.

In another study, pilot data were collected to test the feasibility of using a multimedia mobile phone program for youth smoking cessation intervention.

As the program’s content was found to be appropriate and technically easy to distribute to the target audience, the study was designed for a larger population of youth and revealed its benefits to help youth quit smoking.

You’ve just watched JoVE’s introduction to pilot testing. Now you should have a good understanding of how to modify a variable to determine the best manipulation for an experiment. The video demonstrated how to conduct a pilot test, as well as how to evaluate the results, and concluded with examples of larger studies informed by pilot tests.

Tags

Valor vazio emissão