O questionário: o estudo-piloto

O estudo-piloto ou pré-teste do questionário refere-se à prova preliminar a qual o instrumento deve ser submetido antes de sua aplicação definitiva. Ou seja, é _______________

88

Junto a cada um dos itens foi colocado o código (negrito, sublinhado) usado para identificar as variáveis na análise estatística. Esses códigos não estão na versão entregue aos professores. Foram incluídos aqui apenas para referência quando da leitura dos resultados obtidos com o estudo-piloto. Eles também estão no Apêndice B, para facilitar a consulta.

a “aplicação prévia do questionário a um grupo que apresente as mesmas características da população incluída na pesquisa.” (RICHARDSON, 1999, p. 202). O objetivo é assegurar a validade e a precisão. A importância do estudo-piloto reside no fato de que é muito difícil para as pessoas que ficaram envolvidas durante todo o tempo da elaboração do questionário perceberem possíveis dificuldades que os participantes possam ter no momento de responderem as questões. A proximidade com o instrumento pode levar a imprevistos. E não se pode correr o risco de administrá-lo antes desse pré-teste porque uma vez enviado o pesquisador não tem mais controle sobre o questionário e pouco poderá ser feito para corrigir os erros (MOREIRA; CALEFFE, 2006).

Com o estudo-piloto é possível: revisar o questionário; evidenciar possíveis falhas na redação como questões complexas, imprecisas, ambíguas; desnecessárias ou que necessitam complementação; melhorar a qualidade do questionário; analisar a eficácia das questões; verificar se a ordem de apresentação das questões é adequada; avaliar a clareza, entre outros pontos.

É importante lembrar que o piloto não é apenas uma revisão do instrumento, mas deve ser considerado também como um teste do processo de coleta e tratamento dos dados. Por essa razão ele deve ser aplicado a uma amostra reduzida, mas com as mesmas características da população-alvo da pesquisa (RICHARDSON, 1999). Além disso, os participantes do pré-teste não poderão figurar na amostra final para não contaminarem os resultados (MARKONI; LAKATOS, 2001; 2011; MOREIRA; CALEFFE, 2006). Segundo Gil (1999), a aplicação de 10 a 20 questionários é suficiente, desde que os elementos pertençam à população pesquisada.

Outro ponto relevante é que os participantes do piloto devem estar dispostos a fazer comentários a fim de que se obtenham informações sobre as dificuldades encontradas (GIL, 1999; MOREIRA; CALEFFE, 2006; RICHARDSON, 1999).

Após a aplicação do estudo-piloto e da verificação de possíveis falhas, o questionário pode, então, ser reformulado, modificado, ampliado ou, ainda, itens podem ser retirados ou melhor explicitados e questões abertas podem ser transformadas em fechadas (MARKONI; LAKATOS, 2011).

O estudo-piloto da presente pesquisa foi feito no mês de agosto de 2012 e todo o processo teve a duração de um mês. O instrumento foi aplicado a 20 professores de uma das instituições de ensino superior da cidade de Curitiba que

oferece curso de Letras. Seguiu-se assim as recomendações sobre o tamanho e características da população do pré-teste mencionadas anteriormente. A opção por esta instituição para aplicação do estudo-piloto ocorreu por ser esta a instituição em que a pesquisadora atua; o que facilitou o acesso aos docentes e seus comentários.

Os questionários foram distribuídos em versão impressa para todos os respondentes. Antes da distribuição, foi feito contato pessoal com todos os participantes e antes da entrega definitiva foi enviada uma mensagem de e-mail com as explicações e com o convite oficial para participarem do estudo-piloto.

Os comentários dos respondentes foram feitos por escrito no próprio questionário ou foram enviados por e-mail ou ainda obtidos em conversas por telefone ou pessoalmente.

Após um mês todos os dados foram coletados e tabulados e foi feita, então, a sua análise estatística. Depois dessa análise e da revisão de todos os comentários foram feitas as seguintes modificações:

 Primeira parte: O item “Outros: Especifique:” que havia sido incluído por sugestão de um dos especialistas que fez a validação de aparência e conteúdo, foi suprimido. Isso porque, apenas um dos respondentes o completou. Percebeu-se que, provavelmente em função da extensão do questionário, seria desnecessária a inclusão do mesmo. O primeiro item da primeira parte precisou ser visualmente destacado porque se verificou que alguns participantes não o responderam porque simplesmente não o viram. Ainda na primeira parte o item AACPE foi reescrito para explicitar melhor o conteúdo e dois foram incluídos por sugestão dos respondentes (dois últimos itens da primeira parte).

 Segunda parte: A análise estatística detectou que dois itens negativos (PLPPC e CSNMA89) apresentaram baixa correlação com a soma das outras questões (0,35 e 0,39 respectivamente) e média também baixa (2,8 e 2,4 respectivamente). Optou-se, portanto, por transformar os itens em afirmações. E, para manter a homogeneidade, os dois outros itens negativos (ELMSC e CPAEL) também foram modificados, apesar da correlação e média não terem sido um problema. Um _______________

89

Todas as abreviaturas e códigos usados para a elaboração e para a análise da versão estudo- piloto e da versão final estão no Apêndice B e no Apêndice D, respectivamente.

último item negativo (NHTIT) foi eliminado porque além da correlação e média baixas (0,39 e 2,1 respectivamente) foi comentada a dificuldade em responder. A mudança dos itens negativos para positivos fica, então, de acordo com uma das estratégias chave sugerida por Dörnyei e Csizér (2012) de se evitar construções negativas. Richardson (1999) também concorda que perguntas negativas levam com facilidade ao erro. Segundo os autores, itens desse tipo são enganosos porque apesar de, em uma primeira leitura, parecerem apropriados, ao respondê-los (principalmente se a resposta for negativa), pode ser problemático. E isso se confirmou no pré-teste. Outro item (CPUPP) foi eliminado também por ter apresentado uma baixa correlação com a soma dos demais e porque se percebeu que ele não fazia sentido para o atual contexto e realidade.

 Terceira parte: Por sugestões dos respondentes o item RVIDC foi precedido de outro item: “Eu sei instalar antivírus no meu computador (Norton, Avast, etc.).”.

 Quarta parte: Percebeu-se a necessidade de mudar a numeração para facilitar as análises posteriores. Foram feitas duas pequenas alterações na formulação de dois tipos de itens para torná-los mais claros, também em função dos comentários. Nos itens “Qual foi a carga horária?” foi incluído no final da pergunta “no total” e nos itens CTIGG e CTIGF foi colocado entre parênteses exemplos de cursos: “Editor de texto, Excel, Moodle, etc.”.

 Quinta parte: A partir de conversas com os respondentes verificou-se a necessidade da inclusão de uma instrução nessa parte. Aqui o objetivo é analisar o ambiente tecnológico na instituição de ensino. Como alguns professores dão aulas em várias instituições ficaram em dúvida sobre qual responder. Foi então incluída a instrução de que para responder esta parte o professor deve considerar apenas a instituição de ensino onde recebeu o questionário. Foi necessário incluir também a opção de resposta “Não sei” para as perguntas sobre os equipamentos disponíveis nas salas e no departamento.

Novamente mudou-se a numeração para facilitar as análises posteriores.

 Sexta parte: Os itens GRADU, ANOGR e QDSMI foram suprimidos porque se mostraram desnecessários para os objetivos do estudo. Os itens QAPLE e APLES foram transformados em um item também por se verificar que não havia necessidade do desmembramento para a análise posterior. E a opção de resposta aberta foi transformada em categorias. O item POSGR foi modificado. A numeração da sexta parte também foi revista, assim como nas duas últimas partes mencionadas.

Apesar das reformulações necessárias depois de analisados os resultados do estudo-piloto, não foi feita uma segunda aplicação do instrumento. Isso em função do tempo e também porque não foram consideradas mudanças graves que poderiam alterar drasticamente o estudo real.