Pré-teste do instrumento de pesquisa quantitativo

O pré-teste do instrumento descrito no tópico 3.4.2 foi realizado levando em

consideração as recomendações de Cooper e Schindler (2011). Os autores afirmam que os

pré-testes são conduzidos para detectar pontos falhos no instrumento. Ainda, recomendam que

o pré-teste seja realizado da mesma forma como serão coletados os dados com os

respondentes finais. No caso desta pesquisa, o questionário foi disponibilizado na plataforma

Google Forms, na qual também foram obtidas as respostas do universo pesquisado.

Um protocolo de pré-teste foi elaborado com o objetivo de melhor aproveitar o

feedback dos voluntários. Nesse sentido, um ambiente foi preparado para a aplicação desta

testagem, conforme apresentado na figura 29.

Figura 29 – Layout do ambiente de realização do pré-teste

Legenda:

X – Voluntário ao pré-teste; – Pesquisador.

Fonte: Elaboração própria (2019)

O questionário foi disponibilizado na plataforma Google Forms e um notebook foi

colocado em frente ao voluntário. Antes de começar o pré-teste, o pesquisador, minimizando

o viés de se ter alguém observando o que o voluntário fazia, informou que aquele era um

ambiente artificial com o objetivo de testar o instrumento da pesquisa e esclareceu que era o

instrumento que estava em avaliação, e não o voluntário. Em seguida, os procedimentos da

observação foram descritos.

Foi solicitado ao voluntário que respondesse o questionário, não levando em

consideração a variável tempo, sem pedido de auxílio ao pesquisador, que estava ali, nesse

primeiro momento, apenas como observador. Ao iniciar o teste, o pesquisador usou um

cronômetro para averiguar o tempo de resposta para cada item do questionário. Esse critério

foi incorporado para identificar os itens com maior tempo de respostas (esta indicação

forneceu o entendimento de itens mais complexos e/ou mal formulados).

O pré-teste ocorreu em três momentos distintos. No primeiro momento, o tempo de

resposta de cada item do questionário foi observado em dez voluntários. Em média, esses

voluntários levaram cerca de 16 segundos para cada item. Com base nas respostas médias, o

segundo momento do pré-teste foi iniciado. Tomando como base a média de 16 segundos por

resposta, decidiu-se aceitar até 20 segundos por cada item levando em consideração a

condição artificial da testagem, uma vez que, mesmo com as informações de que o

questionário estava em avaliação e não as pessoas, alguns voluntários se sentiram

“pressionados” a responder rápido. Nesse sentido, uma tolerância de 4 segundos por item foi

incorporada à média de respostas do primeiro momento do pré-teste. Ou seja, respostas dadas

abaixo de 20 segundos seriam interpretadas como coerente com o ambiente de teste. Caso o

tempo de resposta fosse igual ou superior a 20 segundos, o item seria investigado com os

voluntários.

Após o voluntário completar o questionário, o pesquisador apresentou uma versão

impressa ao respondente e verificaram juntos os itens que levaram um maior tempo para

responder. Nessa etapa, foi averiguado se o item estava claro, porém necessitava de maior

reflexão para a resposta ou obscuro, trazendo confusão ao respondente. Após a avaliação dos

itens com maior tempo de resposta, foi perguntado se houve outros itens que trouxeram

entendimento ambíguo mas não foram captados pelo critério de tempo de resposta.

As análises foram realizadas levando em consideração as respostas dos voluntários no

segundo momento da testagem, ou seja, 60 respondentes. Esse procedimento possibilitou a

compreensão dos seguintes pontos:

 O tempo médio de respostas do segundo momento do pré-teste foi de 14 segundos por

item;

 O grau de concordância dos respondentes em relação à média em todos os itens foi de

19 respostas de “concordo totalmente” e 11 respostas de “concordo parcialmente”;

 Dos 30 itens do questionário, 19 apresentaram pelo menos dois respondentes com

tempo de reposta superior a 20 segundos. Destes, 12 itens não apresentaram

dificuldade de compreensão, mas exigiram um maior tempo de reflexão dos

respondentes, enquanto 07 apresentaram problemas e serão descritos abaixo;

 Na dimensão de ambiente cultural, dos doze itens, sete apresentaram pelos menos dois

não muito claros para os respondentes. Eles relaram falta de coesão e direcionamento

da afirmativa;

 Na dimensão de ambiente empresarial, dos sete itens, cinco apresentaram pelo menos

dois respondentes com tempo superior de 20 segundos. Desses, dois itens se

mostraram longos e de difícil compreensão;

 Na dimensão dinamização das economias regionais, dos seis itens, quatro

apresentaram pelo menos dois respondentes com tempo superior de 20 segundos.

Desses, apenas um item causou confusão nos respondentes por ter informações

duplicadas;

 Na dimensão modificação da infraestrutura local, dos cinco itens, três apresentaram

pelo menos três respondentes com tempo superior de 20 segundos. Desses, dois itens

foram confusos para os respondentes.

 Dos 30 itens, 17 tiveram grau de homogeneidade “homogêneo”, 7 “muito homogêneo”

e 6 “heterogêneo”;

 Os itens heterogêneos foram a Q.7, Q.10 e Q.13 da dimensão de ambiente cultural, a

Q.24 de ambiente empresarial, a Q.30 de dinamização das economias regionais e a

Q. 31 de modificação da infraestrutura local. Destes, 3 foram relatados como de difícil

interpretação dos respondentes, ou seja, tempo de resposta acima de 20 segundos.

Especificamente, Q.10 do ambiente cultural, Q.30 de dinamização das economias

regionais e a Q. 31 de modificação da infraestrutura local;

 Ainda, 11 respondentes afirmaram que não levaram em consideração todas as

instituições de ensino superior do estado de Alagoas ao responderem o questionário.

Ainda que houvesse menção no termo de consentimento no início do questionário que

deveria se levar em consideração todas as instituições de ensino superior do estado, os

respondentes tenderam a avaliar apenas a instituição com a qual tiveram ou tinham

vínculo.

Após estes achados, os 07 itens apresentados como problemáticos foram revistos e

reescritos e o terceiro momento do pré-teste foi realizado. Nessa ocasião, 60 voluntários, 20

respondentes de cada estrato da pesquisa, ou seja, acadêmico, empresarial e governamental,

responderam o questionário nas mesmas condições até aqui descritas e as seguintes

conclusões puderam ser aferidas:

 O tempo médio de respostas do terceiro momento do pré-teste foi de 15 segundos por

item;

 As variâncias médias das quatros dimensões do estudo (ver figura 28) foram de 0,94,

0,89 e 0,93 para os respondentes dos estratos acadêmicos, empresarial e

governamental, respectivamente;

 O grau de concordância em relação à média em todos os itens foi de 16 respostas de

“concordo totalmente” e 14 respostas de “concordo parcialmente;

 Dos 30 itens do questionário, 12 apresentaram pelo menos dois respondentes com

tempo de reposta superior a 20 segundos. Desses, apenas um item apresentou

dificuldade de compreensão de três respondentes. A questão 30 da dimensão de

dinamização das economias regionais afirmava que: as universidades sabem lidar com

os problemas complexos da região por meio do capital humano que possuem e

formam nas diferentes áreas do conhecimento (grifo meu). A dificuldade, segundo

estes, era de compreensão da palavra “formam”, que estava sendo interpretada como

moldar, adaptar. Objetivando, melhor entendimento dos futuros respondentes, esta

questão foi reescrita eliminado a palavra “formam”. Nesse sentido, a questão se

tornou: as instituições de ensino superior sabem lidar com os problemas complexos da

região devido à alta qualificação de seus funcionários e daqueles que entrega ao

mercado;

 Dos 30 itens, 18 tiveram grau de homogeneidade “homogêneo”, 8 “muito homogêneo”

e 4 “heterogêneo”;

 Os itens heterogêneos foram Q.7 e Q.13 da dimensão de ambiente cultural, a Q.24 de

ambiente empresarial e a Q.27 de dinamização das economias regionais;

 Após a reescrita, os 3 itens identificados na averiguação qualitativa do segundo

momento do pré-teste como problemáticos (Q.10 da dimensão de ambiente cultural,

Q.30 da dimensão de dinamização das economias regionais e Q.31 de modificação da

infraestrutura local) tornaram-se, respectivamente, homogêneo, homogêneo e muito

homogêneo. No entanto, o item Q.27 da dimensão de dinamização das economias

regionais se tornou heterogêneo nessa amostra;

 Com o objetivo de levar os respondentes a avaliar todas as IES do Estado, além de

menção no termo de consentimento, foi comunicado em cada enunciado da dimensão

do questionário que todas as Instituições de Ensino Superior deveriam ser avaliadas.

No documento AUGUSTO FERREIRA RAMOS FILHO (páginas 120-124)