O procedimento de pré-teste do instrumento de pesquisa possui o objetivo de antecipar e descobrir erros, treinar o pesquisador, revisar a estrutura e o conteúdo a fim de ser gerada uma versão final, contemplando o tratamento das melhorias identificadas. Conforme Cooper e Schindler (2003), o pré-teste divide-se em duas etapas descritas a seguir:
a) pré-teste de especialista: é uma alternativa mais informal pela qual é possível coletar contribuições de melhorias sobre o instrumento de pesquisa;
b) pré-teste de respondente: realiza-se teste de respondente substituto (pessoa com o perfil semelhante aos dos respondentes desejados).
O pré-teste de especialista foi feito no período 18 a 29 de agosto de 2012 e foram consultados quatro especialistas, conforme mini-currículo apresentado no Quadro 5 cujas informações foram obtidas da Plataforma Lattes. Duas dessas validações foram feitas de forma individual e remotamente, por e-mail e por telefone e cada uma teve dois ciclos de revisão (Especialista 1 e Especialista 2). As outras duas validações foram feitas de forma presencial e em grupo (Especialista 3 e Especialista 4).
77
Quadro 5 – Caracterização dos especialistas participantes do pré-teste Especialistas Mini-currículo
Especialista 1 Professora associada da Faculdade de Educação e dos Cursos de Pós Graduação em Educação (PPGEdu) e em Informática na Educação (PPGIE) da UFRGS. Mestre e doutora em Ciência da Computação pela UFRGS. Tem experiência na área de Educação, com ênfase em EAD e Informática na Educação. Atua, principalmente, nos seguintes temas: desenvolvimento de AVAs, produção e avaliação de materiais educacionais digitais, arquiteturas pedagógicas, modelos pedagógicos para EAD, construção do conhecimento em AVAs, formação de professores em AVAs. Coordena o NUTED da Faculdade de Educação (FACED) e vinculado ao CINTED. Membro do comitê IFIP (International Federation for Information Processing) WG 3.8 - Lifelong Learning. Autora de livros em EAD.
Especialista 2 Professora assistente e Assessora pedagógica da Unidade Acadêmica de Graduação e professora, na UNISINOS. Possui doutorado e mestrado em Educação pela UFRGS e graduação em Pedagogia Hab. Matérias Pedag. do Ensino Médio pela Fundação Universidade Federal do Rio Grande. Tem experiência na área de Educação, com ênfase em Tecnologia Educacional, atuando principalmente nos seguintes temas: ambientes virtuais de aprendizagem, editor de texto coletivo, tecnologia digital, objetos de aprendizagem, arquiteturas pedagógicas e gestão da educação a distância.
Especialista 3 Professor adjunto do Programa de Pós-graduação em Administração (PPGAd) da PUCRS. Ph.D. em TI pela Universidade de Salford (UK), mestre em Engenharia e graduação em Engenharia Civil da UFRGS. Possui experiência em ensino e pesquisa em áreas relacionadas ao uso da TI, na Gestão de Negócios. Áreas de interesse para atividades de ensino e pesquisa contemplam assuntos como Governança de TI, Gestão de Tecnologia, Sistemas de Apoio a Gestão de Negócios e Inteligência Competitiva (Business Intelligence).
Especialista 4 Doutor e mestre em Administração pela UFRGS, com doutorado-sanduíche na Université de Grenoble - França. Professor e pesquisador do PPGAd da PUCRS. Membro da Comissão Coordenadora do PPGAd/FACE/PUCRS e Coordenador do Curso de Especialização em Gestão Estratégica de Tecnologia da Informação. Atua na área de Administração da Informação e seus interesses de pesquisa envolvem Gestão de Tecnologia da Informação, Impactos Sócio- Culturais da TI, EAD e Educação Continuada.
Fonte: Porto (2013)
Durante o pré-teste, o instrumento foi melhorado de forma evolutiva e incremental até a versão final. Após cada análise junto a um especialista e, antes do próximo pré-teste com outro especialista, o instrumento foi ajustado para contemplar sugestões e contribuições julgadas pertinentes. Dessa forma, o especialista seguinte realizou o pré-teste em versão atualizada do instrumento, contemplando as melhorias identificadas pelo especialista anterior. Em função das considerações dos especialistas foram feitas as seguintes alterações julgadas como pertinentes:
a) mudança na classificação da dimensão de duas variáveis; b) mudança na descrição de vinte e duas variáveis;
c) inclusão da opção de resposta “Sem Condições de Opinar (SCO)” para ambas as avaliações (presença e importância);
d) divisão de 7 variáveis por conter mais de uma variável na descrição;
e) exclusão de uma variável no primeiro bloco e uma outra, no segundo bloco (sócio-demográfica).
A segunda etapa do pré-teste do instrumento de pesquisa ocorreu no período de 29 de agosto a 09 de setembro de 2012 e envolveu alunos de pós-graduação em Administração da PUCRS e alunos das atividades acadêmicas de “Definição de Processos” da graduação a distância em Sistemas de Informação e de “Engenharia de Requisitos”, que é ofertada nas modalidades presencial e a distância, pertencente a cursos de graduação presencial na área de Informática da Unisinos (Sistema de Informação, Engenharia da Computação, Ciência da Computação e Análise e Desenvolvimento de Sistemas). O convite para participação voluntária desse pré-teste foi enviado para o e-mail desses alunos e, além do preenchimento do questionário, se solicitou que fosse enviado um e-mail de retorno com críticas, sugestões, erros e considerações, que forem observadas ao responder o instrumento.
Nessa segunda etapa do pré-teste do instrumento foram obtidos 20 questionários e em virtude das considerações enviadas por e-mail pelos alunos foram feitas as seguintes alterações julgadas como pertinentes:
a) mudança na descrição de duas questões sócio-demográfica;
b) mudança de bloco de variáveis único e contínuo para blocos de variáveis por dimensão de competência, no formulário eletrônico;
c) complemento das instruções de preenchimento, no que se refere ao conceito de curso a distância;
d) mudança na descrição de duas variáveis;
e) mudança do tipo de uma questão sócio-demográfica para “drop-down box”.
A versão final do instrumento de pesquisa utilizada na survey pode ser conferida no Apêndice III. Na próxima seção são descritos detalhes do processo e do procedimento de coleta de dados adotados.