3. DESIGN DE INFORMAÇÕES TEXTUAIS
4.2. ETAPAS DA 3ª FASE DA PESQUISA: AVALIAÇÃO POR QUESTIONÁRIO
apresentadas na Figura 8 e detalhadas na sequência:
Figura 8 – Etapas da 3ª Fase da pesquisa.
a. Elaboração do material a ser enviado aos participantes para avaliação das recomendações, incluindo:
Convite para avaliação: email apresentando os objetivos da avaliação, sua forma de execução e o link para o questionário.
Questionário: material digital contendo oTCLE, um breve texto sobre a origem das recomendações, questões sobre o perfil profissional dos participantes e as recomendações propostas, cada uma delas com uma escala de importância e um campo aberto para a inserção de comentários e/ou sugestões.
b. Seleção dos participantes: realizada a partir dos seguintes critérios:
Experiência no design de conteúdos educacionais digitais exercendo a função de designer gráfico, designer educacional ou outra função afim como coordenador de equipe, supervisor de projeto, programador, etc.
Disponibilidade em participar voluntariamente da pesquisa.
c. Envio e devolução dos questionários - 1ª rodada de avaliação: Envolvendo o envio dos questionários aos participantes e o recebimento das respostas.
d. Tabulação e análise dos dados recebidos na 1ª rodada. e. Reformulação do conjunto de recomendações, a partir
dos resultados da 1ª rodada.
f. Envio e devolução dos questionários - 2ª rodada de avaliação: Envolvendo o envio do questionário atualizado e o recebimento das respostas.
g. Tabulação e análise dos dados recebidos na 2ª rodada h. Reformulação do conjunto de recomendações, a partir
dos resultados da 2ª rodada.
i. Encerramento da avaliação e envio do relatório final aos participantes.
Nessa 3ª fase da pesquisa optou-se por utilizar o método Delphi46 como base para aplicação do questionário direcionado a profissionais experientes na elaboração de conteúdos educacionais digitais. As principais características do Delphi são o anonimato das respostas individuais, o feedback de respostas do grupo para que o participante possa reavaliar suas respostas nas próximas rodadas à luz das respostas dos demais; e a representação estatística da distribuição dos resultados (WRIGHT; GIOVINAZZO, 2000).
Para Rosados (2015), a seleção dos participantes do Delphi deve ser feita a partir de contatos pessoais com especialistas ligados à área definida pela pesquisa. Já Skulmoski et al. apud Santos Delgado (2001) propõe os seguintes critérios para essa escolha:
Os conhecimentos e a experiência da pessoa com o tema objeto de investigação;
Sua capacidade e vontade de participar; Sua disponibilidade de tempo;
Sua capacidade de comunicação efetiva.
Para Giovinazzo (2001) um número de 15 a 30 painelistas é suficiente para gerar informações relevantes, embora grupos maiores tenham sido utilizados com sucesso. Porém, esse número varia entre os autores que tratam do tema, conforme destaca Santos Delgado (2001). Ademais, é preciso considerar que normalmente há uma abstenção de 30 a 50% dos respondentes na 1ª rodada e de 20 a 30% na segunda.
Já quanto ao número máximo de rodadas, não existe um limite, mas para que se caracterize como método Delphi são necessárias, no mínimo duas. Na primeira delas, os especialistas precisam responder individualmente a um questionário47, normalmente contendo questões quantitativas apoiadas por informações qualitativas.
Na sequência, as respostas quantitativas são tabuladas e tratadas com uma análise estatística simples, definindo-se a mediana e os quartis. A cada nova rodada, os especialistas devem responder às mesmas questões, porém com acesso aos resultados da rodada anterior (WRIGHT; GIOVINAZZO, 2000). Quando houver, as respostas qualitativas
46 De acordo com Wright e Giovinazzo (2000), o método ou técnica Delphi envolve a consulta a um grupo de especialistas sobre determinado tema, a partir de um questionário que é revisto contínuas vezes até que seja obtido um consenso do grupo.
47 Opcionalmente, este questionário pode ser aplicado via internet, ou seja, online (GIOVINAZZO, 2001).
devem ser relacionadas aos dados quantitativos, em uma análise global (SANTOS DELGADO, 2001).
De acordo com Wrigh e Giovanizzo (2000), as rodadas se sucedem até que que seja obtido um grau satisfatório de convergência entre as respostas. A evolução em direção a um consenso pode ser mensurada pela relação entre o 1º e o 3º quartil das respostas e o valor da mediana. Contudo, os autores não especificam qual seria a relação entre o 1º e 3º quartil, ou valor da mediana, adequados.
Segundo Obregon (2011), existem três critérios para a finalização do Delphi: critério clássico, critério recomendável e critério prático. O primeiro é quando as respostas se aproximam48. O segundo é quando não há variação significativa entre as opiniões dos participantes nas diferentes rodadas49. Já o terceiro é quando o número de rodadas é predeterminado50. Todos eles dependem da definição do pesquisador quanto ao número de rodadas ou dos valores de referência a serem aplicados.
Essa abertura do método dificulta a tomada de decisões durante a sua aplicação, mas também permite sua adequação a diferentes contextos de pesquisa. Assim, na presente pesquisa foram feitas algumas adaptações no método Delphi, conforme fizeram outros autores, sem fugir da sua essência. Essas adaptações foram:
a) Limite prévio de duas rodadas para fomentar o engajamento dos participantes ao reduzir o tempo de coleta e análise de dados (SANTOS DELGADO, 2001; CLEMENTI, 2014).
b) Uso do questionário para validação de afirmativas (as recomendações) e não a previsão de eventos futuros (CLEMENTI, 2014; BLEICHER, 2015; OBREGON, 2011). c) Análise estatística dos dados com base na quantidade de
respostas em cada categoria de uma escala e não pela relação entre os quartis e ao valor da mediana (CLEMENTI, 2014; BLEICHER, 2015; OBREGON, 2011).
48 Segundo Santos Delgado (2001), as respostas podem ser consideradas próximas se o intervalo interquartil é menor que um valor predeterminado, o que pode ser calculado a partir de fórmulas ou porcentagens.
49 Essa variação pode ser calculada a partir de fórmulas ou porcentagens, mas depende de um valor de referência predeterminado pelo pesquisador (SANTOS DELGADO, 2001).
50 O comum são 2 ou 3 rodadas. Porém, esse número depende do pressuposto da pesquisa, da data de entrega e do risco de desistência dos participantes (SANTOS DELGADO, 2001).
4.3. RESULTADOS DA 2ª FASE: ORIGEM DO CONJUNTO PRELIMINAR DE