Etapa de Preparação dos instrumentos de coleta de dados e de ações de envolvimento

Os indicadores e os itens de desempenho elaborados na etapa anterior servem de referência para a escolha e composição dos instrumentos de coletas de dados.

Na experiência do projeto específico em EAD, a preparação dos instrumentos da MAAI envolve os seguintes procedimentos: a) revisão da análise das necessidades de avaliação e definição da amostra (escopo investigado); b) elaboração e validação de ferramentas de coleta de dados (questionários, planilhas de movimentação de estudantes e de médias apresentadas nos diários de classe); c) preparação do sistema de distribuição e coleta de dados (tecnologia hardware e software); d) publicação dos questionários e recolhimento dos dados.

Para iniciar a composição do questionário e composição de informações dos indicadores para o relatório da MAAI, passa-se a reunir as estratégias pedagógicas,

tecnológicas e acadêmicas traçadas na etapa de design do projeto em EAD. Em seguida, realiza-se uma revisão de necessidades (expectativas) com a avaliação e definição da amostra (escopo a ser investigado).

A construção do questionário consiste basicamente em traduzir os indicadores e itens de desempenho selecionados a partir da configuração da metodologia do projeto em EAD (estratégias pedagógicas e tecnológicas) em questões/item bem redigidos e legíveis para a população alvo26. Para tanto, é necessário serem definidos, claramente, os indicadores e cada item de desempenho para garantir a sua operacionalização, bem como, antes de publicar para todos, realizar testes piloto com alguns estudantes, verificando o entendimento das questões propostas.

O questionário como instrumento da Pesquisa de Autoavaliação Institucional para a MAAI oferece algumas vantagens. Quando comparado com a entrevista, ele possibilita atingir grande número de pessoas, mesmo que estejam dispersas numa área geográfica muito extensa, já que o questionário pode ser enviado pelo correio, fax, e-mail ou web. No caso da MAAI, atualmente é aplicado junto ao AVA, na Web. Após o teste piloto e ajustes, permite que as pessoas respondam a ele no momento que julguem mais conveniente. Outra vantagem que o questionário oferece: menores gastos com pessoal, posto que com o questionário on-line não seja necessário treinamento dos aplicadores. Mas também o questionário apresenta algumas limitações, pois impede o auxílio ao informante, quando este não entende corretamente as instruções ou perguntas; impede o conhecimento das circunstâncias em que foi respondido, o que pode ser importante na avaliação da qualidade das respostas; não oferece a garantia de que a maioria dos respondentes o devolva devidamente preenchido, o que pode implicar a significativa diminuição da representatividade da amostra (na etapa de validação dos questionários respondidos); proporciona resultados bastantes críticos em relação à objetividade, pois os itens podem ter significado diferente para cada sujeito pesquisado. Ao ter consciência dessas limitações, o questionário utilizado na MAAI é concebido com questões elaboradas com vista a oportunizar ao respondente respostas claras em vez de respostas neutras, ambíguas. Bem como, parte do princípio de que um instrumento de pesquisa deve ser elaborado de forma a facilitar a obtenção dos dados, tabulação e consolidação dos dados coletados.

Os questionários da Pesquisa de Autoavaliação Institucional e as coletas de dados do sistema acadêmico (planilhas de acompanhamento da movimentação de estudantes e de

médias de Notas apresentadas nos diários do projeto) são os instrumentos usados para coletar dados e realizar observações. Portanto os métodos usados na MAAI para projetos em EAD são uma combinação entre métodos qualitativos ou quantitativos.

Para introdução desse processo na aplicação dos questionários da Pesquisa de Autoavaliação Institucional e coleta de dados em relação à satisfação dos estudantes sobre os itens de desempenho, realiza-se a inserção de uma breve explicação a respeito dos objetivos da pesquisa antes da apresentação das perguntas. Também se faz esclarecimento sobre o tempo estimado para responder ao questionário. Essa ação objetiva que os respondentes entendam os objetivos da pesquisa, quem são os responsáveis pela sua realização e que se reduza a ansiedade quanto ao tempo a ser despendido para respondê-lo.

Para avaliar o grau de satisfação dos estudantes, são aplicadas no questionário da Pesquisa de Autoavaliação Institucional, questões alinhadas com os itens de desempenho. As questões apresentadas no questionário são formuladas, na sua grande maioria, em forma de questões objetivas, cujas respostas são manifestadas com o uso da Escala de Likert27.

Em menor número também são aplicadas questões subjetivas. Elas são realizadas a cada agrupamento de itens de desempenho, que refletem um processo da metodologia pedagógica oferecida: materiais didáticos, sistemas tutorial e de comunicação, sistema de avaliação, estudo autônomo e colaborativo e avaliação geral do projeto. As questões subjetivas investigam pistas qualitativas sobre as avaliações objetivas, pois as suas questões solicitam que os estudantes forneçam, livremente, comentários e sugestões sobre os itens avaliados, de modo a permitir aprofundar compreensão de questões particulares [São as respostas a essas questões subjetivas de que a análise dessa pesquisa faz uso].

Para desenvolvimento do questionário, distribuição e coleta de dados, usa um sistema exclusivamente destinado ao desenvolvimento de questionários virtuais com respostas fechadas automáticas e respostas abertas. Os instrumentos de coleta de dados da MAAI, assim como o modelo EAD de 5ª geração, foram, ao longo dos projetos, evoluindo e, atualmente, são totalmente informatizados (tecnologia hardware e software).

27 _{A Escala de Likert (MALHOTRA, 2005), assim denominada em homenagem ao seu criador Rensis Likert, é}

uma escala de classificação amplamente utilizada, a qual permite ao respondente expressar, com relativa facilidade, a intensidade de sua opinião dentro dos limites das opções em relação a cada afirmação apresentada. Ao fazer uso da escala de Likert nos questionários, o esperado é que os respondentes indiquem seu grau de concordância ou discordância nas questões relativas aos itens de desempenho que estão sendo medidos. Permite facilmente a verificação do índice de satisfação e qualidade de um item de desempenho. Também chamada de pontuações somadas ou escala somada, na escala Likert cada item deve ser avaliado por meio de cinco opções de preferência: Ótimo, Bom, Regular, Ruim e Insuficiente.

Conforme mostra a figura a seguir, usa-se a Internet para disponibilizar os questionários e convidar para participação via o próprio AVA do projeto em EAD (Figura 8); usa-se, também, um sistema gerencial para desenvolver, publicar, coletar e armazenar as questões e as respostas emitidas nas pesquisas; são realizadas consultas ao sistema acadêmico virtual da instituição; são usados, ainda, em suas operações, sistemas para produção de textos, planilhas e gráficos (Office 2007). A MAAI, assim, ganha praticidade ao utilizar as vantagens dos recursos das TIC e da Rede Web como um importante aliado.

Figura 8 - Imagem link no AVA e o questionário da Pesquisa de Autoavaliação Institucional Fonte: Imagem extraída do AVA UV 2011.

Como convenção, o período em que os estudantes devem participar da Pesquisa de Autoavaliação Institucional é no final da oferta do serviço educacional, isto é, a cada fechamento de disciplina oferecida no projeto em EAD. Esse fechamento coincide com o período após a avaliação presencial da disciplina, a qual consolida a avaliação e o grau de aproveitamento da aprendizagem. Após a finalização de uma disciplina, é, portanto, estabelecido e divulgado, junto ao questionário de atividades da disciplina, um período determinado para os estudantes participarem com as suas respostas da Pesquisa de Autoavaliação Institucional.

Para coleta de dados, sistematicamente após cada oferta de disciplinas de um projeto em EAD, questionários de autoavaliação são respondidos por estudantes (Anexo 1), onde avaliam a eficácia e efetividade de todos os processos, componentes e agentes envolvidos na metodologia da gestão pedagógica. O conjunto de participações enviadas irá compor uma planilha em Excel com todos os dados coletados, que, após tratamento e análise, servirão para compor os relatórios.

Para somar as informações geradas a partir da Pesquisa de Autoavaliação Institucional, conforme indicadores traçados na etapa de planejamento, a cada final de período (semestre) são também extraídas informações do sistema acadêmico para completar informações de perfil e movimentação dos estudantes. Busca-se, com esses procedimentos, obter dados sobre a satisfação dos estudantes, números efetivos da movimentação de estudantes comparados com os objetivos planejados para o indicador de desempenho. Junto ao sistema acadêmico virtual da instituição (um ERP profissional para instituições de ensino), são gerados bancos de dados e extraídos relatórios, conforme períodos pré-estabelecidos (a cada fechamento de semestre). Neles constam dados da movimentação e notas dos estudantes mais recentes, para compor planilhas digitais pré-estruturadas. Estas planilhas irão integrar os relatórios MAAI referentes ao período analisado.

Como ação de chamada às participações na pesquisa dos estudantes, são enviadas, anteriormente a cada período de resposta aos questionários, sistematicamente, mensagens- convites aos estudantes por e-mail e AVA. Bem como, são enviadas mensagens aos coordenadores de curso, incentivando-os a que mobilizem os professores tutores, para que estes, por sua vez, motivem os seus estudantes a responderem aos questionários. Junto a todas as equipes que atuam diretamente com os estudantes, orientações são realizadas com vista a que os estudantes utilizem os questionários como um espaço para avaliar a sua satisfação com o serviço educacional, e para requerer e sugerir suas necessidades.

3.2.3 Etapa de organização e levantamento dos dados, análise dos dados e produção de