FERRAMENTAS UTILIZADAS NA AVALIAÇÃO DO MOOC

Ao se projetar um aplicativo educacional é essencial considerar que o processo de avaliação deve incluir tanto aspectos relacionados à aceitação, funcionamento e usabilidade do recurso, quanto os mecanismos pedagógicos e didáticos que constituem sua base. O instrumento utilizado para coleta de dados inicialmente foi o GA.

GA é um serviço gratuito oferecido pelo Google que dá acesso a estatísticas do visitante de sites ou aplicativos registrados na ferramenta. A informação é enviada ao gerenciador que pode usá-la a fim de corrigir possíveis erros

e monitorar o acesso e visibilidade do aplicativo ou site. A ferramenta foi lançada em 2005 e inicialmente foi utilizada para otimizar campanhas de marketing e para uso no

Google AdSense, contudo rapidamente se tornou uma das mais proeminentes

soluções de análise de diversos outros sites (Clifton, 2012). O projeto foi modelado com o sistema estatístico Urchin, da Urchin Software Corporation, adquirido pela

Google em abril de 2005.

A última versão do GA é chamada de "Universal Analytics" e foi anunciada em outubro de 2012, com a promessa de ser capaz de controlar até mesmo atividades muito curtas nos sites ou aplicativos. As principais diferenças desta versão para as versões anteriores foram: a possibilidade de conectar vários dispositivos, sessões e dados de engajamento com o ID do usuário, sendo possível individualiza-los; obter um código de acompanhamento mais flexível para coletar dados de qualquer dispositivo digital, as opções de configuração simplificadas e mais acessíveis e a introdução de dimensões e métricas personalizadas (Google Analytics, 2014).

Ellis (2012) afirma que, embora GA tenha como alvo principalmente sites de comércio eletrônico, a ferramenta tem sido utilizada na pesquisa em tecnologia educacional como forma de analisar o uso e o sucesso de recursos educacionais online. Desta maneira, utilizaremos também o potencial dessa ferramenta para obter informações tais como: o engajamento dos usuários, a presença de novos usuários, o retorno de usuários antigos e quantos ainda estão ativos, a duração média de cada sessão, as telas mais acessadas e o percurso realizado dentro do aplicativo. Tais percepções atitudinais podem auxiliar não somente na avaliação do perfil dos usuários, mas na análise das atividades e da aceitação do curso.

Diversos estudos indicam a utilidade de investigar o comportamento dos usuários de aplicativos e sites, uma vez que estes dados podem ser utilizados para adaptar as intervenções conforme as necessidades dos visitantes, aumentando a probabilidade de resultados positivos (Lou, et al., 2006; Patten, et al., 2007). A interpretação dos dados pode ser usada para estimar se as metas para os usuários estão sendo alcançadas; para apoiar estudos de usabilidade e design de aplicativo; e para fornecer feedback sobre o uso para desenvolvedores, educadores e outros interessados (Khoo, et al., 2008). Assim, na presente pesquisa, utilizou-se das ferramentas presentes no GA para avaliar o impacto do aplicativo e verificar possibilidades de melhoria. A descrição de cada uma das ferramentas e do layout do GA estão disponíveis no segundo artigo publicado (pág. 101).

Além do GA, como mencionado anteriormente, um módulo (SAM) foi desenvolvido a partir da base de dados do aplicativo (Figura 4). O módulo foi estruturado como um website a fim de possibilitar a análise dos dados de interação dos usuários, por meio do qual os gerenciadores e instrutores podem analisar os resultados dos estudantes no decorrer do curso.

A estrutura do SAM foi desenvolvida com um sistema de gerenciamento de bancos de dados chamado MySQL, uma das bases de dados mais populares atualmente, otimizada tanto para aplicações web quanto para projetos de software livre (Oracle, 2011). O desempenho, a escalabilidade, a confiabilidade e a facilidade de uso fizeram da MySQL um dos bancos de dados de código aberto mais populares do mundo (Oracle, 2011).

Figura 4. Tela inicial do site do SAM. O menu está na barra lateral esquerda com opções para acessar estatísticas, certificados e as possíveis classes criadas pelos professores. A última opção é exclusiva para os gerenciadores do aplicativo.

Nosso banco de dados realiza a análise utilizando o software estatístico "R" e é exibido em uma interface PHP. "R" é uma linguagem e também um ambiente para a computação estatística que pode ser considerada como uma implementação diferente da linguagem S (Yan; Su, 2009). Existem algumas diferenças relevantes entre estas duas línguas, mas em geral, a maior parte dos códigos escritos para S podem ser executados sem alteração em R.

Assim como o MySQL, R também está disponível como Software Livre, no formato de código-fonte, sob os termos da General Public License da Fundação de Software Livre (Oracle, 2011). Um dos pontos fortes do software R é a facilidade com que podem ser criadas imagens, gráficos e análises bem concebidas para publicação,

incluindo símbolos matemáticos e fórmulas quando necessário (Yan; Su, 2009). Além disso, R é altamente extensível e fornece uma ampla variedade de técnicas estatísticas e gráficas (Yan; Su, 2009).

A tela de estatísticas do site contém os dados de uso do MOOC e foi projetada para permitir uma usabilidade intuitiva (Figura 5). Para explorar os dados de uso dos alunos, os instrutores e gerentes devem acessar a guia estatística no menu à esquerda. Ao acessar essa guia, eles observarão alguns campos a serem preenchidos, conforme descrito abaixo:

• Módulo: neste campo, é necessário selecionar um dos doze módulos do curso, nos quais o conteúdo da biologia celular foi dividido.

• Sub-módulo: neste campo, uma das três atividades que serão analisadas em cada módulo poderá ser selecionada para análise (jogos de fixação, desafio ou avaliação).

• Data de início / Data de término: se o instrutor recomendou que os alunos respondam a perguntas específicas em uma determinada semana, ele pode verificar quais estudantes procederam dessa maneira preenchendo adequadamente esses campos.

• Classes: neste momento, se o instrutor tiver mais de uma classe, ele

pode selecionar um grupo específico de alunos para analisar os dados de uso.

Figura 5. Tela de estatísticas do site. Esta ferramenta foi criada para permitir aos instrutores, gerenciadores e outras partes interessadas, o rastreamento e análise dados de uso de estudantes. Nela é possível selecionar o módulo, o sub-módulo, a data de início e de término do período a ser considerado, assim como as classes que se pretende averiguar.

Quando todos os campos são preenchidos, o instrutor ou gerenciador pode clicar no botão Generate e rolar a barra para verificar os dados de uso que aparecerão abaixo. Para acessar o SAM, os instrutores interessados precisarão apenas se inscrever no link <http://www.lte.ib.unicamp.br/thecell/login.php>, nesse momento receberão por e-mail um código para abrir uma turma. Os alunos do respectivo instrutor devem usar o código a fim acessar o aplicativo, a partir desse ponto, todos os inscritos terão seus dados de uso disponíveis para acesso do instrutor cadastrado.

Deve ser destacado que os dados de uma classe específica são disponibilizados apenas para o proprietário do código da classe. Somente os gerenciadores (um programador, a orientada e orientador da presente pesquisa) têm acesso a todos os usuários e seus resultados individuais.

Como descrito, embora seja um curso on-line, a plataforma SAM também foi desenvolvida pensando em professores ao redor do mundo que poderiam querer aplicar as atividades do curso em suas salas de aula e monitorar o desempenho dos alunos. Tais professores podem, por exemplo, usar o MOOC associado com o método de aprendizagem mista (Blended Learning), neste caso o aplicativo tornar-se a espinha dorsal de atividades de todo o curso presencial.

Nesse caso, os estudantes também podem realizar os testes antes da aula, o professor acessa os resultados e verifica quais os principais erros, as questões que geraram mais dúvidas, a fim de direcionar a explicação e intervir em pontos específicos. Ter acesso a informações individualizadas sobre os alunos, tais como tempo de permanência, acertos e erros por questão, respostas dadas em questões discursivas, além de gráficos com análises comparativas entre turmas, pode ser extremamente útil para o professor no processo de ensino.

De modo a avaliar todos os aspectos referentes ao uso do aplicativo, que estão acima pontuados, as duas ferramentas foram utilizadas. A seguir descreveremos os resultados concernentes ao desenvolvimento do recurso, bem como os resultados relacionados à avaliação realizada com o GA e o SAM.