Ajustadas as pontuações para as categorias, IAAQPE fica pronto para realizar as avaliações e apresentar automaticamente a devolutiva. A página de envio da PE, localizada no servidor da FE, é acessada por meio de um link externo, declarado na página da atividade criada no AVA. A página para o envio é simples e apresenta instruções sobre a atividade, um campo para inserir o e-mail e outro para texto a ser analisado.
A Figura 8 mostra um exemplo da página para o envio da PE:
Em suas primeiras versões, o sistema não fazia o controle de existência do e- mail no AVA, o que gerou problemas pois alguns participantes erravam ao escrever o próprio e-mail e, por não encontrá-lo do modo como era digitado no sistema de gestão de usuários da Extecamp, não havia como atribuir a atividade realizada no servidor da FE ao 65 A utilização de 70% foi arbitrária pois esse foi o valor estabelecido como aproveitamento mínimo para ter direito à certificação dos cursos. Contudo, ajustes podem ser feitos com percentual inferior ou superior, isto é, facilitando ou dificultando a correção dos trabalhos.
FIGURA 8 – Página de envio das produções escritas
participante no AVA, tendo sido necessário a correção manual dos e-mails diretamente na tabela de avaliações (“assessments”) do SGDB. Enquanto uma das microiterações de DBR, o instrumento foi modificado para receber a relação dos participantes matriculados no AVA pelo sistema da Extecamp e o problema foi contornado.
Entretanto, como, em determinado momento, alguns participantes não estavam recebendo as notificações enviadas pelo AVA por problemas internos no seu servidor de e-mail, a Extecamp permitiu a modificação dos e-mails diretamente no AVA, sem alterá-los no sistema de gestão de usuários. Então, surgiu outro problema semelhante, que necessitou de intervenção na tabela de participantes (“participants”) para adicionar uma coluna, na qual podia ser colocado um e-mail alternativo e fazer a procura também por este campo no momento do envio da PE.
Uma vez inserida a PE, informado o e-mail, que deve ser reconhecido pelo sistema, e clicado em “Enviar”, o script “analyzer.php”, que pode ser visto em “Apêndice 6: Script “analyzer.php””, passa para a análise qualitativa, isto é, faz o preprocessamento do texto, realiza a busca dos conceitos esperados no corpo de conhecimento e apresenta imediatamente o resultado acompanhado de orientações e sugestões. Contudo, a análise qualitativa só é realizada após a validação do e-mail, pois, não havia este controle durante o primeiro curso e os participantes não indicavam necessariamente o e-mail inscrito na plataforma do curso, o que inviabilizou a identificação automática do participante na plataforma Moodle da Extecamp.
Um dos problemas encontrados durante o desenvolvimento foi justamente a transferência das notas obtidas pelo instrumento para o ambiente Moodle da Unicamp. No primeiro curso, os participantes deveriam inserir o e-mail usado para o acesso ao ambiente virtual, mas qualquer erro na digitação ou a utilização de e-mail diferente não permitiu a associação automática da atividade enviado para IAAQPE ao participante, o que requereu a intervenção manual para ajustes dos e-mail e aumento no tempo de espera para a transferência das nota obtida. O problema foi contornado com o processamento da PE só ocorrer após o reconhecimento do e-mail informado no banco de dados de participantes de IAAQPE.
Após o processamento para a avaliação qualitativa da PE, o instrumento exibia imediatamente a devolutiva com a nota obtida e as orientações sobre a avaliação. Caso desejasse, o participante poderia reelaborar o texto, preferencialmente seguindo as
orientações da devolutiva, e reenviá-lo para nova análise66. A seguir serão mostradas as mensagens exibidas para os participantes de acordo com as notas obtidas.
A Figura 9 mostra a devolutiva quando um e-mail não é reconhecido no SGBD:
A Figura 10 apresenta o resultado da avaliação de um texto que, por obter uma nota 2.9, precisa ser melhorado:
66 Cada PE pôde ser reenviada duas vezes a cada momento avaliativo, isto é, num primeiro momento com o corpo de conhecimento gerado a partir dos textos-fonte; num segundo momento, após a ampliação do corpo de conhecimento considerando os textos analisados e os termos não identificados inicialmente no corpo de conhecimento; e num terceiro momento, solicitado como recuperação pelos participantes.
FIGURA 9 - Devolutiva da avaliação com e-mail não reconhecido
Fonte: Elaborado pelo autor
FIGURA 10 - Devolutiva com indicação de que o texto precisa ser melhorado
Em relação ao resultado, que apresenta a nota atribuída ao texto e sugestões e orientações, a equipe responsável pelos cursos definiu que este seria apresentado em três faixas básicas: uma com indicação que o trabalho precisa ser melhorado, quando a nota fica abaixo de cinco; outro que considera o trabalho suficiente, mas passível de reenvio, quando a nota fica entre cinco e sete e meio; e outra que parabeniza o empenho do participante pela nota obtida, quando a nota fica acima de sete e meio. Além da nota, são indicadas as categorias encontradas no texto, quais não foram encontradas e aquelas que não atingiram a quantidade indicada como valor mínimo para a categoria. Além disso, pode haver a recomendação para a reelaboração do texto e incentiva que o questionário não obrigatório sobre o instrumento seja respondido.
A Figura 11 mostra a devolutiva considerada suficiente de um trabalho que obteve nota 7.0:
Os retângulos coloridos nas Figuras 10 e 11 indicam de modo análogo em cada figura, as diferentes devolutivas de acordo com a nota obtida. O retângulo verde apresenta quais foram as categorias reconhecidas no texto. Por exemplo, na Figura 11, que obteve nota sete, foram encontrados doze conceitos relevantes, por exemplo, conceitos relacionados a aspectos educacionais, racionais, filosóficos, políticos, sociais,
FIGURA 11 - Devolutiva considerada suficiente
econômicos e culturais, além de aspectos relacionados ao desenvolvimento, ao conhecimento, à sensibilidade e a crenças e religiões. Contudo, como pode ser visto no retângulo amarelo, não apareceram aspectos morais nem relacionados ao bem-estar e, conforme está indicado no retângulo vermelho, aspectos relacionados às leis e ao direito não atingiram a quantidade mínima de acordo a indicação registrada na tabela de categorias por atividade ("activity_categories").
A Figura 12 apresenta uma PE que obteve nota 9,8 e o participante foi parabenizado pelo esforço dedicado à sua produção, indicado pela cor lilás na figura.
É possível observar na Figura 12, a seguir, que todas as 14 categorias relacionadas à atividade estavam presentes no texto analisado e não estão presentes os retângulos amarelo e vermelho, com as indicações de conceitos não encontrados ou que não atingiram a quantidade mínima, de acordo com o campo de valor mínimo (“i_min”) da tabela de categorias por atividade ("activity_categories"), mas há um retângulo roxo que aponta a maturidade das reflexões. É possível ver em todas as figuras a recomendação para o preenchimento do questionário de avaliação do instrumento.
As marcações coloridas não são mostradas no instrumento, estão ressaltadas nas figuras apenas para facilitar a comparar suas semelhantes, conforme apontado aqui
FIGURA 12 - Devolutiva que parabeniza o participante pelo resultado obtido
nos comentários. Por exemplo, a cor verde é utilizada para indicar as categorias encontradas na PE: