Alguns trabalhos foram de fundamental importância e contribuição direta para a realização desta dissertação por trazerem como contribuição principal os elementos ou critérios de avaliação da aprendizagem colaborativa e gamificação, conforme descritos no capítulo anterior. Tais critérios foram utilizados para analisar os softwares existentes no mercado e que comporão o modelo de plataforma sugerida neste trabalho.
Inicialmente, esta dissertação se inspirou nos trabalhos de Brazil (2017), que investiga os usos da gamificação na produção colaborativa de conhecimento. A proposta de Brazil é verificar, dentro do contexto do capitalismo contemporâneo, se a gamificação pode aumentar o envolvimento das pessoas em atividades econômicas, como, por exemplo, estimular o consumo de determinado produto através de recursos gamificados como pontuação e conquistas, por exemplo. Além disso, o autor busca verificar se a gamificação pode estimular a produção colaborativa do conhecimento, como, por exemplo, comunidades de desenvolvimento de software livre.
Para a análise do impacto da gamificação sobre o comportamento das pessoas, Brazil utilizou uma matriz de avaliação através de perguntas em sites e plataformas de ambientes gamificados, como na figura a seguir:
Figura 3: Exemplo de matriz de avaliação do software BioTracker.
Fonte: Brazil, 2017
Os resultados encontrados pela pesquisa de Brazil mostram que a gamificação é uma ferramenta útil para estimular a produção e o compartilhamento de conhecimento, visto que seus elementos tiveram poder de influenciar positivamente o comportamento dos sujeitos (BRAZIL, 2017, p. 176).
Dos recursos gamificados trazidos por Brazil (insígnias, pontuações, quadro de líderes, desafios, conquistas, níveis e barra de progresso), serão utilizados na
34
proposta do software os recursos insígnias, pontuações, quadro de líderes e barra de progresso.
Outro trabalho relacionado é a abordagem de Barros e Verdejo (2000), que propõe um software digital para mediação da aprendizagem colaborativa, chamada DEGREE. Os elementos de aprendizagem colaborativa trazidos por Barros e Verdejo são os elementos utilizados nesta dissertação para a análise do aspecto da aprendizagem colaborativa nos softwares de avaliação formativa.
Barros e Verdejo (2000) apresentam um sistema de análise da colaboração baseado em alguns princípios básicos relacionados ao CSCL (Computer Supported
Collaborative Learning) (KOSCHMANN, 1996, Apud BARROS e VERDEJO, 2000).
Estes princípios são: construção conjunta de uma solução de problemas, coordenação dos membros do grupo para o planejamento das tarefas, semi- estruturação dos mecanismos de interação e foco no processo de aprendizagem e no resultado da aprendizagem e, portanto, representação explícita da produção e dos processos de interação. (BARROS, VERDEJO, 2000, p. 223). A arquitetura do sistema, denominada DEGREE, sigla para Distance Environment for GRoup
ExperiencEs, está organizado em quatro níveis: configuração, desempenho, análise
e nível de organização. Esses níveis correspondem às funcionalidades do software, que são:
(1) Nível de configuração: depois que professor planeja uma atividade de aprendizagem colaborativa, ele pode configurar e instalar automaticamente o ambiente necessário para apoiar as atividades em grupos. O software proporcionará os recursos necessários para a realização dessas atividades. Nesse nível, o professor pode especificar as tarefas a serem cumpridas, assim como os recursos a serem utilizados e os indivíduos que formarão os grupos. Tudo isso pode ser feito a partir do zero ou a partir de configurações predeterminadas.
(2) Nível de desempenho. Este é o nível em que um grupo de alunos pode realizar atividades colaborativas com o apoio do software. O sistema gerencia as contribuições dos usuários, analisando a construção conjunta de uma solução para a atividade proposta em um processo de discussão colaborativo. Todos eventos e experiências de cada grupo e são registrados e analisados para geração de dados. (BARROS e VERDEJO, 2000, p. 223)
35
(3) Nível de Análise. Neste nível, o software analisa a interação do usuário e faz intervenções para melhorá-los. O software proposto por Barros e Verdejo oferece ferramentas de análise quantitativa e qualitativa para observar e analisar o processo de solução de uma tarefa. No nível de análise, o software propõe uma maneira de observar e atribuir valor às atitudes dos indivíduos que estão trabalhando juntos no grupo. O software oferece também a possibilidade de intervenção através de mensagens enviadas para o grupo ou a indivíduos explicando como melhorar diferentes pontos da sua colaboração. Por fim, há o registro das mensagens e do momento em que a intervenção é feita, além da análise das melhorias.
(4) Nível da organização: Nesse nível o software analisa os dados que resultaram das experiências e dos processos ocorridos na aprendizagem colaborativa. Esses dados são estruturados e a eles são atribuídos valores, transformando-os em informação. Esta informação é armazenada de forma a criar um portfólio do desenvolvimento do indivíduo, que é chamado por Barros e Verdejo de Organisational Learning Memory.
O software DEGREE permite que o professor desenvolva ações que proporcionem diversas experiências de aprendizagem colaborativa aos grupos. Essas ações são configurar uma experiência: o professor, partir de seus objetivos de aprendizagem (o objeto), pode alimentar o software com uma atividade que propicie a interação entre os participantes do grupo, ou seja, configurar uma experiência de aprendizagem colaborativa (o resultado). Uma experiência é definida através de um processo que pode consistir nas seguintes etapas: definição de grupo (os papéis que cada indivíduo desempenha dentro do processo de colaboração), a definição de espaços de trabalho compartilhados e a atividade propriamente dita que integra a experiência.
Outra ação é a de realizar uma experiência: o grupo de indivíduos (que também pode envolver o professor) realiza uma experiência usando o software digital que possibilite o trabalho colaborativo (uma ferramenta de mediação) para alcançar objetivos de aprendizagens que possuam em comum. Uma experiência é organizada em atividades que, por sua vez, podem ser divididas em tarefas e subtarefas (divisão de trabalho). Os indivíduos participam e compartilham a responsabilidade do processo e seus resultados, assumindo um papel particular. Uma tarefa é
36
considerada como terminada quando houver um documento elaborado e acordado em conjunto.
O resultado das experiências inclui um documento final para cada tarefa, bem como uma representação do processo de elaboração. Esse resultado será o objeto das atividades: "Gerenciar casos” e “Analisar uma experiência”, descritos a seguir. Após iniciar a experiência é necessário analisar essa experiência: Nesta atividade, o professor analisa as ações e as interações dos indivíduos durante a realização de uma experiência de aprendizado.
O software DEGREE Oferece as ferramentas que ele pode utilizar para realizar esta análise, fornecendo ferramentas que interpretam os dados coletados durante a realização da experiência, transformando-os em gráficos. Além da análise, esta atividade compreende o aconselhamento e o monitoramento de feedback. A tarefa de análise é feita automaticamente pelo software segundo regras qualitativas de avaliação, enquanto o aconselhamento e monitoramento são feitos com suporte do sistema, mas são realizados pelo professor. O objeto da análise são os dados coletados e registrados da experiência, incluindo todas as informações sobre ações e interações realizadas pelos participantes.
Como exposto anteriormente, cada experiência pode ser organizada como um conjunto de atividades. Uma atividade pode ser estruturada em um conjunto de tarefas, buscando alcançar objetivos pedagógicos definidos. Cada tarefa pode ser desempenhada dentro do ambiente de aprendizagem colaborativa com suporte de um espaço de trabalho, definido pelos seguintes elementos: perfis para grupo de usuários, que consiste na especificação da divisão do trabalho entre os indivíduos para uma tarefa específica; o resultado, que inclui o tipo de documento a ser criar no final do processo, estruturado em tópicos; as ferramentas de mediação, que inclui, por exemplo, Objetos de Aprendizagem, e o modo de interação.
A interface do software apresenta um menu com os links para os espaços de trabalho. Neles, os alunos dispõem de um espaço para digitar a sua contribuição à questão proposta no espaço.
37
Figura 4: Interface do software DEGREE.
Fonte: Barros e Verdejo (2000)
A partir da contribuição à questão proposta, o software analisa o texto seguindo uma matriz de avaliação com os atributos da aprendizagem colaborativa e os valores para cada contribuição, segundo a figura a seguir:
Figura 5: Matriz de avaliação.
Fonte: Barros e Verdejo (2000)
Dos seis elementos que compõem a DEGREE, conforme o quadro acima, os elementos questão, proposta e contraproposta serão aproveitados para compor o
38
Por fim, o framework proposto por Araújo e Aranha (2013) foi utilizado como base para definir os critérios de avaliação formativa a serem analisados nos
softwares, com intuito de observar se os softwares que hoje existem tendem a possuir
os elementos necessários para que se possa realizar todo o processo de uma avaliação formativa de forma completa. Esses pontos são, como descrito no item 3.1 - avaliação formativa, instrumentação, coleta, análise e regulação.
No framework, o elemento “coleta”, que captura as respostas registradas, é analisado segundo uma matriz que relaciona a Dimensão dos Processos Cognitivos (DPC), que é composta pela Taxonomia de Bloom Revisada - lembrar, entender, aplicar, analisar, avaliar e criar (Anderson et al., 2001, Apud Araújo e Aranha, 2013) - com a Dimensão do Conhecimento (DC), que compreende os conhecimentos Factual, Conceitual, Procedimental e Metacognitivo. Essa matriz coloca os objetivos pedagógicos definidos pelo professor na relação entre a DC e a DPC, como na figura a seguir:
Figura 6: Matriz de avaliação do elemento “coleta”.
Fonte: Araújo e Aranha, 2013
Os autores trazem uma matriz de avaliação para o elemento análise, que é o elemento que traduz em informação para o professor os dados coletados. Na proposta do framework, os dados coletados expressam o conhecimento adquirido através métrica ACC (Aquisição de Conceitos-Chave). Essa métrica é calculada a partir da média ponderada das medidas de desempenho obtidas pelos alunos nas atividades executadas. Assim, é possível comparar o desempenho do aluno com a média da turma. A figura a seguir mostra como seria feita essa análise em cinco atividades diferentes (A1 a A5):
39
Figura 7: Matriz de avaliação do elemento “análise”.
Fonte: Araújo e Aranha, 2013
O software a ser proposto será fundamentado sobre as quatro fases da avaliação formativa trazidos por Araújo e Aranha – instrumentação, coleta, análise e regulação.
40
4. METODOLOGIA
Inicialmente, o projeto de pesquisa foi submetido ao Comitê de Ética da Universidade Federal do Rio Grande do Norte, tendo recebido parecer favorável por meio do CAAE nº 03984218.2.0000.5537, para que a aplicação ocorresse de forma segura com todos os sujeitos envolvidos. O Termo de Consentimento entregue aos alunos pode ser consultado no Apêndice 2.
A metodologia usada para conduzir a pesquisa consiste inicialmente em uma fase de revisão sistemática, seguida da fase experimental, na qual o professor pesquisador realizará um estudo de caso em sua sala de aula, buscando identificar os problemas (baixo desempenho dos alunos nas atividades propostas), propondo ações através da análise dos dados obtidos e avaliando o resultado delas na população envolvida (se houve ou não aumento de desempenho).
4.1 Levantamento bibliográfico
Nesta fase, será realizada uma revisão sistemática na literatura disponível acerca do problema. As pesquisas por produções acadêmicas foram realizadas em português e em inglês, nos seguintes mecanismos de busca: Workshops do Congresso Brasileiro de Informática na Educação (WCBIE) e do Simpósio Brasileiro de Informática na Educação (SBIE), scholar.google.com e ieeexplore.ieee.org.
Os strings de busca utilizados foram, em português, “avaliação formativa” E “gamificação” E “aprendizagem colaborativa”. A pesquisa em inglês foi feita com os termos “formative assessment” AND “gamification” AND “collaborative learning”. Essas escolhas são justificadas pela intenção de verificar se há trabalhos publicados envolvendo a avaliação formativa gamificada em ambientes de aprendizagem colaborativa.
O critério de inclusão de artigos foi a obrigatoriedade de versar sobre elementos ou recursos que constituem a gamificação, a avaliação formativa e a aprendizagem colaborativa. Os critérios de exclusão foram publicações feitas entre nos anos 2012 a 2018, que esteja livre para consulta e que tenha validado a pesquisa.
41
Os anais do WCBIE e do SBIE não retornaram nenhum resultado: o IEEE xplore retornou 2 resultados em inglês e o Google Scholar retornou 39 resultados em português e 447 resultados em inglês, totalizando 596 publicações.
Dos trabalhos encontrados, 3 tiveram objetivos de pesquisa bastante semelhantes com os deste trabalho: Brazil (2017), que investiga os usos da gamificação na produção colaborativa do conhecimento; Barros e Verdejo (2000), que apresenta um sistema computacional para a análise da colaboração; e Araújo e Aranha (2013), que traz critérios que compõem o ciclo da avaliação formativa. Esses são os trabalhos relacionados a esta dissertação, como descritos no capítulo 3.
4.2 Fase Exploratória
Nesta fase será feita uma seleção e análise de nove plataformas de avaliação formativa. Esses softwares foram escolhidos de acordo com resultado obtido no Google, ao se pesquisar por “Formative Assessment Tools”, “Gamification” e “Collaborative Learning”. O objetivo é, inicialmente, verificar se elas possuem os elementos de gamificação e aprendizagem colaborativa propostos (segundo os critérios descritos no capítulo 3).
4.3 Formulação do problema
O problema que esta dissertação procura solucionar é como realizar um procedimento de avaliação formativa através de meios digitais em um ambiente de aprendizagem colaborativa, visto que a avaliação formativa ainda é vista como um processo de checagem do progresso da aprendizagem de forma individual. Ainda não se vê a utilização da avaliação formativa ocorrer em grupos. Assim, esta dissertação parte da premissa de que o processo de avaliação formativa deve também avaliar o desempenho de um grupo, comparando o desempenho do trabalho feito por um grupo com relação aos demais grupos no mesmo contexto e o desempenho de um indivíduo com relação aos demais integrantes de seu grupo.
4.4 Construção de hipóteses
Para responder ao problema posto, esta dissertação parte das seguintes hipóteses:
42
1: A avaliação formativa realizada em ambientes de aprendizagem colaborativa pode fornecer ao professor dados sobre a aprendizagem que ele não conseguiria obter se a avaliação fosse realizada individualmente.
2: A gamificação é um elemento que pode influenciar positivamente no desempenho dos indivíduos durante a realização da avaliação formativa.
4.5 Seleção da amostra
Nesta fase será realizada uma coleta de dados com os usuários dos softwares (os alunos) para verificar se estes trouxeram benefícios para o processo de aprendizagem. Esses softwares serão testados em sala de aula com alunos do 6º ano do ensino fundamental em uma escola da rede particular localizada na cidade de Natal-RN, para coleta de dados quantitativos.
Importante destacar que todo o estudo foi aprovado pelo Comitê de Ética e Pesquisa e também foram concedidas permissões dos responsáveis pelos alunos e pela escola participante.
4.6 Análise e interpretação dos dados
Os dados coletados serão analisados com intuito de verificar se os softwares de avaliação formativa são capazes de fornecer ao professor feedback necessário acerca do processo de aprendizagem de seus alunos para que ele possa adotar medidas corretivas, caso seja necessário. Além disso, será verificado se houve aumento no rendimento dos alunos na execução da atividade. Esses dados serão interpretados segundo os critérios de análise descritos no capítulo 5.
O próximo capítulo trará um panorama de como funcionam os softwares de avaliação formativa, na perspectiva do professor e do aluno.
43