2.2 - Avaliação da Aprendizagem: considerações teóricas
AVALIAÇÃO DO ENSINO E
4. CRITÉRIOS DE AMOSTRAGEM E PROCEDIMENTOS ÉTICOS PARA A REALIZAÇÃO DA PESQUISA
4.3. Procedimentos para a coleta de dados e análise
4.3.1 - Dimensões metodológicas da Teoria das Representações Sociais para a investigação: A justificativa
Para Delval (1994), a representação tem relação com as ações de interpretar as informações contidas no ambiente em que vivemos e no qual nos relacionamos com as pessoas. Estas informações existem para que os sujeitos possam construir e estruturar e, organizar o mundo real ao seu redor, no dia a dia. É na realidade cotidiana que são construídos os processos de interação e de comunicação que promovem a busca de conhecimento.
Os sujeitos no contexto representam ou passam a conhecer um objeto, porque estão inseridos no grupo e conseguem desenvolver mecanismos cognitivos e afetivos como forma de conhecê-lo. Por meio das falas, conversas e negociações há no grupo influências que mobilizam modelos e valores compartilhados para atingir o conhecimento. Nessas negociações, são construídas as interpretações, normas e regras, bem como os modos de agir no grupo (MOSCOVICI, 2015).
No contexto do Ensino Superior (na Licenciatura em Matemática), não é diferente: a intercomunicação e a interação entre os estudantes fazem com que a comunicação tenha diferentes variáveis multiculturais, socioeconômicas e políticas que proporcionam diferentes relações entre os indivíduos e que acabam por produzir representações de uma palavra ou de um objeto. Ela aponta para ideologias que possibilitam um espaço de diversas crenças, opiniões e valores, em que poderá existir uma partilha de significados entre eles.
Assim, na busca de analisar quais Representações Sociais por estudantes acerca da Avaliação da Aprendizagem de conteúdos matemáticos, no contexto do Ensino Superior na Licenciatura em Matemática, nos apropriamos da Teoria das Representações Sociais (TRS) de Moscovici. Este autor defendeu os plurimétodos e técnicas em estudos que a reconheça como referencial teórico metodológico nas possibilidades de métodos quantitativos para a análise de dados de uma investigação (MOSCOVICI, 2015).
Jodelet (2001) elenca que a TRS amplia as possibilidades de compreensão dos diferentes conhecimentos e práticas sociais que dão origem às representações sociais. Sendo assim, a ampliação desses conhecimentos deve dialogar com os diferentes procedimentos metodológicos e teóricos cabíveis à pesquisa científica. Essa autora considera os aspectos multidimensionais da TRS, os quais implicam os eixos necessários para elaborar os métodos que trazem à mostra o ato de analisar um objeto e como ele se apresenta ao sujeito social em seu contexto e nas suas dimensões.
A seguir, apontamos alguns aspectos constituintes da nossa investigação, referenciando a relação das RS e da Abordagem Culturalista de Denise Jodelet:
• As RS são sempre representativas de algum objeto (“coisa”) e do sujeito (“alguém”).
• As RS envolvem atividades de simbolização do objeto e de sua interpretação. Os significados que dão a esse objeto, são construções cognitivas do sujeito no contexto social.
• As RS devem envolver aspectos que demonstrem o grau de pertença do sujeito no grupo social e como ele participa da vida em sociedade e que cultura ele expressa.
• As RS apoiam em suportes da linguagem (da comunicação) e em comportamentos
que dão forma ao objeto que o caracteriza.
• As RS tratam de um saber prático, isto é comum, a partir da experiência do sujeito social.
• A análise a partir da Abordagem Culturalista de Jodelet (2001) à luz das significa responder às questões, tais como: quem sabe e de onde sabe? O que sabe e como sabe? Sobre o que sabe e com que efeito? Estas são as dimensões apropriadas por Jodelet (2001) em que se devem indagar na maioria das vezes numa investigação.
Jodelet (2005, p. 93) é fiel à Teoria das “Representações Sociais em que identifica o conteúdo do conhecimento de senso comum e olha os modos como ele se expressa na linguagem e comunicação”, em sua abordagem cultural, considera o histórico e o cultural para a compreensão do simbólico.
Abric (2000) elenca sua abordagem estrutural em que privilegia a dimensão cognitiva das Representações Sociais. O autor aponta para uma representação social funcional como um sistema de interpretação da realidade e determina o comportamento e as práticas do sujeito. Elas permitem aos sujeitos compreender a realidade e dão sentido “às suas condutas e compreender a realidade através de seu próprio sistema de referências; permitindo [...] se adaptar e encontrar um lugar nesta realidade” (ABRIC, 2000, p. 28). Nas ideias desse autor, a abordagem estrutural das RS abriga métodos e instrumentos de produção de dados por via plurimetodológico, tais como aspectos de abordagem qualitativo e quantitativo, seguindo a linha de Moscovici (2005) apresentada anteriormente nesse texto.
Com o aumento de trabalhos utilizando combinações de métodos apropriados para coletar e analisar dados e, conhecendo a gênese da RS apresentada nos estudos anteriormente, utilizamos os procedimentos que foram ao encontro de nossa pesquisa. Utilizamos como métodos de coleta de dados, técnicas de questionários com perguntas abertas e fechadas, evocações textuais (Frases ou palavras - Teste de Associação Livre de Palavras (TALP), Técnica de Grupo Focal (GF) e da Técnica da Análise de Conteúdos (TAC) cujo objetivo é permitir adequadamente descrever, sistematizar, inferenciar e a interpretar estudos qualiquantitativos (BARDIN, 2007).
Segundo as abordagens de Fiorentini e Lorenzato (2009, p. 138), “este princípio da Análise de Conteúdo consiste em demonstrar a estrutura e os elementos desse conteúdo para esclarecer suas diferentes características e extrair sua significação”. Ainda com relação à TAC, segundo Spink (1993), constatamos a sua utilização na maioria das análises de dados em pesquisas, desde os primeiros levantamentos, que utilizam o referencial teórico das RS.
Para isso nos ativemos às perspectivas qualitativas e quantitativas que permitiram interpretar o objeto de estudo. Daí a existência de justificativas para que a pesquisadora investigasse à luz das RS, pelo fato de ser um referencial de importância na Educação Matemática, pertinente ao Ensino Superior e pelos entendimentos
interpretativos que a referida teoria pode contribuir para responder a questão norteadora da investigação, além da possibilidade de os sujeitos da pesquisa estabelecerem uma relação de simbolização com o objeto de estudo (Avaliação da Aprendizagem de conteúdos matemáticos) visível em suas respostas, a partir dos procedimentos utilizados no momento da coleta de dados da pesquisa. Assim, pudemos realizar a organização dos dados.
4.3.2 - Fontes de Informação - Organização dos Dados: software Iramuteq
Com o aumento de trabalhos utilizando combinações de métodos apropriados para coletar e analisar dados e, conhecendo a gênese da TRS apresentada anteriormente, utilizamos os procedimentos para tratar e organizar os dados coletados, a partir do software Iramuteq versão 0.7 alpha 2.
O critério para a escolha desse software foi porque ele trata os dados de tal maneira que podemos na análise, identificar a estrutura das RS do estudo, à luz do cruzamento de aspectos quantitativos, tais como: frequência das palavras evocadas pelos sujeitos da pesquisa e porcentagem delas em relação ao corpus textual e, com aspectos de ordem qualitativos proporcionados a partir dos instrumentos utilizados nessa pesquisa como questionários e os conteúdos de dados retirados do referido Grupo Focal.
A seguir, fizemos o resumo de alguns aspectos do software Iramuteq. Este agrupa os segmentos dos textos e os vocabulários correlacionando por conteúdo, por temas e por semelhança em um esquema hierárquico de classes. Assim, possibilita ao pesquisador, ao estudar o conteúdo de cada um desses grupos, dar nomes a essas classes a partir da compreensão teórica que se tem alinhada ao conteúdo que emerge de palavras, de expressões e de frases em cada um desses grupos.
A Análise sobre corpora textuais trata do material verbal transcrito a partir de uma coleta de dados. Analisa dados provenientes de textos produzidos das respostas dos sujeitos da pesquisa e oriundos de entrevistas, questionários, documentos etc. Inclusive, possibilita a análise relacional e de comparação dos mesmos (MARCHAND; RATINAUD, 2012).
Para entendermos esse modelo de análise por via do Iramuteq, apresentamos conhecimento sobre determinadas nomenclaturas, como corpus, texto e segmento de texto.
Figura 10: Análise por via do Iramuteq
Fonte: elaboração da pesquisadora, 2019.
O corpus é definido como o conjunto de texto que pretendemos analisar. Nesta investigação são as respostas dos sujeitos, dados e os instrumentos de coleta - o questionário com perguntas não estruturadas, duas questões abertas sobre Avaliação da Aprendizagem de conteúdos matemáticos nos segmentos da Educação Básica e na Licenciatura em Matemática.
O texto é um conjunto de segmentos de textos. Estes são textos dimensionados pelo Iramuteq e abrangem pelo menos três linhas e vão depender do tamanho do corpus (MARCHAND; RATINAUD, 2012). Eles se constituem em um corpus para análise, exemplificando: a resposta de uma questão aberta foi um texto e essa resposta é biunívoca ao participante que a respondeu. Desta forma, caso haja vinte e seis participantes para responder essa questão, teremos vinte e seis textos. Isso nos remete a alguns tipos de análise do Iramuteq que pode variar de acordo com a investigação, segundo Ratinaud Marchand (2012). No Quadro 11 e na Figura 11 seguem algumas de suas definições, embora tenhamos utilizado somente a Classificação Hierárquica Descendente (CHD) e de Nuvem de Palavras (NP).
Quadro 11: Definições sobre corpus no software Iramuteq
Análises: Definições:
Estatísticas Textuais
Clássicas
Identifica a quantidade e a frequência de palavras e palavras únicas (coeficiente de Hapax25) e, de acordo com as classes gramaticais na base raiz (lematização26) segundo Ratinaud (2014).
25 - Palavras com frequência 1em todo o corpus. Fonte: (MARCHAND e RATINAUD, 2012).
26 - Lematização – o ato de flexionar uma palavra. Exemplo: evocada, evoquei, evocarei. Elas são de o mesmo lema evocar. Análise por via do Iramuteq Corpus Segmento de Texto Texto
Pesquisa de
Especificidade de
Grupos
Há a associação de textos com variáveis. A análise do texto acontece “em função das varáveis de caracterização. É possível modelo de análise de contrastes das modalidades das variáveis e também a apresentação em plano fatorial”(CAMARGO; JUSTO, 2013, p. 5).
Classificação Hierárquica
Descendente (CHD)
Nela podemos inferir o conteúdo do corpus, nomear a classe e compreender grupos de discursos e ideias. Os segmentos de textos e seus vocabulários se correlacionam para que possam formar esquema hierárquico de classes de vocabulários (MARCHAND; RATINAUD, 2012).
Análise Fatorial de
Correspondência (AFC).
Permite visualizar, sob a forma de um plano fatorial, as posições resultantes do CHD (MARCHAND; RATINAUD, 2012).
A Análise de Similitude ou de Semelhança
É utilizada em pesquisa abraçada pela Teoria das RS, sendo apoiada na Teoria dos Grafos. Ela tem o intuito de identificar e compreender as estruturas locais (no Núcleo Central e no Sistema Periférico) da representação, através da Teoria dos Grafos (MARCHAND; RATINAUD, 2012). Nuvem de Palavras (Análises resultantes de palavras presentes no texto e de evocações livres)
É a última análise do corpus textual, ou seja, de conteúdo de texto. Ela mostra as palavras em forma de nuvens com tamanhos diferentes. As palavras maiores são aquelas que detêm certa importância no corpus textual a partir do indicador de frequência. Sendo quanto maior a palavra, maior é a sua importância e a representatividade dela no texto (MARCHAND; RATINAUD, 2012).
Fonte: a pesquisadora, 2019.
Figura 11: Tipos de Análises do Imurateq
Fonte: Adaptado de Marchand e Ratinaud (2012).
Desta forma, apontamos que o tratamento a partir do software Iramuteq foi ao encontro da nossa investigação e para isso, necessitamos que esse processo tivesse sua organização bem detalhada sem perder de vista o comprometimento com o referencial teórico, os objetivos e os dados produzidos da pesquisa, para construir a nossa análise.
Primeiramente ocorreu a organização de dados da Parte 1 em que foram identificadas as características gerais dos participantes da pesquisa, tais como: faixa
IRAMUTEQ Tipos de Análises Análises sobre corpora textuais Classificação Hierárquica Descendente (CHD) Pesquisa de especificidade de grupos Análise de similitude de palavras presentes no texto Estatísticas textuais clássicas Nuvem de palavras
etária, gênero, rede de ensino de conclusão de Ensino Médio, ser detentor de Ensino Superior, atuante na profissão de docente e se nela realizou Avaliação da Aprendizagem de conteúdos matemáticos para a análise. Na Parte 1.1 - Licenciatura em Matemática: Justificativas referentes ao curso de Licenciatura em Matemática em que os estudantes responderam às questões: o que pensam acerca da Matemática? Gostam do curso de Licenciatura em Matemática? São assíduos às aulas no curso de Licenciatura em Matemática? Esse momento teve como objetivo descobrir como eles se situam como estudantes da área de Matemática. Estes dados foram coletados a partir de questionário com perguntas fechadas e abertas.
Nesta etapa, ocorreu a organização de dados no programa de computação Iramuteq que contribuiu com as análises verbais dos sujeitos da investigação. Nessa etapa, Primeiro Momento da Parte 2, iniciamos com o esclarecimento sobre a pesquisa aos participantes e em seguida distribuímos o questionário constituinte de cinco indutores: associação à Matemática, curso de Licenciatura em Matemática e Avaliação da Aprendizagem de conteúdos matemáticos, em que possibilitaram aos estudantes evocar palavras. Após, foi pedido as respectivas justificativas da escolha das palavras. Assim, foi permitido tratá-las no software Iramuteq, à luz da Técnica de Associação Livre de Palavras (TALP).
Confirmamos como métodos e técnicas a utilização de questionários com perguntas abertas e fechadas, da Técnica de Associação Livre de Palavras (TALP) e a organização dos dados a partir do apoio do software Iramuteq 0.7 alpha 2 (Interface de R pour analyses Multidimension elles de Textes et de Questionnaires) para processar os dados, ancorado nos softwares R27e Python28. Este software gratuito foi desenvolvido pelo francês Pierre Ratinaud e sua função é fazer análises estatísticas sobre corpora textuais e tabelas (possibilita apreender a estrutura e a organização do discurso dos sujeitos). De caráter qualitativo nas análises de dados, complementa a Técnica de Análise de Conteúdo - TAC (RATINAUD; MARCHAND, 2012).
A Parte 3 referenciou as questões que são relatos de vivência acerca da Avaliação da Aprendizagem de conteúdos matemáticos na Educação Básica e no Ensino Superior. Ela foi obtida por meio de duas questões: relate uma experiência sua de Avaliação da
27 - “R é um ambiente de livre para computação estatística e gráfico. Ele compila e roda em uma ampla variedade de plataformas UNIX, Windows e MacOS”. Fonte: https://www.r-project.org/
28 - “O Python é uma linguagem de programação que permite trabalhar mais rapidamente e integrar seus sistemas com mais eficácia”. Fonte: www.python.org.
Aprendizagem de conteúdos matemáticos na Educação Básica (Ensinos Fundamental e Médio) e relate uma experiência sua da Avaliação da Aprendizagem na Licenciatura em Matemática no IFRJ. Essas questões tiveram com objetivo sondar o que eles vivenciaram e/ou entendem acerca da Avaliação da Aprendizagem de conteúdos matemáticos. Os estudantes as responderam individualmente.
Empregamos os softwares Microsoft Office Excel e Iramuteq que serviram para organizar dados qualitativos e quantitativos da investigação e ainda possibilitar sugestões de categorizações para os relatos dos depoentes, nos Primeiro e Segundo momentos da investigação. Organizamos os dados das Partes 1, 1.1, 2 e 3 e, elas constituem o Primeiro Momento da investigação, segundo roteiro (Apêndices A, B, C).
A seguir, os Quadros 12 e 13 ilustram uma síntese do Primeiro Momento da pesquisa:
• Parte 1 - Perfil dos estudantes pesquisados - tratou das características dos entrevistados.
• Parte 1.1 - Fez alusão às questões que trataram as informações sobre o que pensam os estudantes acerca da Matemática, Curso de Licenciatura em Matemática e se eles são assíduos às aulas no curso de Licenciatura em Matemática. Foi trabalhada com o software Iramuteq: Classificação Hierárquica Descendente (CHD) e da Nuvem de Palavras (NP).
• Parte 2 - Foram tratados os Aspectos de formação - Professor e Avaliação da Aprendizagem de conteúdos matemáticos, utilizamos o Teste de Associação Livre de Palavras (TALP). Foi realizada em duas etapas; ambas trabalhamos com o software Iramuteq. A primeira etapa tratou das palavras evocadas dos estudantes e fizemos o tratamento a partir da Árvore Máxima de Similitude (AMS) e da (NP). Na segunda, ocorreu o tratamento das justificativas dessas palavras, realizada por meio da Classificação Hierárquica Descendente (CHD) e também da NP.
• Parte 3 - Referenciou as questões que são relatos de vivência acerca da Avaliação da Aprendizagem de conteúdos matemáticos na Educação Básica e no Ensino Superior. Essa Parte trabalhamos com o software supracitado: a CHD e NP.
Quadro 12: Primeiro Momento – Partes 1, 1.1, 2 e 3
Primeiro Momento - Estudantes dos 1º e 7º Períodos
Partes 1 e 1.1 Perfil do (a) entrevistado (a) e
Licenciatura em Matemática Parte 2 Teste de Associação de Palavras Livres TALP - Evocação Parte 3 Questões Abertas Questões: Parte 1
- Faixa etária dos participantes - Gêneros dos estudantes - Rede de ensino de conclusão de Ensino Médio
- Possui outra Graduação? Qual? - Exerce ou exerceu o cargo de função de professor?
- O seu local de trabalho há algum tipo de Avaliação da Aprendizagem?
- Como a Avaliação da
Aprendizagem de conteúdos matemático é realizada? Parte1.1
O que pensam acerca da Matemática?
Gostam do curso de Licenciatura em Matemática?
São assíduos às aulas no curso de Licenciatura em Matemática?
Questões:
- Escreva, por favor, as cinco palavras que lhe vem à mente
sobre Avaliação da
Aprendizagem de conteúdos
matemáticos quando eles
associam à palavra Matemática. - Escreva, por favor, nas linhas a seguir, as cinco palavras que lhe vem à mente sobre Avaliação da Aprendizagem de conteúdos
matemáticos quando eles
associam ao curso de
Licenciatura em Matemática. - Em sua opinião, escreva as cinco palavras que lhe vem à
mente sobre Avaliação da
Aprendizagem de conteúdos matemáticos quando no curso de Licenciatura em Matemática.
Questões:
- Relate uma experiência sua
de Avaliação da
Aprendizagem de conteúdos matemáticos na Educação
Básica (Ensinos
Fundamental e Médio). - Relate uma experiência sua
da Avaliação da Aprendizagem de conteúdos matemáticos na Licenciatura em Matemática no IFRJ. Fonte: a pesquisadora, 2019.
No Segundo momento - Grupo Focal, continuamos a utilizar os mesmos softwares o Excel e o Iramuteq:
• Parte 1 - Excel para tratar: Trajetória Acadêmica.
• Parte 2 - Iramuteq para tratar: Questões norteadoras e estímulos indutores (Apêndices D e E).
Quadro 13: Segundo Momento, Partes 1 e 2 - Grupo Focal
Segundo Momento - Estudantes do 7º Período
Partes 1 Trajetória Acadêmica
Parte 2 Questões norteadoras Questão:
Sua vivência com a Matemática na Educação Básica foi decisiva à sua escolha para cursar a Licenciatura em Matemática?
Questões:
- O que você entende por Avaliação da Aprendizagem?
- O que representa para você a Avaliação da Aprendizagem de conteúdos matemáticos na Licenciatura em Matemática?
- Qual a contribuição dessa Avaliação da Aprendizagem de conteúdos matemáticos na sua formação, como futuro professor?
- Ela contribui para verificar a sua aprendizagem? - O que fazem os seus professores de conteúdos matemáticos quando uma parcela da turma tem desempenho baixo mostrado a partir dos resultados da Avaliação da Aprendizagem de conteúdos matemáticos?
Fonte: a pesquisadora, 2019.
4.4 - Procedimentos de Coleta de Dados
Para a coleta dos dados optamos pela abordagem direta aos estudantes no período de aula, com duração de uma hora e meia para cada coleta, nos meses de agosto e setembro de 2019, distribuídas em dois momentos.
No primeiro momento foi realizada a etapa com o instrumento: questionários com perguntas fechadas e abertas, distribuído em três partes, no mês de agosto de 2019: • Parte 1 (perfil do aluno), Parte 1.1 (Licenciatura em Matemática - Duração: vinte minutos.
• Parte 2 (Técnica de Associação Livre de palavras - TALP e Justificativas) - Duração cinquenta minutos.
• Parte 3 (Questões abertas – relatos acerca da Avaliação da Aprendizagem de conteúdos matemáticos) - Duração: vinte minutos.
O segundo momento ocorreu após resultados das análises do primeiro momento, no mês de setembro de 2019. Utilizamos o Grupo Focal como técnica de coleta de dados com o objetivo complementar de informações a partir de produções de dados significativos que levem à continuidade da investigação, no intuito de possibilitar responder a questão norteadora: quais são as Representações Sociais de estudantes de
Licenciatura em Matemática acerca da Avaliação da Aprendizagem de conteúdos matemáticos?
Foram utilizados os instrumentos e entregue aos alunos, sendo aplicado em etapas (APÊNDICES A, B, C, D e E).