Grafico 4 Resultados da Escola 1 no PROALFA em turmas de 3º ano do Ensino
3.4 UMA AVALIAÇÃO EM LARGA ESCALA
3.4.2 Alguns conceitos básicos
Para avançarmos na análise que pretendemos realizar neste estudo, é necessário apresentar alguns conceitos fundamentais. Quando nós, professores de Ensino Fundamental, deparamo-nos com uma avaliação em larga escala, como o PROALFA, não sabemos, de imediato, se tudo o que esse teste implica. Dessa forma, a fim de termos uma melhor compreensão a respeito do assunto, precisamos lidar com alguns conceitos, tais como avaliação interna, avaliação externa, avaliação em larga escala, avaliação diagnóstica, matriz de ensino, matriz de referência, matriz de avaliação, descritores, item, Teoria da Resposta ao Item (TRI), escala de proficiência, padrão de desempenho.
No cotidiano escolar, o professor utiliza-se de diversos recursos para avaliar o aprendizado do aluno. Essa avaliação é denominada interna; já a avaliação externa, aplicada em larga escala, serve de instrumento para diagnosticar as condições em que se encontram alunos de determinadas escolas ou sistema de ensino. Assim:
[...] esse tipo de avaliação [a externa] apresenta três objetivos básicos: (a) a definição de subsídios para a formulação de políticas educacionais; (b) o acompanhamento ao longo do tempo da qualidade da educação; e (c) a produção de informações capazes de desenvolver relações significativas entre as unidades escolares e órgãos centrais ou distritais de secretarias, bem como iniciativas dentro das escolas (CAEd\UFJF, 2008, p. 9).
Os testes de proficiência e questionários são recursos usados pela avaliação em larga escala para avaliar o desempenho escolar e os fatores que influenciam no desempenho:
As avaliações em larga escala usam, como instrumentos, testes de proficiência e questionários, que permitem avaliar o desempenho escolar e os fatores intra e extraescolares associados a esse desempenho. Os testes de proficiência são elaborados a partir das Matrizes de Referência. Nas avaliações em larga escala, são elas que indicam o que é avaliado para cada área do conhecimento e etapa de escolaridade, informando as competências e habilidades esperadas, em diversos níveis de complexidade. Elas são compostas pelas habilidades passíveis de aferição por meio de testes padronizados de desempenho que sejam, ainda, relevantes e representativas de cada etapa de escolaridade e, portanto, não esgotam o conteúdo a ser trabalhado em sala de aula (CAEd/UFJF – PORTAL DE AVALIAÇÃO DO CAEd, 2013, n. p.).
Torna-se necessário, neste estudo, apresentar a definição de “matriz de referência” ou “matriz de avaliação”:
As Matrizes de Referência são compostas por um conjunto de descritores, os quais contemplam dois pontos básicos do que se pretende avaliar: o conteúdo programático a ser avaliado em cada período de escolarização e o nível de operação mental necessário para a habilidade avaliada. Tais descritores são selecionados para compor a Matriz, considerando-se aquilo que pode ser avaliado por meio de itens de múltipla escolha (CAEd/UFJF – GUIA DE ELABORAÇÃO DE ITEM, 2008, p. 14).
A matriz é formada por um conjunto de tópicos, que estão divididos de acordo com o conteúdo a ser avaliado:
A Matriz é formada por um conjunto de tópicos ou temas que representam uma subdivisão de acordo com conteúdo, competências de área e habilidades. Cada tópico ou tema de uma Matriz de Referência é constituído por elementos que descrevem as habilidades que serão avaliadas nos itens, esses elementos são os Descritores (CAEd/UFJF – PORTAL DE AVALIAÇÃO DO CAEd, 2013, n. p.).
A concepção de matriz do PROALFA foi criada no CEALE. Assim, conforme dados presentes no Boletim Pedagógico PROALFA (MINAS GERAIS, 2010, p. 21, v. 2):
Como se verá, a matriz se organiza da seguinte forma: na primeira coluna, são apresentados os tópicos, que remetem aos grandes eixos da alfabetização e letramento; na segunda coluna, são apresentadas as competências que reúnem, cada uma, um conjunto de habilidades que são referenciadas na terceira coluna, como descritores; os descritores, por sua vez, são detalhados na quarta e última coluna.
Dessa forma, a matriz de avaliação do PROALFA está organizada em cinco tópicos principais, que serão apresentados a seguir:
1- Reconhecimento de convenções do sistema alfabético: estão agrupadas as competências e habilidades básicas que são necessárias para que a criança consiga desenvolver-se na alfabetização e no letramento. Envolvem atividades as quais são, muitas vezes, já trabalhadas na Educação Infantil. São habilidades que antecedem um processo de leitura mais autônomo. Mesmo crianças não leitoras, podem ter desenvolvido essas habilidades em diferentes níveis. É importante a criança conhecer as convenções sobre a escrita alfabética para desenvolver o seu aprendizado da leitura e da escrita. O Quadro 1, a seguir, apresenta a Matriz de Referência do PROALFA:
Tópicos
Competências
Habilidades
Detalhamento das
habilidades
H1. Identificar letras do alfabeto
O aluno deve reconhecer letras do alfabeto apresentadas isoladamente, em sequências de letras ou no contexto de palavras. H2. Diferenciar letras de outros sinais gráficos, como os números, sinais de pontuação ou de outros sistemas de representação
O aluno precisa diferenciar letras de números e de outros símbolos. Deve reconhecer, por exemplo, um texto que circula socialmente ou uma sequência que apresenta somente letras, entre outros textos ou outras sequências que apresentam letras e números. T1- Reconhecimento de convenções do sistema alfabético C1. Identificação de letras do alfabeto H3. Distinguir, como leitor, diferentes tipos de letras.
O aluno deve identificar letras isoladas ou palavras escritas com diferentes tipos de letras: maiúscula, minúscula, cursiva; caixa alta e baixa. C2. Uso adequado da página. H4. Conhecer as direções e o alinhamento da escrita da Língua Portuguesa.
O alfabetizando, ao ter contato com um texto (contos, tirinhas, notícias, entre outros), deve identificar a direção formal da escrita: onde se inicia a leitura ou onde se localiza a última palavra do texto.
Considerando a tarefa de registro, escrito, espera-se que o aluno copie uma frase respeitando as direções da escrita (de cima para baixo, da esquerda para a direita), bem como demonstre o uso correto das linhas, das margens e do local adequado para iniciar a escrita em uma folha. Quadro 1: Matriz de Referência do PROALFA.
Fonte: Boletim de Resultado PROALFA 2011 (MINAS GERAIS, 2011, v. 3 ).
2 - Apropriação do sistema alfabético: diz respeito a habilidades necessárias para que o aluno entenda como funciona o sistema de escrita alfabética. Nesse sistema, está envolvido o processo da codificação e da decodificação. Esse tópico envolve habilidades básicas necessárias para que a criança faça a codificação e a decodificação, procedendo à escrita e à leitura. No Quadro 2, a seguir, continua a apresentação da Matriz de Referência do PROALFA:
Tópicos Competências Habilidades Detalhamento das habilidades
O alfabetizando precisa identificar o
número de sílabas que compõe uma
palavra ao ouvir a pronúncia de palavras H5. Identificar, ao (monossílabas, dissílabas, trissílabas, ouvir uma palavra, polissílabas; oxítonas, paroxítonas, pro- o número de sílabas paroxitonas)com diferentes estruturas (consciência silábica) silábicas (CV – consoante-vogal, CCV
– consoante-consoante-vogal, CVC –
consoante-vogal-consoante, V – vogal, VC – vogal-consoante, ditongo, etc.). C3. Aquisição de Ao ouvir palavras ditadas, pertencentes consciência H6. Identificar sons de a um mesmo campo semântico ou a fonológica sílabas (consciência campos semânticos distintos, o aluno
fonológica e cons-
ciência fonêmica) deve identificar sons de sílabas com
diferentes estruturas (CV, CCV, CVC,
V, VC, ditongo, etc.) no início, meio ou T2- Apropriação do no final das palavras.
sistema alfabético O aluno precisa reconhecer o número
de palavras que compõe um pequeno
texto. Precisa, também, ao observar uma palavra, ser capaz de identificar o número de vezes que ela se repete em um texto. H7. Compreender a função de segmentação de espaços em branco na delimitação de palavras em textos escritos.
Espera-se, ainda, que palavras compostas por menos de três letras, por exemplo, sejam identificadas como palavras.
C5. Leitura de palavras e
pequenos textos. H8. Ler palavras
O aluno deve ler palavras
silenciosamente, com apoio de um desenho que as representam.
Essa habilidade apresenta palavras em um nível crescente de dificuldade em relação à estrutura silábica, ou seja, sílabas CV, CVC, CCV, V e palavras com ditongo.
H9. Ler pequenos textos
O aluno deve ler frases e pequenos textos de até 6 linhas, de temas e
gêneros mais recorrentes na vida social, localizando informações explícitas neles contidas.
Quadro 2: Continuação da Matriz de Referência do PROALFA.
Fonte: Boletim de Resultado PROALFA 2011 (MINAS GERAIS, 2011, v. 3).
3 - Leitura, compreensão, análise e avaliação: é o tópico mais amplo da matriz de avaliação. Nele, são apresentadas habilidades necessárias para lidar com a interpretação de texto. Considera-se que a criança já esteja lendo e interpretando textos, o processo de codificação e decodificação já deveria estar vencido. Os
Quadros 3 e 4, a seguir, apresentam a continuação da Matriz de Referência do PROALFA:
Tópicos Competências Habilidades Detalhamento das habilidades
O aprendiz precisa identificar, no texto lido, uma informação que se apresenta
explicitamente. Essa informação pode estar presente no início, no meio ou no fim do texto.
H10. Localizar informação
explícita em textos O texto pode apresentar diferentes de maior extensão e graus de complexidade dependendo de gêneros e temas de fatores como: sua extensão (pequena, média ou grande), gênero, tema (mais ou menos usual) linguagem.
C6. Localização
O alfabetizando precisa conhecer gêneros textuais que privilegiam a narrativa, tais como contos de fadas, fábulas, lendas. São avaliadas fábulas, lendas. de informações explícitas em textos.
São avaliadas habilidades relacionadas à identificação habilidades relacionadas à identificação tempo (isolados ou conjuntamente), personagens e suas ações e conflito gerador. É importante evidenciar que, embora o foco de uma avaliação que se referencia na alfabetização e letramento seja o texto, em seus diferentes gêneros, reconhecendo a importância de textos de estrutura predominantemente narrativa como contos de fadas e fábulas, por exemplo, nessa faixa etária, considerou-se necessária a proposição de uma habilidade específica, com o intuito de enfatizar gêneros como os aqui exemplificados. H11. Identificar elementos que constroem a narrativa
O aprendiz precisa revelar capacidade de, a partir da leitura autônoma de um texto, inferir o sentido de uma palavra ou expressão menos frequente, em textos de tema/gênero familiar ou menos familiar. C7. Interpretação de informações implícitas em texto H12. Inferir informações em textos
O aluno deve realizar inferência, o que supõe que seja capaz de ir além do que está dito em um texto, ou seja, ir além
das informações explícitas, relacionando informações presentes em um texto (verbal, não verbal ou verbal e não verbal) com seus conhecimentos prévios, a fim de produzir sentido para o que foi lido.
Quadro 3: Continuação da Matriz de Referência do PROALFA.
Fonte: Boletim de Resultado PROALFA 2011 (MINAS GERAIS, 2011, v. 3).
Tópicos Competências Habilidades Detalhamento das habilidades
O aprendiz precisa revelar capacidade de, a partir da leitura autônoma de um texto, inferir o sentido de uma palavra
H12. Inferir
informações em textos
ou expressão menos frequente, em textos de tema/gênero familiar ou menos familiar. O aluno deve realizar inferência, o que supõe que seja capaz de ir além do que está dito em um texto. Ou além do que está dito em um texto. Ou seja, ir além das informações explícitas, relacionando informações presentes em um texto (verbal, não verbal ou verbal e não verbal) com seus conhecimentos prévios, a fim de produzir sentido para o que foi lido. C7. Interpretação
de informações implícitas em texto
H13. Identificar
assunto de texto O aluno deve demonstrar capacidade de
compreensão global do texto. Ele precisa ser capaz de, após ler um texto, dizer do que ele trata. Ou seja, ser capaz de realizar um exercício de síntese, identificar o assunto que representa a ideia central do texto.
H14. Formular hipóteses
O estudante precisa reconhecer/ antecipar o assunto de um texto a partir da observação de uma imagem e/ou da leitura de seu título.
O aluno deve identificar, em textos em
H15. Estabelecer relações lógico- discursivas presentes no texto
que predominam sequências narrativas ou expositivas/argumentativas, marcas linguísticas (como advérbios, conjunções etc.) que expressam relações de tempo, lugar, causa e consequência. C8. Coerência e coesão no processamento de texto H16. Estabelecer relações de continuidade temática a partir da recuperação de elementos da cadeia referencial do texto
O estudante deve recuperar o antecedente ou o referente de um determinado elemento anafórico (pronome, elipse ou designação anafórico (pronome, elipse ou designação de um nome próprio) destacado no texto. Ou seja, deve
demonstrar que compreendeu a que se refere esse elemento.
H17. Identificar efeito de sentido decorrente de recursos gráficos, seleção lexical e repetição
Ao ler o texto, o aluno deve ser capaz de identificar os efeitos de sentido decorrentes da utilização de recursos gráficos(caixa alta, grifo – itálico, negrito, sublinhado...), do léxico
(vocabulário) ou também de identificar o humor ou a ironia no texto, decorrentes desses recursos H18. Identificar marcas linguísticas que evidenciam o enunciador no discurso direto ou indireto
O aluno deve identificar, em um dado texto, a fala/discurso direto ou indireto. Nesse caso, o aluno terá que
demonstrar que reconhece quem “está com a palavra”.
C9. Avaliação do leitor
H19. Distinguir fato de opinião sobre o fato
O estudante deve ser capaz de distinguir um fato de uma opinião, explícita. em relação aos textos H20. Identificar tese e argumentos
O aluno precisa identificar a tese defendida em um texto e/ou os argumentos. H21. Avaliar a adequação da linguagem usada
O aluno deve ser capaz de identificar, por exemplo, marcas de oralidade .
exemplo, marcas de oralidade.
Quadro 4: Continuação da Matriz de Referência do PROALFA.
Fonte: Boletim de Resultado PROALFA 2011 (MINAS GERAIS, 2011, v. 2).
4. Usos sociais da leitura e da escrita: diz respeito ao letramento. A preocupação desse tópico está centrada na utilização social da ordem alfabética e da diversidade de gêneros textuais. É importante ressaltar que as avaliações em larga escala abrangem uma área restrita do letramento e só avalia o letramento escolar e uma pequena parte desse letramento. O Quadro 5 mostra os usos sociais da leitura e da escrita:
Quadro 5: Continuação da Matriz de Referência do PROALFA.
Fonte: Boletim de Resultado PROALFA 2011 (MINAS GERAIS, 2011, v. 3).
5. Produção escrita: este tópico não tem sido avaliado nas últimas edições do PROALFA, tanto que não está descrito na escala de proficiência que será analisada mais adiante, pois as avaliações têm-se restringido às habilidades de leitura. O Quadro 6 apresenta itens que envolvem a produção escrita:
Quadro 6: Continuação da Matriz de Referência do PROALFA.
Fonte: Boletim de Resultado PROALFA 2011 (MINAS GERAIS, 2011, v. 3).
TÓPICOS COMPETÊNCIAS HABILIDADES DETALHAMENTO DAS HABILIDADES O aluno deve reconhecer a ordem alfabética,
H22. Reconhecer tendo em vista seus usos sociais. É avaliado,
os usos sociais da por exemplo, se ele identifica o local
ordem alfabética de inserção de um nome em uma lista ou
agenda. Verifica-se, também, a capacidade de identificação do local correto de inserção de uma palavra no dicionário, a partir da observação da primeira letra. Espera-se, também, que o aprendiz saiba distinguir os
T4- Usos sociais da variados suportes que são organizados pela
leitura e da escrita C10. Implicações do ordem alfabética (dicionário, enciclopédia,
gênero e do suporte catálogo telefônico...).
na compreensão O estudante precisa identificar diferentes
de textos gêneros textuais, considerando sua
H23.Identificar gêneros função social, seu circuito comunicativo
textuais diversos e suas características linguístico-discursivas.
Inicialmente, são apresentados gêneros mais familiares aos alunos. Além de identificar gêneros textuais que circulam na sociedade, o aluno deve
H24. Reconhecer reconhecer a finalidade desses textos:
finalidade de gêneros para que servem e qual a sua função
textuais diversos comunicativa.
TÓPICOS COMPETÊNCIAS HABILIDADES
O alfabetizando necessita mostrar capacidade de escrever palavras de diversas
estruturas: monossílabas, dissílabas,
trissílabas, polissílabas; oxítonas, paroxitonas,
C11. Escrita H25. Escrever proparoxítonas; com diferentes
de palavras palavras padrões silábicos (CV, CCV, CVC, V, VC,
ditongo, etc.).
O aluno deve desenvolver a habilidade de produzir frases/ pequenos textos. A escrita de frases pode ser feita a partir
T5- Produção da observação de uma imagem. Já a
escrita C12. Escrita de H26. Escrever escrita de textos, como histórias, pode
frases/ textos frases/ textos ser feita com base na observação de
uma sequência de imagens. Outros gêneros mais familiares como lista, convite, aviso ou bilhete, por exemplo, também são solicitados para serem escritos, tendo em vista a definição de suas condições de produção: o que escrever (tema), para quem, para que, em que suporte e local de circulação.
Desse modo, a “matriz de avaliação” do PROALFA resume-se em 5 tópicos, 12 competências e 26 descritores ou habilidades. O primeiro tópico, com suas respectivas competências e habilidades, apresenta elementos básicos para o processo de alfabetização. À medida que se direciona para os tópicos finais, as habilidades e competências tornam-se mais difíceis e mais elaboradas, com ressalva para os dois últimos tópicos, que são mais específicos. O penúltimo tópico abarca os aspectos sociais da leitura, e o último tópico refere-se à escrita.
É importante ressaltar a diferença entre matriz de avaliação e matriz de ensino, que, em Minas Gerais, está expressa no Caderno 2, que trata das Orientações para Organização do Ciclo Inicial de Alfabetização. Essa proposta de ensino divide-se em cinco eixos: “compreensão e valorização da cultura escrita, apropriação do sistema de escrita, leitura, produção de textos escritos e desenvolvimento da oralidade” (CEALE, 2004, v. 2). A matriz de ensino é muito mais ampla, abrange os conteúdos a serem trabalhados, enquanto a matriz de avaliação do PROALFA apresenta, especificamente, o que será avaliado.
Para melhor entendimento de como funciona a montagem da avaliação, é preciso compreender o que são os itens:
Item é o nome dado para as questões que compõem a avaliação em larga escala, com uma diferença das propostas em sala de aula, pois o item avalia apenas uma habilidade, aborda uma única dimensão do conhecimento (CAEd/UFJF – PORTAL DE AVALIAÇÃO DO CAEd, 2013, n. p.).
Os itens têm suas especificidades e são elaborados para que o aluno dê uma única resposta. Nas avaliações em larga escala, existem itens dicotômicos e politômicos, os primeiros são aqueles que apresentam duas possibilidades de resposta: o correto e o incorreto; os politômicos caracterizam-se por um conjunto ordenado de respostas, não apenas pela apresentação do fator certo ou errado. No caso das avaliações do PROALFA, usam-se apenas itens dicotômicos. É importante ressaltar que, no processo de alfabetização, existem níveis diversos de desenvolvimento entre o certo e o errado, o que não é contemplado pela avaliação
PROALFA. De acordo com a resposta do aluno, é possível determinar a proficiência do educando para aquela determinada habilidade:
Os itens são elaborados para obter do aluno uma única resposta acerca da habilidade avaliada. A partir da análise das respostas dos alunos aos itens, pode-se calcular sua proficiência para aquela habilidade (CAEd/UFJF – PORTAL DE AVALIAÇÃO DO CAEd, 2013, n. p.).
Cada item é composto por enunciado, suporte e comando. O enunciado leva o aluno a solucionar a questão ou o problema mostrado. O suporte é a forma como o problema é apresentado e pode ser, por exemplo, um gráfico, uma figura, um texto. Comando é a orientação dada ao aluno para conseguir resolver o problema que “[...] deve ser preciso e estar nitidamente atrelado à habilidade que se pretende avaliar, explicando com clareza a tarefa a ser executada” (CAEd/UFJF - PORTAL DE AVALIAÇÃO DO CAEd, 2013, n. p.).
Para as alternativas de resposta, os alunos têm 4 ou 5 opções, sendo que a correta é denominada “gabarito”, e as alternativas incorretas são denominadas “distratores”:
São denominadas distratores as alternativas de resposta que não estão corretas, mas que devem ser plausíveis, referindo-se a raciocínios possíveis dos estudantes. Assim, o distrator pode revelar uma competência que não foi adquirida pelo estudante e mostrar o caminho que o professor deve seguir para sanar essa dificuldade. (CAEd/UFJF – PORTAL DE AVALIAÇÃO DO CAEd, 2013, n. p.).
Para a construção do teste, é interessante observar o seguinte relato:
Primeiramente, pegamos as habilidades da matriz e fazemos um levantamento de quantos itens mais ou menos precisamos de cada habilidade. Encomendamos mais ou menos o dobro dos itens do que necessitamos. Se precisarmos de 260, encomendamos 520. É sempre com essa média que trabalhamos. O que fazemos com isso? Recebemos esses itens. É bom termos pessoas diferentes
produzindo para virem ideias novas. Sempre que descobrimos alguém que é bom de serviço, pedimos para vir elaborar uns itens. É bom variar um pouco. Trabalhamos sempre coletivamente, pois é uma política para o Estado, assim, tem que ser uma equipe. Nós selecionamos os itens para fazer uma revisão, uma revisão técnica e uma revisão de linguagem (Representante do CEALE em entrevista concedida à pesquisadora no ano de 2012 ).
Os itens são elaborados por alguns parceiros, mas fica por conta do CEALE a revisão, a encomenda de itens, a orientação pedagógica e a montagem dos blocos de testes:
Nós temos vários parceiros que elaboram os itens. O CEALE é