Resultados relativos ao D8 Identificar a finalidade do texto

No quadro abaixo são identificados os acertos ou erros das crianças da turma da tarde nas questões do descritor 8 das quatro provas realizadas.

Quadro 24 - Acertos ou erros das crianças no Descritor 8 das quatro provas realizadas

Descritor D8 – Identificar a finalidade do texto Prova I1 F1 I2 F2 Questões Alunos 17 18 16 17 18 13 16 19 AT1 0 1 1 1 1 1 1 0 AT2 0 1 1 1 1 1 1 1 AT3 0 0 1 0 0 0 1 0 AT4 0 1 1 1 1 1 0 0 AT5 0 0 0 0 1 0 1 0 AT6 0 0 0 1 0 0 1 1 AT7 0 1 1 0 1 0 0 0 AT8 0 0 1 1 1 1 1 0 AT9 1 1 1 1 1 1 0 0 AT10 0 0 1 1 0 0 0 0 AT11 0 0 0 1 0 1 1 0 AT12 0 0 0 0 0 1 1 0 AT13 0 1 0 0 0 0 0 0 AT14 0 0 1 0 0 1 1 0

Assim como no caso do descritor anterior, não é possível afirmar, com certeza, se houve avanço ou não no desempenho das crianças entre a I2 e F2, pois as provas não apresentaram a mesma quantidade de questões.

Nas três primeiras provas aplicadas (I2, I1 e F1) apenas uma criança acertou todas as questões e uma errou todas as questões. As outras doze apresentaram algum erro em algumas das cinco questões desse descritor nas três provas.

Dessas crianças que erraram, oito não acertaram nenhuma das questões desse descritor na I1, três também erraram na F1 e sete erraram a única questão da I2. Ainda sobre os erros em I2, I1 e F1, cinco erraram de uma a duas questões dentre os cinco itens das três provas e oito erraram de três a cinco questões.

A única criança que acertou tudo em I1, F1 e I2, não manteve o resultado e acertou apenas uma das quatro questões na F2. Dentre as outras crianças que apresentaram algum erro nas três primeiras provas, uma acertou todas as três questões da F2; seis acertaram duas questões da F2, três acertaram apenas uma das três questões desse descritor na F2 e três não acertaram nenhuma.

No quadro abaixo são identificados os acertos ou erros alunos da tarde no descritor 9 na única prova em que esse descritor apareceu.

Quadro 25- Acertos ou erros das crianças no Descritor 9

Descritor D9 – Estabelecer relação entre partes do texto Prova F2 Questões Alunos 19 AT1 1 AT2 1 AT3 0 AT4 0 AT5 0 AT6 0 AT7 0 AT8 1 AT9 1 AT10 0 AT11 0 AT12 0 AT13 0 AT14 0

Não é possível tecer comparações a respeito desse descritor, pois o mesmo só apareceu na prova F2. Ainda assim, percebemos que o resultado não foi dos melhores, visto que apenas quatro crianças conseguiram acertar tal questão. Curiosamente, apesar de estar na matriz oficial da Provinha, esse descritor não tem sido avaliado na maioria das edições elaboradas pelo INEP, desde 2008.

4.3.2.10 Resultados relativos ao D10- Inferir informação

No quadro abaixo são identificados os acertos ou erros das crianças da turma tarde nas questões do descritor 10 das quatro provas realizadas.

Dentre as três primeiras provas aplicadas (I2, I1 e F1), apenas uma criança conseguiu acertar todas as questões, uma errou todas as questões e doze erraram algumas das questões desse descritor.

realizadas

Descritor D10 – Inferir informação Prova I1 F1 I2 F2 Questões Alunos 19 20 18 20 17 20 20 AT1 1 1 0 0 1 0 1 AT2 1 1 1 1 1 0 0 AT3 0 0 0 0 0 0 1 AT4 0 0 0 0 1 0 0 AT5 0 0 0 0 0 0 0 AT6 0 0 0 0 0 0 1 AT7 0 1 0 0 1 1 0 AT8 1 1 1 1 1 1 1 AT9 1 1 1 0 1 0 0 AT10 0 1 0 1 0 0 0 AT11 0 1 1 0 0 0 0 AT12 0 0 0 0 0 1 0 AT13 0 0 0 0 1 0 0 AT14 0 1 1 0 1 0 1

Das crianças que erraram, seis não acertaram nenhuma das três questões desse descritor na I1, oito também erraram na F1 e cinco erraram na I2. Ainda sobre os erros na I2, I1 e F1, quatro erraram de uma a três questões dentre os seis itens das três provas e cinco erraram de quatro a seis questões.

Não podemos afirmar, com precisão, se houve avanço ou não no desempenho das crianças entre a I2 e F2, pois as provas não apresentaram a mesma quantidade de questões, já que houve uma diminuição na quantidade de itens.

Na F2 havia apenas uma questão deste descritor. Cinco crianças acertaram esta questão e nove erravam, o que sugere que não se tratava de uma habilidade de compreensão simples para a maioria dos alunos participantes.

Sintetizando as evidências obtidas, vimos que a diferença na quantidade de itens apresentados nas provas, bem como as diferenças entre os itens apresentados no que se refere aos tipos de questões ou sub-habilidades impede uma avaliação precisa do desempenho das crianças.

A partir dos resultados das crianças nas provas I1, F1 e I2, que foram aplicadas em período muito próximo, comprovamos essa evidência. As crianças apresentaram oscilações no seu desempenho que são, seguramente, decorrentes das variações no nível de complexidade dos itens dos instrumentos, já que o nível de aprendizagem era, provavelmente, o mesmo.

Nas provas I2 e F2, onde foram avaliadas vinte e oito crianças das turmas da manhã e tarde, no final do primeiro semestre e depois ao final do segundo, também pudemos identificar uma falta de controle entre os níveis de complexidade dos itens. Ao final do ano, os “avanços” foram poucos e houve também a “regressão” de algumas crianças. Porém, numa análise mais pontual de cada descritor e de suas questões, vimos que os resultados variavam porque as questões apresentadas variavam tanto em quantidade como em tipo.

Com isso, ressaltamos a necessidade de controlar o nível de complexidade dos itens da Provinha Brasil principalmente entre o pré-teste e o pós-teste de uma mesma edição. Só assim este instrumento poderá atender ao seu objetivo de ser um diagnóstico das aprendizagens das crianças do 2° ano do 1° ciclo. Ele precisa servir para que sirva os professores para identifiquem e intervenham; para que, depois, ao final de um ano de investimentos, possam verificar, através de nova avaliação, com idêntico grau de dificuldade, a evolução das crianças.

5. Considerações finais

Nessa pesquisa, nossos objetivos específicos foram: Identificar as concepções das professoras a respeito da Provinha Brasil; Investigar como se dava a aplicação da Provinha Brasil e se esta poderia interferir nos resultados revelados pelos aprendizes; Avaliar a complexidade dos itens da Provinha Brasil, a fim de verificar se existia comparabilidade entre as edições de 2011 e 2012; e Examinar a evolução dos conhecimentos dos alunos pesquisados, na Provinha Brasil, verificando se os erros e acertos teriam a ver exclusivamente com os conhecimentos deles ou se poderiam ser influenciados pelo instrumento.

Com relação ao primeiro objetivo específico, de identificar as concepções das professoras a respeito da Provinha Brasil, a análise dos resultados demonstrou que as docentes reconheciam a importância da Provinha, como um instrumento avaliativo que servia como referencial para sua prática, bem como constituindo uma avaliação mais geral (para além da sala de aula) das crianças. Apesar disso, houve algumas críticas à Provinha, no sentido de questionar sua aplicação em todo o território nacional, visto que, como foi por elas explicitado, questões culturais de cada região não eram consideradas. Reiteramos que discordamos, parcialmente, dessa posição, pois, ainda que consideremos a diversidade cultural existente em nosso país, compreendemos que as habilidades avaliadas devem ser aprendidas por todas as crianças do 2° ano, independentemente do local em que morem.

A outra crítica colocada pelas professoras foi a referente ao processo de aplicação e correção da Provinha, no qual elas atuavam de forma muito passiva. Também questionamos tal fato, primeiro porque entendemos que esta é uma avaliação externa que tem um caráter muito diferente e específico, e, segundo, porque os documentos que tratam da Provinha estimulam a participação das professoras, apesar de deixar as organizações referentes ao processo de aplicação muito a critério de cada rede. As duas docentes já tinham experiências prévias com a Provinha, mas nunca tinham tido a oportunidade de aplicar e participar das correções, devido à postura da rede. Tal fato revela que a rede tem utilizado a avaliação não para diagnosticar os alunos, mas, sim, para monitorar os professores.

Os relatos das docentes sobre a falta de sistematicidade nos processos de avaliação existentes na rede reitera a necessidade da existência da Provinha. As professoras afirmaram que a existência de avaliações ficava a critério delas. Cremos

que a avaliação diagnóstica é algo fundamental no processo de aprendizagem e que colabora muito com a atuação docente. Sendo assim, faz-se necessária para o planejamento de um ensino ajustado às necessidades dos educandos.

No que se refere ao objetivo de investigar como se dava a aplicação da Provinha Brasil e se esta poderia interferir nos resultados revelados pelos aprendizes, vimos que, apesar das críticas que acusam a Provinha de ser estranha e controladora, as crianças demonstraram interesse em responder às questões.

Interpretamos que os poucos casos onde as crianças não seguiram as orientações da Provinha (porque responderam em voz alta, buscaram apoio dos colegas ou anteciparam as respostas), podem estar ligados a vivências do cotidiano escolar, como a correção coletiva de tarefas e a ausência de práticas de leitura silenciosa ou de resolução de tarefas escritas com itens de múltipla escolha.

Percebemos que as variações no tempo de resolução de itens ligados a diferentes descritores ou a um mesmo descritor refletem as diferenças no nível de complexidade das questões do exame, ao longo de diferentes edições.

Identificamos a falta de preparação e discussão anterior à aplicação da Provinha, bem como a ausência de uma participação mais ativa das docentes, já mencionada. Entendemos que tal postura, por parte da rede e das unidades de ensino, contribui para não comprometer o corpo docente com o espírito diagnóstico e não classificatório que a Provinha tem, e que a diferencia de outras avaliações em larga escala adotadas pelo INEP. Lembremos, ademais, que as famílias não eram envolvidas ou sequer comunicadas sobre a realização da Provinha.

Quanto ao objetivo específico de avaliar a complexidade dos itens da Provinha Brasil, a fim de verificar se existe comparabilidade entre as edições de 2011 e 2012, verificamos que existe uma grande variação, tanto entre os testes de uma mesma edição quanto aos testes de diferentes edições.

Vários fatores pareciam contribuir para não haver uma equivalência no nível de dificuldade dos itens que avaliavam um mesmo descritor. Por um lado, estava o efeito dos variados tipos de operação cognitiva, no caso dos descritores que avaliavam o conhecimento de letras e palavras. Por outro lado, no caso dos descritores que avaliavam a compreensão de leitura, vimos que tinham diferentes gêneros textuais, e a presença ou não de pistas visuais (ou decorrentes de uma memorização prévia de certos textos) pareciam influir, radicalmente, sobre os desempenhos dos alunos.

Parece-nos necessário considerar, ainda, que a familiaridade ou não dos aprendizes com certas práticas culturais (por exemplos, aulas de natação, festas de formatura e aniversário), poderia facilitar ou dificultar a demonstração dos conhecimentos que construíram.

A variação na quantidade de itens apresentados foi algo muito forte nas provas analisadas. Sendo uma avaliação nacional, proposta para turmas em diferentes níveis, é pertinente (e nada complicado, do ponto de vista operacional), apresentar, de forma igualada, as quantidades de questões de todos os descritores, com suas sub-habilidades ou subtipos, pelo menos em cada teste (pré-teste e pós- teste) de cada edição.

A análise dos dados referentes a este objetivo específico apontou a urgente necessidade de uma revisão do instrumento da Provinha Brasil, de forma a melhorá- lo e torná-lo mais eficaz na avaliação da alfabetização dos alunos da escola pública brasileira. Ressaltando, inclusive, a necessidade de serem avaliados, nas mesmas ocasiões, os conhecimentos dos aprendizes quanto às competências de escrever palavras e de produzir textos, que também compõem a noção de “sujeito alfabetizado”.

Ao comparar as edições de 2011 e 2012, percebemos que a Prova já vem sofrendo alterações e buscando melhorias, porém, não são explicitados critérios para as modificações realizadas. Por isso, buscamos apontar aspectos específicos que comprometem a eficácia e fidedignidade desta avaliação. Melhorando tais aspectos, será possível, de fato, comparar os desempenhos dos alunos, ao longo do ano, nas habilidades avaliadas.

Sobre o nosso último objetivo específico, de examinar a evolução dos conhecimentos dos alunos pesquisados, na Provinha Brasil, verificando se os erros e acertos teriam a ver, exclusivamente, com os conhecimentos deles ou se poderiam ser influenciados pelo instrumento, reiteramos as descobertas anteriores, de que o instrumento não permite uma avaliação comparativa do desempenho das crianças.

Dentre os dezessete estudos revisados em nossa fundamentação teórica, vimos que os dados desta pesquisa dialogam mais com os dados dos estudos de Morais (2012) e Morais, Leal e Pessoa (no prelo), que, embora não tenham realizado uma análise tão profunda a respeito do instrumento, revelaram que os itens apresentados nos testes possuíam variação no nível de complexidade e que estas variações provavelmente eram influenciadas pelo gênero textual, a

complexidade linguística, o suporte textual e o tamanho dos textos; a presença explícita ou a ausência de palavras que identificariam o assunto no texto; o trabalho inferencial implicado; o local em que apareciam as informações que permitiam identificar o assunto; e a presença ou ausência de palavras da superfície do texto dentre os distratores.

Os demais estudos, que no geral centram a crítica nas concepções da avaliação, não fazem, de modo geral, uma análise exaustiva do instrumento e não revelam dados específicos que lhe sirvam de argumento. Vale ressaltar que nossas criticas a tais pesquisas não se dão ao fato de estas serem contrárias a Provinha Brasil, até porque nós também apontamos aspectos negativos no instrumento e que precisam ser melhorados para que a prova assuma os objetivos que propõem, mas sim ao fato de se pautarem muito mais em discursos ideológicos do que em dados concretos.

Por fim, reconhecemos algumas limitações deste estudo, tais como: o fato dele ter sido realizado com duas turmas apenas; da análise do instrumento ter ocorrido em cima das provas da edição de 2011 e 2012 apenas, não utilizando as edições de 2008, 2009 e 2010 que foram anteriores a pesquisa; a ausência de um tratamento estatístico na análise da variação dos desempenhos das crianças e da provável variação dos níveis de complexidade dos itens dos exames.

Partindo do exposto, nosso estudo coloca como implicações pedagógicas a necessidade de se propor avaliações além da Provinha, ressaltado anteriormente pelo estudo de Morais, Leal e Albuquerque (2009), principalmente que enfoquem habilidades não avaliadas pelo exame, como: a escrita de palavras e a produção de textos. E também reitera a necessidade de discutir as políticas de avaliação externa com as professoras, para que estas possam ter uma compreensão de tais avaliações e para que possam usufruir de seus aspectos positivos.

A pesquisa revela ainda a necessidade de outros estudos sobre o instrumento avaliativo Provinha Brasil de modo a ampliar as reflexões sobre esse objeto de estudo. Desejando, porém, que estes estudos não partam de enviesamentos ideológicos e que busquem aprofundamento metodológico no trato dos apontamentos levantados para que possam, ainda que discordando, demonstrar pertinência.

6. Referências bibliográficas

ALBUQUERQUE, E. B. Correia de. Conceituando alfabetização e letramento. In: SANTOS, Carmi Ferraz; MENDONÇA, Márcia. (Org.). Alfabetização e letramento: conceitos e relações. Belo Horizonte: Autêntica, 2005.

ALBUQUERQUE, Eliana B. C. de; MORAIS, Artur G. de. Avaliação e alfabetização. In: MARCUSCHI, Beth; SUASSUNA, Lívia. (orgs.) Avaliação em língua portuguesa: Contribuições para a prática pedagógica. Belo Horizonte: Autêntica, 2006.

ALBUQUERQUE, Eliana B. C. de; MORAIS, Artur G. De; FERREIRA, Andréa Tereza Brito. As práticas cotidianas de alfabetização: o que fazem as professoras? Rio de Janeiro: Revista Brasileira de Educação, N. 38, V. 13, mai./ago. 2008.

ANDRÉ, Marli E. D. A. de. Etnografia da prática escolar. 15ª ed. Campinas: Papirus, 1995.

ANDRÉ, Marli E. D. A. de. Estudo de caso em pesquisa e avaliação educacional. Brasília: Líber Livro Editora, 2005.

ANGELUCCI, Carla Biancha; KALMUS, Jaqueline; PAPARELLI, Renata; PATTO, Maria Helena Souza. O estado da arte da pesquisa sobre o fracasso escolar (1991-2002): um estudo introdutório. São Paulo: Educação e Pesquisa, v.30, n° 1, p. 51-72, jan./abr. de 2004.

ARROYO, Miguel G. Fracasso/sucesso: um pesadelo que perturba nossos sonhos. Brasília: Rev. Em Aberto, v. 17, n° 71, p. 33-40, jan de 2000.

BAETA, Anna Maria Bianchini. Fracasso Escolar: Mito e Realidade. Ideias (UNICAMP), v. 6, p. 17-23, 1990.

BARDIN, Laurence. Análise de Conteúdo. Lisboa, Portugal: Edições 70, 1977. BARLOW, Michel. Avaliação escolar: Mitos e realidades. Porto Alegre: Artmed, 2006.

BOSSA, Nadia A. Fracasso escolar: Um olhar psicopedagógico. Porto Alegre: Artmed, 2002.

BRASIL, Ministério da Educação. Elementos conceituais e metodológicos para definição dos direitos de aprendizagem e desenvolvimento do Ciclo de alfabetização (1º, 2º e 3º anos) doo ensino fundamental. Brasília, 2012.

BRASIL, Ministério da Educação. Provinha Brasil. Disponível em: <http://provinhabrasil.inep.gov.br/>. Acesso em: Jan de 2010.

____________. Ensino Fundamental de Nove Anos: orientações para a inclusão da criança de seis anos de idade. Brasília: FNDE, Estação Gráfica, 2006.

COLLARES, Cecilia Azevedo Lima. Ajudando a desmistificar o fracasso escolar. Ideias (UNICAMP), v. 6, p. 24-29, 1990.

COOK-GUMPERZ, Jenny. A construção social da alfabetização. Porto Alegra: Artes médicas, 1991.

CORRÊA, Jociele; DORNELLES, Clara. Letramento, alfabetização e Provinha Brasil: um olhar sobre o objeto do ensino de português em séries iniciais. In: Anais do IX Encontro do CELSUL – Círculo de estudos lingüísticos do sul: Palhoça, 2010.

Disponível em:

<http://www.celsul.org.br/Encontros/09/artigos/Jociele%20Correa.pdf> Acesso em: 20.04.2012.

CORREIA, Joelma Reis. Anais da 35ª. Reunião Anual da Anped. Porto de

Galinhas, 2012. Disponível em:

<http://35reuniao.anped.org.br/images/stories/trabalhos/GT10%20Trabalhos/GT10- 2551_int.pdf> Acesso em: 20.12.2012.

COSTA, Diana Tavares da. Provinha Brasil: análise da avaliação por meio da visão de um grupo de professoras da rede pública de educação do Distrito Federal. Brasília: Universidade de Brasília / Faculdade de Educação (Trabalho de Conclusão de Curso – Graduação), 2011. Disponível em: <http://bdm.bce.unb.br/bitstream/10483/2278/1/2011_DianaTavaresdaCosta.pdf> Acesso em: 10.09.2012.

CRISTOFOLINI, Carla. Algumas considerações a respeito do letramento na Provinha Brasil. Working Papers em Lingüística: n.2.: 25-35, Florianópolis, 2010. Disponível em: <http://www.periodicos.ufsc.br/index.php/workingpapers/article/view/1984- 8420.2010v11n2p25/17479> Acesso em: 10.09.2012.

CUNHA, Alessandra. Professoras alfabetizadoras e a língua materna: relacionando as expectativas, os conteúdos e a forma de ensiná-los. In: Anais da 28ª. Reunião

Anual da Anped. Caxambu, 2005. Disponível em:

<http://www.anped.org.br/reunioes/28/textos/gt10/gt101439int.rtf.> Acesso em: 19.05.2009.

DOURADO, Viviane Carmem de Arruda. O atendimento a crianças com dificuldades de alfabetização: análise crítica do material didático do programa “se liga”. Anais do VII SELIMEL – Seminário Nacional sobre Ensino de Língua Materna e Estrangeira e de Literatura, Campina Grande: 2011.

ESTEBAN, Maria Teresa. Provinha Brasil: reeditando a velha confusão entre avaliação e exame. Revista Novamerica: v. 118, p. 72-75, 2008. Disponível em: <http://www.google.com/url?sa=t&rct=j&q=ESTEBAN%2C+Maria+Teresa.+Provinha +Brasil:+reeditando+a+velha+confus%C3%A3o+entre+avalia%C3%A7%C3%A3o+e +exame.&source=web&cd=1&ved=0CCIQFjAA&url=http%3A%2F%2Fwww.msebrasi l.org%2Fupload%2Farquivos%2FProvinha%2520Brasil_Maria%2520Teresa%2520E steban.doc&ei=xy5vT8PvJ9S-gAektJ1t&usg=AFQjCNGFgr1-

____________. Provinha Brasil: Desempenho escolar e discursos normativos sobre a infância. Sísifo / Revista de ciências da educação: n.º 9, mai/ago de 2009. Disponível em: <http://sisifo.fpce.ul.pt/pdfs/Revista%209%20PT%20d4.pdf> Acesso em: 10.02.2011.

____________. Considerações sobre a política de avaliação da alfabetização: pensando a partir do cotidiano escolar. Revista Brasileira de Educação: v. 17 n. 51 set.-dez de 2012.

FERREIRA, Andrea Brito; LEAL, Telma Ferraz. Avaliação na escola e ensino da língua portuguesa: introdução ao tema. In: MARCUSCHI, Beth; SUASSUNA, Lívia. (orgs.) Avaliação em língua portuguesa: Contribuições para a prática pedagógica. Belo Horizonte: Autêntica, 2006.

FERREIRO, Emilia. Alfabetização em processo. 11ª ed. São Paulo: Cortez, 1996. ____________. Com todas as letras. 6ª ed. São Paulo: Cortez, 1997.

____________. Passado e presente dos verbos ler e escrever. 3ª ed. São Paulo: Cortez, 2009.

____________. Reflexões sobre alfabetização. 25ª ed. São Paulo: Cortez, 2010. FERREIRO, E.; TEBEROSKY, A. Psicogênese da língua escrita. 4ª ed. Porto Alegre: Artes Médicas, 1991.

FERREIRO, E.; PALACIO, M. G; COLABORADORES. Analisis de las pertubaciones em el proceso de aprendisaje escolar de la lectura y la escritura. Fascículo 2: Evolución dela escritura durante el primeiro año escolar. México: SEP-OEA, 1982.

FILGUEIRAS, Karina. (Con)fusões entre alfabetização e letramento: as dificuldades de aprendizagem no processo de alfabetização numa escola pública e numa escola particular. Anais da 27ª. Reunião Anual da Anped. Caxambu, 2004. Disponível em: <http://www.anped.org.br/reunioes/27/gt10/p101.pdf>. Acesso em: 19.05.2009.

GONTIJO, Cláudia Maria Mendes. Avaliação da alfabetização: Provinha Brasil. Educação e Pesquisa, São Paulo: v.38, n.03, p. 603-622, jul./set. 2012.

HAYDT, Regina Célia Cazaux. Avaliação do processo ensino-aprendizagem. São