Fundamentos do sistema de avaliação
Como se referiu de início, os objectivos deste estudo de avaliação foram: a) proceder a uma primeira avaliação das realizações e repercussões do Plano Nacional de Leitura durante o ano do seu lançamento; b) conceber e testar um Sistema de Avaliação do PNL, destinado a acompanhar o Plano ao longo de toda a sua execução, prevista para 10 anos (duas fases, de 5 anos cada).
A avaliação do primeiro ano do PNL consta dos capítulos 2 a 7 deste estudo e dos respectivos anexos. Neste último capítulo apresenta-se um modelo de Sistema de Avaliação do PNL, modelo esse que foi sendo elaborado, experimentado e aperfeiçoado no decurso do primeiro ano.
Alguns dos fundamentos teóricos e metodológicos que presidem a este modelo de avaliação foram abordados logo de início, na apresentação e no capítulo 1. Retomam-se ou acrescentam-se aqui apenas alguns pontos principais, directamente relativos ao encadeamento conceptual que está subja- cente ao sistema de avaliação proposto.
O primeiro ponto diz respeito às políticas públicas. Hoje em dia, muito em especial nos países mais desenvolvidos, a formulação e o desenvolvimento de políticas públicas, assim como dos respec- tivos planos e programas, tendem cada vez mais a apoiar-se em conhecimento sistemático e rigoroso, produzido com o apoio de metodologias de investigação em ciências sociais.
Nos termos em que a questão tem vindo a ser colocada por especialistas do espaço anglo-saxó- nico, isso corresponderia a uma substituição progressiva da tradicional opinion-based policy pela mais actual evidence-based policy (Davies, 2004). Os estudos de avaliação de políticas públicas assumem um lugar decisivo neste processo.
Porém, se essa alteração do peso relativo entre “conhecimento” e “opinião” parece estar efecti- vamente a fazer o seu caminho (em graus variados), também é verdade que na geração e regulação de políticas públicas não estão presentes apenas esses dois parâmetros.
Com efeito, as políticas públicas envolvem também todo um outro conjunto de saberes e juízos, como por exemplo os decorrentes da experiência, da pericialidade e do confronto de posições entre actores sociais e políticos. Para além disso, inscrevem-se num conjunto alargado de factores, como os contextos sociais e culturais, o quadro institucional, a situação económica e política, as relações de poder, a acção de grupos sociais, os recursos e as contingências (Pawson, 2002a, b; Davies, 2004; Moran, Rein e Goodin, 2006).
Por outro lado, a opinião (de um conjunto mais ou menos alargado de actores) e o conhecimento (produzido de maneira mais ou menos sistemática e rigorosa) surgem não só em relação de oposição,
mas também em relação de conjugação. Importa reter, em particular, que uma parte muito significa- tiva do conhecimento mobilizado na avaliação de políticas públicas é conhecimento sobre a opinião de actores envolvidos – mais precisamente, conhecimento sobre as representações, interesses, valores e atitudes desses actores sociais, a respeito dos assuntos em causa.
Em todo o caso, o conhecimento relevante para a avaliação não se reduz a dar a palavra aos actores socais envolvidos. Por mais importante que essa palavra seja, e é-o de facto, há outros elementos de informação a considerar, provenientes de outras fontes (estatísticas, documentais, etc.). E há toda a mobilização a efectuar de aquisições teóricas, referenciais comparativos e procedimentos inferen- ciais controlados, visando produzir uma avaliação não só descritiva mas também analítica.
O segundo ponto tem a ver com os paradigmas de avaliação. As considerações anteriores sobre políticas públicas recomendam que, quando se passa ao plano analítico, seja necessário superar tanto as versões dos estudos de avaliação estritamente “positivistas” quanto as versões redutoramente “cons- trutivistas”. Em termos esquemáticos, umas confiam exclusivamente em indicadores, as outras confiam exclusivamente nos actores. As primeiras baseiam-se em informação quantitativa de carácter objectivista e em procedimentos de análise “pré-pós” que, em geral, não tomam suficientemente em conta a mul- tiplicidade dos factores, a reflexividade dos agentes e a dinâmica dos processos. As segundas baseiam- -se em informação qualitativa de carácter discursivo e em procedimentos subjectivistas de análise interpretativa que, em geral, não tomam suficientemente em conta os contextos estruturais, os quadros institucionais e o poder causal dos mecanismos sociais.
A teoria e prática dos estudos de avaliação tem identificado diversos paradigmas destes estudos, alguns dos quais são versões da polarização referida entre “positivistas” e “construtivistas”, enquanto outros a procuram ultrapassar com contributos integradores diversos (Guba e Lincoln, 1989; Capucha, 1996; Capucha e outros, 1996; Patton, 1997, Pawson e Tilley, 1997; Rossi, Lipsey e Freeman, 2003). Actualmente, pode dizer-se que o “estado da arte” dos estudos de avaliação não só já superou em grande medida a referida polarização redutora como avançou bastante na exploração, em diversas direcções, das potencialidades da integração ponderada de registos informativos, procedimentos metodológicos e estratégias analíticas (Stern, 2005).
O Sistema de Avaliação do PNL aqui apresentado (Figura 8.1) assenta justamente numa concepção de estudos de avaliação que procura incorporar aquisições fundamentais neste domínio. Pode-se caracterizá-lo como um sistema de avaliação integrado e interactivo.
Em termos mais especificados, o desenho deste Sistema de Avaliação do PNL visa permitir: a) articular análises de indicadores com análises de actores; b) complementar balanços avaliativos de carácter descritivo com análises de avaliação interpretativas e explicativas de processos, resultados e impactes; c) confrontar informação produzida directamente por estudos realizados no âmbito do Plano com informação proveniente de operações realizadas com outros fins mas indirectamente rela- cionáveis com ele; d) conjugar um posicionamento de avaliação externa com uma interacção coope- rante com as entidades responsáveis pelo desenvolvimento do Plano, de modo a contribuir tanto para a produção de conhecimento e a prestação de contas pública (accountability) como para a aprendiza-
gem dos actores envolvidos, a regulação do Plano, o aperfeiçoamento continuado das suas acções e a potenciação dos seus resultados e impactes.
O terceiro ponto reporta-se aos métodos de avaliação. Do que fica dito atrás retira-se a necessidade de concretizar o sistema de avaliação recorrendo, no plano metodológico, a uma abordagem pluralista, “multi-método” (mixed method evaluation).
Aliás, de há muito que nas ciências sociais vêm sendo referenciadas as vantagens cognitivas da articulação de métodos. Também aqui estão largamente ultrapassadas as contraposições apriorísticas e exclusivistas entre métodos quantitativos e qualitativos, extensivos e intensivos, documentais e pre- senciais (Almeida e Pinto, 1976; Silva e Pinto, 1986; Brannen, 1992). Mais recentemente, é também nessa direcção que se orientam algumas importantes obras metodológicas de referência, tanto na investigação em ciências sociais como nos estudos de avaliação (Ragin, 1994; Capucha, 1996; Capucha e outros, 1996; Bryman, 2004; Stern, 2005; Axinn e Pearce, 2006).
O sistema de avaliação elaborado para o PNL prevê esta combinação de métodos múltiplos, quer nas operações de recolha de informação, quer nos procedimentos de análise dessa informação.
Desenho do sistema de avaliação
O Sistema de Avaliação do PNL aqui apresentado resulta de uma concepção inicial assente nos fundamentos acima enunciados e testada ao longo do primeiro ano de desenvolvimento do Plano. Essa primeira construção e aplicação de instrumentos metodológicos permitiu aferi-los e aperfeiçoá-los, e permitiu igualmente completar o desenho de conjunto do sistema de avaliação.
Em termos mais concretos, tal como consta em esquema da Figura 8.1, o Sistema de Avaliação do PNL é constituído nuclearmente por um conjunto de operações metodológicas.
Essas operações metodológicas foram concebidas de modo a poderem dar resposta aos objectivos da avaliaçãoespecíficos que o próprio PNL prevê, isto é: a) avaliar a execução dos programas em que o Plano se desdobra; b) avaliar as atitudes dos diversos segmentos do público abrangido; c) avaliar os impactes do Plano no desenvolvimento da leitura.
Em simultâneo, este dispositivo metodológico está concebido de maneira a incidir sobre quatro domínios de avaliaçãofundamentais em quaisquer políticas públicas, planos e programas: i) a concep- ção; ii) a operacionalização; iii) a execução; iv) os resultados e impactes.
Por outro lado, ainda, o sistema de avaliação foi construído de modo a integrar informação proveniente de um conjunto alargado de actores sociais, tanto promotores do Plano como destinatários dele, ou nele de algum modo intervenientes, desde a própria Comissão do Plano até à população em geral, passando por professores e alunos, bibliotecários (de bibliotecas escolares e bibliotecas públicas) e responsáveis autárquicos, pais e associações, actores de referência e profissionais de diversos domí- nios com relação com a leitura e com o PNL.
Quanto às operações metodológicas propriamente ditas, elas agrupam-se em três blocos.
Num primeiro bloco localizam-se as operações metodológicas directas, isto é, promovidas directamente para a avaliação do PNL. Deste bloco fazem parte, por um lado, as operações meto- dológicas que, na sua versão piloto, foram objecto deste estudo de avaliação: análise do sistema de informação do Plano; entrevistas à Comissão do PNL; inquérito às escolas; estudos de caso; barómetro de opinião pública; entrevistas a actores de referência. Estes instrumentos e procedi- mentos são basicamente os apresentados nos capítulos anteriores e nos anexos do presente estudo, introduzindo os aperfeiçoamentos recomendados pelo teste realizado no primeiro ano e alargando o seu âmbito de modo a abranger novas vertentes, de acordo com a evolução do PNL (por exem- plo, as escolas e bibliotecas escolares dos escalões de ensino que vão sendo sucessivamente objecto de acção sistemática do Plano, ou os médicos de clínica geral que entretanto começaram a desen- volver acções de sensibilização à leitura articuladas com o PNL). Prevê-se que algumas destas ope- rações metodológicas sejam de accionamento anual, mas outras poderão ser aplicadas mais espaçadamente, por exemplo de dois em dois anos.
Por outro lado, do bloco das operações metodológicas promovidas directamente para a avaliação do PNL fazem também parte os inquéritos aos hábitos de leitura da população em geral (Santos e outros, 2007) e, especificamente, da população escolar (Lages e outros, 2007). Os resultados da reali- zação destes inquéritos no primeiro ano do Plano constituem marcos de caracterização da situação de partida. A respectiva reedição, passados alguns anos (uma possibilidade é voltar a fazê-los no final da primeira fase do PNL, após 5 anos), poderá fornecer dados comparativos importantes para uma análise das evoluções da leitura na sociedade portuguesa, e em particular na escola, e, por conseguinte, proporcionar elementos de referência para uma avaliação alargada de impactes do PNL. Este bloco metodológico poderá ainda incluir um outro estudo, muito importante, sobre os impactes econó - micos da leitura e da literacia.
No segundo bloco inclui-se um conjunto de operações metodológicas indirectas, ou, mais pre- cisamente, que não são promovidas pelo PNL mas que podem fornecer indirectamente um conjunto valioso de dados para a avaliação dos seus processos e impactes. É o caso dos resultados dos exames e outras provas do ensino básico e secundário realizadas a nível nacional, sobretudo na medida em que possam ser objecto de análises de séries temporais. É também o caso dos estudos promovidos pela OCDE sobre competências de literacia, designadamente competências dos alunos, como o PISA (Programme for International Student Assessment),estudos que têm o interesse adicional de proporciona- rem comparações internacionais.
Por último, num terceiro bloco estão previstas operações metodológicas que possuem, antes de mais, um carácter de auto-avaliação. Uma delas teve já o seu primeiro passo num estudo realizado para o PNL sobre instrumentos para a avaliação do desempenho de leitura dos alunos nas escolas (Sim-Sim e Viana, 2007). Esse tipo de instrumentos, se construídos e aplicados de maneira generali- zada, poderá constituir um importante meio de auto-avaliação e regulação dos processos de ensino- -aprendizagem e um factor de melhoria das competências de leitura dos alunos. Além disso, se a
informação deles decorrente vier a ser tratada agregadamente, poderão fornecer elementos muito importantes para a avaliação de conjunto do PNL.
O mesmo se pode dizer de instrumentos de auto-avaliação que se poderão construir junto das bibliotecas escolares e públicas. Para além de as ajudarem a conhecer melhor os resultados e impactes das suas próprias actividades e, consequentemente, a aperfeiçoá-las e potenciá-las, também aqui a aná- lise agregada dos resultados poderá produzir elementos valiosos da avaliação do PNL.
A Figura 8.1 sintetiza graficamente a lógica geral deste Sistema de Avaliação do Plano Nacional de Leituraassim como as suas componentes principais: as operações metodológicas previstas (operações metodológicas de avaliação externa directa, de avaliação externa indirecta e de auto-avaliação), os actores sociais a abranger nessas operações metodológicas de avaliação (actores de diferentes tipos e com diferentes modos e graus de envolvimento no Plano), os domínios de avaliação sobre os quais as operações metodológicas incidem (concepção, operacionalização, execução, resultados e impactes) e os objectivos de avaliação (execução dos programas, atitudes dos diversos segmentos do público abran- gido, impactes no desenvolvimento da leitura) a que especificamente se procura dar resposta.
Figur
a 8.
1
Sistema de A
valiação do Plano Nacional de Leitura
Análise do sis tema de inf ormação do PNL; Entr evis tas à coor denação do PNL Entr evis tas a act or es de r ef erência Es
tudos de caso (Escolas, Biblio
tecas Escolar es, Biblio tecas Públicas, A ut ar q uias, outr os…) Inq uérit o às escolas Baróme tr o de opinião pública Inq uérit os aos hábit
os de leitura (da população por
tuguesa, da população escolar e outr
os)
Es
tudo do im
pacte económico da leitura e da literacia
DIRECT AS Ex ames e pr o vas de af erição nacionais Inq uérit os internacionais de a valiação de com pe tências (PIS A e outr os) Ins trument os de a valiação da pr ogr
essão da leitura nas escolas
Ins trument os de aut o-a valiação biblio tecas escolar es Ins trument os de aut o-a valiação biblio tecas públicas A UTO -A V ALIAÇÃO INDIRECT AS OBJECTIV OS D A A V ALIAÇÃO DOMÍNIOS DE A V ALIAÇÃO Comissão PNL A ct or es de r ef erência Pr of essor es Alunos R esponsáv eis BE R esponsáv eis BP R esponsáv eis A ut ar q uias Outr os act or es (f amílias, médicos, e tc.) P opulação em geral Ex ecução dos pr ogramas Concepção Operacionalização Ex ecução R esult ados e Im pactes A
titudes dos dif
er entes act or es sociais Im pactes no desen volviment o da leitura A C T O R E S O P E R A Ç Õ E S M E T O D O L Ó G I C A S
REFERÊNCIAS BIBLIOGRÁFICAS
Almeida, João Ferreira de, e José Madureira Pinto (1976), A Investigação nas Ciências Sociais, Lisboa, Presença.
Ávila, Patrícia (2008), A Literacia dos Adultos. Competências-chave na Sociedade do Conhecimento, Lisboa, Celta Editora.
Axinn, William G., e Lisa D. Pearce (2006), Mixed Method Data Collection Strategies, Cambridge, Cambridge University Press.
Barton, David (2007), Literacy. An Introduction to the Ecology of Written Language, Malden, Blackwell Publishing.
Barton, David, e Mary Hamilton (1998), Local Literacies. Reading and Wrinting in one Community, Londres, Routledge.
Baudelot, Christian, Marie Cartier e Christine Detrez (2000), Et Pourtant ils Lisent, Paris, Editions du Seuil.
Benavente, Ana, Alexandre Rosa, António Firmino da Costa e Patrícia Ávila (1996), A Literacia em Portugal. Resultados de uma Pesquisa Extensiva e Monográfica, Lisboa, Fundação Calouste Gulbenkian / Conselho Nacional de Educação.
Brannen, Júlia (ed.) (1992), Mixing Methods: Qualitative and Quantitative Research, Aldershot (UK), Ashgate.
Bryman, Alan (2004), Social Research Methods, 2nd ed., Oxford, Oxford University Press.
Capucha, Luís (1996), “Sistema de avaliação de programas: uma proposta para o futuro”, Sociologia, Problemas e Práticas,22, pp. 185-193.
Capucha, Luís, João Ferreira de Almeida, Paulo Pedroso e José Vieira da Silva (1996), “Metodologias de avaliação: o estado da arte em Portugal”, Sociologia, Problemas e Práticas, 22, pp. 9-27.
Carey, Siobhán, Ann Bridgwood, Margaret Thomas e Patrícia Ávila (2000), “Adult literacy in Portugal”, em Siobhán Carey (org.), Measuring Adult Literacy. The International Adult Literacy Survey in the European Context,Londres, ONS, pp. 218-238.
Costa, António Firmino da (2003), “Competências para a sociedade educativa: questões teóricas e resultados de investigação”, em AA.VV., Cruzamentos de Saberes. Aprendizagens Sustentáveis, Lisboa, Fundação Calouste Gulbenkian, pp. 179-194.
Costa, António Firmino da, e Patrícia Ávila (1998), “Problemas da/de literacia”, Ler História, 35, pp. 127-150.
Davies, Philip (2004), “Is evidence-based government possible?”, paper presented at the 4th Annual Campbell Collaboration Colloquium, Washington D.C.
Ferrão, João (1996), “A avaliação comunitária de programas regionais: aspectos de uma experiência recente”, Sociologia, Problemas e Práticas, 22, pp. 29-41.
Gore, Al (2007), The Assault on Reason, Londres, Bloomsburry.
Goody, Jack (1987a), The Interface Between the Written and the Oral, Cambridge, Cambridge University Press.
Goody, Jack (1987b), A Lógica da Escrita e a Organização da Sociedade, Lisboa, Edições 70.
Goody, Jack (2000), The Power of the Written Tradition, Washington, Smithsonian Institution Press. Guba, Egon G., e Yvonna S. Lincoln (1989), Fourth Generation Evaluation, Newbury Park (Cal.), Sage. Griswold, Wendy, Terry McDonnell e Nathan Wright (2005), “Reading and the reading class in the
twenty-first century”, Annual Review of Sociology, 31, pp. 127-141.
Lages, Mário F., Carlos Liz, João H. C. António e Tânia Sofia Correia (2007), Os Estudantes e a Leitura,Lisboa, GEPE/Ministério da Educação.
Lahire, Bernard (1993), “Pratiques d’ecriture et sens pratique”, em Martine Chaudron e François de Singly (orgs.), Identité, Lecture, Écriture, Paris Centre Georges Pompidou, pp. 115-130.
Lahire, Bernard (2001, 2003), O Homem Plural. As Molas da Acção, Lisboa, Instituto Piaget.
Lahire, Bernard (2004), “Formas de lectura estudantil y categorías escolares de la comprensíon de la lectura”, em Bernard Lahire (org.), Sociología de la Lectura, Barcelona, Editorial Gedisa, pp. 149-178.
Moran, Michael, Martin Rein e Robert E. Goodwin (eds.) (2006), The Oxford Handbook of Public Policy,Oxford, Oxford University Press.
Murray, T. Scott (2003a), “Reflections on international competence assessments”, em Dominique Si- mone Rychen e Laura Hersh Salganik (orgs.), Key Competencies for a Successful Life and a Well- Functioning Society,Gottingen, Hogrefe & Huber Publishers, pp. 135-160.
Murray, T. Scott (2003b), “Training cycles and skill for new learning activities: the case for Portugal”, em AA.VV., Cruzamentos de Saberes. Aprendizagens Sustentáveis, Lisboa, Fundação Calouste Gulbenkian, pp. 155-178.
Neves, José Soares, Maria João Lima e Vera Borges (2007), Práticas de Promoção da Leitura nos Países da OCDE,Lisboa, OAC (edição electrónica).
OCDE (2001), Knowledge and Skills for Life. First Results from PISA 2000, Paris, OCDE. OCDE (2004), Learning for Tomorrow’s World. First Results from PISA 2003, Paris, OCDE. OCDE (2007), PISA 2006: Science Competencies for Tomorrow’s World, Paris, OCDE.
OCDE e Statistics Canada (2000), Literacy in the Information Age. Final Report of the Internacional Adult Literacy Survey,Paris, OCDE.
Papen, Uta (2005), Adult Literacy as Social Practice, Nova Iorque, Routledge.
Patton, Michael Quinn (1997), Utilization-Focused Evaluation, 3rd ed., Thousand Oaks, Sage.
Pawson, Ray (2002a), “Evidence-based policy: in search of a method”, Evaluation, 8(2), pp. 157-181. Pawson, Ray (2002b), “Evidence-based policy: the promise of ‘realist synthesis’”, Evaluation, 8(3),
Pawson, Ray, e Nick Tilley (1997), Realistic Evaluation, London, Sage.
Pinto-Ferreira, Carlos, Anabela Serrão, e Lídia Padinha (2007), PISA 2006. Competências Científicas dos Alunos Portugueses,Lisboa, GAVE (edição electrónica).
Ragin, Charles C. (1994), Constructing Social Research, Thousand Oaks, Pine Forge Press.
Rossi, Peter H., Mark W. Lipsey e Howard E. Freeman (2003), Evaluation: A Systematic Approach, 7th ed., Newbury Park (Cal.), Sage.
Rychen, Dominique Simone, e Laura Hersh Salganik (orgs.) (2003b), Key Competencies for a Successful Life and a Well-Functioning Society,Gottingen, Hogrefe & Huber Publishers.
Santos, Maria de Lourdes Lima dos, José Soares Neves, Maria João Lima e Margarida Carvalho (2007), A Leitura em Portugal,Lisboa, GEPE/Ministério da Educação.
Silva, Augusto Santos, e José Madureira Pinto (orgs.) (1986), Metodologia das Ciências Sociais, Porto, Afrontamento.
Sim-Sim, Inês, e Fernanda Leopoldina Viana (2007), Para a Avaliação do Desempenho de Leitura, Lisboa, GEPE/Ministério da Educação.
ANEXO I
Inquérito às Escolas
Índice
1. POPULAÇÃO E AMOSTRA ... 105 Quadro 1: Região e tipologia ... 105 Quadro 2: Distrito ... 106 Quadro 3: Grupo/Natureza ... 106 Quadro 4: Pertença à RBE ... 106 2. QUADROS DE RESULTADOS ... 107 2.1. OUTROS DADOS DE CARACTERIZAÇÃO DAS ESCOLAS INQUIRIDAS ... 107 Quadro 5: Níveis de ensino existentes nas escolas inquiridas ... 107 Quadro 6: Professor de contacto para o PNL nas escolas (P1) ... 107 Quadro 7: Alunos e turmas / salas das escolas inquiridas, por nível de ensino (P2) ... 107 2.2. ACTIVIDADES DESENVOLVIDAS PELA ESCOLA NO ÂMBITO DO PNL ... 108 Quadro 8: Actividades desenvolvidas pelas escolas no âmbito do PNL, por nível de ensino (P3) ... 108 Quadro 9: Turmas abrangidas por cada actividade desenvolvida, por nível de ensino (P4) ... 109 Quadro 10: Âmbito em que se enquadram as actividades desenvolvidas, por nível de ensino (P5) ... 110 Quadro 11: Locais onde se realizaram as actividades, por nível de ensino (P6) ... 111 Quadro 12: Frequência da leitura em sala de aula, por nível de ensino (P7) ... 112 Quadro 13: Turmas/salas em que foram lidos livros por nível de ensino (P8) ... 113 Quadro 14: Utilização dos livros recomendados pelo PNL na leitura em sala de aula, por nível de ensino (P9) ... 114 Quadro 15: Apreciação da lista de livros recomendados pelo PNL, por nível de ensino (P10) ... 114