Feitos os esclarecimentos acerca da estratégia de pesquisa que orientou o estudo e dos procedimentos de recolha e tratamento dos dados, importa agora dar conta da estratégia global de análise dos dados.
Os dados foram analisados procurando aproveitar o acervo das falas e experiências que se obtiveram com as entrevistas. Nos dados foram identificados aspectos relevantes dos entrevistados, com um olhar interpretativo do pesquisador, que oscilou entre a subjetividade e a objetividade, e houve possibilidade de escolha de textos diferentes, de acordo com o objeto de estudo da pesquisa. A análise foi, portanto, sistemática e analógica, reinterpretando os elementos identificadores no confronto com as dimensões e categorias de análise selecionadas. Procurou-se fazer o estudo comparativo do processo de avaliação do sistema de avaliação dos dois países de modo reflexivo, interpretativo e dinâmico, estabelecendo relações entre o estudo empírico e a fundamentação teórica.
Foram consideradas três dimensões de análise, cada uma composta por duas categorias antagônicas.
Para cada bloco de categorias de análise foram identificados indicadores considerados no processo analítico, de maneira a permitir uma compreensão do conjunto de análise que se pretendeu desenvolver e suas inter-relações:
Dimensão 1: Sistema Brasil x Portugal.
Dimensão 2: Modelo de avaliação interna para fins educativos e avaliação externa para regulação.
Dimensão 3: Tendências internacionais: homogeneização e diferenciação.
A análise da dimensão 1 focalizou duas categorias: “Sistema de Avaliação do Brasil” e “Sistema de Avaliação de Portugal” e os elementos constitutivos dos dois sistemas de avaliação dos dois países: instituições e cursos, avaliação interna x avaliação externa e atores representativos dos dois sistemas.
A dimensão 2 focalizou e aprofundou duas categorias a avaliação para fins educativos e a avaliação para fins de regulação nos dois países e incidiu saber três indicadores: finalidades, instrumentos e uso dos resultados dessas duas modalidades avaliativas.
A terceira e última dimensão que faz parte da conclusão do trabalho e que está intimamente ligada com o problema de pesquisa, focalizou as duas categorias homogeneização e diferenciação presentes nos dois sistemas de avaliação e incide sobre valores locais x valores globais, papel dos governos e das instituições e a questão da avaliação x autonomia.
O Quadro 3 dá um panorama completo das dimensões, categorias e indicadores que nortearam o trabalho empírico e constituíram referencial básico para a análise comparativa.
Dimensões Categorias Indicadores
Dimensão 1 Sistema Brasil/ Portugal Instituições/ cursos
Avaliação interna x avaliação externa
Avaliação educativa x avaliação para regulação
Atores representativos
Dimensão 2 Modelo de avaliação
interna/ Modelo de avaliação externa
Finalidades Instrumentos Uso dos resultados
Dimensão 3 Tendências
internacionais: Homogeneização / Diferenciação
Valores locais e valores globais A avaliação e a autonomia das IES.
Quadro 3 - Dimensões, categorias de análise e indicadores, segundo avaliação Brasil x Portugal Fonte: Quadro elaborado pelo autor.
Para concluir o capítulo que trata do percurso metodológico pode-se resumir e sintetizar as etapas e fases da pesquisa relacionadas aos procedimentos metodológicos, no Quadro 4 a seguir:
ETAPAS / FASES PROCEDIMENTOS
1ª etapa: Estratégia de pesquisa. Abordagem qualitativa. Estudo de caso. Método comparativo. 2ª etapa: Procedimentos de recolha de informação. Fase A
Pesquisa bibliográfica e documental.
Fase B
Instrumentos de coleta de dados
Levantamento bibliográfico e documental (registros, estatísticas, documentos oficiais, portais de Internet, livros, revistas,
dissertações e teses).
Entrevistas semiestruturadas com
informantes selecionados dos dois países: pesquisadores, professores especializados na área, técnicos, presidentes e ex-presidentes dos Conselhos e Comissões Nacionais de
(entrevistas semiestruturadas) População entrevistada
Avaliação, representantes governamentais.
3ª etapa:
Estratégia geral de análise dos dados empíricos
Análise do conteúdo das entrevistas através da seleção das seguintes categorias de análise:
- sistema Brasil/ Portugal
- avaliação interna x avaliação externa - homogeneização e diferenciação
Quadro 4 - Etapas, Fases e Procedimentos de Pesquisa Fonte: Quadro elaborado pelo autor.
3 PRINCIPAIS CONCEPÇÕES DE AVALIAÇÃO
São inúmeras as concepções e definições da avaliação educacional na literatura, que seria impossível de se abordar neste trabalho todas as definições e ideias acerca desse tema. Opta-se, assim, por proceder a um levantamento de abordagens mais marcantes que, pela sua inovação ou pertinência, têm sido alvos de constante destaque na literatura, assim como por aquelas que mantêm relação mais direta com o objeto desta investigação.
De acordo com Nevo (1986), as várias definições de avaliação podem ser estruturadas em três grandes grupos: a avaliação centrada em objetivos, a avaliação descritiva e a avaliação valorativa. O primeiro grupo, que se refere à avaliação por objetivos, é, frequentemente, definido como comparação e confronto entre objetivos previamente determinados e as
performances ou resultados observados e alcançados, definição atribuível a Tyler (1977 apud
NEVO, 1986). Os estudos de Tyler foram muito importantes e marcaram a história da avaliação e sua concepção estimulou um grande número de educadores americanos a verem a avaliação como algo mais complexo do que testar os estudantes com o propósito de medir seu desempenho e atribuir classificações. A grande inovação introduzida pelos trabalhos de Tyler é a utilização de objetivos como referência para avaliar, visando determinar até que ponto os objetivos educacionais foram alcançados. O seu modelo ficou vulgarmente conhecido como modelo centrado em objetivos por serem estes o critério referencial. Segundo esta perspectiva, um programa, curso, currículo ou instituição serão bem avaliados se os objetivos expressos foram atendidos e cumpridos.
Para Santanna (2002), a avaliação neste enfoque consistirá em reestabelecer uma comparação do que foi alcançado com o que se pretende atingir. Estaremos avaliando quando examinarmos o que queremos, o que estamos construindo e o que conseguimos, analisando sua validade e eficiência. Depreende-se do pensamento da autora que a avaliação, para atingir os seus propósitos, terá que fazer uma comparação entre aquilo que foi projetado e aquilo que foi alcançado. Ainda nesta perspectiva, destaca-se a visão de Amaral (1997), segundo a qual é importante definir os seus objetivos, uma vez que estes podem ser muito diversos e, por vezes, mesmo incompatíveis. Por exemplo, a avaliação pode ser utilizada para melhorar a qualidade de um curso ou de uma instituição. Em relação a um curso, interessará saber: quais os seus pontos fracos e os seus pontos fortes, quais os níveis de repetências e abandono, qual a posição dos egressos no mercado de trabalho. A avaliação pode ser ainda um processo
voluntário iniciado por uma instituição para demonstrar à sociedade que tem qualidade, que os seus programas de ensino são excelentes. Mas a avaliação pode ser usada também pelo Estado para fins de regulação e para obter critérios, por exemplo, para a alocação de recursos. Amaral (1997) observa ainda que os tipos de critérios utilizados para avaliação podem ser diversos. Em geral, podem reduzir-se a três, usados isoladamente ou de forma combinada: a) grau de cumprimento de objetivos pré-fixados, partindo da definição da missão da instituição e verificando em que grau vem sendo cumprida; b) grau de cumprimento de requisitos externos, por exemplo, os definidos por uma associação profissional; c) a avaliação do desempenho, ou seja, a comparação do modo de funcionamento em relação a situações normativas.
A aplicação desses critérios não está isenta de críticas, ainda segundo o mesmo autor. O primeiro critério é essencialmente interno e é particularmente útil em sistemas de ensino muito heterogêneos. Admite-se, neste caso, a coexistência de instituições com missões, objetivos e graus de financiamento diversos, mas todos com a sua utilidade dentro dos sistemas de ensino, não podendo, porém, fazer-se uma comparação com outras instituições devido ao seu caráter interno e à sua diversidade. O segundo critério, pelo contrário, é essencialmente externo e a avaliação consiste em verificar o grau de cumprimento de padrões definidos, por exemplo, por agências de acreditação ou por Ordens Profissionais como a dos advogados, dos engenheiros etc., quando se trata da acreditação de cursos que garantem o exercício de atividades profissionais. Finalmente, o último critério é usado quando se pretende efetuar um ranking de instituições ou de programas. A sua utilização pelos governos é frequente, quando estes pretendem justificar publicamente decisões sobre o nível de financiamento atribuído às diversas instituições. A performance de uma instituição (ou de um curso) é comparada com a de outras instituições (ou de outros cursos), recorrendo a indicadores de desempenho que devem ser claramente definidos.
O segundo grupo, segundo Nevo (1986), engloba as definições descritivas e, portanto, não valorativas, ou seja, a avaliação é realizada para reunir informações que possibilitam um estudo diagnóstico de determinada realidade, com vista a uma posterior tomada de decisão, definição atribuível a Stufflebeam (1978 apud NEVO, 1986). Para este autor, a qualidade da informação ocupa lugar de destaque, nesta concepção, porque a avaliação consiste na procura de informações úteis e na sua comunicação àqueles que têm que tomar decisões sobre o ensino ou sobre as instituições. O que se destaca nesta concepção de avaliação é, precisamente, a projeção sobre o processo, os insumos e não apenas sobre o produto ou o
resultado, onde os critérios de utilidade e relevância assumem papel preponderante. A avaliação é uma faceta necessária do aperfeiçoamento, justificando-a do seguinte modo:
não podemos melhorar os nossos programas a menos que saibamos quais são os seus pontos débeis e fortes e a menos que disponhamos de melhores meios. Não podemos estar seguros de que as nossas metas são válidas a menos que possamos compará-las com as necessidades das pessoas que pretendemos servir (STUFFLEBEAM, 1978 apud NEVO, 1986; CRONBACH, 1963 apud NEVO, 1986).
Ainda neste contexto, introduz importantes ideias no campo da avaliação educacional e o que mais o identifica é, precisamente, a ideia de que a avaliação é a coleta de informações úteis, através de um exame sistemático de programas educativos e sociais que poderão servir para ajudar os educandos a tomarem decisões mais adequadas. Tanto Cronbach como Stufflebean encontram-se na concepção denominada de estudos de orientação para a decisão. A função do avaliador, nesta perspectiva, não é de confrontar resultados com os objetivos, mas, antes, subsidiar o planejamento institucional e a tomada de decisões e como poderá a avaliação ser útil a estes processos.
Pode-se notar a presença dessa visão de avaliação educacional na recomendação expressa aos países em desenvolvimento através da obra da UNESCO (1998). A razão enunciada para o uso sistemático da avaliação dos sistemas de ensino consiste, de acordo com esse documento, no seu potencial para obter informações precisas sobre os problemas educacionais. Isso porque a falta de tais informações é vista como fator impeditivo ao planejamento de longo prazo nos países em desenvolvimento. Por este motivo, segundo o documento, a avaliação deve designar “um processo de coleta de tratamento de dados pertinentes válidos e confiáveis, permitindo aos responsáveis tomar decisões que se impõem para a melhoria dos resultados”. A avaliação não deve se restringir a modalidades específicas, mas deve ser ampla, envolver a todos, inclusive a comunidade em seu entorno, pois a construção coletiva é um quesito indispensável. O processo deve ser contínuo, uma vez que os dados não dizem respeito somente a um determinado período, de modo que a IES consiga implementar, com os resultados, um banco de dados que forneça subsídios qualificados para os que forem tomar decisões.
O terceiro grupo, segundo Nevo (1986), é a da avaliação valorativa ou predicativa e os defensores dessa perspectiva de avaliação afirmam que a avaliação pressupõe um juízo de valor e isso significa apreciar o mérito ou valor de algo. Esta é uma definição atribuída a Scriven (1967 apud NEVO, 1986). O nome de Scriven veio, definitivamente, marcar também a história e o desenvolvimento da avaliação em educação. A avaliação educacional constitui,
para Scriven, uma constatação ou apreciação do valor da dimensão educativa; é um processo através do qual se determina mérito e o valor das coisas. A principal função do avaliador é, por conseguinte julgar. Julgar os resultados dos programas e chegar a conclusões sobre o valor global dos programas. Stake (1975 apud GUBA; LINCOLN, 1989), também faz referência à avaliação valorativa, considerando que esta implica não só nas tarefas de descrição e de descoberta da natureza e do valor de alguma coisa, mas também, e sobretudo, na identificação de substância, função e valor. Rosales (1992), baseado nas ideias de Stake, defende que a avaliação deverá processar-se através de “[...] um método pluralista, flexível, interativo holístico e orientado para servir.” (ROSALES, 1992, p. 32). A avaliação não deverá atender somente aos resultados, mas também às normas e aos juízos de valor. Para além dos resultados secundários e acidentais, a avaliação para Stake (1975 apud ROSALES, 1992) deverá, igualmente, atender aos resultados intencionais. Aqui está explícita uma visão de avaliação cuja valoração ocorre não a partir do que é encontrado, mas a partir do que se constrói durante o processo. De qualquer forma, a avaliação situa-se num contexto de tomada de decisão, ou seja, o juízo que se faz serve para preparar e esclarecer uma decisão (HADJI, 1994). Stake toma, pois, uma postura democrática ao nível da avaliação, considerando que os juízos de valor caberão não só aos especialistas, mas também a professores, pais, administradores.
Dias Sobrinho (2004) refere-se também à avaliação que requer juízo de valor e mérito e faz uma referência ao SINAES:
A avaliação de educação superior, através do SINAES, não é neutra, não se limita a dimensões técnicas, mas produz importantes efeitos, tem a ver com valores, culturas e interesses. Avaliação, nesta concepção, não se identifica com o controle, a mensuração e tampouco com os seus próprios instrumentos [...] No caso da avaliação da educação é de natureza ser educativa, vale dizer, ação social, pedagógica, formativa (DIAS SOBRINHO, 2004, p. 114).
Diante do pensamento do autor pode-se inferir que a avaliação não se restringe apenas à identificação de uma nota ou conceito, mas consiste numa emissão de juízo de valor como defendia Scriven (1967 apud NEVO). Luckesi (1998) afirma que a avaliação é o julgamento de valor sobre manifestações relevantes da realidade, tendo em vista uma tomada de decisão. Já Afonso (2003) diz que a avaliação é um processo sistemático para coletar informações válidas, quantificadas ou não, sobre uma determinada realidade ou atividade, permitindo, assim, sua valoração e posterior tomada de decisão, objetivando sua melhoria ou aperfeiçoamento.
O Joint Committee on Standards of Educational Evaluation (1981, p. 99) vem, igualmente, partilhar a ideia de combinar a descrição e o julgamento, considerando que a avaliação é “a apreciação sistemática do valor de mérito de algum objeto”. Para além da recolha de dados, este Comitê apela também para a grande importância da “discussão valorativa” ou “juízo de valor.”15
Verifica-se, deste modo, que, se para uns a avaliação aparece estritamente ligada à descrição ou apenas ligada ao julgamento, há outros autores que defendem que a avaliação deverá combinar estas duas dimensões.
Guba e Lincoln (1989) destacam quatro gerações na história da avaliação que, de algum modo, coincidem com a categorização apresentada por Nevo (1986), cuja diferença se situa, essencialmente, na sua função, culminando na quarta geração denominada, pelos autores, de Avaliação Receptiva Construtivista16. Nesta quarta geração, os parâmetros e critérios são determinados e definidos através de um processo negociado e interativo com aqueles que, de algum modo, estão envolvidos na avaliação, seguindo um paradigma construtivista que “designa não só a metodologia que, efetivamente, é posta em prática na avaliação, mas também a epistemologia que lhe está subjacente” (FERNANDES, 2005, p. 57). Enquanto que as três primeiras gerações (mensuração, descrição e julgamento) têm por base sistemas fechados, com ênfase no controle, a quarta geração expressa um sistema aberto, dinâmico e interativo, com ênfase na delegação/partilha de responsabilidades que dá aos sujeitos a oportunidade de crescimento e transformação. No entanto, há autores que relatam que esta geração de avaliação poderá ter algumas falhas e limitações que podem dificultar ou mesmo impedir a sua aplicação dadas as modificações nela implícitas. Segundo Fernandes (2005, p. 61-62):
a questão é a de saber se o sistema educativo e as pessoas que nele trabalham e as que, em certa medida, dele dependem, aguentariam este tipo de medida, mesmo que devidamente planejada e com meios que a pudessem suportar. O problema também reside em saber como é que a nossa sociedade reagiria a essas medidas. As concepções, as culturas, os saberes e os valores das pessoas têm aqui um papel muito importante e as resistências a medidas daquela natureza, por muito sustentadas e acertadas que fossem, seriam provavelmente incompatíveis.
15 O Comitê, segundo o documento, lançou um conjunto de 30 standards de avaliação de programas e projetos
educativos focados em 4 características de avaliação: utilidade, exequibilidade, justiça e rigor. Os standards de utilidade dão resposta à necessidade de informação; os de exequibilidade tem em vista assegurar uma avaliação realista politicamente viável; os de justiça têm em vista assegurar uma avaliação que seja conduzida legalmente, eticamente e com preocupação pelo bem estar daqueles envolvidos na avaliação e daqueles afetados pelos seus resultados; os de rigor têm como missão assegurar que uma avaliação revele e transmita informação tecnicamente adequada acerca das características que determinam o valor ou mérito do programa a ser avaliado.
Ainda que esta quarta geração de avaliação, proposta por Guba e Lincoln (1989), seja difícil de implementar na prática, como se refere Fernandes (2005), o fato é que ela abriu novas perspectivas sobre a avaliação e, juntamente com o trabalho de outros autores, tem contribuído para o desenvolvimento de outras formas de avaliação que se “configuram como alternativas à avaliação predominante que Guba e Lincoln caracterizam nas três primeiras gerações” (FERNANDES, 2005, p. 63).
Há ainda uma perspectiva da avaliação que, de algum modo, está ligada ao aspecto valorativo que é a dimensão política da avaliação, também referenciada por diversos autores. Gadotti (1997) acrescenta essa dimensão muito importante à avaliação institucional e, nesse sentido, a avaliação envolve não só aspectos técnicos, mas principalmente políticos. Avaliar, segundo o autor, pode constituir-se em um exercício autoritário do poder de julgar ou, ao contrário, pode constituir um processo e um projeto em que o avaliador e o avaliando buscam sofrer uma mudança qualitativa. Ainda neste sentido, Dias Sobrinho (2000) diz que a avaliação institucional da universidade é um empreendimento sistemático que busca a compreensão global da universidade pelo reconhecimento e a integração de suas dimensões. Nesta definição subjaz a ideia de que a avaliação não é apenas um estudo sistemático, mas um empreendimento, algo que necessita de vontade política para ser executado. Ainda para o autor, a avaliação institucional opera com valores, funda-se em alguns princípios, de acordo com determinadas visões de mundo, age sobre as mentalidades e filosofias educativas e, a partir disso, “define estilos de gestão, fixa determinados tipos de currículo, valoriza programas, legitima saberes e práticas, instrumenta políticas de regulação, de seleção social e de financiamento” (DIAS SOBRINHO, 2000). Nessa compreensão, a avaliação deve ser um processo socialmente organizado e promovido por atores sociais com legitimidade e competência técnica e política, daí porque:
nenhuma avaliação pode ser realizada num campo vazio de valores e ideologias. Cada uma delas insere-se numa teia de discursos e na produção de sentidos que tenta fazer prevalecer os valores e as marcas características dos grupos que a produzem e a sustentam, nas distintas situações sociais (DIAS SOBRINHO, 2000, p. 174-175).
As funções de avaliação têm que ser, por isso, compreendidas no contexto das mudanças educacionais e das mudanças econômicas e políticas mais amplas. Aliás, a avaliação é ela própria uma atividade política; verificar a que interesse serve e como é que esses interesses são representados ou respeitados implica aceitar que a avaliação “é uma atividade que é afetada por forças políticas e que tem efeitos políticos” (House, 1992, p.52).
Dando ênfase a esses mesmos aspectos merece destaque um trabalho de MacDonald (1997) em que o autor procura dar conta dos posicionamentos mais freqüentes por parte dos avaliadores e das agências que encomendam e financiam os trabalhos de avaliação. Para ele o trabalho dos avaliadores “funciona como recurso para satisfazer determinados interesses e valores” sendo a seleção dos objetivos e técnicas uma decisão que reflete necessariamente as “filiações políticas” (political allegiances) dos avaliadores17
. (MacDonald, 1997, p. 43-44). Nessa mesma linha de raciocínio e dando ênfase à participação dos sujeitos, temos a visão de Belloni (1998), segundo a qual a avaliação institucional é:
[...] um empreendimento que busca a promoção da tomada de consciência sobre a instituição. Seu objetivo é melhorar a universidade. A autoconsciência institucional constitui importante subsídio para o processo da tomada de decisão, tanto em nível individual quanto em nível coletivo, da instituição como um todo, com vistas ao seu aperfeiçoamento, e tem como ponto de fundamental importância a intensa participação de seus membros tanto na forma de encaminhar a avaliação na