Tipologia do estudo e a relevância das pesquisas de impacto 38

O trabalho empírico proposto configura-se, enquanto princípio de delineamento, como um estudo comparativo de impacto (causal ou de repercussão), problematizando acerca dos efeitos provocados pelos processos autoavaliativos nos cursos de graduação da Instituição Federal de Educação Superior (Ifes) selecionada para estudo. A relevância, complexidade e desafio deste tipo de desenho investigativo se justificam quando se analisa o sentido de uma pesquisa de impacto qualitativa e sua baixa ocorrência na produção sobre avaliação institucional no Brasil.

No que se refere primeiro ao sentido ou natureza da pesquisa proposta, recorremos a Figueiredo e Figueiredo (1986) que explicam a diferença entre os estudos de impacto e processo. Avaliar o processo significa investigar a eficácia da política, do programa ou projeto; se este está sendo ou foi executado de acordo com as diretrizes inicialmente planejadas e se atingirá ou atingiu as metas desejadas. Este tipo de estudo, de caráter descritivo, permite monitorar os processos fundamentais à realização dos objetivos desejados. Portanto, apesar de não medir ou indicar a natureza do impacto, as análises de processo permitem controlar com a devida antecipação o tamanho e a qualidade dos efeitos futuros.

A análise de impacto, por sua vez, não desconsiderando o processo, objetiva compreender o efeito que determinada política, programa ou projeto apresenta sobre a

população-alvo, com a intenção de estabelecer uma relação de causalidade entre a política e as alterações observadas. Diferente das análises de processo que descrevem as tendências que a política desenha ou desenhou e as múltiplas mudanças ocorridas durante sua execução, sem necessariamente estabelecer elos de causalidade entre que mudanças foram diretamente resultantes da política, as análises de impacto objetivam compreender os diferentes efeitos decorrentes da existência ou da participação da população-alvo na política específica. (FIGUEIREDO; FIGUEIREDO, 1986).

As pesquisas de impacto, apesar das informações relevantes que podem fornecer, carregam uma herança quantitativa e economicista que dificulta a proposição deste tipo de desenho investigativo em áreas mais voltadas à crítica social, como é o caso da pesquisa em educação. Contudo, como esclarece Roche (2002) os estudos de impacto, a partir de 1980, começaram a utilizar métodos qualitativos que visavam tornar as comunidades investigadas sujeitos ativos, em vez de meros objetos de pesquisa. Nesta linha, a avaliação de impacto ampliou suas possibilidades analíticas, deixando de ser apenas a aferição – contábil ou estatística - do grau de mudanças observadas. Esta se tornou, pelo uso de referências históricas e antropológicas, um estudo sobre a percepção dos efeitos de determinada política ou projeto, pautado na negociação entre as diversas opiniões e perspectivas dos agentes envolvidos sobre as consequências e as transformações vivenciadas. Enquanto negociação de entendimentos, a análise de impacto evidencia como o processo e suas consequências foram sentidos pelos gestores e pelos receptores da política, o valor – social e subjetivo – desses efeitos e a capacidade de controle dos resultados. Este tipo de pesquisa não possui por finalidade estabelecer uma simples relação de causa e efeito, mas de razões e consequências, desenhando o quadro das múltiplas referências que condicionam a forma e os efeitos da política ou projeto analisado.

No que se refere especificamente às pesquisas desenvolvidas na pós-graduação brasileira, pode-se observar a carência de estudos que estabeleçam nexos causais entre as práticas autoavaliativas e as mudanças – objetivas e subjetivas – observados nas Instituições de Educação Superior (IES). Tal situação se agrava quando se busca especificamente a produção de pesquisas de impacto comparativas, desvelando que apesar da significativa produção sobre avaliação institucional, sobretudo a partir de 1996 com a aprovação da Lei de Diretrizes e Bases da Educação Nacional (LDB), que oficializou os processos avaliativos voltados às instituições e cursos superiores, existem áreas e problemas ainda pouco discutidos, apesar de se constituírem como fundamentais à análise política sobre avaliação, como é o caso dos estudos sobre os efeitos das experiências avaliativas e autoavaliativas no cotidiano das IES.

O cenário exposto se baseia em pesquisa sobre a produção apresentada na pós- graduação brasileira, de 1997 a 2007, relacionada ao tema avaliação institucional7. A condução desta pesquisa bibliográfica objetivou selecionar os trabalhos empíricos, especificamente dissertações e teses, que pudessem contribuir à reflexão sobre os efeitos dos processos autoavaliativos nas universidades. Curiosamente, o levantamento, nos sites da Coordenadoria de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e do Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict), permitiu não apenas selecionar os trabalhos empíricos, mas também perceber a carência em relação às pesquisas de impacto (de efeitos ou repercussão), demonstrando a relevância da tese para o desenvolvimento da temática no país, como se pode evidenciar pelos dados da pesquisa bibliográfica empreendida. (Cf. CUNHA, 2009).

Por meio da pesquisa citada, podemos perceber que o tema avaliação institucional apresenta uma produção considerável na pós-graduação brasileira, com destaque para os anos de 2004, 2006 e 2007, conforme a tabela 1, apresentada a seguir:

Tabela 1. Dissertações e teses sobre avaliação institucional (Brasil: 1997 – 2007).

Curso Ano Total 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Teses 3 2 2 4 4 2 3 10 2 2 8 42 Dissertações 2 1 2 2 - 4 3 2 5 14 7 42 Total 5 3 4 6 4 6 6 12 7 16 15 84

Fonte: Ibict, Capes, Unicamp, Ufsc, USP, UFGS, PUC/SP, UnB, junho de 2008.

A tabela demonstra que a distribuição entre teses e dissertações é equilibrada, sendo que apenas os anos de 2004 e 2006 apresentam uma diferença de produtividade maior. Em 2004, destaca-se a alta produção de teses em relação às dissertações, que se referem às análises sobre os efeitos das políticas do governo Fernando Henrique Cardoso e às expectativas em relação ao governo de Luiz Inácio Lula da Silva, que assumiu em 2003 e promulgou o Sistema Nacional de Avaliação da Educação Superior (Sinaes) em 2004. Em 2006, as dissertações se destacam na abordagem do tema, apresentando pesquisas que monitoram o desenvolvimento das práticas de autoavaliação institucional, tanto inspiradas no Paiub quanto já fundamentadas no Sinaes. Por fim, o ano de 2007 apresenta também uma alta produção sobre o tema, estando dividida de forma equilibrada entre teses e dissertações que se concentram nas análises da política avaliativa e das práticas de autoavaliação estimuladas pelo Sinaes.

7 _{Procedimentos metodológicos descritos no artigo “Avaliação das Instituições de Ensino Superior como objeto}

de pesquisa na Pós-graduação brasileira: Topografia do campo temático” apresentado na 32ª Reunião anual da Anped em 2008 e disponível em: http://www.anped.org.br

Pela análise do material selecionado, observamos que as pesquisas sobre avaliação institucional não se limitam aos Programas de Pós-graduação em Educação, surgindo como foco de interesse também em outras áreas do conhecimento, como pode ser observado na tabela 2.

Tabela 2. Dissertações e teses sobre avaliação institucional, por área do programa de pós-graduação (Brasil: 1997 – 2007) Área de concentração do programa n % D T D+T D T D+T Engenharia da produção 2 7 9 5 17 11 Administração 7 2 9 17 5 11 Educação 27 29 56 65 69 67

Sociologia e ciências sociais 1 2 3 2 5 4

Educação matemática 1 - 1 2 - 1 Enfermagem 1 - 1 2 - 1 Mestrado profissional 2 - 2 5 - 2 Turismo 1 - 1 2 - 1 Serviço Social - 1 1 - 2 1 Linguística aplicada - 1 1 - 2 1 TOTAL 42 42 84 100 100 100

Legenda: D – dissertação; T – tese; D+T – soma de dissertações e teses Fonte: Ibict, Capes, Unicamp, Ufsc, USP, UFGS, PUC/SP, UnB, junho de 2008.

Quantitativamente, a tabela 2 demonstra que os programas em Educação são os maiores produtores sobre o tema, respondendo por 67% das teses e dissertações. Os cursos tradicionalmente relacionados aos processos produtivos, como o de Engenharia da Produção e Administração, representam 22% das pesquisas, sendo que, entre os dois, a Engenharia da Produção apresenta o maior número de teses, e os 11% restantes expressam a somatória de cursos de diversas áreas, como Enfermagem, Educação matemática, Serviço Social, Turismo e Linguística aplicada.

Os temas das pesquisas apresentadas nos programas de Engenharia da Produção e Administração versam, principalmente, sobre metodologias e indicadores de qualidade, possuindo análises centradas nos aspectos técnicos e estratégicos da avaliação institucional, tendo a abordagem quantitativa como principal metodologia utilizada. Os programas que representam 11% da produção apresentam temas ligados à qualidade dos cursos de graduação ofertados nas suas áreas do conhecimento e como a avaliação pode se constituir em elemento de critica e proposição de caminhos que permitam ampliar a qualidade dos diferentes cursos de formação inicial, como são os casos das áreas de Enfermagem e Turismo.

Analisando especificamente a produção da área de Educação sobre avaliação institucional, quando distribuída por ano e nível, é possível perceber que, tal qual a tabela 1,

se destacam os anos de 2004, 2006 e 2007 e que a distribuição entre teses e dissertações também é proporcional, apresentando uma pequena diferença a favor das teses como demonstra a tabela 3.

Tabela 3. Dissertações e teses sobre avaliação institucional apresentadas aos Programas de Pós-graduação em Educação no Brasil (1997 – 2007)

Curso Ano Total 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Teses 3 1 2 1 1 2 1 7 2 2 7 29 Dissertações 2 1 1 - - 1 1 1 2 11 7 27 Total 5 2 3 1 1 3 2 8 4 13 14 56

Fonte: Ibict, Capes, Unicamp, Ufsc, USP, UFGS, PUC/SP, UnB, junho de 2008.

Comparando as tabelas 1 e 3 podemos perceber que a produção sobre avaliação institucional se concentra na pós-graduação em Educação nos períodos de 1997 a 1999 e de 2004 a 2007, tendo por destaque o ano de 1997, no qual apenas a área de Educação apresentou produção sobre o tema, e os anos de 2006 e 2007, nos quais os trabalhos apresentados nos programas de Educação representam praticamente toda a produção realizada. Em verdade, apenas no período de 2000 a 2003 a produção dos programas de Educação é quantitativamente inferior à somatória da produção dos outros programas de pós-graduação, com destaque para o ano de 2000 que apresentou a maior ocorrência de pesquisas sobre avaliação institucional fora da área de Educação.

Em relação ao conteúdo, o ano de 1997, apenas com trabalhos da área de Educação, apresenta como foco as questões metodológicas. As discussões versam sobre a proposição de modelos avaliativos e o uso de procedimentos qualitativos ou quantitativos. A visão de avaliação expressa nas pesquisas é similar, remetendo à noção de autoconhecimento institucional.

O ano de 2000, com a menor participação observada dos Programas de Educação, apresenta principalmente trabalhos de Engenharia da Produção e Administração. Diferente das pesquisas do ano de 1997 a preocupação desse grupo de estudos é com a melhoria dos resultados acadêmicos, aproximando a visão avaliativa do viés produtivo.

O ano de 2004 marca a volta da área de Educação como principal produtora de teses e dissertações sobre avaliação institucional. As pesquisas apresentadas expressam um momento de reflexão e prospecção. Reflexão e balanço sobre a política avaliativa na gestão do presidente Fernando Henrique Cardoso, sobre a presença e o enfoque da avaliação institucional nos periódicos de Educação e sobre o processo de formação da política de avaliação no Brasil nas décadas de 80 e 90. Reflexão ainda sobre as diferentes experiências de autoavaliação em andamento nas Instituições de Educação Superior (IES), referenciadas no Paiub. A prospecção encaminhava à análise preliminar e positiva do Sinaes e ao desejo de mudanças nas políticas avaliativas.

Em 2006, a produção na área de Educação ultrapassa a média dos anos anteriores, demonstrando que o tema avaliativo ampliou sua importância no cenário de pesquisa educacional brasileiro. Os trabalhos são, em sua maioria, estudos de processo com foco na graduação e versam sobre a necessidade de uma avaliação emancipatória e de processos participativos. Nesse contexto, as análises se ampliam e diversificam, em paralelo à adoção de uma postura mais crítica e cética, do que a observada no ano de 2004, em relação à política avaliativa do governo Luiz Inácio Lula da Silva.

O ano de 2007 mantém a tendência do ano anterior de aumento na produção de pesquisa sobre avaliação institucional, tendo o Sinaes e seus desdobramentos como principal referência e objeto de análise. Tal qual 2006, a graduação surge como principal nível analisado, porém, novos atores são incluídos como os avaliadores externos, os coordenadores de Comissões Próprias de Avaliação (CPA) e os membros das Comissões Assessoras de Avaliação do Inep. Destacam-se os estudos de impacto da autoavaliação na atuação docente e da política avaliativa nas IES.

Pelo exposto, pode-se perceber que os trabalhos na área de Educação vêm progressivamente abrangendo diferentes questões e ângulos do processo de avaliação institucional, podendo, para fins didáticos, ser organizados a partir do foco de análise em quatro dimensões ou subtemáticas: autoavaliação; avaliação externa; política avaliativa e estado da arte. Tal divisão é apresentada na tabela 4.

Tabela 4. Dissertações e teses sobre avaliação institucional apresentadas aos Programas de Pós- Graduação em Educação no Brasil, por tipo e dimensão analisada (1997 – 2007)

Tipo de análise

Dimensão analisada: valor observado e percentual _{Total por} tipo de análise Autoavaliação Avaliação _{externa avaliativa}Política Estado da _arte

D T D T D T D T Propositiva n 1 14 - - - - - - 15 % 2% 24% - - - - 26% Análise de Processo % n 17 29% 11% - 2% - 6 - 1 - 1 1 1 2% 2% 2% 48% 27 Análise de Impacto % n 1 2% 5% 4% - - 3 2 - - 1 - - 2% - - 13% 7 Comparativa de processo % n 2 4% - - - 3 2 5% 4% - - 13% 7 Total _{% 37%} n 21 _40% 23 _4% 2 _{2% 5% 8%} 1 3 4 1 1 _{2% 2% 100%} 56 Legenda: D – dissertação; T – tese.

Fonte: Ibict, Capes, Unicamp, Ufsc,USP, UFGS, PUC/SP, UnB, junho de 2008.

Como se pode observar na tabela 4, a autoavaliação é a principal preocupação investigativa dos estudos analisados, correspondendo a 77% do total de trabalhos

apresentados; nestes, a distribuição é equilibrada entre dissertações e teses, apresentando uma pequena diferença a favor das teses. A política avaliativa surge em segundo lugar na produção temática e representa 13% do total de pesquisas, seguida dos estudos de avaliação externa, com 6% dos trabalhos. O estado da arte apresenta o menor número de pesquisas, apenas 4% no total dos estudos selecionados para amostra.

Outra informação que a tabela 4 deixa perceber é a baixa ocorrência de estudos de impacto (de efeitos ou repercussão) entre as pesquisas sobre autoavaliação, pois estes representam apenas 7% do total de pesquisas selecionadas. No que se refere apenas às pesquisas sobre autoavaliação, com 44 trabalhos, os estudos de impacto, representados por 4 pesquisas, constituem apenas 9% das investigações.

A importância dos estudos de impacto se justifica ainda mais quando se compreende que as pesquisas propositivas e comparativas não deixam de ser também análise de processo. No caso das pesquisas propositivas essas representam os estudos nos quais o pesquisador possui papel decisivo no planejamento e/ou na execução das atividades avaliativas, logo descrevendo processos, porém com a diferença fundamental que o pesquisador se constitui também como um dos atores-sujeitos da investigação, possuindo capacidade de, a partir das próprias conclusões do estudo, propor e testar melhorias. Este tipo de análise aparece principalmente nas teses e utiliza princípios de pesquisa participante, pesquisa-ação ou, em estudos apenas teóricos, da epistemologia e da Sociologia Crítica, e desvela os compromissos da área de Educação em não apenas compreender, como também de propor mecanismos a partir dos aportes teóricos emancipatórios. Em relação aos estudos comparativos que integram a tabela 4, estes dizem respeito à análise comparativa de processos, sejam esses de autoavaliação (comparando rede pública e privada) ou política avaliativa (analisando sistemas avaliativos de nações diferentes ou comparando diferentes propostas avaliativas, como ENC, Paiub e Sinaes).

A carência de estudos de impacto pode ainda ser notada quando se observa os trabalhos apresentados, nos últimos 11 anos, nas reuniões anuais da Associação Nacional de Pós-graduação e Pesquisa em Educação (Anped), mais especificamente no Grupo de Trabalho (GT) de Política de Educação Superior, pois também neste espaço, fundamental ao debate coletivo da área de Educação, as discussões sobre os efeitos empíricos das políticas avaliativas sobre a dinâmica das IES ainda se encontram pouco presentes. (Cf. CUNHA, 2009 e apêndice A).

Pelo cenário exposto, a presente tese vem contribuir na ampliação de uma temática ainda em construção na agenda de pesquisa educacional brasileira, demonstrando relevância e pertinência teórica e prática.