OCDE: tipologia dos sistemas de garantia de qualidade e impacto

Para a OECD (2008), todos os países que fazem parte da revista têm instalado mecanismos de garantia de qualidade de alguma forma. No entanto, a dupla solicitação por responsabilidade e melhoria e a ambivalência de propósitos são equipadas de formas bastante diferentes entre os países. O âmbito da garantia de qualidade varia muito entre os países. Eles não apenas adotaram abordagens diferentes para a garantia de qualidade, mas essas também se diferenciam no foco da instituição ou do programa de revista de qualidade na sua cobertura territorial e nos tipos de IESs incluídas, bem como na freqüência e na iniciação de procedimentos de garantia de qualidade (OECD, 2008).A dupla demanda de responsabilidade e melhoria é confrontada ao se recorrer a três abordagens principais para a garantia de qualidade, chamadas de reconhecimento/acreditação, avaliação e/ou auditoria. O quadro resume as características-chave de cada abordagem em termos de perguntas a serem feitas à IES, programa ou módulo de estudo sob averiguação, a ênfase na investigação da qualidade e o tipo de resultados que produz (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, 2008a, 2008b).

Atividade Pergunta Ênfase Resultados

Acreditação Você é bom o

suficiente para ser aprovado?

Ampla (missão, recursos, processos)

Decisão: sim/não ou aprovado/reprovado

Avaliação Quanto bons são seus

rendimentos?

Rendimentos Nota (incluindo

aprovado/reprovado)

Auditoria (Revista) Você está alcançando

seus objetivos? Seus processos são efetivos?

Processos Descrição, qualitative.

Quadro 22 - Tipologia de abordagens de garantia de qualidade. Fonte: Adaptação da autora - OECD, 2008a.

Até certo ponto, mecanismos de reconhecimento parecem servir aos objetivos da responsabilidade, devido ao seu lócus de controle essencialmente externo, aos julgamentos por notas que produzem e à possibilidade de estabelecer uma marca de aprovação refletindo padrões de qualidade mínimos a serem buscados. Em contraste, os maiores resultados qualitativos de procedimentos da auditoria, sua ênfase nos processos ao invés de nos resultados e seu maior lócus de controle interno tornam essa abordagem mais compatível com objetivos influenciados pelos objetivos de melhoria. Mecanismos de avaliação encontram-se entre essas duas abordagens, com julgamentos por nota e uma ênfase nos resultados, os quais fazem delas apropriadas para a sinalização da qualidade – em uma perspectiva da responsabilidade –, enquanto, ao mesmo tempo, deixa um escopo para recomendações de melhorias.

Embora a realidade não esteja tão definida quanto esses modelos conceituais sugerem as abordagens escolhidas pelos países participantes, na revista, sugerem que abordagens de influência da responsabilidade são dominantes, mesmo que alguns países tenham adotado sistemas heterogêneos, nos quais mecanismos de auditoria complementam processos de reconhecimento ou de avaliação.

O Reino Unido é o único sistema de educação terciária no qual a garantia de qualidade segue uma abordagem predominantemente influenciada pela melhoria para todos os tipos de IESs. Deve-se notar, no entanto, que essa abordagem foi desenvolvida depois de uma série de revistas de sujeitos externos no período de 1992, a 2000 e a estrutura da garantia de qualidade leva em conta revistas de sujeitos ad hoc quando necessário. Além disso, a responsabilidade concentra-se indiretamente na concessão do título universitário e nos poderes de ganho de grau correspondentes, bem como pela publicação de dados do desempenho padronizados a fim de auxiliar a escolha do aluno (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, 2008a, 2008b).

A função de melhoria está, contudo, presente em outros sistemas. As abordagens de

melhoria de qualidade estão freqüentemente associadas a mecanismos influenciados pela responsabilidade, essencialmente em países da região da Ásia e do Pacífico (Austrália, China, Japão e Nova Zelândia); em países Nórdicos da Europa (Finlândia, Islândia, Noruega e Suécia) e em alguns sistemas europeus (República Tcheca e em Portugal e algumas regiões espanholas, onde os acordos normalmente estão em discussão) (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, 2008a, 2008b).

Em contraste, alguns países adotaram essencialmente abordagens para garantia de qualidade que são influenciadas pela responsabilidade – através do uso de mecanismos de reconhecimento e de avaliação. Esse é o caso de países na América Latina (Chile e México), Coréia, países do leste europeu (Croácia, Estônia, Polônia e a Federação Russa) e no resto do continente europeu (comunidade flamenca belga, França, Grécia, Países Baixos e Suíça) (OECD, 2008). Países com mais abordagens influenciadas pela responsabilidade – sozinhas ou associadas a mecanismos influenciados pela melhoria – diferem nos processos para assegurar que os padrões mínimos sejam buscados (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, 2008a, 2008b).

Finalmente, o último desafio para os quadros de garantia de qualidade da educação superior, tecnológica, tem a ver com impacto. De fato, o objetivo mais importante dos processos de garantia de qualidade é assegurar que os padrões mínimos sejam buscados e melhorar a qualidade dos resultados da educação tecnológica ao longo do tempo. No entanto, o impacto dos mecanismos de garantia de qualidade em educação tecnológica é difícil de avaliar, embora haja evidência dos efeitos nos comportamentos de acadêmicos e na administração dentro das IES e no ensino e na aprendizagem. A implantação de mecânicos de garantia de qualidade também revelou um número de desvantagens. Uma delas pode ser o processo de burocratização, entre outros, que serão analisadas nesta pesquisa.

A literatura nos apresenta dificuldades em medir o impacto da garantia da qualidade. De acordo com Barrow (1999), a medida do impacto da garantia de qualidade é complexa, dada a dificuldade em medir o sucesso de uma definição de qualidade, particularmente em termos da transformação de estudantes. Bernnan (1997), nota que as investigações sobre o impacto de sistemas de garantia de qualidade enfrentam vários desafios devido à natureza invisível, incremental e lenta da mudança educacional, e porque é freqüentemente difícil isolar o impacto dos mecanismos de garantia de qualidade e outras forças que afetam a educação superior. (BERNAN; SHAH, 2000).

Como um resultado, a mudança organizacional – tal como o efeito do monitoramento da qualidade de pessoal, procedimentos internos ou estruturais de direção em IES –, tem sido o foco da maioria dos estudos de impacto porque é freqüentemente mais fácil de identificar, mesmo que muitos autores enfatizem que a ligação entre mudança organizacional e educacional não pode se assumida (BERNNAN, 1997; CAVE et al., 1990; HORBUSGH, 1999; HARVERY; NEWTON, 2004). Outro obstáculo está na dificuldade de isolar o impacto da garantia de qualidade de outras forças que afetam a educação superior (SHAH, 1997; ASKLIN, 1997).

Finalmente, Stensaker (1999, 2003) e Zabaracki (1998) indicam que outro problema metodológico na medida do impacto dos sistemas de garantia de qualidade está relacionado ao risco do relatório ser muito otimista, já que os administradores podem ter incentivos para aparecer como “bons implementadores” da administração de qualidade externa.

Entretanto, a OECD (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, 2008a, 2008b) trabalha o impacto em algumas dimensões, como: Impacto na organização e na administração dentro da IES. Esse impacto tem algumas partes, que são: distribuição de poder das IES para uma centralização maior nos procedimentos e na tomada de decisões (ASKLING, 1997); maior autonomia e responsabilidades dos administradores (STENSAKER, 2003); transparência institucional elevada (STENSAKER, 2003); impacto no ensino e na aprendizagem (DUBOIS, 1998). Também são analisados os resultados indesejáveis da garantia de qualidade (LEE; HARLEY,1998; ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, 2004a, 2004b).

Para OECD (2008), existem algumas evidências do impacto da avaliação de qualidade sobre práticas de ensino, como a mudança nos currículos, desenvolvimento de instrumentos para avaliação dos estudantes, entre outros. A OECD (2008) afirma que a implementação de mecanismos de avaliação da qualidade tem um impacto positivo na qualidade do ensino e da aprendizagem. Porém, o impacto da avaliação depende da informação para o professor sobre seus pontos fortes e suas fragilidades. Também para o OECD (2008), causa impacto nas IES as apresentações dos resultados e a presença de sanções e recomendações precisas, especialmente com implicações no financiamento (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, 2008a, 2008b).

Para Michaela Martin (2007), em um estudo realizado para a UNESCO nos países Chile, Oman, Philippines, South África: “[...] há uma real necessidade de lançar alguma luz sobre o “impacto”, a fim de alcançar uma avaliação mais realista da situação.” Para ela, o

impacto pode ser avaliado em termos de impacto sobre os sistemas nacionais; em termos de qualidade; em termos de acesso e de equidade e em termos de financiamento.

Já para Cabrera (2008) e Morosini (2008a), medir o impacto sobre a qualidade é bastante difícil de ser realizado pela complexidade do conceito de qualidade frente às diferentes percepções de seus usuários e atores. Esses autores afirmam que o impacto que avalia a transformação dos estudantes é o mais difícil ainda de ser analisado.

Santiago (et al, 2008), afirma que o impacto sobre a organização e gestão/administração da IES é mais fácil de ser percebido. Porém, Morosini afirma que:

[...] a avaliação externa de qualidade afeta a distribuição de poder dentro da IES em direção a uma grande centralização nos procedimentos e nos processos de decisão; uma tendência a maior burocratização; uma administração institucional com maior autonomia e uma grande responsabilidade em procedimentos de follow-up; uma busca de maior produção nos acadêmicos; e o incremento da transparência institucional. (2008b, p. 261).

Já Knight (2007) diz que o impacto na educação superior pode ser abordado em três níveis: em nível de estado, em nível institucional e em nível do estudante. Em nível de

Estado, o autor afirma que o impacto pode ser identificado no desenvolvimento dos recursos

humanos. Já no nível Institucional, o autor afirma que o impacto pode ser identificado como produção de conhecimento, ou seja, pesquisa e desenvolvimento dos estudantes, bem como na geração de renda, entre outros. No nível dos estudantes, o impacto por ser identificado através da mobilidade dos estudantes.

As áreas de impacto da universidade com responsabilidade sustentável (ZAFFARONI, 2007. p. 1) define:

Impacto Organizacional, equivalente a Responsabilidade Social Empresarial. Toda

organização, por ser tal, produz impactos por meio de sua gestão. Deveria existir uma ética da gestão, na qual os valores estivessem no centro e esta ética se expressaria no clima do trabalho; na relação com os clientes e provedores; na relação com os funcionários – acadêmicos e administrativos – e na relação com os estudantes. Nesta área de impactos deve- se desenvolver um conjunto de políticas de responsabilidade social, relacionadas a cada um dos aspectos assinalados.

Impacto Ambiental. As universidades produzem impactos no meio ambiente, tais

como dejetos e resíduos contaminantes; uso indiscriminado de água e energia; ruídos molestantes, lixo sem estar separado na sua origem. Por sua vez a universidade pode

conscientizar o seu alunado sobre os problemas ambientais que a sociedade enfrenta e contribuir ativamente a superá-los.

Impacto Educativo. Quando os alunos se formam como cidadãos democráticos;

quando a comunidade universitária tem a possibilidade de participar ativamente em projetos de serviço à comunidade; quando participam na reflexão das experiências realizadas; quando os membros da comunidade educativa se comprometem voluntariamente em projetos de serviço; quando há um trabalho interdisciplinar em projetos de serviço a comunidade; quando se produz melhoras continuas nos currículos a partir das experiências realizadas, etc.

Impacto Cognitivo. Quando as linhas de investigação se abrem a temas do

desenvolvimento humano sustentável; quando os projetos de pesquisa assumem temas étnicos; de gênero; de pobreza; de discapacidade; quando os projetos de investigação incluem a integração de diversas perspectivas disciplinares; quando há uma aprendizagem compartilhada com outros atores da comunidade; quando o conhecimento gerado cumpre com os padrões estabelecidos pela universidade sobre qualidade e pertinência; quando os conhecimentos gerados são difundidos entre a comunidade acadêmica, entre os atores relevantes no tema e na opinião pública em geral, etc.

Impacto social. Quando a universidade abre suas portas e recebe alunos dos setores

mais desfavorecidos da população; quando a universidade se responsabiliza por seus reais alunos e consegue que se mantenham no sistema com bons rendimentos; quando desenvolve programas para nivelar aos estudantes em competências básicas; quando trabalha a deserção e a titulação oportuna; quando conta com uma serie de benefícios estudantis que permitem realizar o descrito; quando os projetos sociais que empreende a universidade cumpriram os objetivos a que se propuseram; quando a universidade mantém convênios com atores sociais para desenvolver projetos conjuntos; quando as ações empreendidas têm um alcance significativo; quando há um orçamento da universidade destinado ao vinculo com atores sociais relevantes para a comunidade [...].

Para Morosini (2008b), o impacto pode ser analisado como:

Impacto Organizacional - “equivalente à responsabilidade social e empresarial, ou

seja, a ética da Gestão, expressa em princípios e políticas refletidos no ambiente de trabalho, na relação com os alunos e mantenedores, com acadêmicos e funcionários.” (p. 263);

Impacto Ambiental - “tanto os produzidos diretamente pela IES, no meio ambiente

Impacto Educativo - “expresso na formação de alunos cidadãos democráticos; na

participação ativa da comunidade universitária em projetos de serviços comunitários [...]” (p.264);

Impacto Cognitivo - “expresso em linhas de pesquisa com temáticas de

desenvolvimento humano e sustentável; em projetos de investigação com temas étnicos; de gênero; de pobreza, de deficientes, com a integração de perspectiva disciplinar; no aprendizado compartilhado com outros atores da comunidade [...]” (p. 264);

Impacto social - “refletido na presença de alunos mais desfavorecidos da população;

na permanência dos alunos no sistema recebendo uma educação de qualidade [...] em ações com alcance significativo; em orçamento da universidade direcionado aos atores sociais relevantes da comunidade.” (p. 264).

Levin (2008) afirma que o impacto social tem sido também um importante tema de debate. A economia, a equidade e a coesão social são todos potencialmente importantes. E o impacto social é um indicador de sucesso nas reformas educacionais. Tais resultados poderão incluir as taxas de participação da força de trabalho, emprego, aprendizagem, produtividade e

o crescimento, não só para os estudantes, mas de forma mais geral.