Considerações epistemológicas da Avaliação

Para Contandriopoulos et al.,(2000) “as definições de avaliação são numerosas sendo possível dizer que cada avaliação constrói a sua”. Há uma profusão de conceitos com diversidade no âmbito epistemológico, metodológico e de nomenclatura, o que indica certa dificuldade de clareza na comunicação sobre o tema, mas também a riqueza do campo da avaliação (PATTON, 1997; FURTADO, 2001).

Guba e Lincoln (2011) delinearam, a partir de um percurso histórico, o tema da avaliação levando em consideração o desenvolvimento de conceitos e conhecimentos ao longo de cem anos. A ideia dos autores contribui para o debate, especialmente por introduzir a importância das abordagens qualitativas e participativas na área da avaliação. Entretanto, pressupõem uma certa linearidade e homogeneidade sem considerar as especificidades e pluralismos metodológicos, epistemológicos e políticos do campo (FURTADO; SILVA, 2014). Portanto, ao analisá-las é importante considerar que uma não substitui a outra, mas coexistem, estando relacionadas aos objetivos e contextos em que serão desenvolvidas.

A primeira geração caracteriza-se pela mensuração, na qual o avaliador assume a função técnica, medindo através de uma variável o que está sendo investigado; a segunda geração além de medir também busca descrever o processo afim de identificar como uma atividade alcança ou não os determinados resultados; a terceira geração, inclui o juízo de valor, visando estabelecer os méritos do programa avaliado, mantendo também a função técnica e descritiva das anteriores (GUBA; LINCOLN, 2011).

Cada geração representou avanços em relação a variedade de sentidos ou conteúdos incluídos na construção defendida e ao nível de sofisticação. A coleta de dados sistemática

sobre indivíduos se tornou possível com desenvolvimento de instrumentos apropriados, o que caracterizou a primeira geração. A segunda geração apresentou possibilidade de avaliar diferentes objetos de avaliação não humanos, como conteúdos, programas, estratégias de ensino, padrões organizacionais e as abordagens em geral. A terceira geração exigiu que a avaliação emitisse um julgamento tanto sobre o mérito, quanto sobre sua relevância (GUBA; LINCOLN, 2011).

Para alguns autores o julgamento compõe de maneira central a natureza da avaliação, implicando a construção de um saber que expõem, compara, sugere e essencialmente provoca e sustenta uma escolha. Dessa forma, caberia a avaliação construir um olhar sistêmico para variáveis intrínsecas a um objeto avaliado (seu contexto, valores, propósito, estrutura, métodos, processos, consumo de recursos, entre outros) e extrínsecas (relacionados à extensão dos efeitos desses objetos na realidade). Nessa perspectiva, nenhuma prática deveria ser considerada avaliação se não implicasse julgamento de mérito (variáveis intrínsecas) e relevância (variáveis extrínsecas) de maneira articulada e interdependente (STAKE, 2004; SCRIVEN, 2001; STUFFLEBEAM, 2001).

Guba e Lincoln (2011) apontam que as três primeiras gerações enquanto grupo apresentam importantes limitações, como: a tendência ao gerencialismo, evidente na tradicional relação estabelecida entre avaliador e àqueles com os quais os acordos são firmados, a gerência, que reportam parâmetros e delimitações numa relação raramente contestada e que pode ocasionar inúmeras consequências indesejáveis; a incapacidade de acomodar o pluralismo de valores, por não colocar em questão os diferentes valores, atores e negociações; e a supremacia do paradigma positivista, no qual prioriza-se métodos quantitativos da ciência, com desconsideração do contexto, sem haver uma responsabilização moral do avaliador por suas ações e uso dos resultados.

Portanto, os autores propõem uma abordagem alternativa à avaliação e a caracterizam como avaliação de quarta geração. Trata-se de uma proposta de avaliação construtivista responsiva. O termo construtivista é utilizado para designar sua característica de investigação alternativa ao paradigma científico apoiado em um sistema de crença praticamente oposto ao da ciência, por isso, considerado paradigmático. O termo responsivo leva em consideração as preocupações, reivindicações e questões das pessoas envolvidas ou potencialmente afetadas pelo objeto de avaliação sem definir parâmetros e limites a priori (GUBA; LINCOLN, 2011).

De certa forma, a avaliação de quarta geração surge como uma resposta a alguns dos problemas anteriores, e busca contemplar algumas características interessantes, primeiro: assume que os resultados não são fatos em um sentido definitivo, na realidade são construções,

criadas por um processo interativo que inclui o avaliador e os vários grupos de interesse ou interessados (stakeholders) no processo avaliativo; Segundo: torna soberana a questão sobre os valores e de como os diferentes pontos de vista podem ser acomodados; Terceiro: propõem que as construções estejam intrinsicamente vinculadas a contextos físicos, psicológicos, sociais e culturais aos quais se referem e nos quais são formadas.

Partindo-se dessa perspectiva, o argumento de que avaliar em última instância é emitir juízo de valor foi um avanço importante no processo avaliativo. Porém, necessário se faz também uma ampliação e diversificação dos eixos da avaliação em torno dos quais são emitidos os julgamentos. Nesse sentido, é necessário contemplar diferentes e divergentes posicionamentos de distintos grupos de interesse em um programa ou serviço (FURTADO, 2001).

Além disso, é preciso considerar o processo que possibilita fazer tal julgamento de valor, as especificidades do contexto, as necessidades, e prioridades a fim de que tragam contribuições para as pessoas diretamente envolvidas com a avaliação. O foco não é fazer julgamentos, mas usar a informação coletivamente para compreender melhor objeto de estudo em que os participantes estão envolvidos e impulsionar melhorias (CARDEN; ALKIN, 2012).

Nessa linha, surgiram importantes contribuições do pensamento crítico, com iniciativas e experiências que buscam não apenas analisar se os programas e intervenções promovem os resultados pretendidos, mas também repensar os processos, as formas e os estilos das práticas avaliativas, no sentido de superar a visão reducionista e unilateral característica das propostas e modelos empregados até então. São iniciativas que, além de considerar a eficiência, eficácia, diminuição de custos, e otimização dos recursos também se preocupa com o papel dialógico, crítico, participativo, a dimensão subjetiva, os processos de significação, e a emancipação das práticas avaliativas, estas propostas também são consideradas “avaliações emergentes” (BOSI; MERCADO-MARTINEZ, 2011).

Silva e Brandão, (2011) apontam para a necessidade de reconhecer a permanente criação de frentes de embates éticos, epistemológicos, na ciência e nas ruas em torno da questão da avaliação, que buscam combater as avaliações orientadas pela lógica dos marcos e dos objetivos, das práticas policialescas e laboratoriais, obscuras quanto às suas reais intenções políticas. A avaliação guarda em si possibilidades um tanto mais mestiças e responsivas à complexidade da vida social. Para os autores:

Ao tornar-se palco de agenciamento de orientação ética, política e metodológica, também progressistas e compreensivas, a disciplina enraizou-se fortemente nos territórios da participação e da aprendizagem, embebida nas corretes críticas de

diferentes campos, tendo sempre valores dialógicos com eixo em tornos dos quais gira a produção de saberes e de sujeitos, bem como da necessidade ética de implicar toda a leitura da realidade humana em sua transformação (SILVA; BRANDÃO, p.141).

Hoje é evidente na trajetória das práticas avaliativas, a marca da aprendizagem. As práticas de avaliação podem gerar grandes oportunidades para aprender e construir consciência crítica a respeito da realidade. Podem tornar-se disparadores dos movimentos dos sujeitos e grupos na direção da compreensão mais profunda e crítica do arranjo institucional, das conexões políticas, dos modos de trabalho, e dos custos para a sociedade. Avaliar possibilita mediar processos de aprendizagem, e por isso mesmo, é um ato educativo. Trata-se de uma prática cuja ética se estrutura em torno do envolvimento crítico dos atores interessados, que prima pelo potencial de nutrir o desenvolvimento dos sujeitos e grupos de forma que as pessoas estejam presentes, ancoradas e implicadas, uma prática de natureza participativa (SILVA; BRANDÃO, 2011).

Carden e Alkin (2012) apresentam a Teoria da Avaliação da Árvore para exemplificar a produção em torno da avaliação. Para o autor no tronco da árvore estão representados os fundamentos das avaliações, constituídos por dois componentes: a necessidade de imprimir transparência e responsabilidade, e a pesquisa em ciências sociais. Essa ideia faz refletir sobre necessidade de dar retorno para a sociedade sobre o que se faz e porquê se faz em relação aos programas sociais, ao mesmo tempo, recorrer à pesquisa em ciências sociais para analisar e compreender esses processos.

A partir dessa base, vertentes avaliativas se ramificaram em três direções: Método; Valor e Uso. No ramo do Método, encontram-se aqueles especialmente ocupados com a questão dos métodos envolvidos no processo avaliativo, que com vistas a construção do conhecimento e generalizações, são guiados principalmente pela metodologia de pesquisa no maior rigor possível. Esse grupo é representado por autores como Ralph Tyler25, Donald Campbell26,

25_{Desenvolveu estudos voltados para avaliação educacional em meados dos anos 1940. Lançou as bases do} primeiro método sistemático de avaliação, mais tarde conhecido como Avaliação orientada para objetivos. A abordagem prevê a mensuração de objetivos comportamentais para garantir qualidade do currículo através da aprendizagem. Focou em selecionar os métodos avaliativos que conseguissem fornecer dados sobre cada um dos tipos de comportamento implicados por cada um dos objetivos educacionais (ALKIN, 2004).

26_{Influenciou o campo da avaliação, voltado para métodos e técnicas quantitativas de pesquisa científica. Focou} nos estudos de experimentos naturais, mediante a utilização de técnicas de pesquisa experimentais ou quase experimentais, buscando descartar muitas ameaças e excluir as inferências causais (ALKIN,2004).

Edward Suchman27, Thomas Cook28, Robert Boruch29, Peter Rossi30, Huey-Tsyh Chen31, Carol Weiss32 e Lee J. Cronbach33. Tais autores defendem a importância do método como principal eixo do processo avaliativo (ALKIN, 2004).

O ramo do Valor apresenta iniciativas de avaliação voltadas para os valores e julgamentos dos grupos de interesse envolvidos com um dado serviço ou programa. São avaliações com especial interesse na inclusão das diferentes pessoas envolvidas com o objeto avaliado. Os autores incluídos nesse tipo de avaliação são Michael Scriven34_{, Elliot Eisner}35_,

27_{Sociólogo, reconhecido por integrar a avaliação ao campo teórico. Escreveu o livro “Pesquisa avaliativa” (1967),} que demonstrou sua visão de avaliação como forma de pesquisa científica. Distingue a avaliação da ideia de bom senso, referindo-se à avaliação como um processo social voltado para o julgamento de valor, e a pesquisa avaliativa aquela que utiliza métodos e técnicas de pesquisa científica. Sua maior contribuição e também as críticas se referem a sua discussão sobre a avaliação e às funções administrativas no planejamento e operação de programas, colocando o julgamento mais fortemente no domínio administrativo (ALKIN, 2004).

28_{Enfatizou métodos quase-experimentais de pesquisa avaliativa. Preocupou-se com as questões contextuais da} avaliação e as formas como esses fatores poderiam afetar a pesquisa. Também reconheceu a importância de envolver os grupos de interesse para determinar questões que pudessem ser úteis. No entanto, essa preocupação, foi com a intenção de selecionar métodos que se assemelhassem ao experimento clássico, se concentrando em usar diferentes concepções e métodos para realizar adequadamente uma avaliação (ALKIN, 2011).

29 _{Sua filosofia de avaliação é parecida com a de Donald Campbell ao considerar o experimento de campo} randomizado como o ideal para a avaliação. A avaliação é comparada à pesquisa científica convencional, isso envolve a aplicação sistemática de pesquisas randomizadas para medir a extensão de um problema social, avaliar a implementação, eficácia e relação custo-efetividade dos programas de intervenção social (ALKIN, 2004). 30 _{É conhecido por seu livro “Avaliação: uma abordagem sistemática” (1979), que aborda a avaliação como} proposta de investigação, enfatizando o uso do desenho experimental. Agora na sexta edição, o livro ainda é muito popular e inclui discussões sobre a coleta de dados qualitativos, o uso da avaliação e o papel dos grupos de interesse. A escrita do autor denota como as mudanças e as diferentes perspectivas podem modificar os pontos de vista no campo da avaliação. Na sua trajetória, considerou a avaliação como uma pesquisa social e sugeriu que os métodos sejam implementados e adaptados ao estágio do programa (ALKIN, 2004).

31_{É mais influente no desenvolvimento do conceito de prática de avaliação orientada pela teoria, desenvolvendo} alguns trabalhos com Petter Rossi. Apoiou paradigmas que trabalham com estudos experimentais e quase- experimentais, mas enfatiza que devem ser usados em conjunto com teorias das ciências sociais para construir avaliações eficientes que forneçam mais informações sobre como conseguir os efeitos desejados (ALKIN, 2004). 32_{Seu trabalho foi influenciado por metodologistas de pesquisa, teóricos políticos e expositores do pensamento} democrático, como Rousseau. É particularmente reconhecida por entender que o processo de condução de uma avaliação afeta uma situação política, no qual existem interesses, negociações e críticas. Nos seus estudos conclui que a qualidade da pesquisa é de maior importância, não só por causa dos adeptos as normas da ciência, mas por que aumenta o poder da pesquisa como munição no argumento intraorganizacional. (ALKIN, 2011).

33_{No campo da avaliação, sua preocupação era com a utilização para a tomada de decisão. Seguindo o trabalho de} Weiss, considera a avaliação como parte integrante da investigação política focada no planejamento de comunidades. Afirma o papel ativo do avaliador no fornecimento de dados para o uso instrumental, definindo a maneira pela qual os avaliadores podem ser mais produtivos para aumentar o uso da avaliação. Cronbach sustenta que a mais importante preocupação da avaliação é a generalização ALKIN, 2004).

34_{A principal contribuição do autor é a maneira pela qual definiu o papel do avaliador em fazer julgamento de} valor. Sustenta que há uma ciência de valor que é a avaliação. Para o autor, o programa deve ir de encontro das necessidades, e a avaliação deve determinar quais são essas necessidades. O avaliador deve desempenhar o seu papel em servir para o interesse público, clientes, usuários, e consumidores em potencial (ALKIN, 2004).

35_{Para Eisner, a avaliação diz respeito a juízo de valor sobre a qualidade de algum objeto, situação ou processo.} Traz importantes contribuições para a avaliação baseada em objetivos (objective-based evaluation). Faz uma crítica a utilização extensiva de modelos de investigação que utilizam abordagem fortemente dependentes de métodos quantitativos. Para o autor, a avaliação exige um sofisticado mapa interpretativo, não só para separar o que é trivial do que é significativo, mas também para entender o significado do que é conhecido. Baseia-se quase exclusivamente em métodos qualitativos, voltados para o papel do avaliador (ALKIN, 2004).

Egon Guba e Ivona Lincoln36, os quais defendem que a avaliação deve contemplar as necessidades e perspectivas de diferentes grupos de interesse (ALKIN, 2004).

Também há o ramo do Uso. É constituído por avaliações especialmente preocupadas com a efetiva utilização dos resultados da avaliação. Nesses estudos, os resultados das avaliações buscam subsidiar a tomada de decisão. Os autores envolvidos nessa avaliação são Daniel Stufflebeam37_{, Michael Patton}38_{e David Fetterman}39_{também valorizam as necessidades} e questões dos grupos de interesse e utilizam métodos orientados para o uso dos resultados da avaliação, principalmente as pessoas diretamente envolvidas com o objeto avaliado (ALKIN, 2004).

A organização das avaliações voltadas para o Método, o Valor e Uso fornece uma melhor compreensão da avaliação como um todo. Contudo, não podem ser vistas de forma independente, mas de uma maneira que reflita a relação entre si, uma vez que as contribuições dos autores se relacionam; teóricos particulares não são o foco, a estrutura da árvore pode ser útil para destacar de forma geral as diferentes abordagens; o refinamento em menores galhos e

36_{Os autores propõem a avaliação de Quarta Geração, voltada para o julgamento de valor a partir dos grupos de} interesse envolvidos na avaliação. Este ponto de vista se baseia na crença de que não há apenas uma realidade, mas realidades múltiplas baseadas nas percepções e interpretações dos indivíduos envolvidos no programa avaliado. Acreditam que o papel do avaliador é facilitar as negociações entre indivíduos, refletindo essas múltiplas realidades (GUBA; LINCOLN, 2011).

37_{Desenvolveu inicialmente o modelo CIPP junto com Guba, como uma abordagem de avaliação centrada no} processo de tomada de decisão. CIPP é um acrônimo para quatro tipos de avaliação: context, input, process, and

product (Contexto, informações úteis para a decisão, processo e produto). Para ele, toda avaliação produz mérito

e valor do programa. Em suma, a abordagem de avaliação envolve os grupos de interesse, afim de identificar as questões mais importantes, providenciando informações relevantes para auxiliar na tomada de decisões. Ao incluir várias perspectivas para as partes interessadas, entende que aumenta a possibilidade de compreender o valor do programa. Também acredita que as avaliações devem ser baseadas em contratos claros, em acordo formais entre avaliadores e clientes, afim de que cumpram com as condições ou renegociem (ALKIN, 2004).

38 _{É conhecido pela avaliação focada na utilização (utilization-focused evaluation-UFE). Sua proposta de} avaliação não é centrada somente nas pessoas que tomam as decisões, mas enfatiza procedimentos que podem melhorar a utilização da avaliação pelos grupos de interesse. Nesse sentido, o avaliador deve ser ativo, não estando satisfeito com avaliações que são simplesmente colocadas em prateleiras. Para o autor, a probabilidade de uma avaliação ser utilizada é reforçada com a identificação de pessoas que têm interesse na avaliação e que

pessoalmente se preocupam com os achados que ele gera. Assim, ressalta que o foco é identificar os “usuários primários”, e também ser flexível na modificação de questões da avaliação para atender às necessidades dos usuários. Nos últimos anos, Patton ampliou o âmbito da EFU através das outras abordagens. Observou que alguns aspectos que envolvem o processo de uso incluem: usar a avaliação para mobilizar ação, promover e empoderamento dos participantes e apoiar a justiça social. Também introduziu o termo “developmental

evaluation”. Nessa avaliação, o avaliador passa a fazer parte da equipe do programa, participando plenamente nas

decisões, assim está em essência, ajudando a desenvolver a intervenção (ALKIN, 2004).

39 _{É o autor da avaliação de empoderamento, um processo que incentiva a autodeterminação na avaliação de} programas. Os envolvidos realizam suas próprias avaliações, e o avaliador externo auxilia com treinamento, facilitação, conhecimentos e ferramentas para a auto avaliação e prestação de contas. Para Fetterman, o ponto final da avaliação não é juízo de valor do programa uma vez que esses não são estáticos. Considera a avaliação como um processo contínuo, através da internalização e institucionalização de processos e práticas de auto- avaliação. A dinâmica responsiva da abordagem pode ser desenvolvida para acomodar mudanças das populações, metas, valores e forças externas. Nessa avaliação, os grupos de interesse decidem e ajudam na condução de todos os aspectos da avaliação, incluindo design, implementação, análise e interpretação. É uma avaliação de natureza política e emancipatória, preocupando-se com as pessoas oprimidas (ALKIN, 2004).

a conexão entre as ramificações é uma das possibilidades de desenvolvimento e avanços na teoria (GARDE; ALKIN, 2012).

Já com relação às suas funções, a avaliação pode ser classificada em somativa (sumattive evaluation) ou formativa (formative evaluation). A avaliação somativa fornece julgamentos sumários sobre aspectos fundamentais do programa baseando-se na especificação de até que ponto os objetivos propostos foram atingidos. A avaliação somativa julga a efetividade do programa e é frequentemente solicitada pelos financiadores, sendo particularmente importante na tomada de decisão com relação a continuidade ou término. São avaliações orientadas para o julgamento e seguem quatro passos: seleção de critérios, seleção de níveis de performance, mensuração de performance e síntese dos resultados através de um julgamento de valor. Já a avaliação formativa visa o desenvolvimento do programa, fornece informações para adequar ou superar aspectos no seu andamento ao invés de realizar julgamentos definitivos. Usa com frequência uma abordagem indutiva, com critérios menos formais e uma busca aberta do que ocorre no programa (PATTON, 1997, 2010; FURTADO, 2001; ALKIN, 2012).

A avaliação com objetivos essencialmente somativos foi muito desenvolvida nos Estado Unido nos anos de 1960 e 1970 para a avaliação de Programas Sociais. Essa avaliação se apoia na modelo caixa preta (black box experimente), no qual a intervenção é tratada como uma variável dicotômica (ausência ou presença de intervenção), uma entidade relativamente homogênea e impermeável à influência das características dos meios nos quais ela é introduzida (CONTANDRIOPOULOS et al., 2000). Tal abordagem privilegia a análise dos efeitos dos programas, valendo-se de métodos quantitativos, calcados em um paradigma positivista, hipotético-dedutivo, voltado para o estabelecimento de inferências causais (FURTADO, 2001).

Apesar de ter contribuído para o desenvolvimento de métodos em avaliação, a avaliação essencialmente somativa recebe críticas, pois não traz atenção as especificações dos processos envolvidos e da produção das mudanças observadas depois da introdução de uma intervenção, isto é, das modificações trazidas ao ser aplicada. De certa forma, negligencia reflexões sobre a perspectiva dos vários executores e dos vários meios de implementação. Portanto, ao se apoiar em uma condição simplista das condições de implementação, se mostra inadequada para a realidade, onde clientes recebem várias quantidades de serviços, onde a natureza do tratamento