Modelo CIPP de Avaliação de Programas

Antes de discor sobre o Modelo CIPP, a ser utilizado neste estudo, convém, antes, caracterizar o termo modelo, e explicitar o seu significado no que concerne à prática da pesquisa, particularmente no campo da Avaliação, onde se trata de conceito fundante (LIRA, 2010). Para Domingues (2004), ele significa três coisas, ainda que intercambiáveis e não exclusivas: (1) o arquétipo de alguma coisa, o protótipo de uma série, o original de uma espécie qualquer; (2) a simulação, a abreviação, a simplificação, o resumo da própria realidade; e (3) a construção ou a criação de algo pelo espírito que serve de instrumento para conhecer alguma coisa ou conduzir uma pesquisa, sem necessariamente referir-se à realidade ou a algum de seus aspectos. E mais: numa acepção tecnológico-científica, pode designar uma ferramenta teórica ou um instrumento analítico de que o cientista se serve para orientar suas pesquisas, assim como para contrastar o real empírico e o que se pensa sobre ele. Com enfeito, integra os modelos científicos, em sua qualidade de ferramentas de conhecimento, todo um conjunto de esquemas, de diagramas, de tipologias e de outros tantos artifícios por meio do qual os cientistas simulam o que poderia ocorrer se um elemento do real varia ou se as condições previstas in abstracto não se alteram, ainda que o real varie—simulações que lhes permitem controlar a teoria, verificar suas hipóteses e submeter suas predições a testes precisos. Tais esquemas, em seu uso científico, podem ser ou bem meras construções do espírito, sem qualquer referente no real, que só existe na teoria, ou bem uma simples abreviação do real.

Com respeito à importância da noção de modelo para a epistemologia, cabe destacar que, de acordo com van Fraassen (2007), a atividade científica é essencialmente construtiva: em vez da descoberta da verdade sobre o que é inobservável trata-se da construção de modelos que devem ser adequados aos fenômenos, tendo em vista o ‘contexto’ no qual estes são explicados. Seguindo essa linha, Dutra (2005; 2008) afirma que a investigação científica é, em sua pragmática, a atividade de modelagem.

Bruyne et al (1977), definem como pólo morfológico aquele que permite à metodologia da pesquisa pensar seu objeto num espaço configurativo ao articular os conceitos, os elementos, as variáveis numa arquitetônica construída com mais ou menos rigor, visando à objetivação da problemática formulada no pólo teórico.

Esse pólo representa o plano de organização dos fenômenos, os modos de articulação da expressão teórica objetivada da problemática da pesquisa. Ao mesmo tempo, ele é o quadro operatório, prático, da representação, da elaboração, da estruturação dos objetos científicos. (Ibid., p. 159).

Trata-se de um pólo autônomo de pesquisa, mas apenas em suas relações concretas com o conjunto das abordagens metodológicas: epistemológica, teórica e técnica. Segundo aqueles autores, três são os caracteres fundamentais que permitem evidenciar a função do pólo morfológico na economia geral da pesquisa: (1) a exposição, (2) a causação e (3) a objetivação, os quais são complementares e indissociáveis.

 A exposição é a função através da qual o pólo morfológico pode ser visto como um desdobramento, uma distribuição espacial, uma rede morfológica de conexões entre teses ou acontecimentos, entre conceitos ou proposições, entre fatos ou leis; como o lugar da articulação do sentido, da estruturação das teorias e das problemáticas úteis à pesquisa.  A causação é a operação que permite que os elementos das conexões da rede

morfológica—teses, acontecimentos, variáveis, proposições—aconteça sob certas condições teóricas determinadas. A causalidade é posição de uma coerência lógica e/ou significativa que articula os fatos científicos numa configuração operatória, sendo dita “expressiva” ou “compreensiva” num tipo ideal, “positiva” num sistema empírico e “estrutural” nos modelos formalistas.

 A objetivação é a colocação em evidência de uma forma, a especificação de uma rede de relações que tem a função indispensável de constituir um espaço de causação e de significação, implicando, além disso, uma “analogia”, uma operação referencial que funda a validade da estruturação da problemática, regulada pela crítica intersubjetiva dos pesquisadores.

No âmbito da objetivação, o pólo morfológico possui dois regimes de funcionamento conforme seu papel metodológico: configurativo e arquitetônico, conforme os modelos fornecidos pelo espaço metodológico visem, respectivamente, a uma cópia do real, da problemática, ou visem um simulacro desse real, dessa problemática.

O modelo CIPP, aqui entendido em sua função de objetivação e na acepção morfológica arquitetônica, é composto por quatro tipos de avaliação (Contexto, Inputs, Processos e

Produto), muito embora não seja necessário utilizar os quatro tipos para alcançar as

finalidades de uma dada avaliação.

A empresa/instituição escolhe que tipos de avaliação utilizará tendo em vista seu planejamento. A Avaliação de Contexto avalia as necessidades, os problemas, ativos e as oportunidades para ajudar os tomadores de decisão; define metas e prioridades para alcançar os resultados. O principal objetivo da Avaliação de Contexto é fazer um diagnóstico geral do objeto a ser avaliado, destacando os pontos fortes e fracos. Sua principal característica é identificar as virtudes e os defeitos do objeto avaliado (política, instituição, programa, serviço, ação, etc.) e proporcionar um guia para seu aperfeiçoamento (STUFFLEBEAM, 2003).

A Avaliação de Contexto procura responder alguns questionamentos:  Que objetivos devem ser alcançados para atender às necessidades?  Que objetivos devem receber apoio de agentes externos?

 Que objetivos têm possibilidades de serem concretizados?

A Avaliação de Inputs avalia alternativas e abordagens, enfocando planos de ações, funcionários e orçamentos para a sua viabilidade, e potencial para atender às necessidades específicas e para alcançar as metas. Isto é, avalia os modos pelos quais se podem usar os

recursos para alcançar os objetivos do programa. Algumas indagações inerentes à Avaliação de Inputs são:

 As estratégias adotadas pelo programa estão coerente com os objetivos propostos?  As estratégias e o cronograma são factíveis?

 As estratégias estão vinculadas à viabilidade política?

A Avaliação de Processos avalia a implementação de planos para ajudar o pessoal a exercer as suas atividades e, mais tarde, para ajudar o grupo mais amplo de usuários no desempenho do programa e no julgamento e na interpretação dos resultados. Para Stuffebleam (1971), a Avaliação de Processos promove acompanhamento de informações e relatórios aos gestores com o objetivo de garantir a execução do programa. Seus questionamentos podem ser:

 Os projetos e ações inerentes ao programa obedecem o cronograma?  As ações são aplicáveis às estratégias do programa?

 Os recursos são suficientes para execução das estratégias?

A Avaliação de Produto identifica e avalia os resultados desejados e os não intencionais, de curto e longo prazo, tanto para ajudar a manter uma equipe de funcionários de uma empresa/instituição focada em atingir os resultados importantes. Busca caracterizar alguns pontos como:

 As discrepâncias e consequências dos objetivos pretendidos e alcançados.  Resultados alcançados e que não estavam programados.

 Análise sobre se as estratégias devem ser atualizadas para atingir objetivos não atingidos. Stufflebeam (2003) enfatiza que o propósito mais importante da avaliação não é provar, mas aperfeiçoar, com aplicação prospectiva e retrospectiva. O Quadro 6 resume os usos do Modelo CIPP para as modalidades de avaliações formativa e somativa. A matriz de oito

células engloba muitas das informações necessárias à avaliação, e o que deve constar dos relatórios de avaliação, seja formativa seja somativa.

Quadro 6

Relevância dos quatro tipos de avaliação e suas funções de avaliação formativa e somativa FUNÇÃO DA

AVALIAÇÃO

CONTEXTO INPUTS PROCESSOS PRODUTO

Avaliação Formativa: Aplicação prospectiva de informações CIPP para auxiliar a tomada de decisões e garantia de qualidade Orientação para a identificação de intervenções necessárias, escolhendo e classificando metas (com base na avaliação das necessidades, problemas, vantagens e oportunidades Orientação para a escolha de um programa ou outro estratégica (com base na avaliação de estratégias alternativas e planos de alocação de recursos), seguido pela análise do plano de trabalho Orientação para a implementação do plano de trabalho (com base no acompanhament o, monitoramento e avaliação periódico e feedback) Orientação para a continuidade, modificando, adotando, ou encerra o esforço (com base na avaliação dos resultados e consequências) Avaliação Somativa: Utilização retrospectiva de informações CIPP para resumir o mérito do programa, vale a pena, a probidade eo significado Comparação das metas e prioridades para as necessidades avaliadas, problemas, vantagens e oportunidades Comparação da estratégia do programa, projeto e orçamento para as críticas dos concorrentes e às necessidades específicas dos beneficiários Descrição completa do processo real e registro dos custos. Comparação dos processos desenhados e real dos custos

Comparação de resultados e consequências para as necessidades específicas e, quando possível, resultados de programas competitivos. Interpretação dos resultados quanto avaliação de contexto, entrada e processos

Fonte: Stufflebeam, 2003, tradução nossa.

O Modelo CIPP é um esquema global de orientação de avaliações formativa e somativa de projetos, programas, pessoal, produtos, instituições e sistemas. O modelo é configurado para uso em avaliações internas realizadas por avaliadores de uma organização (de auto-avaliações realizadas por equipes de projetos ou por prestadores de serviços individuais), ou por avaliadores contratados para avaliações externas. O modelo tem sido empregado em todo os EUA e ao redor do mundo, em avaliações de curto e longo prazos, em investigações tanto de pequeno quanto de grande portes. Os setores beneficiados pela utilização do modelo

estendem-se à habitação, à educação e ao desenvolvimento comunitário, à segurança, ao transporte e às forças armadas (STUFFLEBEAM, 2003).

A avaliação formativa, definida com desenhos que priorizam a melhoria do programa, pode ser compreendida como uma importante intervenção visando a garantir que inovações sejam implantadas com fidelidade ao modelo proposto, e que as lições aprendidas, em todo o processo de implantação, possam gerar propostas de soluções que viabilizem a garantia da replicação de outras iniciativas com as adequações necessárias (FELISBERTO, 2008).

Observa-se uma dificuldade na avaliação de programas, isto é, nas várias formas utilizadas na implantação e nos resultados esperados. De forma que, a avaliação formativa colabora na analogia entre os objetivos previstos e alcançados.

Segundo Stufflebeam,

os conceitos nucleares do modelo são denotados pelo acrônimo CIPP, correspondendo a contexto, inputs, processos e produtos de um objeto de avaliação, que determinam, respectivamente, quatro focos de avaliação: objetivos, planos, ações e resultados, configurando, por fim, os quatro tipos de avaliação. Stufflebeam (2004, p.7).

O Modelo CIPP pode ser esquematizado graficamente em três círculos concêntricos (Figura

2). O círculo interno representa os valores fundamentais que devem ser identificados e

utilizados para fundamentar a avaliação. O círculo em torno dos valores está dividida em quatro focos de avaliação associados a qualquer programa ou outro empreendimento: objetivos, planos, ações, e resultados. O círculo externo indica o tipo de avaliação que serve a cada um dos quatro focos de avaliação, ou seja, contexto, inputs, processos e produto.

Cada seta bidirecional representa uma relação recíproca entre um enfoque particular de avaliação e um tipo de avaliação. A tarefa de definição de metas levanta questões para uma

avaliação de contexto, que por sua vez, fornece informações para validar ou melhorar

esforços de planejamento que geram dúvidas para uma avaliação de inputs. Esta, correspondentemente, fornece juízos de planos e direção reforçando as ações do programa e que levanta questões para uma avaliação do processos, a qual, por sua vez, fornece juízos de atividades e comentários para fortalecer o desempenho da equipe. Êxito e falta de êxito são o foco de atenção da avaliação do produto, que em última análise, emite juízos de resultados e identifica as necessidades para a realização de melhores resultados. Essas relações são

avaliações funcionais e têm valores fundamentais, referenciados no círculo interno do modelo. O valor de avaliação é a raiz do termo e refere-se a qualquer um de uma série de ideais realizadas por uma sociedade, grupo ou indivíduo.

VALORES