2.2 Avaliação de programas educacionais: algumas palavras
2.2.2 Modelo lógico: uma referência teórico-conceitual para a avaliação de mestrados
Segundo Moisdon (2006) e Lascoumes e Le Galé (2012), os instrumentos de materialização de uma intervenção tanto possibilitam sua implementação, quanto a condicionam e limitam em decorrência de suas próprias limitações, dado que se constituem como uma redução ideal da realidade. Tal princípio é extensível aos instrumentos de avaliação e, não por acaso, como na pesquisa científica, a totalidade das variáveis envolvidas na ocorrência de um evento jamais poderão ser esgotadas, devendo ser limitadas, arbitrariamente, pelo método adotado e justificadas pela teoria que o fundamenta, ainda que se opte por uma estratégia de triangulação metodológica (Shadish, Cook & Campbell, 2002; Minayo, 2009b). Assim, não obstante aos cuidados tomados quanto à eficiência relativa do instrumento de medida e à validade, confiabilidade e utilidade dos resultados, conforme alertam Zerbini et al (2012) e Secchi (2013), precisamos ter claras as dificuldades e limitações do processo de avaliação de uma intervenção e, segundo Davok (2006), atender aos seguintes aspectos gerais:
(i) apresentar claramente a finalidade, os objetivos e as metas da avaliação; (ii) identificar claramente os seus stakeholders; (iii) descrever o design e o processo de implementação; (iv) apresentar os dados e os critérios usados na interpretação e análise; (v) relatar os resultados e conclusões; (vi) fazer recomendações para o uso dos resultados no sentido de melhorar o objeto avaliado...(Davok, 2006, p. 140)
Ainda, é importante, para o sucesso da avaliação, que se esteja atento ao que propõe a Teoria Ator-Rede: o ator em um evento qualquer pode ser humano, mas, também, não-humano, tal como um instrumento, um documento, um edital, uma política, um projeto, um programa, uma campanha, uma estratégia, um curso, um serviço ou qualquer que seja a denominação dada a uma intervenção projetada com um fim, como nos trazem Latour (2000; 2012), Law (1989; 1992), Moisdom (2006) e Lascoumes e Le Galé (2007; 2012), o que vai ao encontro das proposições de Denis e Champagne (1997) e Contandriopoulos et al (1997) sobre as formas de se lidar com um instrumento (avaliativo ou de política pública), entendendo-o como um ente capaz de condicionar a ação coletiva, por meio da constituição de uma rede de relações que exige constantes negociações entre os aspectos técnicos e sociais que a constituem, produzindo a translação dos objetivos entre os atores humanos que com o instrumento se relacionam e condicionando a própria validade externa da intervenção.
Como nos traz Denis e Champagne (1997), a despeito da importância relativa da validade interna de um construto, defendida com afinco por autores como Campbell e Stanley (1966) e Cook e Campbell (1979), desde a década de 80 as preocupações com a validade externa da intervenção e a transferência de resultados para contextos diversificados se tornaram alvo dos estudos. Assim, Contandriopoulos et al (1997) e Denis & Champagne (1997) apresentam três princípios que apoiam a validade externa, estão, diretamente, relacionados com o poder explicativo e preditivo da avaliação e dependem de uma análise minuciosa de processos e contextos: semelhança, robustez e explicação. Semelhança refere-se à ideia de que um contexto acolheria generalizações de resultados obtidos em contextos similares, por ser reduzida a possibilidade de interações desconhecidas. A robustez está relacionada com a perspectiva de que a variação de contextos nos quais se implanta uma intervenção fortaleceria a capacidade de generalização dos resultados, por produzir uma base de dados mais ampla e diversificada sobre as interações, possibilitando a identificação de padrões ou estruturas mais ou menos constantes e passíveis de se repetirem ou não em universos empíricos similares inexplorados, o que aumenta o poder de previsibilidade. E a explicação está referida ao pressuposto de que é necessário compreender as interações envolvidas na produção dos resultados, sejam quais forem, investigando as múltiplas relações de causalidade (ou de plausibilidade causal) implícitas aos processos e as hipóteses de sucesso ou fracasso da intervenção, o que aumenta a perspectiva analítica e a capacidade de generalização e cria condições para que o avaliador coteje explicações de contextos diversos entre si na
identificação das estruturas fixas ou variáveis de efeitos significativos ou não, que interferem nos resultados esperados.
Planejar uma intervenção significa buscar o melhor conhecimento possível das variáveis de contexto e seus fluxos, sem a pretensão de esgotá-las, a fim de que se consiga um construto capaz de intervir sobre aquelas mais significativas e provocar sua convergência na direção dos efeitos esperados. Como redução metódica da realidade, os instrumentos de materialização de uma intervenção são dependentes dos interesses de quem os planejou e da teoria que os justifica, o que os torna incapazes de abarcar todo o universo de variáveis do contexto para controlá-las. Assim, correntes imprevistas estarão a todo momento interagindo, atravessando a intervenção no espaço e no tempo, produzindo efeitos inesperados, os quais apenas poderão ser compreendidos pela produção de explicações alternativas à intervenção, com o protagonismo de todos os atores envolvidos no processo. É, virtualmente, impossível afirmar que o efeito observado foi, sem sombra de dúvidas, decorrente da intervenção, esta se constituindo como uma origem plausível e provável a ser relativizada pelo contexto, existindo “causas” anteriores e posteriores ou mesmo simultâneas não contabilizadas ‘a priori’ e de difícil identificação ‘a posteriori’. Isso retira da noção de causalidade seu rigor clássico e torna a implantação da intervenção e sua avaliação um processo mais próximo da realidade.
Causalidade, na esteira das proposições de Shadish, Cook e Campbell (2002) e nos aproximando do que propõe Arendt (1990), é aqui entendida fora dos quadros referenciais empírico-positivistas, principalmente, em razão da natureza da avaliação. Assim, buscar a causa do efeito em uma intervenção representa lidar com múltiplas variáveis que, em dado momento, convergem na produção de um resultado, esperado ou não. Se o resultado é o planejado, podemos aceitar que a intervenção foi capaz de convergir de forma adequada as variáveis de contexto, correntes que, estando sempre em fluxo, se constituíram em origem do evento esperado. Contudo, torna-se difícil dizer se outras variáveis, outras correntes imprevistas não foram capazes de se articular em momentos anteriores, concomitantes ou posteriores na produção dos resultados, principalmente, se estes não condizem com o esperado. Independentemente da intervenção, o contexto possui uma constelação de variáveis em ação, fluxos que fervilham em todas as direções e que produzem um ou outro efeito nas contingências do momento em que convergem para um mesmo ponto ou, segundo Secchi (2012) propõe, como uma das formas de materialização das decisões em políticas públicas de maneira
geral, na dependência de uma associação favorável entre necessidade, contexto e oportunidade.
A eficiência e eficácia de uma intervenção, bem como de sua avaliação exigem o conhecimento de certa variedade de métodos e modelos, além dos pressupostos teórico-filosóficos que os fundamentam, a fim de que as deficiências possam ser contornadas, sem que o avaliador se torne refém de suas próprias limitações técnicas. Assim, o Modelo ou Marco Lógico (ML) tem sido adotado nos mais diversos contextos por sua flexibilidade, possibilidade de interface com técnicas complementares, praticidade, eficiência e objetividade (Secretaria de Fiscalização, 2001; Braga, Carvalho & Santos, 2011; Mourão & Meneses, 2012b; Damasceno et al, 2012; Abbad, Souza, Laval & Souza, 2012; Souza, 2013) e, dada sua centralidade na construção dos instrumentos de avaliação do presente trabalho, daremos a seguir um destaque especial a ele.
O ML é uma estratégia eficiente, aplicável a qualquer nível e etapa de análise, deixando claro “porque”, “o quê”, “quem”, “como”, “com o quê” e “sob que risco” avaliar. As origens do ML assentam-se em uma agência assistencial estadunidense (United States Agency for International Development-USAID) nos finais dos anos 70 do séc XX, sendo o método amplamente adotado pelo Banco Interamericano de Desenvolvimento (BID) como exigência àqueles que pleiteassem seu apoio, desde então, e sua aplicação exige que se conheça o projeto a se avaliar e o contexto no qual se insere. O ML é um instrumento que pode ser aplicado com diversas finalidades, buscando diferentes níveis de resultado e ao abrigo de variadas teorias e, assim, é imprescindível sua associação a um modelo teórico que o sustente e oriente a interpretação dos dados e suas relações (Mourão & Menezes, 2012), pois, um instrumento, qualquer que seja, poderá e irá condicionar o uso dos resultados de sua aplicação e a ausência de um modelo teórico consistente acabará por submeter seu usuário à utilização irrefletida dos resultados obtidos, enviesando interpretações e soluções (Moisdom, 2006). Com essa preocupação, o ML pode ser utilizado, a fim de sintetizar as informações sobre as estratégias e atividades instrucionais9 que se pretende avaliar ou mesmo ser aplicado à etapa de
9 Não nos ateremos à controvérsia em torno das questões teóricas envoltas na discussão sobre os conceitos
“educação”, “treinamento”, “instrução” e “ensino” ainda que sejam relevantes a um debate mais amplo sobre o assunto, bastando por ora ter claro que existe uma relação hierárquica de amplitude descendente entre os três primeiros e às quais acresceremos o conceito de “ensino” como sendo as estratégias tecnológicas ou didáticas que os perpassa e que se ocupam da transferência ou compartilhamento de conteúdos para o desenvolvimento de aprendizagens e competências.
avaliação de necessidades de qualificação, já no momento do planejamento, o que permite um adequado alinhamento estratégico das ações educativas em todas as suas fases e garante a própria avaliabilidade do programa, segundo intenções bem estabelecidas e claras. Seu uso no planejamento de intervenções educativas permite a fuga da convencional contratação de programas pré-formatados de um ator (agente, demandado ou contratado) por outro (principal, demandante ou contratante) e da centralização das ações em um ou poucos indivíduos, bem como da redução da avaliação à mera coleta de dados sobre a satisfação dos partícipes com o curso (Damasceno et al, 2012; Mourão & Menezes, 2012).
No contexto das discussões sobre o tema, uma diferenciação entre as duas expressões “Marco Lógico” ou “Modelo Lógico”, por vezes, é realizada, sendo entendido por “Marco Lógico” a matriz relacional, propriamente dita, utilizada no momento de planejamento, com foco nos objetivos. Já a expressão “Modelo Lógico” referir-se-ia à matriz gráfica incorporada de aspectos teóricos que a justificam e explicam, tendo sua tradição na avaliação dos resultados. Muitas vezes, uma expressão é utilizada pela outra, chegando, mesmo, a ser encontrada na literatura a denominação “Modelo de Marco Lógico” (Secretaria de Fiscalização, 2001). Contudo, em harmonia com Souza (2013), a natureza conceitual não é a questão central (e parece não ser um consenso), mas, sim, a riqueza de usos e possibilidades. Assim, podemos encontrar “Marco/Modelo Lógico” e “Gráfico Lógico do programa” como expressões distintas e bem demarcadas ou como sinônimos e aproximações, mas o presente trabalho não se ocupará de sua definição epistemológica, bastando ter claro que a descrição de uma intervenção, tendo por referência a concepção de Marco/Modelo Lógico, é a caracterização da estrutura e das relações existentes entre todos os componentes de uma intervenção, de forma analítica, descritiva, sistemática e visualmente representável, sendo justificada por uma teoria do programa avaliado, por meio dos aportes teóricos adotados e que lhe dão sentido.
A estratégia do “Marco/Modelo Lógico”, no escopo deste trabalho, é adotada como a referência conceitual, uma forma de aproximação do objeto, que pode ser complementada por outras referências conceituais. Assim, adotando orientações presentes em Borges-Andrade (2002, 2006), Cassiolato e Gueresi (2010), Damasceno et al (2012), Mourão e Menezes (2012) e Souza (2013), o organizador gráfico geral, denominado Matriz Lógica Heurística (MLH), que apresentamos de forma completa na sessão referente aos métodos de investigação, é derivado dos pressupostos do ML e possui
três segmentos estruturantes, verticais, sequenciais e recíprocos: estrutura ex-ante (problema-gerador, insumos, retorno social e objetivos) estrutura in curso (processos) e estrutura ex-post (efeito imediato objetivo, efeito imediato subjetivo, efeito tardio primário e efeito tardio secundário). Diagonalmente, perpassando essa estrutura, temos os critérios e os meios possíveis de sua verificação (testes, questionários, produtos da aplicação, evidências de desempenho, relatórios, medidores de impacto, índices de ocorrências, observação, entrevistas...) e as suposições explicativas e de risco. Quatro são as fases históricas de sua ocorrência: análise de demanda, prioridades e contexto, planejamento dos componentes, materialização do plano (implantação e implementação) e avaliação de resultados. A MLH originou, ainda, um segundo instrumento denominado Gráfico Lógico (GL), caracterizado como uma representação pictórica sintética dos fluxos e relações nela presentes.
Em síntese, o que chamamos MLH, a exemplo do ML e como uma ferramenta para a aplicação de seus pressupostos, possibilita a abordagem e visão do programa a partir de seus indicadores de insumos (o que se tem para o alcance dos resultados propostos), processo (o que se faz para o alcance dos resultados propostos e com que eficiência) e resultados (o que se alcançou com o programa e com que eficácia e efetividade), tendo por referência um problema-gerador, presumidamente, identificado por uma avaliação de demanda e contexto, e a meta presente no retorno social e nos objetivos. A sistematização pela técnica proposta permite uma orientação das abordagens investigativas de forma a possibilitar organicidade e profundidade na abordagem do objeto, nas análises dos dados e na discussão dos resultados, indo ao encontro das preocupações de Scriven (1991) com o valor e o mérito da intervenção e de Silva (2013) com a necessária aproximação entre conhecimentos acadêmico e não-acadêmico em processos avaliativos e buscando superar os limites denunciados por Davok (2006), Damasceno, Abbad e Meneses (2012) e Paixão et al (2014) nos estudos sobre o tema, os quais tendem a focalizar um ou outro aspecto da intervenção, em abordagens pouco sistêmicas.
a. Aspectos da Taxonomia de Bloom aplicados à análise documental
Uma revisão da Taxonomia de Bloom original, de 1956, foi realizada em 2001, agregando-lhe algumas alterações que a tornaram mais flexível quanto à hierarquia e modificaram os nomes das categorias do domínio cognitivo, de substantivos (Conhecimento, Compreensão, Aplicação, Análise, Síntese e Avaliação) para verbos de ação que expressassem melhor sua natureza, invertendo as duas últimas (Conhecer, Entender, Aplicar, Analisar, Avaliar e Criar)10. Embora tenha sido mantida a estrutura
lógica original, a nova Taxonomia assumiu um caráter mais processual e bidimensional, que passou a utilizar subcategorias como verbos no gerúndio e a valorizar as dimensões do conhecimento (efetivo ou factual, conceitual, procedural ou operacional, metacognitivo) na classificação dos objetivos. Dessa forma, um objetivo eferente completo deve conter um verbo de ação (cujo sujeito é o aluno) relacionado a um objeto direto ou indireto, que indica o conteúdo sobre o qual se empreende a ação, um instrumento de avaliação representado, muitas vezes, pelo verbo no gerúndio, que indica, geralmente, o meio pelo qual se pretende expressar a competência objetivada e pode, algumas vezes, representar a circunscrição definida para alcance do fim, e um parâmetro que indica uma referência qualitativa ou quantitativa para avaliação do sucesso de alcance do objetivo (Sossai, 1974; Abbad, Zerbini, Carvalho & Menezes, 2006; Ferraz & Belhot, 2010; Martinez, Martinez & Toledo, 2013; Silva & Martins, 2014) 11.
Na medida do possível, seguindo tais pressupostos da Taxonomia de Bloom e buscando apoio em Abbad, Zerbini, Carvalho e Meneses (2006), Rodrigues Jr (2006), Mourão e Meneses (2012b) e Zerbini et al (2012), o presente trabalho assume o pressuposto de que, nos objetivos, além das ações e seu conteúdo (fins), é desejável que
10 No presente trabalho, optamos por seguir a Taxonomia Revisada, mantendo apenas a denominação original, na forma de substantivos.
11 Talvez seja importante ressaltar que verbos no gerúndio, em Inglês (origem da Taxonomia de Bloom), aceitam tradução substantivada para o Português. Assim, na nossa língua, um objetivo do tipo “Aplicar elementos e índices econômicos, implementando avaliações dos serviços de Saúde” teria o mesmo sentido que “Aplicar elementos e índices econômicos, na implementação de avaliações dos serviços de Saúde” ou, sendo mais flexível, “Aplicar elementos e índices econômicos, por meio da implementação de avaliações dos serviços de Saúde”, que em Inglês seria “Apply elements and economic indices, implementing assessments of health services”. Assim, há que se atentar para o contexto discursivo geral ao se interpretar qual o sentido do verbo no gerúndio em um objetivo (meio ou circunscrição?), sendo aconselhável evitar tais construções, em razão de sua dubiedade.
estejam presentes elementos que indiquem as condições (circunscrição, meios, contexto) em que a ação deve se manifestar e os parâmetros quali-quantitativos pelos quais a ação será considerada um sucesso (critérios, normas, padrões)12. É interessante notar que
Zerbini et al (2012) discriminam os objetivos de aprendizagem dos objetivos de desempenho, estando estes relacionados à aplicação, do que fora aprendido, na solução de problemas no ambiente de trabalho, indicando uma mudança no comportamento individual. Ainda, Sossai (1974) chama a atenção para o fato de que a denominação “objetivo psicomotor”, atribuída por Bloom aos objetivos de ordem prática e aplicada, não encontram eco adequado dentro da Educação em Saúde, uma vez que a aplicação desejada nesse campo é maior que a simples observação de habilidades neuromotoras, é externa à sala de aula e não se resume à sua verificação nesses espaços. Além disso, alega que toda atividade humana é, em última análise, psicomotora, o que tornaria a expressão de Bloom ambígua e pouco precisa. Com isso, propõe a expressão “objetivo ativo”, reconhecendo suas limitações, mas entendendo ser ela mais ajustada aos objetivos da Educação em Saúde, qual seja, a adoção de práticas, o que, para além da habilidade neuromotora, pressupõe um conhecimento prévio e a atitude necessária para sua aplicação.
Dada a excessiva amplitude do termo “psicomotor” apontada por Sossai (1974), adotaremos a expressão “objetivo sensório-motor” como uma alternativa menos ampla que “psicomotor”, mas não isenta de críticas, para tentar designar os objetivos restritos aos cenários de ensino-aprendizagem, relacionados com as habilidades neuromotoras. Ainda, frente à própria inexatidão do termo “ativo”, já reconhecida por Sossai (1974), e à sua aparente proximidade com a solução apresentada por Zerbini et al (2012), a qual assimila, além das habilidades neuromotoras, conhecimentos e atitudes, portanto, competências, incorporamos as propostas de ambos e seguimos adiante, aqui propondo a divisão dos objetivos em aferentes e eferentes e assumindo a expressão “objetivos de desempenho” acrescida do qualificativo “eferente”, como uma síntese entre as expressões “objetivo psicomotor” e “objetivo ativo”.
Os objetivos aferentes (de ensino), quando presentes, referem-se a ações com origem em um sujeito coletivo ou indeterminado ou cujos sujeitos são os idealizadores
12 A título de exemplo, um objetivo adequado seria: “Julgar boas práticas de atendimento, em cada órgão e entidade do SUS, conforme os Padrões de Qualidade do Atendimento ao Cidadão, por meio da observação da conduta dos trabalhadores”.
ou executores da intervenção, podendo estar relacionados com verbos menos precisos, que indicam objetivos gerais ou intenções do programa quanto ao seu público ou aos seus produtos e ações (viabilizar, favorecer, conscientizar, sensibilizar, provocar, mediar, apresentar, possibilitar, garantir, orientar, auxiliar, fortalecer, aperfeiçoar, fornecer, capacitar, refletir, ressignificar, aproximar, vislumbrar e qualquer outro verbo que, na dependência do contexto, indique uma ação que não se origine, exclusivamente, no discente). Os resultados de tais objetivos sobre o aprendiz são, muitas vezes, de difícil aferição, podendo almejar sua formação ética, política e filosófica, delineando os contornos gerais da intervenção, cujo detalhamento operacional é expresso por objetivos mais específicos (eferentes), focados em ações observáveis e mensuráveis.
Os objetivos eferentes referem-se a ações cujo sujeito é o discente, devendo se manifestar como competências nos cenários de ensino-aprendizagem (objetivos eferentes de aprendizagem) e no ambiente social ou de trabalho (objetivos eferentes de desempenho) e se relacionando com verbos que indicam uma ação observável e mensurável no aprendiz (que será capaz de lembrar, executar, produzir, solucionar, comparar, relacionar, apresentar, caracterizar, demonstrar, identificar, discutir, descrever, justificar, analisar, modificar, responder e qualquer outro verbo que indique o discente como origem exclusiva da ação). Os objetivos eferentes devem ser unifocais e dirigidos a resultados e não a processos, precisam ser, individualmente, relevantes para o objetivo aferente e, coletivamente, refletirem seu espírito, ainda que, muitas vezes, não possuam sentido individual completo. Deve-se ter claro que os verbos por si não são preditivos do tipo de objetivo, sendo necessário, às vezes, analisá-los à luz do contexto discursivo em que foram utilizados, contudo, são indícios mais ou menos seguros.
Dentro desse caudal, devemos considerar, ainda, o domínio afetivo, além do cognitivo e sensório-motor. Em síntese, objetivos cognitivos são definidos por verbos que expressam a capacidade de o indivíduo apreender um conhecimento, reproduzi-lo ou recriá-lo em novo discurso próprio, aplica-lo na solução de problemas concretos, decompô-lo em partes menores, para visualizar detalhes e relações, julgá-lo em seus significados e sentidos e enriquecê-lo, produzindo algo diferente, novo ou inovador. Os objetivos afetivos estariam relacionados com o desenvolvimento de atitudes, valores e crenças capazes de condicionar um comportamento, enquanto os sensório-motores se relacionam com o comportamento, propriamente, dito e com uma ação prática derivada