0 | P á g i n a
MANUAL DE
MONITORAMENTO E
AVALIAÇÃO
1 | P á g i n a
CONSELHO DE ADMINISTRAÇÃO DA ANATER Presidente
Jefferson Coriatec
Secretaria Especial de Agricultura Familiar e do Desenvolvimento Agrário (SEAD) Valmisoney Moreira Jardim
Presidente da Agência Nacional de Assistência Técnica e Extensão Rural (ANATER) Maurício Antônio Lopes
Presidente da Empresa Brasileira de Pesquisa Agropecuária (EMBRAPA) Juarez Távora de Freitas Junior – Titular
Ministério da Agricultura, Pecuária e Abastecimento (MAPA) Roberto Endrigo Rosa – Titular
Ministério do Planejamento, Desenvolvimento e Gestão Antoninho Rovaris - Titular
Confederação Nacional dos Trabalhadores na Agricultura (CONTAG) Marcos Rochinski - Titular
Federação dos Trabalhadores e Trabalhadoras na Agricultura Familiar (CONTRAF-BRASIL) Daniel Kluppel Carrara - Titular
Confederação da Agricultura e Pecuária do Brasil (CNA) João Nicédio Alves Nogueira - Titular
Organização das Cooperativas Brasileiras (OCB) Argileu Martins da Silva – Suplente
____________________________________________________________________________________
2 | P á g i n a
DIRETORIA EXECUTIVA DA ANATER Presidente
Valmisoney Moreira Jardim Diretor Administrativo
Ricardo Peres Demicheli Diretor Técnico
José Maria Pimenta Lima
Diretor de Transferência Tecnologia Cleber Oliveira Soares
ELABORAÇÃO
Gerente de Planejamento, Monitoramento e Avaliação. Alencar Libânio
Analista de Planejamento, Monitoramento e Avaliação. Laryssa Nascimento
Revisão e Design Gráfico Jerusia Xavier Arruda
3 | P á g i n a
SUMÁRIO
1 - INTRODUÇÃO ... 4
2- METODOLOGIA DO MARCO LÓGICO ... 5
3- MENSURAÇÃO ... 7
4 –MONITORAMENTO E AVALIAÇÃO ... 7
5– INSTRUMENTOS DO PROCESSO... 12
____________________________________________________________________________________
4 | P á g i n a
1 - INTRODUÇÃO
A Agência Nacional de Assistência Técnica e Extensão Rural – ANATER, nasce com a expectativa de contribuir para a qualificação dos serviços de assistência técnica e extensão rural no Brasil, a disseminação de tecnologias apropriadas para o público rural.
A elaboração deste Manual tem como principal objetivo divulgar como a instituição controla os processos que agregam valor para sua estratégia e realiza o acompanhamento da evolução das suas metas dos principais processos finalísticos.
O Monitoramento e Avaliação são partes essenciais de qualquer projeto, pois ao realizar essas ações podemos identificar o que será feito verificando se as áreas dos projetos que estão indo ao encontro dos objetivos e metas almejados no início do projeto, com isso, temos a possibilidade de identificar os aspectos de um projeto que precisam ser ajustados, mitigando riscos e atendendo as expectativas das partes interessadas.
As informações obtidas a partir da análise do monitoramento podem ajudar na tomada de decisões sobre objetivos e investimentos que serão realizados no próprio projeto ou em outros projetos futuros. Além disso, os indicies de desempenhos alcançados serão utilizados para uma avaliação.
"O que pode ser medido, pode ser melhorado (Peter Drucker)."
A Anater é uma pessoa jurídica de direito privado sem fins lucrativos, de interesse coletivo e de utilidade pública, foi instituída pelo Decreto n° 8.252, de 26 de maio de 2014, sob a forma de Serviço Social Autônomo.
A Agência possui metas definidas pelo Governo Federal em seu o contrato de gestão e para realizar uma gestão baseada em resultados faz uso da metodologia do marco lógico para a elaboração de seus projetos.
5 | P á g i n a
Metodologia do Marco Lógico: Descreve a metodologia do marco lógico e a matriz lógica com seus diferentes elementos considerando as etapas mais importantes de um projeto que permitem a sua apresentação sistemática, lógica e sucinta.
Mensuração: Descreve o conceito de mensuração e sua relevância para o monitoramento através de indicadores de esforço e resultado.
Operacionalização do Monitoramento e Avaliação: Descreve os principais conceitos do monitoramento e avaliação e seu processo de gestão nas distintas fases do ciclo de projetos.
Instrumentos para Monitoramento e Avaliação: Descreve os produtos gerados de monitoramento e avaliação a serem aplicados durante as distintas fases do projeto. Anexos: Descreve o glossário de termos utilizados em projetos de cooperação técnica e
as principais referências do documento. 2- METODOLOGIA DO MARCO LÓGICO
2.1 Metodologias do marco lógico
A metodologia do marco lógico caracteriza-se pela definição de uma estrutura com priorização de objetivos a serem alcançados, associados aos indicadores e à estratégia da instituição, possibilita um processo contínuo de avaliação e aprendizagem, considerando o planejamento, de forma que atenda às realidades organizacionais em sua elaboração.
É fundamental que a matriz lógica descreva a linha de base, os indicadores e as metas, tornando possível sua mensuração, que as metas definidas sejam alcançáveis, e definidas dentro de um limite de tempo realista. Os indicadores devem possuir uma base mensurável para sua avaliação e mostrar quantidade, qualidade e tempo em relação ao objetivo proposto.
2.2 Matriz lógica
A matriz lógica é o principal instrumento utilizado na aplicação da metodologia do marco lógico. Consiste em um conjunto de conceitos interdependentes que descrevem, de modo operacional e organizado numa matriz, os aspectos mais importantes de um projeto de intervenção.
_______________________________________________________________________________
6 | P á g i n a
Essa descrição permite, em primeiro lugar, verificar se um projeto está bem estruturado e, em segundo lugar, o acompanhamento sistemático e uma avaliação mais fácil e mais objetiva.
Ações adotadas na metodologia do marco lógico:
Identificar e analisar os problemas: Através da comparação entre dados de desempenho e os padrões estabelecidos;
Estabelecer os objetivos apropriados: Estabelecer padrões de desempenho que indiquem o progresso rumo aos objetivos de longo prazo;
Identificar e descrever a linha de base: Identificar metas, cronogramas, planos de ações; Definir os indicadores e as metas para medir o alcance dos resultados: Medir a evolução
dos resultados;
Descrever avanços: Monitorar os avanços obtidos;
Identificar as externalidades que são críticas para o projeto: Identificar os fatores críticos que podem impedir a evolução do projeto.
Realizar o monitoramento e a avaliação do projeto: Consiste em acompanhar e avaliar a execução da estratégia e metas estabelecidas.
A implantação da metodologia do marco lógico para elaboração de projetos fornece a base para o desenvolvimento de ações de M&A, a partir da coleta de dados de qualidade a serem utilizados na tomada de decisões, contribuindo para o alcance do propósito do projeto.
É fundamental que a matriz lógica descreva a linha de base, os indicadores e as metas, de forma a possibilitar sua medição entre o que foi planejado e executado, para o alcance dos resultados. Os indicadores devem possuir uma base mensurável para sua avaliação e mostrar quantidade. É a partir dos indicadores que se registra o momento inicial do projeto (referências iniciais) para que seja possível medir os avanços dos resultados ao seu término, para satisfazer as necessidades para as quais ele foi iniciado comparando a situação inicial e final, verificando as mudanças ocorridas, a eficiência das atividades implementadas e os possíveis impactos obtidos. Isso inclui planejamento, garantia e controle de qualidade.
7 | P á g i n a
3- MENSURAÇÃO
3.1 Conceitos de Mensuração
Conceito de mensuração adotado pela Anater é definido pelo autor Douglas W Hubbard. O autor define que a mensuração "é um conjunto de observações que reduzem a incerteza quando o resultado é expresso como uma quantidade".
3.2 Mensuração e Monitoramento
Kaplan e Norton (1997) utilizam-se de um velho jargão da administração para justificar a importância da atividade de monitoramento e controle: “O que não é medido não pode ser gerenciado”.
Esta afirmativa faz parte do princípio de que você só pode avaliar e saber, com certeza, se atingiu determinado resultado a partir do momento em que possui um indicador para medir o resultado. A Anater, atualmente, tem utilizado esse conceito adotando, inicialmente, a implantação dos indicadores de resultado e esforço visando identificar a evolução do acompanhamento da sua estratégia organizacional e controle dos seus processos finalísticos.
4 –MONITORAMENTO E AVALIAÇÃO 4.1 Monitoramento e Avaliação
O Monitoramento é uma ação contínua utilizada para acompanhar e tomar decisões corretivas na gestão e informar as partes interessadas sobre a evolução dos resultados planejados. Utiliza a coleta e a análise de dados, e os indicadores predeterminados de processo e resultado. O monitoramento é um processo que deve ser periódico para apontar desvios, necessidade de atualizações e ajustes ao projeto, identificando experiências exitosas e lições aprendidas que permitem aprimorar o processo.
A Avaliação consiste em uma análise objetiva e sistemática do desenvolvimento de um projeto, com base nas necessidades da organização e análise da situação, avaliando a relevância, a eficácia, a eficiência, o impacto e a sustentabilidade do projeto.
Com isso, será feita uma análise da situação e as necessidades da organização. Necessidades da organização:
Declaração da situação do problema ou oportunidade a ser abordado, incluindo o valor a ser entregue à organização;
____________________________________________________________________________________
8 | P á g i n a
Identificação das partes interessadas afetadas; e Identificação do escopo.
Análise da situação:
Identificação de estratégias, metas e objetivos organizacionais;
Identificação de causas-raiz do problema ou principais contribuintes de uma oportunidade;
Análise de lacunas (gaps) de capacidade necessárias para o projeto em relação às capacidades existentes na organização;
Identificação dos riscos;
Identificação dos fatores críticos de sucesso;
Identificação dos critérios de decisão pelos quais os vários cursos de ação podem ser avaliados.
4.2 Critérios de avaliação:
Relevância: verifica em que medida o propósito do projeto permanece consistente com as necessidades dos beneficiários e das contrapartes, tendo em vista potenciais mudanças do cenário do país.
Eficácia: verifica em que medida os resultados esperados avançaram ou foram alcançados, contribuindo para o propósito do projeto.
Eficiência: mede a utilização dos recursos na implementação das atividades ou ações.
Impacto: mede os efeitos alcançados da finalidade do projeto em longo prazo. É o objetivo final para o qual o projeto contribui.
Sustentabilidade: refere-se à continuação dos benefícios após a conclusão de um projeto. É relacionada ao desenvolvimento de capacidades, recursos e a apropriação das atividades do projeto pelos beneficiários e contrapartes.
9 | P á g i n a
Considerações sobre monitoramento e avaliação:
PARÂMETROS MONITORAMENTO AVALIAÇÃO
Frequência Contínuo, ao longo do projeto. Em um momento determinado (ex: post, em
médio prazo ou durante mudança de fase do projeto).
Finalidade básica
Orientar o projeto e fornecer informações oportunas sobre os progressos realizados.
Avaliar o desempenho do projeto e aprender com o passado para melhorar futuras programações.
Foco de análise Coletar e analisar informações
pertinentes sobre atividades, processos e produtos (sem esquecer o resultado final).
Avaliar a relevância, eficácia, eficiência, impacto e sustentabilidade do projeto.
Responsáveis pela execução
Equipe do projeto e contrapartes. Equipe do projeto, contrapartes e outras partes
interessadas (internas e externas). Público-alvo do
relatório
DIREX, Gerentes e todos os envolvidos
Gerentes de projeto, equipe do projeto,
contrapartes, doadores e outras partes interessadas (internas e externas).
As atividades de monitoramento e avaliação são complementares:
MONITORAMENTO AVALIAÇÃO
• Torna mais claros os resultados do projeto.
• Conecta as atividades e seus recursos aos objetivos. • Traduz objetivos em indicadores de desempenho e
define metas.
• Faz uma coleta de rotina desses indicadores, compara resultados atuais com as metas.
• Informa sobre o progresso aos Diretores, e os alerta de potenciais problemas.
• Analisa por que os resultados esperados foram ou não alcançados.
• Identifica potenciais desvios para o alcance dos resultados.
• Mede o impacto e a sustentabilidade dos resultados do projeto.
• Explora novos resultados não esperados. • Fornece lições aprendidas, oferece
recomendações para melhoria.
• Possibilita conhecer as conclusões do projeto e elaborar planos de ação.
____________________________________________________________________________________
10 | P á g i n a
4.3 Etapas do Monitoramento
São características das etapas de Monitoramento e Avaliação dos projetos: Monitorar os desvios relacionados ao planejamento.
Adotar ações corretivas para harmonizar o executado com o planejado.
Avaliar as solicitações de alteração do projeto que envolvam escopo, prazo e custo. Adequar os resultados do projeto, quando necessário.
Proceder aos ajustes necessários e obter a aprovação dos doadores do projeto.
4.4 Processos de Gestão do Monitoramento e Avaliação
Nos aspectos principais do monitoramento, podemos afirmar que o mesmo pode ser executado seguindo algumas “etapas” ou, como afirma Shapiro (2002), as fases que envolvem o monitoramento. Essas fases, se bem executadas, favorecem o sucesso da organização do monitoramento em planos, programas ou projetos
Etapas do M &A
1. Análise: fase que consiste na identificação das necessidades em ATER que o projeto deverá abordar, no planejamento, concepção e elaboração dos documentos do projeto, utilizando a metodologia do marco lógico. O M&A deve ser iniciado a partir do momento em que são definidos os resultados a serem alcançados no projeto e os indicadores, metas e linha de base que serão adotados para sua medição. Nessa fase, é desenvolvida a Matriz Lógica, cujos elementos (em especial a linha de base e os indicadores de resultado e suas metas) são fundamentais para uma execução realística e eficiente da execução do projeto e para o desenvolvimento das atividades de M&A
2. Execução: nessa fase os resultados do projeto são entregues, os recursos são gerenciados e o progresso é monitorado para manter os gestores informados e possibilitar a tomada de decisões. Nesse momento, o processo de M&A ocorre com base no planejado, incluindo a coleta de informações sobre o progresso, a análise de desempenho, a elaboração de relatórios do projeto e a disseminação de informações.
3. Avaliação: fase que corresponde ao fim do ciclo de gestão de projetos, quando são utilizadas as informações da etapa anterior para a realização da avaliação e análise do desempenho final do projeto e de seu impacto, da sua sustentabilidade, da documentação de conclusões e da disseminação de lições
11 | P á g i n a
aprendidas. Essas conclusões serão utilizadas para a melhoria contínua de programas de cooperação técnica, podendo servir, também, como insumos para avaliações independentes ou externas.
M&A no ciclo de gestão de projetos da cooperação técnica:
DESENHO EXECUÇÃO AVALIAÇÃO
• Desenvolver a matriz lógica considerando as atividades de M&A a serem incluídas nas demais fases do projeto. • Garantir que os critérios de
M&A sejam incorporados ao projeto.
• Realizar atividades de M&A, aplicando os instrumentos:
1. Relatório Técnico.
2. Relatório de Desempenho.
• Garantir que os critérios de M&A sejam aplicados durante a execução dos projetos.
• Realizar atividades de M&A ao final do projeto, aplicando o instrumento:
1. Relatório de Avaliação Final.
• Documentar e disseminar as lições identificadas para fomentar uma melhoria continuada.
Para as fases de execução e avaliação dos projetos, M&A considera o que fazer, como fazer, quando fazer e quem tem que fazer.
Processo de Gestão do M&A:
FASE EXECUÇÃO AVALIAÇÃO
Instrumentos de gestão
Relatório Técnico Relatório de
Desempenho
Relatório de Avaliação Final
Atividade Monitoramento do
projeto
Avaliação parcial do projeto Avaliação final do projeto
Periodicidade Semestral Bianual A cada cinco anos
Executor Analistas Analista Analista - Anater
Aprovação Coordenador da
Unidade
Coordenador da Unidade Presidência
Comunicação Intranet/Internet Site Intranet / Internet
____________________________________________________________________________________
12 | P á g i n a
5– INSTRUMENTOS DO PROCESSO
Os instrumentos do processo de gestão de M&A dos TC são:
1. Relatório Técnico: instrumento para o monitoramento da execução dos Instrumentos Específicos de Parceria, utilizado para coletar e consolidar as informações de gestão e os progressos realizados no projeto. Por meio desse relatório é possível identificar necessidades de adequação para alcançar a meta. 2. Relatório de Desempenho: instrumento para a avaliação de desempenho dos TC, em que se revisa, de forma crítica, o quanto se avançou para alcançar os resultados estabelecidos na sua matriz lógica, em termos de relevância, eficácia, eficiência, impacto e sustentabilidade. A partir dessa análise, avanços, resultados alcançados ou áreas que merecem intervenções para melhorar seu desempenho podem ser identificados.
3. Relatório de Avaliação Final: instrumento que sintetiza as conclusões e lições aprendidas do projeto. O objetivo do documento é dar uma visão da gestão do projeto e de como suas atividades contribuíram para o alcance de seu propósito. Este deverá ser uma referência para a elaboração de um plano de ação que contemple linhas estratégicas orientadoras para futuros projetos a serem elaborados com as contrapartes.
As equipes de projeto precisam conhecer o que funcionou ou não, onde, com quem, em que circunstâncias, e porquê, para tirar conclusões e identificar de lições aprendidas. Isso requer capacidade de análise do contexto de execução do projeto.
Os resultados do M&A devem ser divulgados nos níveis político e institucional, e ao público em geral, com o objetivo de potencializar o uso das avaliações nos processos de decisão política e de gestão dos projetos e de aprofundar o conhecimento por meio do registro de conclusões e de evidências sobre as temáticas avaliadas.
13 | P á g i n a
6– REFERÊNCIAS
1. Pfeiffer, P. (2006). O Quadro Lógico: Um método para planejar e gerenciar
mudanças. Planejamento e Orçamento governamental. Coletânea, Brasília: ENAP. 2. Pfeiffer, P. (2011). Gerenciamento de projetos de desenvolvimento. Conceitos,
instrumentos e aplicações. Colaboração: Giovana Magalhães. Rio de Janeiro: Editora
Brasport.
3. Project Management Institute. (2013a). A guide to the project management body of
knowledge (PMBOK® guide) – Fifth edition. Newtown Square, PA: Author.
4. Como mensurar qualquer coisa encontrando o valor do que é intangível nos negócios/Douglas W Hubbard.
