Oficina Introdutória de
Monitoramento e Avaliação
Avaliação e Gestão do Conhecimento em Saúde para a Rede de Escritórios de Projetos da Fiocruz
AGOSTO, 2020
Coordenadora: Marly Marques da Cruz Coordenadora executiva: Juliana Kabad
Pesquisadoras assistentes: Celita Almeida, Fernanda Martins, Marcelly Gomes, Maria Aparecida dos Santos, Maria Luiza Cunha, Michele Souza, Santuzza Vitorino, Verena Moraes
Equipe
● Operacionalizar uma prática pedagógica
● Propiciar a reflexão
● Oferecer conteúdos e habilidades técnicas
● Introduzir o
Monitoramento e Avaliação e aproximar com a área de gestão de projetos
Objetivos
Temas
1. Monitoramento e Avaliação
2. Problema, intervenção e contexto 3. Objetivos, efeitos, metas e indicadores 4. Componentes estruturais da
intervenção
5. Modelo lógico da intervenção
6. Usos do monitoramento e da avaliação
Monitoramento e
Avaliação (M&A)
Atividade:
Nuvem de Palavras
Quais as primeiras palavras que surgem à mente quando falamos sobre monitoramento?
Tempo de duração total:
05 minutos
É uma ferramenta de gestão interativa e proativa que gera aprendizagem organizacional.
“É uma atividade gerencial
interna que se realiza durante o período de execução e operação e que busca assegurar que os insumos, os produtos e as metas ocorram de acordo com o plano traçado". (Cohen e Franco, 2004)
O que é?
Monitoramento
Pra que serve?
A especificidade do
monitoramento reside no recurso de um sistema de informação para
acompanhar a
operacionalização de uma
intervenção (Patton, 1986).
● Acompanhar rotineiramente e de forma sistemática informações prioritárias sobre uma intervenção.
● Verificar atividades realizadas e o alcance dos efeitos esperados da intervenção.
● Gerar informações pertinentes sobre o andamento da intervenção para orientar a tomada de decisões.
Monitorar é:
Atividade:
Nuvem de Palavras
Quais as primeiras palavras que surgem à mente quando falamos sobre avaliação?
Tempo de duração total:
05 minutos
“Avaliação é a identificação, esclarecimento e aplicação de critérios defensáveis para determinar o valor ou mérito, a qualidade, a utilidade, a
eficácia ou a importância do objeto a ser avaliado em relação a esses critérios”.
(Worthen; Sanders; Fitzpatrick, 2004)
O que é?
Avaliação
Pra que serve?
A avaliação auxilia a nortear as
práticas de saúde e a gestão na
tomada de decisão, com base em
critérios e padrões pactuados. É
uma ferramenta não só de
mensuração, de descrição e de
julgamento, mas, sobretudo, de
negociação permanente, por não
poder dispensar o envolvimento
dos potenciais atores sociais
interessados (Cruz; Reis, 2011).
● Responder a uma pergunta avaliativa.
● Explicar a relação causal entre a intervenção e seus efeitos.
● Estabelecer relação explicativa entre a intervenção e o contexto onde ela está inserida.
● Determinar o valor e permitir o julgamento de uma intervenção.
● Negociar entre os atores interessados e envolvidos na intervenção a ser avaliada.
● Aprimorar a tomada de decisão.
Avaliar é:
● Contínuo e processual
● Acompanhamento periódico e analítico da gestão
● Possibilita a melhoria da eficiência da intervenção e ajuste do plano de ação estabelecido
.
Monitoramento
Avaliação
● Períodos de tempo estabelecidos
● Aprofundamento analítico, apreciação e validação de processos de gestão
● Permite melhorar a
efetividade, impacto e
programação futura
descrever analisar explicar julgar
Monitoramento e Avaliação
monitorar
avaliar
A avaliação compõe um contínuo sem atritos com o monitoramento;
contudo, se diferenciam
pelo rigor metodológico
e pela complexidade das
análises que realizam.
E o que é necessário para
monitorar e avaliar?
Passo a passo:
Definir um problema – o que precisa ser enfrentado, solucionado ou aperfeiçoado. (
Definir uma intervenção – ação que é feita frente ao problema identificado.
Definir os objetivos, os efeitos esperados de uma intervenção, as metas e indicadores – o que se pretende realizar, o que alcançar com a ação e os meios para verificar esse alcance.
Definir os componentes estruturais de uma intervenção – seus recursos,
ações e efeitos esperados de curto, médio e longo prazo.
Problema e intervenção
Problema
Os problemas de saúde pública e de gestão devem ser enunciados e requerem soluções..
É necessário e importante fazer uma boa delimitação do
problema, determinando aquilo que é prioritário, que está coberto pelo orçamento e /ou que vai ser do interesse comum, para pensar no possível conjunto de ações que possam enfrentar e lidar com esse problema.
Exemplo
A baixa integração entre os
escritórios e seus projetos,
dificulta o desenvolvimento
de pesquisas em rede entre
as unidades e com parceiros
externos.
Intervenção é um conjunto de ações organizadas em um contexto específico, em
um dado momento , para produzir bens ou serviços com o objetivo de enfrentar
uma situação problema e modificar a realidade.
O objeto é uma intervenção, seja ele um projeto, um
programa, uma tecnologia, um serviço, uma rede ou uma
política.
Afinal, qual o objeto do
monitoramento e da avaliação?
Rede de EPs, um exemplo de intervenção
Para o enfrentamento da baixa integração entre os EPs e seus projetos, a Presidência da Fiocruz
instituiu, por meio da Portaria nº 6539/2019, a Rede de Escritórios de Projetos, com o objetivo de constituir uma rede colaborativa de experiências,
conhecimentos e boas práticas em gestão de portfólios e projetos em
Saúde Pública.
Exemplos de intervenção no SUS
Contexto
Contexto é tudo que envolve e está associado, direta ou indiretamente, por nível de proximidade ou correlação, com a ocorrência de determinado
problema verificado na realidade.
Os elementos do contexto podem ser:
● organizacional
● político
● socioeconômico
● cultural
● entre outros
Exemplo
A pluralidade das unidades, das fontes financiadoras, das finalidades e gerenciamento de projetos, entre outros, podem ser elencados como elementos do contexto
relacionado à baixa integração
entre os EPs e seus projetos.
Relação entre problema, intervenção e contexto
É fundamental inserir nos modelos de
monitoramento e
avaliação a influência dos diversos fatores do
contexto na definição do recorte do problema, na implementação da
intervenção e na obtenção dos efeitos esperados ou não previstos.
problema
intervenção efeitos esperados
e não esperados contexto
________ ●
Objetivos, efeitos, metas e
indicadores
Objetivos da intervenção
Portanto, uma boa
definição do problema
ajudará a construir objetivos alcançáveis e plausíveis de uma intervenção.
Ao definir e delimitar um problema, pode-se dimensionar os objetivos de uma intervenção, que expressarão, em níveis diferentes, a resolução do problema.
O objetivo expressa uma ou mais
ações que se pretende realizar para
alcançar um efeito favorável de
curto, médio e longo prazo.
Estabelece, de forma geral e abrangente, as intenções e os efeitos esperados de uma intervenção, orientando o seu desenvolvimento.
Objetivo geral
Objetivo específico
Conjunto de objetivos que,
coletivamente, contribuem
para alcançar o objetivo
geral.
Objetivo geral
Objetivos específicos
Construir uma rede colaborativa entre as unidades gestoras de projetos.
Realizar encontros e oficinas entre gestores e profissionais das unidades;
Estimular aproximação e articulação entre os
coordenadores de EPs.
Rede de EPs e seus objetivos
Efeitos esperados da intervenção
Os efeitos
esperados podem ser mensurados pelo tempo e pelo alcance.
Toda intervenção produz efeitos
esperados e também não esperados, que podem surgir no decorrer da intervenção.
produtos resultados impacto
curto imediatos
médio
intermediários
longo
finalístico
O objetivo geral visa o alcance do
impacto da
intervenção e deve expressar sua
finalidade central.
Objetivos e efeitos esperados da intervenção
Os objetivos
específicos estão mais associados com o
alcance dos produtos
e resultados previstos
da intervenção, por
meio das atividades a
serem realizadas.
Atividade:
Problema,
intervenção e objetivos
A partir das cartas
distribuídas, relacione qual intervenção e quais
objetivos estão associados aos problemas
apresentados.
Tempo de duração total:
15 minutos
Os efeitos esperados da intervenção podem ser mensurados e para tal é importante estabelecer metas e indicadores para verificar o alcance dos
objetivos da intervenção.
Objetivos, metas e indicadores
Metas
Expressam um compromisso para o alcance dos
objetivos.
Indicadores
Variáveis quantitativas ou qualitativas que provêem uma base simples e confiável para acompanhar
o alcance das metas e valorar conquistas, mudanças e
desempenho.
Meta Indicador
Ter realizado 30 encontros e oficinas entre gestores e
profissionais dos EPs da Fiocruz até 2021.
Rede de EPs: objetivo, meta e indicador
Um exemplo de objetivo específico: realizar encontros e oficinas entre gestores e profissionais das unidades.
Percentual (%) de encontros e oficinas realizadas com gestores e profissionais dos EPs da
Fiocruz.
● Para PNUD (2002) indicadores são os meios para medir o que realmente acontece e comparar a realidade concreta com o planejado em termos de quantidade, qualidade e oportunidade.
● Por meio dos indicadores, construídos para acompanhar o alcance das metas, é possível transformar dados brutos em informações úteis para a gestão dos sistemas e serviços de saúde.
● Portanto, metas e indicadores são informações essenciais nos processos de monitoramento e avaliação.
Análise e uso de informações
Componentes estruturais
da intervenção
Atividade:
Componentes estruturais
Numere os itens da
coluna de acordo com os componentes estruturais que você considera
apropriados.
Tempo de duração total:
10 minutos
Componentes estruturais
Toda intervenção envolve a existência de insumos e atividades, além de ter produtos, resultados e impacto. Esta é a razão pela qual esses componentes são denominados de estruturais.
atividades insumos
produtos resultados
impacto
Componentes estruturais
INSUMOS
São os recursos concretos e previamente disponíveis para a execução das
atividades da intervenção.
Incluem recursos financeiros, humanos ou materiais.
ATIVIDADES
São os procedimentos
pelos quais os insumos
são mobilizados, visando
a obtenção dos efeitos
desejados.
Componentes estruturais
PRODUTOS
São as consequências
imediatas das atividades da intervenção, relacionados diretamente àquela ação específica. Geralmente são efeitos de curto prazo.
RESULTADOS
Os resultados incluem vários tipos de efeitos de uma intervenção, podendo ser conhecimentos, atitudes, práticas e comportamentos.
São efeitos na população alvo da intervenção e
identificados como de médio e longo prazo.
IMPACTO Refere-se ao efeito
acumulado e finalístico do conjunto das atividades de uma intervenção ou do conjunto de intervenções, verificadas na população geral ou em uma
organização a longo prazo.
Equivalência das terminologias
Donabedian (1990) CDC (1999) MS (2013)
Estrutura Insumos Recursos
Processos Atividades Ações
Resultado de curto prazo Resultado de médio prazo
Produtos Resultados
Produtos/Marco intermediário
Resultados (prioritários)
Resultado de longo prazo Impacto Objetivos estratégicos
Modelo lógico da
intervenção
O modelo lógico (ML) da intervenção é uma maneira visual e sistemática de
representar as relações entre intervenção e efeitos.
Ele deve incluir as relações entre recursos necessários para
operacionalizar a intervenção, as atividades planejadas e os
efeitos que se pretende alcançar.
O que é?
Modelo lógico da intervenção
Pra que serve?
O ML ajuda a descrever a
racionalidade do funcionamento da intervenção. Fornece os elementos para o acompanhamento do
progresso da intervenção, para
definir melhor a contribuição do seu
modo de funcionamento nos efeitos
finalísticos.
Essa etapa de descrição é
fundamental para melhor orientar a construção do monitoramento e/ou avaliação.
Modelo lógico da intervenção
problema
insumos atividades produtos resultados impacto
trabalho previstointervenção
efeitos esperados objetivos, metas e indicadores estão relacionados aos efeitos
Modelo lógico do Serviço de Atendimento Móvel de Urgência –
SAMU 192
Modelo lógico da implementação de TR HIV na Rede Cegonha
Vantagens do modelo lógico
● Comunica o propósito fundamental da intervenção, evidenciando, de maneira explícita, os vínculos entre a intervenção e seus efeitos esperados.
● Ilustra a consistência lógica interna da intervenção, contribuindo para identificar lacunas e efeitos não realísticos.
● Envolve os atores e promove a comunicação entre a intervenção, financiadores, executores, membros da comunidade e outros atores, inclusive avaliadores.
● Contribui para o monitoramento do progresso da intervenção ao fornecer um plano claro de acompanhamento.
● Direciona as atividades de avaliação da intervenção ao identificar as
questões avaliativas apropriadas e os dados relevantes necessários.
Limites do modelo lógico
● É uma representação da realidade, não a realidade.
● As intervenções não são lineares.
● Normalmente, não inclui efeitos além daqueles inicialmente esperados.
● Não explora a relação entre a intervenção e o contexto.
● Parte do pressuposto que a escolha da intervenção é a mais correta.
● Usualmente privilegia as atividades técnicas em detrimento às relações de trabalho e de poder.
Adaptado de Ellen Taylor-Powell (2000) http://www.uwex.edu/ces/pdande/evaluation/evalpresentations.html
Usos do monitoramento e
da avaliação
Quais os possíveis usos do M&A em saúde?
M&A utilizados como uma ferramenta de apoio à gestão da intervenção, propiciam informações úteis como mecanismos indutores de reflexões coletivas dos atores envolvidos, gerando aprendizado
organizacional e institucional.
Melhoria da intervenção
Imputabilidade (Accountability)
Compartilhamento de resultados com
parceiros
Aprendizado organizacional
Quais os possíveis usos do M&A em saúde?
● Apoio na tomada de decisão com base confiável e fidedigna.
● Fornecimento de elementos técnicos e científicos para a condução e desenvolvimento da intervenção.
● Realização de um planejamento estratégico próximo à realidade.
● Favorecimento do contínuo aprendizado organizacional incorporado à rotina de trabalho.
● Mudança de rotas com
aproveitamento adequado de ações anteriores.
● Promoção da inovação e do aprimoramento técnico e
estratégico de uma organização.
Brasil. Ministério da Saúde. Secretaria de Vigilância em Saúde.
Programa Nacional de DST e Aids. Manual da oficina de capacitação em avaliação com foco na melhoria do programa.
Brasília: Ministério da Saúde; 2007.
Por: Celita Almeida, Fernanda Martins, Juliana Kabad, Marcelly Gomes, Marly Cruz, Maria Aparecida dos Santos, Maria Luiza Cunha, Michele Souza, Santuzza Vitorino, Verena Moraes.
Oficina adaptada de:
ANTERO, S. Monitoramento e Avaliação do Programa de Erradicação do Trabalho Escravo. Revista de Administração Pública/Fundação Getúlio Vargas:
Rio de Janeiro, 42(5):791-828, SET./OUT. 2008. Acesso em: https://www.scielo.br/pdf/rap/v42n5/a02v42n5.pdf COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis: Vozes, 1999.
CRUZ, M; REIS, A. Monitoramento & Avaliação como uma das funções gestoras do Sistema Único de Saúde. In: Qualificação de Gestores do SUS.
Acessível em: http://ensino.ensp.fiocruz.br/documentos_upload/Monitoramento_e_Avaliacao_para_Acao_em_saude_publica.pdf
HARTZ, ZMA., org. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas [online]. Rio de Janeiro: Editora FIOCRUZ, 1997. Acesso em: https://static.scielo.org/scielobooks/3zcft/pdf/hartz-9788575414033.pdf
PATTON, M. Utilization-focused Evaluation. Newbury Park, CA: Sage Publications, 1986.
WORTHEN, B. R., SANDERS, J. R. e FITZPATRICK, J. L. Avaliação de programas: concepções práticas. São Paulo: Edusp, 2004.
Proposta Pedagógica sobre Monitoramento e Avaliação para Ação em Saúde Pública, elaborado pelo Laboratório de Avaliação de Situações Endêmicas em Saúde (LASER), da Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz (2019). Acesso em:
http://ensino.ensp.fiocruz.br/documentos_upload/Monitoramento_e_Avaliacao_para_Acao_em_saude_publica.pdf
PROGRAMA DAS NAÇÕES UNIDAS PARA O DESENVOLVIMENTO (Pnud). Manual de seguimiento y evaluación de resultados — oficina de evaluación.
New York: Pnud, 2002.
Referências bibliográficas
Para finalizar
Avaliação da oficina
O que foi positivo na oficina?
O que pode ser melhorado?
Alguma sugestão para as próximas oficinas?
Contatos: