vol3 03

(1)

Seqüência de Atividades

Unidade Didático-pedagógica 2

Modelo Teórico da Avaliação (Parte 1)

Propósito:

Construir o Modelo Teórico da Avaliação (MTA) levando em

conta a pergunta avaliativa e o modelo lógico da intervenção.

Conceitos-chave:

• Avaliação, monitoramento e pesquisa avaliativa.

• Conceitos, tipos e usos da avaliação.

• Avaliação como componente do programa.

• Modelos Teóricos da Avaliação em programas:

implementa-ção, resultado e impacto.

• Racionalidade entre contexto, intervenção, pergunta

avalia-tiva, Modelo Teórico da Avaliação.

• Modelos Teóricos da Avaliação aplicados à análise de

imple-mentação: avaliação por objetivos e metas, avaliação focada

na utilização e avaliação de contexto, insumo, processo e

pro-duto (CIPP), avaliação naturalística.

• Estratégias e técnicas rápidas de coletas de dados,

quantita-tivos e qualitaquantita-tivos.

• Estratégias de análise de dados quantitativos e qualitativos.

• Avaliação econômica.

• Avaliação da qualidade de programas de saúde.

• Avaliação de impacto.

• Estrutura lógica do MTA: Dimensão estratégica,

componen-tes técnicos e efeitos: produtos, resultados e impacto.

• Avaliação da avaliação.

• Comunicação e atitude social em avaliação.

Objetivos:

• Compreender as relações entre monitoramento e avaliação.

• Desenvolver sistemas de monitoramento.

• Descrever os componentes de um Modelo Teórico da

Ava-liação.

• Conhecer diferentes Modelos Teóricos da Avaliação.

· Desenvolver estratégias de coleta de dados;

· Desenvolver estratégias de análise de dados;

· Identifi car indicadores;

· Utilizar aplicativos de domínio público.

• Compreender a racionalidade que articula contexto,

inter-venção, pergunta avaliativa e o Modelo Teórico da Avaliação.

• Compreender a racionalidade que articula efeitos esperados

e obtidos.

• Desenvolver um Modelo Teórico da Avaliação.

• Aplicar critérios de julgamento em avaliação e construir a

matriz de critério de julgamento.

• Aplicar técnicas de comunicação aos Modelos Teóricos da

Avaliação.

(2)

14 Curso de Especialização em Avaliação de Programas de Controle de Processos Endêmicos, com ênfase em DST/HIV/Aids • Dimensão Técnico-operacional – MTA

Modelo Teórico da Avaliação (Parte 1) – Seqüência de Atividades I

Ao fi nal da Seqüência de Atividades I, o participante será capaz de:

1. Conceituar monitoramento.

2. Conceituar avaliação.

3. Identifi car a relação entre monitoramento e avaliação.

4. Elaborar um sistema de monitoramento.

5. Desenvolver estratégias de coleta e análise de dados.

6. Utilizar tecnologias de informação.

7. Selecionar indicadores apropriados para o monitoramento.

8. Descrever a relação entre monitoramento e desenvolvimento do programa.

Atividades do Participante

Onde Estamos

1. Em grupo, escolha um projeto, estabelecendo como critério de seleção que a intervenção priorize atividades educativas. Prepare uma dramatiza-ção de 10 minutos enfocando a intervendramatiza-ção escolhida e seu objetivo.

2. Apresente em plenária a dramatização de forma que enquanto um grupo apresenta, o outro monitora e o terceiro avalia a intervenção dramatizada.

3. Retorne ao grupo e:

• Sistematize, para cada dramatização, o monitoramento e a avaliação realizados.

• Identifi que o que foi monitorado e avaliado.

• Identifi que possíveis diferenças entre monitoramento e avaliação. 4. Apresente em plenária a atividade anterior.

5. Assista a uma exposição dialogada sobre monitoramento e avaliação ou leia o texto Global advances in monitoring and evaluation of HIV/ AIDS: from AIDS case reporting to program improvement.

Seqüência de Atividades I

Prepare uma dinâmica para realizar uma síntese das

atividades da semana anterior.

Realize a avaliação da Unidade Pedagógica 1 da

Dimen-são Técnico-operacional.

Leia a Seqüência de Atividades do dia.

1. Organize os participantes em três grupos para escolha do projeto. Oriente para que os projetos escolhidos para dramatização priorizem atividades educativas. Esclareça que todos os projetos deverão ser entregues e serão analisados pelos pares com devolutiva no próximo módulo. Selecione um texto da bibliografi a da semana para preparar uma resenha e entregar no último dia do módulo.

2. Coordene a plenária garantindo que cada um dos grupos realize a dramatização, o monitoramento e avaliação. Solicite que os participantes registrem o monitoramento e avaliação da intervenção dramatizada. 3. Oriente a atividade garantindo que os grupos discutam os conceitos de monitoramento e avaliação.

4. Coordene a plenária discutindo se o modelo lógico da intervenção educativa abordou: • Dimensões estratégicas. • Componentes técnicos. • Atividades. • Insumos. • Produtos esperados. • Resultados esperados. • Impactos esperados.

• Indicadores para produtos, resultado e impacto.

5. Convide um especialista ou prepare uma exposição sobre monitora-mento e avaliação.

RUGG, Deborah; CARAEL, Michel; BOERMA, Jan Tiés; NOVAK, John, 2004. Global advances in monitoring and evaluation of HIV/AIDS: from AIDS case reporting to program improvement. (Pág. 33)

(3)

Atividades do Participante

6. Em grupo, retome a atividade 3 e proponha um sistema de monitora-mento, considerando: • Foco do monitoramento. • Fonte de dados. • Indicadores. • Periodicidade. • Atores envolvidos.

7. Apresente em plenária a atividade anterior.

8. Assista a uma exposição dialogada sobre MTA (desenho da avaliação) ou em grupo leia os textos Usos da vigilância e da monitorização em saúde pública e A microcosm of the global challenges facing the fi eld: commentary on HIV/AIDS monitoring and evaluation.

Seqüência de Atividades I – Continuação

Atividades do Instrutor

6. Oriente a atividade e esclareça dúvidas. Discuta metas SMART, fi chas de indicadores associando cada um deles ao componente do programa.

7. Coordene a plenária destacando semelhanças e diferenças entre os sis-temas de monitoramento propostos, considerando os aspectos solicitados. 8. Convide um especialista para uma esposição dialogando sobre MTA (desenho da avaliação) ou oriente a leitura dos textos:

WALDMAN, Eliseu Alves, 1998. Usos da vigilância e da monitorização em saúde pública. (Pág. 41)

PATTON, Michael Quinn. 2004. A microcosm of the global challenges facing the fi eld: commentary on HIV/AIDS monitoring and evaluation. (Pág.55)

(4)

Modelo Teórico da Avaliação (Parte 1) – Seqüência de Atividades II

Ao fi nal da Seqüência de Atividades II, o participante será capaz de:

1. Detalhar componentes e dimensões do programa relacionados à pergunta avaliativa.

2. Descrever as características dos MTA existentes.

3. Desenvolver estratégias de coleta e análise de dados.

4. Utilizar tecnologia de informação.

5. Construir indicadores apropriados para M&A.

6. Desenvolver o plano de administração da avaliação.

7. Estimar o custo e o orçamento da avaliação.

8. Elaborar relatórios da avaliação.

9. Prever os resultados da avaliação no processo de gestão.

10. Identifi car e interagir com colaboradores internos e externos.

11. Delimitar a abrangência da atuação da equipe de avaliação.

Atividades do Participante

1. Em grupo, retome a atividade 3, da Seqüência de Atividades I, a partir do que foi sistematizado no segundo item, escolha uma pergunta avalia-tiva e planeje um MTA para respondê-la, considerando:

• Tipo de avaliação.

• Contexto externo e contexto organizacional. • Fonte e estratégias de coleta de dados. • Indicadores e plano de análise de dados. • Critérios de avaliação.

2. Assista ao fi lme “Pantaleão e as Visitadoras” e refl ita sobre a impor-tância da negociação quando diversos atores estão envolvidos. 3. Apresente em plenária a síntese das atividades anteriores.

4. Assista a uma exposição dialogada sobre MTA (desenho da avaliação) ou leia os textos Diferentes visões da avaliação; Diferentes abordagens da avaliação: um resumo e análise comparativa; Coleta, análise e inter-pretações de informações qualitativas e Designing qualitative studies.

Atividades do Instrutor

1. Oriente a atividade, esclarecendo as dúvidas.

PATTON, Michael Quinn,2002. The nature of qualitative inquiry. (Pág. 60)

2. Providencie o fi lme e os equipamentos necessários para projeção. Oriente a refl exão sobre o processo de negociação.

3. Coordene a plenária destacando a coerência entre a pergunta, Modelo Teórico da Avaliação e os passos necessários para a sua elaboração. Enfatize a relação entre a pergunta e as estratégias usadas para respon-dê-las, bem como o processo de negociação envolvido.

4. Convide um especialista para realizar uma exposição dialogada sobre MTA (desenho da avaliação).

WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L., 2004. Diferentes visões da avaliação. (Pág. 61)

WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L., 2004. Diferentes abordagens da avaliação: um resumo e análise comparativa. (Pág. 63)

WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L., 2004 Coleta, análise e interpretações de informações qualitativas. (Pág. 67) PATTON, Michael Quinn, 2002. Designing qualitative studies. (Pág. 68) Fim da Seqüência de Atividades II

(5)

Modelo Teórico da Avaliação (Parte 1) – Seqüência de Atividades III

Ao fi nal da Seqüência de Atividades III, o participante será capaz de:

1. Desenvolver e utilizar estratégias de coleta e análise de dados em avaliação.

2. Utilizar tecnologias de informação em MTA.

3. Construir indicadores e critérios apropriados ao MTA.

4. Realizar a técnica de grupo focal.

5. Desenvolver e analisar um diário de campo.

Atividades do Participante

1. Em grupo retome a atividade 1 da Seqüência de Atividades II e identifi que se o MTA planejado leva em conta a utilidade da avaliação (Avaliação Focada na Utilização – AFU).

2. Apresente em plenária a síntese da atividade anterior.

3. Participe da leitura comentada dos textos What is utilization-focused evaluation? How do you get started? e Utilization-focused evaluation: process and premises.

4. Retome o projeto de avaliação de intervenções educativas da atividade 1. Elabore até três perguntas avaliativas a serem trabalhadas por um grupo focal. Prepare a simulação de um grupo focal.

5. Em plenária realize a simulação do grupo focal gravando e fazendo as anotações necessárias no roteiro “Como fazer um grupo focal”.

6. Em três grupos analise as gravações e anotações do grupo focal considerando a(s) pergunta(s) avaliativa(s).

7. Apresente em plenária a síntese da atividade anterior.

8. Participe de uma exposição dialogada sobre o uso de grupo focal e a abordagem de avaliação focada na utilização ou leia os textos: Introduction to focus group interviewing e The analyses of focus group in published research articles.

Atividades do Instrutor

1. Oriente a atividade esclarecendo as dúvidas.

2. Coordene a plenária solicitando que um grupo apresente e os demais complementem. Garanta que os passos de uma avaliação focada na uti-lização (AFU) sejam abordados. Destaque as caracterírsticas da aborda-gem AFU, ressaltando suas diferenças em relação a outras abordagens. 3. Realize a leitura esclarecendo dúvidas e destacando a especifi cidade da abordagem.

PATTON, Michael Quinn, 1997. What is utilization-focused evaluation? How do you get started? (Pág. 69)

PATTON, Michael Quinn, 1997. Utilization-focused evaluation: process and premises. (Pág. 80)

4. Oriente a atividade para que o grupo focal envolva 10 participantes e um grupo de planejamento. O grupo de planejamento deve ser composto por três avaliadores, um moderador e um assistente. Organize com o gru-po de planejamento a simulação de um grugru-po focal de 30 minutos. 5. Coordene a plenária garantindo que a simulação seja realizada com os 10 participantes. Oriente para que o resto da turma observe e faça anotações. Providencie três gravadores, 6 fi tas de 90 minutos e baterias. Exercício: “Como fazer um grupo focal”. (Pág. 23)

6. Oriente a atividade garantindo que a síntese aborde aspectos relacio-nados ao uso da análise realizada.

Exercício: “Formulário de grupo focal”. (Pág. 24)

7. Coordene a plenária assegurando que um grupo apresente e os outros complementem.

8. Convide um especialista para realizar uma exposição dialogada sobre o uso do grupo focal como técnica de coleta e análise de dados em avaliação focada na utilização.

KRUGER, Richards A, 2004. Characteristics of focus group interviews. (Pág. 86)

WIGGINS, Geoffrey S., 2004. The analysis of focus group in published research articles. (Pág. 92)

(6)

Atividades do Participante

9. Em grupo, considerando a(s) pergunta(s) avaliativa(s) da atividade 4, na Seqüência de Atividades III, planeje a coleta de dados utilizando a análise documental e diário de campo. Organize uma dinâmica para uma apresentação em 15 minutos.

10. Apresente em plenária na dinâmica organizada.

11. Participe de uma exposição dialogada sobre os usos de análise documental e diário de campo aplicados ao modelo de avaliação focado na utilização ou leia o texto Designing and conducting focus group interviews.

12. Assista à exposição Refl exões sobre controle e processos de saúde e doença.

Atividades do Instrutor

9. Organize 3 grupos de forma que cada um deles utilize as duas estraté-gicas de coleta/análise de dados.

Exercícios:

“Fieldwork strategies and observation methods”. (Pág. 25) “Formulário de notas de trabalho de campo”. (Pág. 26) “Fazendo a entrevista”. (Pág. 27)

“Qualitative analysis and interpretation”. (Pág. 28)

10. Coordene a plenária de forma que um grupo apresente e os outros complementem. Destaque as características, pontencialidades e limita-ções de cada técnica.

11. Convide um especialista para fazer uma exposição dialogada sobre o uso da análise documental e diário de campo como técnica de coleta e análise de dados em AFU.

KRUEGER, Richards A.; CASEY, Mary Anne, 2000. Introduction. (Pág. 100) 12. Convide um especialista para fazer a exposição Refl exões sobre controle e processos de saúde e doença.

Fim da Seqüência de Atividades III

(7)

Dimensão Educação Permanente e Comunicação

Desenvolvimento do Projeto de Avaliação – Seqüência de Atividades IV

Ao fi nal da Seqüência de Atividades IV, o participante será capaz de:

Relacionar a(s) pergunta(s) avaliativa(s) aos componentes do MTA.

Atividades do Participante

1. Entregue a resenha do texto selecionado . 2. Em dispersão:

• Com base no modelo lógico da intervensão que você quer monitorar/ avaliar:

· Desenvolva a sua pergunta de monitoramento e avaliação. · Identifi que os passos para a construção de um MTA. · Defi na critérios e padrões que serão utilizados no MTA. · Identifi que a equipe necessária para desenvolver o MTA. · Calcule um orçamento adequado para seu MTA.

• Analise o projeto de seu colega segundo critérios de uma avaliação de qualidade.

Organize o material (Modelo Teórico de Avaliação e projeto de seu colega) para ser entregue em 2 cópias impressas no início da próxima semana de concentração.

Atividades do Instrutor

1. Oriente a atividade e esclareça dúvidas. Colete as resenhas e prepare a devolutiva para o próximo módulo.

Fim da Seqüência de Atividades IV

(8)