Procedimentos gerais de avaliac¸˜ao de programas sociais A avaliac¸˜ao de um projeto ou programa social incluem as etapas de:

• Definic¸˜ao do objeto da avaliac¸˜ao – para explicitac¸˜ao clara dos objetivos do projeto ou programa a ser investigado e avaliado;

• Definic¸˜ao do modelo de avaliac¸˜ao – para determinar o escopo da avaliac¸˜ao a partir da definic¸˜ao dos indicadores a serem considerados na avaliac¸˜ao;

• Definic¸˜ao dos crit´erios de avaliac¸˜ao – descric¸˜ao objetiva e operacional das dimens˜oes de cada indicador do modelo, com as respectivas normas e padr˜oes de referˆencia de crit´erios para serem considerados na an´alise dos processos e resultados do programa ou projeto;

• Coleta de dados – determina os m´etodos de coleta de informac¸˜oes, instrumentos e medi- das com o planejamento e prepac¸˜ao da equipe de coleta de dados;

3.2 Modelo de indicadores do MAPIDS 32

• An´alise de dados – determina m´etodos, ferramentas e t´ecnicas de an´alise dos dados e a produc¸˜ao de relat´orios t´ecnicos de avaliac¸˜ao;

• Julgamento de valor – realiza an´alise e julgamento de valor a partir da comparac¸˜ao dos crit´erios ou normas de referˆencia pr´e-estabelecidas com os dados quantitativos e qualita- tivos obtidos, segundo o modelo de avaliac¸˜ao definido e

• Comunicac¸˜ao de resultados da avaliac¸˜ao – define procedimentos de comunicac¸˜ao dos resultados da avaliac¸˜ao para as diversas audiˆencias internas e externas para fomentar articulac¸˜ao em rede das pessoas e agentes de avaliac¸˜ao.

No MAPIDS, essas etapas devem ser iniciadas por uma formac¸˜ao em avaliac¸˜ao de progra- mas sociais. A participac¸˜ao dos agentes e gestores ´e incentivada para que sejam estabelecidas as bases conceituais da avaliac¸˜ao e do programa e para promover di´alogos qualificados e de tomada de decis˜oes sobre a avaliac¸˜ao e sobre as ac¸˜oes de gest˜ao.

Durante a formac¸˜ao ´e poss´ıvel desenvolver, de maneira colaborativa e participativa com os gestores e interessados, os fundamentos ´eticos da avaliac¸˜ao, os objetivos de avaliac¸˜ao do programa, os indicadores e vari´aveis do modelo e as quest˜oes de investigac¸˜ao e an´alise. Essas atividades s˜ao conduzidas a partir de um framework de indicadores, m´etodos e instrumentos que s˜ao apresentados a seguir.

3.2

Modelo de indicadores do MAPIDS

Os indicadores do MAPIDS s˜ao propostos para representar recursos, processos, resulta- dos e impactos e apoiar as an´alises de efic´acia, eficiˆencia e efetividade social. A avaliac¸˜ao deve permitir conhecer a realidade e estabelecer relac¸˜oes para descoberta de conhecimentos e inferˆencias sobre o futuro. As an´alises classificadas em descritiva, normativa e explicativa procuram identificar e compreender as particularidades da implantac¸˜ao de um programa.

Nas an´alises descritivas identificam-se as caracter´ısticas pr´oprias de cada unidade de es- tudo, observando-se os levantamentos e diagn´osticos locais, as caracter´ısticas de contexto, da rede social e de parceiros. Nas an´alises normativas identificam-se caracter´ısticas comuns e padr˜oes de desempenho e similaridades nos processos de implantac¸˜ao. Nas an´alises explicati- vas investigam-se relac¸˜oes que favorec¸am a compreens˜ao dos fatores cr´ıticos e de sucesso na implantac¸˜ao das unidads de estudo, em contextos diversificados do programa.

Os m´etodos estat´ısticos diferem para cada tipo de an´alise e por essa raz˜ao podem ser consi- derados como etapas de an´alise distintas. As relac¸˜oes entre as an´alises descritivas, normativas e

3.2 Modelo de indicadores do MAPIDS 33

explicativas s˜ao representadas a partir de indicadores de avaliac¸˜ao dos trˆes n´ıveis do modelo: in- div´ıduo, unidade e contexto, conforme representado na Figura 3.1. O modelo de an´alise abrange a interpretac¸˜ao dos resultados das ac¸˜oes do programa nos trˆes n´ıveis do modelo.

Figura 3.1: N´ıveis de an´alise versus Tipos de an´alise (Brand˜ao & Tr´occoli, 2006).

No n´ıvel de contexto social s˜ao observados os fatores pol´ıticos ou de cultura e as mudanc¸as observadas no ambiente externo tais como n´ıvel de escolarizac¸˜ao, pobreza, renda, fatores am- bientais, de violˆencia e seguranc¸a, e de qualidade de vida em seu sentido amplo, representados por indicadores de contexto e de vulnerabilidades sociais.

No n´ıvel da unidade s˜ao observados os insumos e resultados em func¸˜ao dos processos in- ternos e de gest˜ao nas unidades do estudo. Observa-se ainda as redes sociais, os conte´udos e processos de formac¸˜ao, de comunicac¸˜ao e de monitoramento e avaliac¸˜ao.

No n´ıvel do indiv´ıduo s˜ao observadas as capacidades individuais e dom´ınios de interesse; motivac¸˜ao, percepc¸˜oes, metas e aspirac¸˜oes, comportamentos e desempenhos observados nas tarefas, oportunidades de emprego e renda, satisfac¸˜ao, bem-estar e mudanc¸as atitudinais dos gestores, t´ecnicos e benefici´arios dos programas.

O modelo MAPIDS agrupa os indicadores em quatro conjuntos: indicadores de insumos, indicadores de processos, indicadores de resultados e indicadores de impactos na inclus˜ao so-

3.2 Modelo de indicadores do MAPIDS 34

cial, os quais representam os fluxos de operac¸˜ao de um programa social.

Os insumos subsidiam as ac¸˜oes e processos de gest˜ao, que, por sua vez, geram resultados para as pessoas diretamente beneficiadas pelo programa e que geram impactos nas comunidades locais e populac¸˜ao alvo, localizadas em espac¸os territoriais de vulnerabilidade social(Figura 3.2) (Brand˜ao & Tr´occoli, 2006).

Os indicadores de insumos, de processos e de resultados, em seus respectivos n´ıveis de an´alise, podem ser correlacionados para apoiar a tomada de decis˜oes a partir de medidas e crit´erios de adequac¸˜ao, de eficiˆencia e de efetividade social definidos com as equipes.

Figura 3.2: Indicadores de Avaliac¸˜ao do MAPIDS (Brand˜ao & Tr´occoli, 2006).

Os indicadores subsidiam as an´alises de relacionamento, de dependˆencia e de explicac¸˜ao durante e ap´os a implementac¸˜ao. Os indicadores s˜ao tamb´em utilizados para subsidiar a elaborac¸˜ao dos instrumentos e a definic¸˜ao das audiˆencias para coleta de dados e para a comunicac¸˜ao dos resultados da avalicac¸˜ao.

Nessa proposta, as ac¸˜oes de avaliac¸˜ao s˜ao apoiadas pelas TICs onde os participantes neces- sitam usar os recursos informacionais disponibilizados em rede para dinamizar e compartilhar as informac¸˜oes de avaliac¸˜ao entre os agentes. Um processo educacional de alfabetizac¸˜ao digital e social ´e iniciado para os participantes via os recursos disponibilizados na rede. Os partici- pantes aprendem sobre o programa, sobre a sua avaliac¸˜ao e sobre o uso das TICs durante a formac¸˜ao. Uma rede de avaliac¸˜ao ´e criada e estimulada para o debate e discuss˜ao cr´ıtica sobre o programa.

A rede de avaliac¸˜ao formada pode apoiar as ac¸˜oes locais de acompanhamento e avaliac¸˜ao quando se tratarem de espac¸os territoriais de maior abrangˆencia. A capilaridade da rede formada nesse processo amplia a abrangˆencia das ac¸˜oes de acompanhamento e avaliac¸˜ao dos programas