1
Texto base para a Aula 3:
A utilização de inquéritos do agregado familiar
nacionais regulares e de estudos específicos para
informar o sistema de M & A dos programas de
protecção social.
Curso em Monitoria e Avaliação para Sistemas de
Proteção Social
2
Apresentação
Este curso é o resultado de uma demanda do Ministério do Gênero, da Criança e da Acção Social (MCGAS) e do Instituto Nacional da Acção Social (INAS) ao Programa da União Européia Sobre Sistemas de Proteção Social (EU-SPS) – com o apoio financeiro da União Européia, da OCDE e do Governo da Finlância - para reforçar as capacidades do MGCAS e do INAS em M&A e familiarizar os técnicos de ambas instituições com as evidências de outros países sobre os impactos da proteção social, os princípios da avaliação de impacto, e a ligação entre o desenho de programas, implementação e avaliação e sistemas de gestão de informação e produção de dados para a monitoria e avaliação. O Centro Internacional para o Crescimento Inclusivo, uma parceria do governo do Brasil e do Programa das Nações Unidas paara o Desenvolvimento, apresentou a proposta vencedora em um concurso realizado pelo programa EU-SPS. Sendo desta forma a instituição responsável pelo desenho e implementação do curso.
3
Conteúdo
1. Introdução ... 4
2. Inquéritos do agregado familiar: medindo o bem-estar da população. ... 4
3. Usando Inquéritos do agregado familiar para focalizar e/ou para avaliar a qualidade da focalização. ... 16
3.1 Métodos de focalização ... 16
3.2 Avaliando a qualidade da focalização combinando inquéritos nacionais e inquéritos de avaliação ... 19
4. Utilizando inquéritos do agregado familiar para fazer simulações e projeções ... 21
5. Utilização de inquéritos do agregado familiar em avaliações... 25
6. Estudos específicos ... 27
6.1. Monitoria Comunitára independente (MCI) em Moçambique ... 27
4
1. Introdução
Neste texto destacamos a importância dos inquéritos amostrais do agregado familiar para informar o (re)desenho das políticas e programas de proteção social, para monitorar sua implementação e avaliar possíveis impactos (ex-ante) e seus impactos realizados – resultados - (ex-post).
Nesse sentido faremos um breve introdução sobre pesquisas amostrais e sua relação com o sistemas nacionais de informação, destacando o tipo de informação que em geral elas levantam já utilizando o exemplo dos inquéritos realizados em Moçambique. A seguir apresentamos uma série de exemplos de como os inquéritos podem ser utilizados para ajudar o desenho dos programas e a monitorá-los e avaliá-los.
2. Inquéritos do agregado familiar: medindo o bem-estar da população.
Os inquéritos amostrais (e.g inquéritos do agregado familiar) fazem parte do sistema de informações estatísticas dos países. Além dos inquéritos amostrais, fazem parte do sistema os censos (e.g. censo demográficos) e os registos administrativos (e.g e-INAS). A partir das informações levantas por estes três instrumenots são construídos indicadores que nos permitem monitorar as condições de vida da população em diversas dimensões. Estes instumentos serão importantes, por exemplo, para monitorar as metas dos objetivos do desenvolvimento sustentável, assim como foram importantes, para monitorar as chamadas metas do milênio. No entanto, eles também são importantes para informar, monitorar e avaliar as políticas sociais, em geral, e a política da protecção social, em particular.
Os inquéritos do agregado familiar são baseados em amostras da população, isto é, apenas uma pequena parte da população do país é entrevistada. No entanto, métodos estatísticos apropriados para a seleção da amostra garantem que, com um certo nível de confiança estatística (associada a um erro amostral), possam ser construídos estimatores do parâmetros populacionais como por exemplo a proporção de homens e mulheres, a taxa de anafalbetismo, o rendimento do agregado familiar, os níveis de pobreza, a proporção de crianças com menos de 5 anos, etc.
Os censos populacionais seriam a forma melhor forma de fazer este monitoramento, mas entrevistar toda a população de um país em curtos períodos de tempo e em várias dimensões seria extremamente caro e ineficiente. Desde modo censos populacionais tendem a ter uma periodicidade menor (e.g. de 10 em 10 anos) e têm um questionário mais resumido, em geral, para construir os indicadores demográficos mais importante para as projeções populacionais.
5
Além disso, os censos geram amostras-mães e atualizam a cartografia e a definição das chamadas Unidade Primárias de Amostragem (setores censitários) que informarão as amostras dos inquéritos de agregados familiares. O Censo de 2007, por exemplo, gerou uma Amostra Mãe que foi utilizada por todos os inquéritos de agregados familiares realizados pós-2007, incluindo os três inquéritos que detalhamos abaixo.
No caso de Moçambique, o último censo realizado em 2007 – o 3º realizado desde a independência – levantou informação sobre as seguintes características
Quadro II – Informações levantadas no censo 2007 em Moçambique
População Habitação
1. Sexo e idade 2. Estado civil 3. Religião 4. Registo civil
5. Local de nascimento e nacionalidade 6. Deficiência
7. Língua 8. Alfabetização 9. Frequência à escola 10. Escolaridade
11. Atividade econômica (ocupação e sector)
12. Fecundidade
13. Mortalidade materna e infantil
1. Material usado na construção da casa 2. Água e saneamento
3. Fonte de energia 4. Bens duráveis
5. Acesso e uso de computadores 6. Acesso e uso da internet
FONTE: INE
Notem, por exemplo, que o censo não levanta informação sobre: salários e rendimentos
agricultura e efectivo agropecuário horas de trabalho
consumo e gastos cuidados com a criança imunização das crianças dados antropométricos
6 acesso a serviços de saúde
calamidades e choques sofridos pelo agregado familiar segurança alimentar
Coletar dados para construir indicadores para estas dimensões exigem uma questionário mais longo e detalhado que seria inviável no contexto de um censo demográfico, cuja função precípua é contar a população do país e descrevê-la em linhas gerais para traçar seu perfil demográfico. Deste modo, os inquéritos amostrais do agregado familiar são o instrumento mais importante para levantar informações sobre os indicadores listados acima que, em geral, refletem as condições de vida da população de uma maneira mais abrangente do que os dados censitários. Em Moçambique vários inquéritos levandam informação sobre alguns aspectos listados acima. O Inquérito Demográfico e de Saúde, por exemplo, é um deles. O IDS tem um foco sobre a questão da saúde, do bem-estar e empoderamento das mulheres e bem-estar, saúde, e estado nutricional das crianças, e um forte componente de saúde reprodutiva. (Veja aqui o relatório do inquérito Demográfico e de Saúde de Moçambique de 2011: relatório IDS). O IDS é realizado na base duma amostra de representatividade nacional, regional e de área de residência (urbano e rural) de mulheres de 15 a 49 anos e de homens de 15 a 64 anos. O IDS está desenhado para administrar a informação sobre fecundidade, saúde materno-infantil e características sócio-económicas da população entrevistada. Na área da fecundidade, as informações recolhidas permitem avaliar os níveis e tendências da fecundidade, conhecimento e uso de métodos contraceptivos, amamentação e outros determinantes próximos desta variável demográfica, como a proporção de mulheres casadas e/ou em união e duração da amenorreia pós parto. Investiga, ainda, intenções reprodutivas e necessidades não satisfeitas relacionadas com o planeamento familiar. Na área de saúde materno-infantil, recolhe-se a informação sobre a mortalidade materna, HIV/SIDA, DTS, gravidez, assistência pré-natal e ao parto. A nível da saúde da criança, os dados recolhidos permitem determinar as taxas e tendências da mortalidade infanto-juvenil, como também analisar os seus determinantes sócio-económicos, uma vez que são investigadas as principais causas de doenças predominantes na infância (diarreia e infecções respiratórias), imunização e estado nutricional. O inquérito regista, ainda, características sócio-económicas da população entrevistada, como: nível de escolaridade; o acesso aos meios de comunicação; ocupação; religião; condições da habitação em relação a acesso a água, saneamento, electricidade, bens duráveis de consumo, número de divisões e material predominante na construção do pavimento. No caso do IDS 2011, recolheu-se também aspectos
7
sobre violência doméstica, testagem e prevenção da malária e anemia nas mulheres em idades reprodutivas e nas crianças menores de 5 anos (IDS, 2011).
No entanto, a IDS traz pouca informação sobre rendimento e a classificação por nível de vida, por exemplo, é feita por um “índice de riqueza”. Índices de riqueza são baseados em uma metodologia estatística chamada “análise de componentes principais” e ou variações da mesma. O quadro abaixo traz a explicação das variáveis que em geral são utilizadas. Destacamos esta informação aqui por dois motivos: 1) a técnica de análise de componentes principais é comumente utilizada para construir escalas de “Proxy means testing”; 2) e estas escalas (índice de riqueza) podem ser construídas ex-post para avaliar a focalização de programa sociais na ausência de informação sobre consumo.
Outro inquérito que possui informação mais detalhada sobre temas não cobertos e/ou aprofundados no tema é o Inquérito de Indicadores Múltiplos (MICS). O último a ser realizado em Moçambique foi em 2008, portanto, anterior à última IDS. (O relatório do MICS 2008 pode ser acessado aqui: MICS 2008). O MICS levanta informação similar ao IDS, mas seu foco é ainda maior em mulheres e crianças com menos de 5 anos. No questionário do agregado familiar se levanta informação sobre habitação e todos os membros.
Quadro II: Dimensões do Inquérito de Indicadores Múltiplos
Agregado Familiar Mulheres 15-49 anos Crianças com menos de 5 anos
O índice de riqueza da IDS foi construído utilizando a informação sobre a posse de bens dos agregados familiares, tais como televisor, bicicleta, carro, rádio, telefone celular e fixo, geleira, terra para praticar agricultura, posse de animais, bem como as características das habitações, tais como, electricidade, fontes de água para beber, tipos de infra-estruturas sanitárias, e tipo de material usado no pavimento das casas. Foi atribuído um factor de ponderação para cada um dos bens declarados pelo agregado familiar, obtido a partir da análise de componentes principais, e as ponderações resultantes dos bens foram padronizados, assumindo-se uma distribuição normal com média zero e desvio padrão de um (Gwatkin et al., 2000). Em seguida, atribuiu-se a cada agregado familiar um índice único, denominado índice de riqueza, baseado na adição das ponderações de todos os bens possuídos. Finalmente, cada agregado familiar foi posicionado dentro de um quintil de riqueza, de acordo com esse índice, apontando à situação económica do agregado. O indicador de quintil de riqueza do agregado foi atribuído a todos os membros de jure do agregado familiar, isto é às pessoas que normalmente moram nos agregados. Estes quintís são denominados 1) Mais baixo, 2) Baixo, 3) Médio, 4) Elevado e 5) Mais Elevado. (IDS, 2011, grifo nosso)
8 1. Listagem dos membros do agregado familiar 2. Educação 3. Água e saneamento 4. Características do agregado familiar 5. Segurança de posse da habitação 6. Redes mosquiteiras e pulverização 7. Trabalho infantil 8. Portadores de deficiência 9. Órfãos e vulneráveis 10. Acesso ao PSA/PASD 11. Uso do sal 1. Características da entrevistada 2. Situação matrimonial e actividade sexual 3. Mortalidade infantil 4. Saúde materna e do recém-nascido 5. Toxóide tetânico 6. Contracepção 7. Atitudes em relação à violência doméstica 8. HIV e SIDA 1. Registo de nascimento e aprendizagem na infância 2. Desenvolvimento da criança 3. Vitamina A 4. Amamentação 5. Tratamento de doença 6. Malária 7. Imunização 8. Antropometria FONTE: INE/MICS
Assim como o IDS, O MICS não traz informação sobre rendimento, consumo e gastos. Deste modo, ele também trabalha com um índice de riqueza e analisa a distribuição dos indicadores mais importante por quintis do índice de riqueza, seguindo a metodologia do IDS. Uma inovação do MICS 2008 foi a introdução de uma pergunta sobre se o agregado familiar era beneficiário do antigo Programa de Subsídio de Alimentos (PSA, atual PSSB) ou do Programa de Apoio Social Direto (PASD). Os dados da MICS apontavam uma cobertura muito pequena do PSA programa em 2008: 2.24% dos agregados familiares diziam receber o PSA (ou 2.53% da população).
Com esta informação pode-se avaliar como os beneficiários do PSA se distribuem por quintis do índice de riqueza como na Tabela 1. Se o PSA fosse distribuído de maneira aleatória (sem focalização, por sorteio por exemplo) se esperaria que cada quintil da distribuição da riqueza tivesse a mesa quantidade de beneficiários, o que significa que cada quintil teria 20% dos beneficiários. A tabela 1 mostra que de acordo com os dados do MICS. Os beneficiários do PSA não se concentrariam particularmente entere os quintis mais pobres, no entanto, o processo de focalização lograria excluir ao mais ricos. Apenas 7% das pessoas em agregados familiares que recebem o PSA estariam no 5º quintil (entre os 20% mais ricos). De todo modo, a baixa cobertura do programa - o que leva à pouca representatividade deste grupo no amostra do inquérito de agregados familiares - faz com que análises de focalização baseadas em inquéritos de agregado familiares não sejam muito precisas. Na próxima sessão veremos algumas maneira de tratar este problema e aumentar a precisão da análise, utilizando os
9
inquéritos, mas também dados administrativos do programa e estudos específicos, em particular, a linha de base dos inquéritos de avaliação.
Tabela 1 – Distribuição dos Beneficiários do PSA por quintis do Indice de Riqueza Recebe PSA 1o quintil 2o quintil 3o quintil 4o quintil 5o quintil Total
SIM 21 14 29 29 7 100
NÃO 20 20 20 20 20 100
TOTAL 20 20 20 20 20 100
Fonte: MICS(2008), INE. Elaboração do autor.
O inquérito mais importante realizado em Moçambique, no entanto, é o Inquérito do Orçamento Familiar. Este inquérito é o mais abrangente e, ao contrário do IDS e do MICS, coleta informação detalhada sobre rendas, consumo e despesas dos agregados familiares. Sendo, portanto, o inquérito mais importante para mensurar o nível de pobreza e desigualdade do país, baseado no consumo e nos gastos das famílias. Além disso, ele traz informações sobre a atividade econômica de cada membro do agregado familiar, ofertas e transferências recebidas e pagas, receitas de várias fontes, bens duráveis, características da habitação, educação, saúde, dados antropométricos para crianças com menos de 5 anos. A amostra de cerca de 11,000 agregados familiares é representativa nas zonas rurais, urbanas e para províncias.
Abaixo apresentamos uma série de dados recentes sobre a pobreza e a desigualdade baseados no último IOF, 2014-2015, mas também reportando a série histórica baseada nos inquéritos anteriores com dados sobre despesas e consumo. A Tabela 2 mostra que a pobreza (de consumo) tem se reduzido em Moçambique. Nos últimos dezoito anos ela foi reduzida em 23.6 pontos percentuais (ou 34%). Entre 2008/2009, a redução foi de 5.6 pontos percentuais (ou 11%). No entanto, a redução têm sido mais forte em áreas urbanas do que em áreas rurais, apesar desta última corresponder a 69,4% da população total de Moçambique.
Tabela 2: Evolução da Pobreza1 em Moçambique
1 Pobreza é entendida aqui como a incapacidade de aquisição (em termos de valores monetários) de um conjunto de bens alimentares e não alimentares que satisfaçam as necessidades básicas do individuo ou familia (MEF, 2016).
10 Fonte: Ministério da Economia e Finanças (2016)
O Gráfico 1 mostra que concomitantemente ao processo de redução da pobreza, houve um aumento da deisgualdade, largamente explicada pelo aumento da desigualdade em zonas urbanas. A desigualdade subiu de 0.42 para 0.45 de acordo com o índico de gini, sendo que em áreas urbanas o crescimento foi de 0.48 a 0.55, e nas áreas rurais, ela se manteve constante em 0.37.
Gráfico 1 – Evolução do Indice de Gini
Fonte: Ministério da Economia e Finanças (2016)
Outra maneira de estimar a pobreza seria a utilização de um indicador multidimensional simpoles. MEF (2016) elege 6 indicadores para 4 dimensões consideradas básicas que representam necessidades que o agregado ou pelo menos um de seus membros deveria alcançar. No caso de Moçambique as 6 dimensões são classifidadas no Quadro 3 abaixo. Uma agregado é considerado pobre se não alcança 4 dos 6 indicadores.
11
Quadro 3- Dimensões e Indicadores da Pobreza Multidimensional
Fonte: Ministério da Economia e Finanças (2016)
A medida de pobreza multidimensional também apresentou uma redução ao longo do tempo em Moçambique como indicado na Tabela 3. Mas também foi mais intensa em áreas urbanas do que em áreas rurais.
A tabela 4 mostra que houve uma redução de 32.1 pontos percentuais na proporção de agregados familiares que estavam privados em todos os indicadores e um aumento de 13.8 pontos percentuais na proporção de agregados sem nenhuma privação.
Tabela 3 – Evolução da Pobreza Multidimensional
Fonte: Ministério da Economia e Finanças (2016)
Tabela 4 – Evolução da % dos sem privação e da % dos com privação total
12
A redução no nível de pobreza e o aumento da desigualdade já eram indicada na análise da despesa média per capita por quintis da população no Relatório final do IOF 2014-2015 (INE, 2015). Se, por um lado, observa-se que as despesas mensais per capita médias cresceram para todos os quintis, nota-se também que ela cresceu mais para o 20% mais ricos.
A sequência de Gráficos e tabelas abaixo mostra como outros indicadores da condição de vida da população de Moçambique estão correlacionados com o quintis das despesas per capita. Essa correlação é a principal ligação entre o nível de consumo/despesa do agregado familiar e sua condição de vida (posse de bens duráveis, acesso a sanaemento, acesso à água segura, acesso à eletricidade e outras condições de moradia) que serve de base para métodos de focalização baseados em “proxy means” (PMT) como veremos nas discussão da próxima seção.
13 Fonte: INE (2015)
14 Fonte: INE (2015)
15 Fonte: INE (2015)
16
3. Usando Inquéritos do agregado familiar para focalizar e/ou para avaliar a
qualidade da focalização.
3.1 Métodos de focalização
A decisão de focalizar programas sociais é motivada basicamente por dois fatores:
1) objectivo atacar vulnerabilidades específicas de certos grupos populacionais: idosos, deficientes, crianças menores de uma certa idade e/ou a pobreza de modo mais geral – entendida como incapacidade de adquirir uma cesta de bens;
2) necessidade de priorizar dentro da população alvo dos programas aqueles que terão acesso ao benefício utilizando-se critérios claros e correlacionados aos objetivos do programa.
A maior parte dos programas de transferência de renda da África tendem a priorirzar grupos populacionais com restrição ao trabalho: idosos, pessoas com deficiência, doentes crônicos e/ou agregados familiares com alta taxa de dependência: poucos adultos aptos a trabalhar para um número grande de idosos somados a crianças, em geral orfãs de pelo menos um dos pais. Ao utilizar estas características demográficas para focalizar um programa, está-se utilizando a chamada focalização categórica. Elege-se uma ou mais categorias da população que é percebido como sendo mais vulnerável. Esta é uma característica, por exemplo, do antigo Programa de Subsidio de Alimentos de Moçambique. Segundo o Manual de Procedimentos do PSA, seu objetivo geral era de “atenuar as dificuldades de subsistência de grupos ou indivíduos indigentes e impedidos temporariamente ou permanentemente de trabalhar e conseguir a satisfação das suas necessidades básicas, através de transferências de valores monetários aos beneficiários do programa (p.2)”. A categoria de individuos que faziam parte deste grupo-alvo eram:
Idosos: mulheres com 55 anos e mais, homens com 60 anos e mais que tenham incapacidade permanente para o trabalho e vivam isolados ou chefiando agregados familiares carentes.
Portadores de deficiência ou doentes crônicos com 18 anos e mais que tenam inacapacidade para o trabalho, vivam sozinhos ou chefiem agregados familiares carentes.
Mulheres grávidas malnutridas – mulheres grávidas com problemas nutricionais associados a factores de risco.
17
No caso do Subsidio para a criança na Zâmbia. Todas os agregados familiares com crianças com menos de 5 anos era elegíveis para o programa, assim o programa era universal nos distritos em que ele era implementado. Mas como ele não tinha cobertura nacional e era aplicado apenas em alguns distritos que foram escolhidos com base nas incidencia da pobreza, níveis de desnutrição infantil e de mortalidade infantil, pode-se dizer que estes três critérios foram utilizados para fazer uma focalização geográfica do programa.
Outra característica comum aos programas de transferência de renda é que eles são focalizados em agregados familiares ultra-pobres ou pobres. No caso do PSA por exemplo, ademais de cumprirem com o critério categórico: idosos e deficientes incapacitados para o trabalho, é necessário que chefiem agregados familiares carentes. Como se define um agregado familiar carente?
O manual de procedimentos define um nível de rendimento per capita abaixo do qual os agregados familiares seriam elegívies para o PSA:
Critério de Rendimento: Este critério, deve ser aplicado nos casos em que exista no agregado familiar membros que possam trabalhar ou que recebam qualquer tipo de pensão. O rendimento “per capita” mensal do agregado familiar não deve exceder os 70.000,00 Mts, valor mínimo constante nos escalões do subsídio de alimentos. O rendimento “per capita” é o rendimento médio mensal de uma determinada família, ou seja, o total dos rendimentos mensais do agregado familiar divididos pelo número total dos membros do agregado familiar. A verificação deste critério, é feita pela apresentação da declaração de vencimentos passada pela entidade empregadora (para o caso de mulheres grávidas cujos os maridos trabalham), não excluindo estimativas de rendimentos sazonais.
Este método é o método de verificação de meios (means testing), muito utilizado em países desenvolvidos, mas também no Brasil em programas no caso do Programa Bolsa Familia e do Benefício de Prestação Continuada. É a renda declarada dos agregados familiares que é utilizada para se verificar o critério de eligibilidade. É interessante observar, no entanto, que apesar do programa Bolsa Familia no Brasil ter cobertura nacional, ele também tem um componente de focalização geográfica. Basicamente, o governo federal define por meio de estimativas do INE brasileiro (o IBGE) uma estimativa da proporção de agregados familiares elegíveis junto com um intervalo de confiança para cada município do Brasil. Estas estimativas são baseados em um mapa de pobreza que combina as informações de um inquérito do agregado familiar (a PNAD) com dados do censo populacional. Como a PNAD é um inquério amostral, ela não tem uma amostra representativa para cada município brasileiro, assim, utiliza-se variáveis comuns à Pnad e ao censo para estimar a proporção de pobres em cada municipio baseado nos dados
18
do censo. Ou seja, o mapa de pobreza dos municípios brasileiros fornece uma quota de beneficiários para cada municipio, o que pode ser considerado uma forma de focalização geográfica.
Alguns programas africanos vêm adotando mais recentemente o método aproximado ou indireto de verificação de meios (proxy means testing) que consiste em utilizar proxies – variáveis ou combinações ponderadas de variávies – para ordernar os agregados familiares de acordo com um índice que permita fazer uma predição do nível de redimento per capita ou que seja associado com alguma medida de bem-estar (como os índices de riqueza do IDS e do MICS). Em geral, este método é utilizado quando é muito díficil certificar o nível de redimento de um agregado familiar. Países como Quênia, Gana, e Lesoto tem usando proxy means testing para ordenar os agregados familiares que devem ter prioridade para entrar nos programas.
Inquéritos amostrais do agregado familiar são utilizados para estimar estes indicadores multidimensionais. Idealmente, estes inquéritos devem possuir informação sobre despesas/consumo que por sua vez são correlacionados com variáveis facilmente observáveis que podem predizer os primeiros. Em geral, se utilizam modelos de regressão linear múltipla que associam estas variáveis(preditores) com a renda per capita das famílias. De modo similar, coeficientes da análise de correspondência utilizados para um indicador podem ser utilizados para construir um indicador de riqueza que serveria para ordenar (ranquear) os potenciais beneficiarios de acordo com este índice.
Um pré-requisito importante para os programas que utilizam PMT é que as fichas de inscrição precisam coletar informação sobre todas as variáveis que são utilizadas no proxy means. Idealmente, as perguntas para construir estes indicadores devem ser idênticas àquelas utilizadas nos questionários dos inquéritos familiares. O desafio aqui é que em geral os formulários para inscrição nos programas precisam ser mais sintéticos do que os questionários do inquéritos. Além disso é preciso definir um ponto de corte de eligibilidade que pode variar entre regiões e entre áreas, assim como a linha de pobreza varia dentro de um país.
Outro método bastante utilizado nos programas de transferência de renda de países africanos é a focalização comunitária. Nestes casos, as comunidades são envolvidas para listarem os potenciais beneficiários do programa de acordo com os critérios do mesmo. Em muitos casos, a lista de potenciais beneficiários é feita pela comunidade e a informação para um PMT é coletada somente para este sub-grupo de modo a garantir que apenas os mais pobres participem do programa. Em outros casos, a participação comunitária é restrita à validação da lista de potenciais beneficiários dada pelo método de PMT.
19
3.2 Avaliando a qualidade da focalização combinando inquéritos nacionais e inquéritos
de avaliação
Outro uso que pode ser feito dos inquéritos familiares com relação a aspectos da focalização dos programas é utilizá-los para averiguar o quão bem estes programas são focalizados. A tabela 1 discutida no começo do texto é um exemplo deste tipo de análise. Mas quando o número de beneficiários na amostra é muito pequeno, a inferência que se pode fazer a partir destas estatísticas não é muito acurada. Por este motivo, Handa et al. (2012), fizeram um exercício em que um índice de riqueza contruído a partir das variáveis comuns aos inquéritos familiares de abrangência nacional e dos inquéritos de avaliação de programas de transferência de renda foi utilizado para medir o grau de focalização de três programas de transferência de renda africanos, incluindo o antigo PSA de Moçambique. Os pesos usados para o cáculo do índice de pobreza foram calculados com base nos inquéritos nacionais, assim como a distribuição do índice. O inquérito de avaliação foi usado para prever a posição dos beneficiarios dos programas de transferência de renda na distribuição do índice de riqueza dada pelo inquérito de cobertura nacional. Assim, pode-se avaliar onde se situavam os beneficiários do programa de transferência com relação à distribuição do índice de riqueza da população total do país, ou em relação uma sub-população qualquer, como a população rural e/ou a população elegível para o programa. Com base nesta distribução é possível avaliar o quão bem focalizado é o programa, em relação, a uma distribuição neutra (ou aleatória – sem focalização).
O índice de performance da focalização proposto por Coady et al. (2004) consiste em analisar se os partipantes estão sobre-representados (e em que medida o são) entre os x% mais pobres da população total de interesse. Se o índice for igual a 1, significa que não há sobre-representação dos beneficiários entre os mais pobres – seria o mesmo resultado de um sorteio aleatório. No entanto, se o índice for maior que 1, indica que há representação e quanto mais alto o índice for, maior será sua sobre-representação dos beneficiários entre os x% mais pobres. No estudo de Coady et al. (2004), eles encontraram que os programas de trnasferencia de renda tendem a ser melhor focalizados (1.80) do que a média de todos os programas de assistência social (1.22).
Os valores apresentados na tabela 5, utiliza o padrão da representação de beneficiários entre os 20% mais pobres. No caso dos programas de transferência de renda do Malauí, Quênia e Moçambique os autores calcularam a distribuição do indice de riqueza tendo em conta duas sub-amostras. Uma amostra da população rural total do país e uma amostra da população rural elegível total do país, a “elegibilidade” foi imputada a partir de suas características pessoais dos membros dos agregados familiares. No caso
20
de Moçambique o critério utilizado para o PSA para definir a população rural elegível2 foi de mulheres
com 55 anos e mais e homens com 60 anos e mais. Nota-se na tabela 5 que, independentemente, da amostra de comparação todos os 3 programas de transferência de renda avaliados apresentavam uma boa focalização com respeito aos padrões internacionais.
Tabela 5 – Comparação da performance da focalização
Todos programas Só programas de transferência
Coady et al. (2004) 1,22 1,80
Amostra completa Amostra de apenas elegíveis
Malauí (SCTP) 1,29 3,67
Quênia (CT-OVC) 3,68 2,72
Moçambique (PSA) 2,13 1,73
Fonte: Handa et al. (2012)
Nota: A performance da focalização é calculada como a proporção de beneficiários sobre os 20% mais pobres.
Os resultados para Moçambique na Tabela 5, derivam da distribuição apresentada na Tabela 6. Ao contrário do que se observou na Tabela 1, a avaliação da focalização do PSA baseada no índice de riqueza para as amostras rurais e rurais de elegívies, e tomando-se em conta os dados da amostra dos novos beneficiários de 2008 coletadas no inquérito de avaliação, mostra que 43% dos novos beneficiários encontravam-se entre os 20% mais pobres dos agregados familiares rurais. Mesmo retringindo a análise apenas a agregados familiares elegíveis (que tendem a ser mais pobres que o total da população rural), observa-se que 35% dos beneficiários estão entre os 20% mais pobres. Note que estes resultados contrastam bastante com os resultados da Tabela 1, onde possivelmente devido a pequena amostra de beneficiarios do PSA no amostra do MICS 2008, a única conclusão clara era que o programa não alcançava os mais ricos, mas não ficava claro que ele estaria bem focalizado entre os mais pobres.
2 Apesar do PSA não ser um programa somente rural, a expansão de 2008 e a amostra utilizada na avaliação era majoritariamente proveniente de áreas rurais. No caso do Quênia e do Malauí, os programas de transferência de renda eram implementados apenas em áreas rurais no momento da avaliação.
21
Tabela 6 – Distribuição dos beneficiários da expansão do PSA em 2008 pelo quintis de riqueza das sub-amostras do MICS RURAL e MICS RURAL Elegível
1o quintil 2o quintil 3o quintil 4o quintil 5o quintil Total
PSA (expansão 2008) 43 18 15 12 12 100
MICS RURAL 20 20 20 20 20 100
PSA (expansão 2008) 35 24 19 16 7 100
MICS RURAL elegível 20 20 20 20 20 100
Fonte: Handa et al. (2012)
Nota: Sub-amostra MICS elegível são agregados familiares com mulheres com 55 anos e mais e homens com 60 anos e mais.
Outro indicador que pode ser utilizado para a análise da focalização são os erros de exclusão e os erros de inclusão. Mas a utilização de inquéritos de abrangência nacional nestes casos só fazem sentido quando os programas tém grande cobertura, o que não é o caso da maior parte dos programas de transferência de renda africanos, em geral, e de Moçambique, em particular.
Erro de inclusão: participantes/beneficiários que não são elegívies (pobres) sobre o total de participantes/beneficiários do programa.
Erro de exclusão: elegíveis para o programa que não são beneficiários sobre o total de elegíveis (total de pobres).
Programas com baixa cobertura tendem a apresentar um erro de exclusão muito alto. Por exemplo, se apenas certos distritos fazem parte do programa, nada garante que estes distritos estarão na amostra do inquérito.
4. Utilizando inquéritos do agregado familiar para fazer simulações e
projeções
Os inquéritos do agregado familiar podem ser usados para estimar os custos da introdução de um novo programa de transferência de renda e/ou os seus impactos. Em Moçambique há dois exemplos de utilização dos inquérios familiares para estimar os custos da expansão de programas e/ou a introdução de novos componentes de programas de transferência de renda.
22
Em 2007, o UNICEF apoiou o INAS e o MMAS (agora MGCAS) a simular os impactos de diferentes cenários para a expansão do PSA em 2009, usando o Inquérito do Agregado Familiar de 2002-03.
- Cenário 1 (aumento pequeno): valor máximo da transferência é Mt 450. O beneficiário direto recebe Mt 150.
- Cenário 2 (aumento médio): O beneficiário direto recebe Mt 600. O beneficiário direto recebe Mt 200.
- Cenário 3 (aumento alto): O beneficiário direto recebe Mt 1,440. O beneficiário direto recebe Mt 480. # de membros no agreagado familiar Valores do benefício em 2007 em Meticais Cenário 1 (aumento pequeno): Cenário 2 (aumento médio): Cenário 3 (aumento alto): 1 70 150 200 480 2 100 225 300 720 3 120 300 400 960 4 130 375 500 1200 5 140 450 600 1440
Expansão do # de beneficiários do PSA: 97.000 em 2007 para 130.000 em 2008, 150.000 em 2009 e 173.000 em 2010.
A simulação da expansão do programa é feita assumindo uma focalização perfeita, ou seja, todos os agregados são ordenados em ordem crescente pela renda per capita. Uma opção seria fazer um sorteio aleatório no decis mais pobres, segundo os autores. Dificuldade: não há informação sobre doentes crônicos. Focalização categórica é baseada nos sexo e idades das pessoas idosas (55+ para mulheres e 60+ mais homens) e na condição de deficiência.
ANO
Atual (sem
aumento) Cenário 1 Cenário 2 Cenário 3 2007 Custo total 4,310,098 13,314,971 17,753,294 42,607,904 % of PIB 0.05 0.17 0.22 0.54 2008 Custo total 5,589,284 17,277,520 23,036,694 55,288,064 % of PIB 0.07 0.20 0.27 0.65 2009 Custo total 6,502,625 20,097,916 26,797,220 64,313,328 % of PIB 0.07 0.22 0.30 0.71 2010 Custo total 7,474,427 23,035,382 30,713,842 73,713,224 % of PIB 0.08 0.25 0.33 0.79
23
O outro documento, mais recente que faz este tipo de simulaçào é o Documento Técnico – Análise de Custos e Impactos da ENSSB II, os autores (OIT e OPM) utilizam a IOF 2008-9 e as projeções demográficas do INE para estimar o tamanho, os custos e os impactos dos programas previstos na ENSSB II baseado em 3 cenários de focalização.
- cobertura universal
- quase universal – só excluindo agreagados familiares que não vivem em pobreza nem em risco de cair na pobreza.
- focalização nos pobres
A tabela 7 destaca em negrito as opções preferenciais dados os objetivos dos programas
Poverty Impact of the PSA in 2008 according to various scenarios: Decrease in the Poverty Gap (%)
1.1% 3.5% 4.7% 10.8% 0 2 4 6 8 10 12
Current PSA scheme (Cost 0.07% of GDP)
Scenario 1 (Low increase) (Cost 0.2% of GDP)
Scenario 2 (Medium increase) (Cost 0.27% of
GDP)
Scenario 3 (High increase) (Cost 0.65% of GDP) P e r c e n ta g e R e d u c ti o n
24
A focalização dos agregados familiares pobres ou em risco de pobreza foi simulada com o objectivo de excluir os que pertencem ao quinto quintil da distribuição do consumo em zonas rurais e ao quarto e quinto quintis em zonas urbanas. Para contabilizar os potenciais erros de inclusão e exclusão do processo de focalização, a focalização dos programas foi simulada tomando por base de um índice de riqueza construído pelo Banco Mundial a partir dos dados do IOF e não com base nos dados de consumo. Trata-se de simular um um proxy means test (PMT) como discutido acima.
Com base nos cenários descritos na Tabela 3.5 abaixo foram calculados os custos do programa da Tabela 3.6
25
5. Utilização de inquéritos do agregado familiar em avaliações
Em Gana, a avaliação do LEAP utilizou uma amostra de 699 famílias que foram aletaoriamente selecionadas do grupo de 13.500 famílias que entrariam no programa no segundo semestre de 2009, localizadas em 7 distritos de 3 Regiões (Brong Ahafo, Central, Volta) para o inquérito de avaliação. Como não foi possível selecionar um distrito de controle onde o método de
26
focalização pudesse ser aplicado (ver Aula 4). Resolveu-se conduzir o inquério de linha de base da avaliação jutamente com um inquérito de agregado familiar de cobertura nacional conduzido pelo ISSER (Insituto de Pesquisa Estatísticas Social e Econômcias).
A Amostra de comparação seria selecionada a partir dos dados da linha de base, comparando-se as características dos agregados da amostra LEAP com os agregados da amostra do ISSER. Esta última consiste de 4.999 agregados familaires, que inclui distritos urbanos (um terço) e rurais (dois terços). As características demográficas para os agregados familiares nestes três grupos são apresentadas na Tabela 10. Quando comparadas com as famílias do ISSER rural, a amostra LEAP tem um tamanho de agregado familiar menor, 3.83 em comparação com 4.12. Como esperado, dada a elegibilidade critérios, a amostra LEAP tem uma menor proporção de crianças menores de cinco anos e uma maior proporção de idosos (com mais de 65 anos). Além disso, a amostra LEAP tem mais famílias com órfãos (27 por cento) bem como um maior número de órfãos (0,62) em relação aos grupos ISSER. Curiosamente, famílias LEAP são mais propensas a ter seguro de saúde. Cobertura de NHIS (seguro de saúde) 'sem custo' faz parte do objetivo LEAP, e enquanto a cobertura atual está longe de 100 por cento, parece que neste indicador as famílias LEAP não estão pior do que outras famílias no Gana rural.
O método de escore de propensão (ver aula 4) foi utlizadao com base na sub-amostra ISSER rural para gerar uma amostra o mais similar possível ao grupo de tratados do LEAP entre os agregados do ISSER que pudesse ser seguido no inquérito de avaliação de seguimento. Ver a Tabela 11.
Tabela 10 – Características da Amostra LEAP e ISSER
Indicador Amostra LEAP ISSER (completa) ISSER (Rural) Tamanho do agregado 3.83 3.77 4.12 Crianças <5 anos 0.44 0.61 0.73 6-12 0.77 0.72 0.84 Crianças 13-17 0.54 0.43 0.47 Jovens 18-24 0.36 0.38 0.36 Adultos 25-64 0.92 1.37 1.42 Idosos (>64) 0.76 0.27 0.31 # órfãos 0.62 0.14 0.15 Há órgãos 0.27 0.08 0.09 NHIS 0.53 0.49 0.44 Observações 699 4999 3136
27 Tabela 11 – Amostra LEAP e a amostra ISSER pareada
Indicador Amostra LEAP Amostra ISSER Rural Pareada Tamanho do agregado 3.83 3.70 Crianças <5 anos 0.44 0.37 6-12 0.77 0.75 Crianças 13-17 0.54 0.54 Jovens 18-24 0.36 0.40 Adultos 25-64 0.92 0.86 Idosos (>64) 0.76 0.77 # órfãos 0.62 0.42 Há órgãos 0.27 0.24 NHIS 0.53 0.51 Observações 699 699 Fonte: UNC (2012) LEAP Baseline Report
6. Estudos específicos
Alternativamente ao uso de inquéritos nacionais e/ou de avaliações de impacto que exigem uma desenho amostral mais complexo, alinhado com a metodologia da avaliação como se verá na Aula 4, estudos específicos são uma importante ferramenta para fornecer informação em um prazo relativamente curto de tempo sobre aspectos importantes da implementação dos programas. Como discutido no texto base da Aula 4 – o Projeto Transferência também se serviu de diversas análises quantitativas e qualitativas sobre avaliar o processo de implementação dos programas de transferência de renda, incluindo os inquéritos de linha de base das avaliações de impacto. A ENSSB (2016-2024) destaca que utilizará para a seu processo de M&A dados de inquéritos e estudos específicos realizados para obter informação adicional, incluindo estudos sobre as percepções dos beneficiários, sobre o desempenho operacional e os impactos de programas específicos. Dois destes tipos de estudo foram realizados recentemente em Moçambique no âmbito de programas ligados à ENSSB. O primeiro é a Monitoria Comunitária Independente do Programa de Subsídio Social Básico (PSSB) e o segundo um estudo sobre a acurácia do proxy means test (PMT) aplicado ao Programa da Acção Social Produtiva (PASP).
6.1. Monitoria Comunitára independente (MCI) em Moçambique
A MCI é liderada pela Plataforma da Sociedade Civil Moçambicana pela Proteção Social (PSCM-PS) e a HelpAge International através de um consórcio de organizações da sociedade civil. Sua implementação é realizada em coordenação com o MGCAS e o INAS, autoridades distritais e lideranças comunitárias. O
28
objetivo geral da MCI em Moçambique é de melhorar a qualidade e o impacto dos programas de proteção social em Moçambíque através da consciencialização, transparência e participação dos cidadãos nos programas de proteção social.
Seus objetivos específicos são:
1. Lançar um mecanismo de monitoria piloto liderado pela sociedade civil para os programas de proteção social em Moçambique
2. Recolher evidências e lições para alimentar o aperfeiçoamento do mecanismo piloto para um sistema nacional de monitoria independente e contribuir no diálogo sobre proteção social acessível e adequada.
3. Capacitar a sociedade civil para participar de programas de proteção social.
A MCI se estrutura em 3 momentos:
1) Recolha de dados e discussão na comunidade:
Esta etapa consiste na coleta de informação (Ferramenta 1) baseada em 13 perguntas cujas respostas são SIM ou NÃO a serem feitas individualmente aos beneficiários. A perguntas foram decididas com base na experiência dos participantes do PSSB; as orientações contidas no manual de procedimentos do PSSB; e a relevância das mesmas para os técnicos e gestores do INAS.
Organização de grupos focais (Ferramenta 2) que discutem as três perguntas com maior proporção de respostas negativas. Há grupos focais exclusivos para beneficiários e outros grupos focais que incluem os permanentes do INAS e líderes comunitários para discutir as razões por trás dos problemas identificados e possíveis soluções. O resultado do grupo focal é uma plano de ação (Ferramenta 3) para resolver os problemas debatidos.
2) Partilha dos Problemas e possíveis soluções com os principais interessados no nível do distrito
Os dados obtidos nos grupos focais são apresentados e discutidos no distrito com os principais interessados: técnicos do INAS, ONGs membros da Plataforma que actuam na área de Protecção Social, Serviços Distritais de Saúde, Mulher e Acção Social, Serviços de Registo e Notariado e líderes comunitários. De referir que neste segundo momento podem ser convidados também os representantes dos outros Serviços Distritais dependendo da relevância dos assuntos identificados ou preocupações levantadas pelos beneficiários do PSSB no período em análise.
29
3) Advocacia a Nivel Nacional: Apresentação dos resultados da monitoria no nível nacional.
A MCI tem algumas limitações em termos de sua área de atuação – limitada pela presença de organizações da sociedade civil e disponbilidade de staff. Desta maneira, ela não consegue ser (estatisticamente) representativa dos beneficiários do programa, não se trata de uma amostra probabilística. De todo modo, nas localidades onde a MCI é implementada, um amostra pré-definida é sorteada aleatoriamente a partir da lista de beneficiários disponibilizada pelo INAS e tomando em conta os recursos humanos disponíveis para sua implementeação.
Um indicador simples, proporção de pessoas que responderam NÃO, é usado para ordenar as questão mais relevantes para a discussão nos grupos focais. Em geral, as monitorias realizadas nos 3 anos de implementação da MCI aponta os tópicos em azul no quadro como aqueles com a menor proporção de avaliação positiva (SIM) e os tópicos em vermelhos como aqueles com maior proporção de avaliação negativa (NÃO).
O envolvimento da comunidade no processo de monitoria possibilita que alguns problemas possam ser resolvidas no curto prazo e ajuda o INAS Central e o MGCAS a receber informação sobre a percepção dos beneficiários sobre a implementação do programa.
Sumário do relatório da MCI 2015-2016:
FERRAMENTA 1: LISTA DE PERGUNTAS (perguntas 2012-2013)
1. Sabe porque recebe este valor?
2. Tem recebido pontualmente?
3. Em caso de ausência recebe o valor no mês seguinte?
4. Sabe com antecedência a data de pagamento?
5. E sempre a mesma pessoa que informa sobre a data de pagamento? 6. O Posto de Pagamento é acessível?
7. O tempo de espera no posto de pagamento é razoável?
8. Os beneficiários são bem tratados no Posto de Pagamento? 9. Alguma vez recebeu visita de alguém do INAS?
10. Conhece como é feita a escolha das pessoas para receber esta ajuda? 11. Foi fácil começar a receber esta ajuda?
12. Participou na escolha do Permanente?
30
Até Março de 2016, a MCI havia entrevistado 3110 beneficiários do PSSB distribuídos nas 11 províncias do país (67.5% mulheres e 32.5% homens). Os idosos beneficiários corresponderam a 96,1%, as pessoas com deficiência a 3,34% e pessoas com doenças crônicas ou degenerativas a 0.54%. Além dos beneficiários, havia 8257 dependentes entre crianças e adultos.
No total 58 grupos focais foram organizadas para discutir as três questões de maior preocupação3; além
de 24 encontros de retroinformação em nível distrital ou provincial.
Tabela 12: Características da amostra da MCI 2015-2016
Fonte: Relatório de Progresso do Projeto de Monitoria Comunitária Independente (MCI) ao Programa de Subsídio Social Básico (PSSB) do INAS.
Ainda no âmbito da MCI foi feito um estudo longitudinal com uma amostra de 110 agregados familiares para aferir as percepções dos beneficiários sobre os efeitos do programa e identificar suas formas de uso.
3No nível nacional as 3 questões foram: não ter recebido visita de alguém do INAS, não participou na escolha do Permanente; não sabe a quem recorrer em caso de uma reclamação
31
6.2. Caracterização dos excluídos do PASP pelo PMT
Um proxy means test (PMT) é usado para selectionar os beneficiários do Programa da Ação Social Produtiva (PASP). O PASP implementa
actividades que visam promover a inclusão
socioeconómica de pessoas em situação de pobreza e vulneráveis com capacidade para o
trabalho, com prioridade para os agregados familiares chefiados por mulheres, por
pessoas com deficiências e com crianças com problemas de desnutrição. No entanto, sua
implementação é descentralizada onde intervem estruturas distritais e comunitarias. Nas
áreas rurais, nos Distritos são seleccionados os postos administrativos e as respectivas
comunidades com base nas informações da população e da pobreza. Nas áreas urbanas, a
alocação dos beneficiários foi feita através estimativas de população pobre (excluindo os
centros das cidades) e mapas do índice de riqueza a nível dos bairros.
Após o cadastramento dos potenciais beneficiários, os candidatos passam por um texte de
meios (PMT) – um modelo estatístico que define o “nível” de pobreza do agregado
familiar ao qual pertencem os potenciais beneficários, e dessa forma sua eligibilidade para
o programa. Após a implementação do PMT observou-se que um grande número de
inscritos (potenciais beneficiárions) foram considerados não elegíveis. Dado a surpresa
diante de um número grande de “exclusões”, o INAS propos fazer um estudo sobre as
características dos “excluídos” pelo PMT.
Amostra para o estudo
0 20 40 60 80 100 120 140
32
Os seguintes dados foram levantados para a amostra do estudo:
Características sócio-demográficas (idade, gênero)
Características sócio-económicas (rendimento, actividade laboral, etc.)
Características ligadas ao âmbito de pesquisa maioritariamente sócio-económicas
(fonte de água, fonte de iluminação, etc.)
A Análise dos coeficientes do PMT e seus pesos levantaram os seguintes pontos que
poderiam explicar a origem das exclusões:
(a) O tamanho do agregado familiar, o número de crianças, a taxa de dependência e a
idade do chefe do agregado familiar apresentam sinal negativo indicando que é mais
provável que um candidato que apresente maior extensão destas características
naturalmente não seja elegível;
(b) O facto de o candidato ser de Maputo torna-o mais propenso a ser não elegível
comparativamente a outras Províncias embora a diferença em termos absolutos com
outras Províncias não seja assinalável;
(c) Excluindo as variáveis que representam as Províncias, a característica se o chefe do
agregado possue o nível de escolaridade superior (para o modelo urbano) do chefe do
agregado familiar tem maior “peso” na definição da elegibilidade do candidato ao
Programa;
(d) Quanto a posse de bens duráveis a posse de televisão, computador tem maior “peso”
que as outras características ligadas a posse de bens.
Análise dos dados mostrou que a maioria dos candidatos rejeitados:
Obteve-se uma maioria de AF cujo chefe é do género masculino, com idades
maioritariamente compreendidas entre os 31 aos 50 anos e também na sua maioria
sem algum nível de escolaridade;
A maioria dos AF do estudo apresentou um tamanho de agregado familiar com 3
pessoas, porém em média os AF apresentaram 5 pessoas, na sua maioria com 2 a
3 crianças e sem idosos;
33
A taxa de dependência apresentou um valor e 67% que pode ser considerado um
valor assinalável, eis que, têm-se uma proporção de 6 a 7 dependentes a cada
agregado familiar candidato;
Os AF candidatos e não elegíveis maioritariamente os dependentes acedem a
escola e aos serviços de saúde;
Observando a segmentação das caracteristicas sócio-económicas os AF
candidatos não elegíveis da Cidade de Maputo têm posse de alguns bens duráveis,
alguns casos têm agua canalizada e instalação eléctrica, antagonicamente aos
candidatos de Manica que apresentam alguns bicicletas, mas a sua fonte de
iluminação é petroleo/gás, a sua fonte de água são os Rios, Lagos ou Lagoas e
também antagonicamente aos candidatos de Nampula que têm apenas como fonte
de iluminação lenha, não apresentando uma correspondência directa com uma das
outras caracteristicas;
É mais provável que um candidato residente em Maputo seja não elegivel
comparativamente a qualquer outra Provincia e é mais provável que um candidato
que possuem televisão seja não elegível comparativamente a outros bens duráveis.
Conclusões:
Como constatado, o PMT deve ser usado como ferramenta para auxiliar no
direccionamento não especificamente para definir o carácter de inclusão de um
candidato, deve-se incorporar outros indicadores que “decifrem” a estrutura de
despesas dos AF;
O PMT baseia-se num modelo estatístico e como todo resultado provêm de uma
inferência estatística (do que é provável não do que é taxativamente) faz-se
necessário especificar a margem de erro do modelo, o nível de explicação e os
possíveis casos de classificação errada que se espera do modelo;
34
