• Nenhum resultado encontrado

2.5 Avaliação do Programa Bolsa Família

2.5.3 Regressão hierárquica

A regressão hierárquica é também conhecida como Análise Multinível (AMN) ou modelo linear hierárquico. A grande vantagem desta técnica é poder considerar variáveis em outros níveis de análise que podem se relacionar com as variáveis do nível em estudo. Por isso da denominação de “hierárquica”. Esta característica se adapta bem aos problemas sociais, onde existem diferentes níveis de organização. Um país contém cidades, cidades contêm organizações, organizações contêm grupos sociais e assim por diante.

A aplicação da AMN para o estudo em educação é bastante difundida na literatura. Barbosa e Fernandes (2000) avaliaram um modelo multinível a partir de dados do Saeb do ano de 1997. Utilizando a Modelagem por Equações Estruturais multinível (MEE), Nasser e Hagtvet (2006) estudaram como as características do aluno, do professor e do curso afetavam a avaliação do aluno. Andrade e Laros (2007) estudaram fatores associados ao desempenho escolar com dados do Saeb de 2001 por meio de AMN. Bagaka’s (2011) estudou características dos professores e práticas que poderiam aumentar a auto-eficácia de estudantes secundaristas no Quênia. Liu (2012) utilizou modelos lineares hierárquicos para estudar os fatores que impactam a avaliação dos estudantes em cursos à distância.

A AMN é mais comumente utilizada em análises transversais, i.e., desenvolve as relações entre as variáveis e os níveis num determinado ponto no tempo. Porém, ela pode ser utilizada também em análises longitudinais, com séries de observações. A análise longitudinal é também conhecida como regressão de medidas repetidas. A modificação entre o modelo transversal e o modelo longitudinal é pequena. No modelo transversal, o indivíduo que antes era definido como nível 1 (o mais baixo) passa a ser considerado nível 2. As observações ao longo do tempo de um dado indivíduo são definidas como nível 1. Em outras palavras, os dados longitudinais podem ser vistos como dados multinível com medidas repetidas aninhadas em cada indivíduo (Hox, 2010).

A regressão hierárquica longitudinal foi usada por Alves e Soares (2007) para determinar o efeito das escolas e dos alunos (gênero, atraso escolar e nível socioeconômico) sobre o desempenho escolar dos alunos. Empregaram técnicas de Teoria de Resposta ao Item para quantificação do desempenho escolar e associaram uma pesquisa qualitativa, basicamente 22 entrevistas com profissionais da escola e 38 entrevistas com famílias dos alunos.

Na presente pesquisa, a regressão hierárquica será empregada em um estudo longitudinal por meio de medidas repetidas.

2.5.4 Dados

Fitzpatrick et al. (2004) mencionam a coleta de informações como a segunda etapa do processo de avaliação. Obter informações envolve o processo de coletar dados e combiná-los de maneira que tenham alguma utilidade para o avaliador. Para a avaliação de programas sociais, um caminho desejável é poder coletar os seus próprios dados. A razão é a necessidade de controle experimental. É pelo controle que se constrói um “bom” contrafactual. Segundo Khandker, Koolwal e Samad (2010), este é o maior desafio de uma avaliação de impactos de programas sociais. A fim de contornar o problema, foram desenvolvidas várias técnicas de pareamento (matching) para que se pudesse constituir um contrafactual representativo (grupo controle) e comparável. São exemplos de variantes da avaliação de impacto a avaliação randomizada, pareamento por escore de propensão (propensity score), métodos de diferenças-duplas, uso de variáveis instrumentais e abordagens de regressão de dados descontínuos e “pipeline” (Khandker et al., 2010). Entretanto, permanece a questão:

como submeter o mesmo sujeito ao tratamento e ao controle? No caso de fenômenos sociais, tais métodos são sempre aproximações da realidade.

Mesmo que fosse possível submeter o mesmo indivíduo às duas situações, o controle experimental está associado a custos elevados, não só financeiros, mas de recursos técnicos, de energia, de material e de tempo. A fim de contornar o problema de custos, pode-se optar por usar fontes secundárias de dados. Isto não diminui o custo da coleta em si, mas o dilui. A principal desvantagem de usar dados secundários é exatamente o menor controle sobre eles. Isto traz duas consequências comuns: (1) adaptação dos métodos de análise às limitações impostas pelos dados; e (2) eventual correção de erros inerentes aos dados, uma vez que os dados não podem ser substituídos por nova coleta.

Como exemplo da adaptação de métodos, alguns trabalhos que estudaram o Programa Bolsa Família (PBF) lançaram mão de técnicas de desagregação de dados da Pnad (Barros, Carvalho & Franco, 2006) e de agregação (Soares, Osório, Soares, Medeiros & Zepeda, 2007) para inferir dados sobre os beneficiários.

Quanto à correção, um exemplo comum é a discrepância de dados observada durante o cruzamento de dados. Soares, Soares, Medeiros e Osório (2006) apresentaram uma comparação entre os dados de número de beneficiários do PBF informados pela Pnad e os informados pelos registros administrativos do Ministério do Desenvolvimento Social e Combate à Pobreza (MDS). Os dados da Pnad apresentam 58% menos beneficiários do que os registros administrativos do MDS.

A despeito destes problemas, as bases secundárias proporcionam uma fonte rápida e igualmente rica de dados. Quando se fala de bases secundárias de dados oficiais, existe ainda o aspecto de “legalidade”, dando um caráter representativo importante aos resultados decorrentes.

Usar uma base secundária é também uma maneira de aproveitar investimentos já realizados na sua coleta. No caso brasileiro, a quantidade de dados oficiais disponíveis é enorme. Com a diretriz de transparência do governo federal, os vários órgãos buscam disponibilizar as suas próprias bases para o grande público. Um caso importante e útil para esta pesquisa é o sistema da Secretaria de Avaliação e Gestão da Informação (Sagi), ligado ao Ministério do Desenvolvimento Social e Combate à

Pobreza (MDS). Uma das ferramentas disponibilizada por eles é o TabSocial. Os dados do PBF por município estão disponíveis nele (http://www.mds.gov.br/sagi).

3. Objetivos