Proposta de Medição de Impacto Social
Taxa de Evasão
Dezembro de 2014
Introdução
Este documento constitui uma Proposta de Medição de Impacto Social do Instituto Semear para o ano de 2013, com base nas diretrizes do Guia para Avaliação de Impacto Socioambiental para Utilização em Investimentos de Impacto elaborado pelo Insper Metricis. O Instituto Semear tem a intenção de repetir a mesma medição anualmente após 2013, tornando a avaliação de impacto parte integrante de seu fluxo de atividades.
Um indicador único é proposto – a taxa de evasão escolar -‐ e o nível de avaliação escolhido é o Tier 1.
Instituto Semear
O Instituto Semear surgiu com o propósito de identificar e ajudar jovens ingressantes em universidades públicas com perfil socioeconômico familiar desfavorecido, para oferecer-‐lhes oportunidades para superar dificuldades e promover o desenvolvimento de suas competências. A esses talentos chamamos Jovens-‐Semente, colhidos da parcela menos privilegiada da população.
1. Cronologia
2010 -‐ Início das atividades em São José dos Campos/SP. Total de Jovens-‐Semente (bolsistas e não-‐bolsistas): 10.
2011 -‐ Estabelecimento do organograma empresarial e das diretorias executivas. Total de Jovens-‐Semente (bolsistas e não-‐bolsistas): 33.
2012 -‐ Formalização jurídica e criação do Conselho Fiscal. Total de Jovens-‐Semente (bolsistas e não-‐bolsistas): 53. 2013 -‐ Início das atividades em Fortaleza/CE e no Rio de Janeiro/RJ. Total de Jovens-‐Semente (bolsistas e não-‐bolsistas): 74. 2014 -‐ Início das atividades em São Paulo/SP.
Total de Jovens-‐Semente (bolsistas e não-‐bolsistas): 146.
2.
Gente
Em 2014, o Instituto conta com dez membros de diretoria e conselho, mais de 90 mentores voluntários, uma estagiária, 64 bolsistas dentre os 146 Jovens-‐Semente distribuídos em 37 cidades de oito estados do Brasil. Nesse ano, o programa de bolsas é suportado por 68 investidores.
3. Os três pilares do Instituto Semear
Para cumprir os objetivos idealizados na cultura do Instituto Semear, a metodologia de trabalho está baseada em três frentes de trabalho:
a. Mentoria. Cada jovem-‐semente conta com um mentor, profissional experiente e comprometido com a missão e os valores do instituto, que oferece suporte acadêmico, pessoal e social durante sua trajetória universitária. Todos os mentores são voluntários, e não recebem nenhuma remuneração pelas atividades de mentoria. b. Bolsa de Estudo. A fim de evitar que bons alunos tenham sua vida acadêmica
interrompida por falta de recursos financeiros, o Semear lhes oferece uma bolsa-‐ auxílio durante o primeiro ano de faculdade e, em alguns casos, no segundo.
c. Rede de contatos. O objetivo da rede é promover interação e consciência social pela conexão entre os participantes do instituto através de encontros, workshops e treinamentos.
4. Processo Seletivo
A seleção dos bolsistas segue critérios socioeconômicos e o grau de alinhamento com a missão, visão e valores do Instituto Semear. Dessa forma, são predominantes os estudantes universitários em condição socioeconômica desfavorável, com perfil de liderança, empreendedorismo e bom desempenho acadêmico. Outro ponto de destaque é a consciência e vontade de alteração da realidade social do país, visando o retorno deste investimento à sociedade.
O Processo de Seleção dos bolsistas é realizado pelas etapas descritas abaixo:
1. Inscrição pelo site: avaliação preliminar quanto à identificação do candidato com a cultura do Instituto.
2. Entrevista socioeconômica: seleção do candidato com o perfil social e financeiro condizente com a visão do Instituto.
3. Prova: avaliação do candidato quanto a sua capacidade de resolução de questões.
4. Dinâmica de grupo: identificação dos perfis que estejam em ressonância com os valores do Instituto.
5. Entrevista final: avaliação do candidato quanto ao alinhamento às crenças e valores do Instituto.
Plano de Medição
1. Definição do setor
O Instituto Semear atua no setor de Educação, com ênfase no Ensino Superior. Especificamente, o instituto fornece apoio a alunos de perfil familiar desfavorecido e que estejam regularmente matriculados em instituições de Ensino Superior.
2. Benchmarking
A principal referência na utilização de programas de mentoria para a redução da evasão escolar entre universitários é a empresa privada americana Inside Track. A Inside Track tem como produto o oferecimento de mentoria a jovens universitários identificados com perfil de risco de evasão, e é contratada pelas próprias universidades com este fim. A mentoria é oferecida apenas no primeiro ano universitário. Fortes evidências sobre a efetividade do uso da mentoria pela Inside Track foram publicadas no estudo de Bettinger e Baker (2014), em periódico científico internacional. O estudo utilizou o método Randomized Controlled Trial com alunos candidatos ao programa de mentoria da empresa, conferindo um alto nível de validade interna à avaliação. O impacto do programa de mentoria sobre a redução na taxa de evasão foi estimado em 5% no primeiro ano escolar.
Encontramos dois estudos que analizam o impacto de programas de auxílio financeiro a alunos universitários. O artigo de DesJardins e Ahlburg (2002) utiliza dados de uma mudança estrutural nas políticas de auxílio financeiro ocorrida nos EUA na década de 1980, e estima um aumento de 10% na probabilidade de finalização do curso em consequência do maior acesso a recursos financeiros pelos alunos. Se por um lado o modo de funcionamento do financiamento à educação das universidades norte-‐americanas é muito distinto do Brasil, essencialmente pela ausência de uma ampla rede de ensino gratuita (mesmo as universidades públicas cobram altas taxas), por outro lado o impacto de larga magnitude encontrado sugere um efeito positivo para as bolsas de estudo oferecidas pelo Semear.
Ainda, um estudo qualitativo realizado no Brasil, documentado em Araújo et al. (2011), sugere um impacto positivo para um programa de auxílio financeiro realizado pela Universidade Estadual Paulista (UNESP). De forma semelhante ao Semear, o programa analisado (Programa de Permanência Estudantil da Pró-‐Reitoria de Extensão Universitária) fornece uma bolsa-‐auxílio para alunos de baixa renda. O valor da bolsa, no entanto, não é revelado no estudo. A pesquisa consistiu na aplicação de um questionário a mais de um terço dos alunos beneficiados (534 alunos, de um universo de 1300), e os resultados apontaram que os recursos investidos pela universidade são fundamentais para a permanência dos alunos na graduação. Entre os dados mais informativos do
estudo, está a indicação de que, caso não recebessem o auxílio, 25% dos alunos abandonariam a universidade, e 53% buscariam trabalhar concomitantemente aos estudos. Como se verá na próxima sessão, estes resultados estão em linha com a teoria de mudança do Instituto Semear, que menciona o papel importante da bolsa de auxílio para reduzir a restrição financeira de alunos de baixa renda, aumentando suas chances de permanência da universidade.
3. Definição da Teoria da Mudança
A teoria de mudança sobre o impacto do Semear é fundamentada nos três canais de atuação do instituto, como descrito a seguir.
a) Atividades
• Bolsa de estudos: o Semear oferece ao jovem-‐semente uma bolsa-‐auxílio durante o primeiro ano de faculdade e, em alguns casos, no segundo. As bolsas médias anuais das quatro filiais do Instituto variaram entre R$ 1.643,00 em 2011 e R$ 2.688,00 em 2014.
• Mentoria: Cada jovem-‐semente conta com um mentor, profissional experiente e comprometido com a missão e os valores do instituto, que oferece suporte acadêmico, pessoal e social durante sua trajetória universitária.
• Rede de contatos: A conexão entre os participantes do instituto, incluindo jovens-‐ semente, mentores e voluntários é fomentada através de encontros, workshops e treinamentos.
b) Resultados/outputs
• Bolsa de estudos: Aumento direto dos recursos financeiros à disposição do Joven-‐ Semente.
• Mentoria: Maior acesso a informações relevantes sobre o funcionamento do meio universitário e do mercado de trabalho.
• Rede de contatos: Maior acesso do Jovem-‐Semente a oportunidades de desenvolvimento pessoal, educacional e profissional.
c) Mudanças/outcomes
• Bolsa de estudos: Aumento da autonomia financeira do Jovem-‐Semente, diminuição da necessidade de realização de trabalho concomitante ao curso universitário, e diminuição da necessidade de abandono do curso por falta de recursos financeiros. • Mentoria: Maior conscientização sobre as oportunidades existentes durante seu
período como aluno universitário e sobre as oportunidades futuras geradas com a conclusão de seu curso. Tomada de decisão melhor informada por parte do jovem, em escolhas pessoais, educacionais e profissionais.
• Rede de contatos: Efetivação de oportunidades pessoais, educacionais e profissionais, geradas pela rede de contatos estabelecida pelo Jovem-‐Semente. Uma grande parcela dessas oportunidades é vinculada à permanência do jovem no curso universitário (e.g. estágios e intercâmbios).
d) Impacto
• Bolsa de estudos, Mentoria, e Rede de contatos: Redução da taxa de evasão do Ensino Superior entre os Jovens-‐Semente, em comparação a alunos não apoiados pelo programa e em cursos similares.
4. Definição dos Indicadores
• Fórmula de Cálculo do indicador
Propomos a utilização de um único indicador, a taxa de evasão escolar1.
Como descrito no estudo de Silva Filho et. al. (2007), é comum que a taxa de evasão escolar seja medida indiretamente, a partir da variação no número de alunos matriculados ao longo dos anos escolares, e com a adequada contabilização de ingressantes e formados em cada ano escolar. Para o caso específico do ensino superior no Brasil, o cálculo indireto das taxas de evasão consiste de fato na única possibilidade viável de medição de taxas de evasão em larga escala, pois o INEP não coleta dados diretos de taxas de evasão.
Por isso, propomos que a medição da taxa de evasão seja feita com a mesma fórmula de cálculo empregada em Silva Filho et. al. (2007), reproduzida a seguir considerando o ano de interesse y e o curso de graduação i2 :
(1) 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!! = 1 − !"#$í!"#$%!!!!"#$%&&'"(%&!!
!"#$í!"#$%!!!!!!"#!$%&#'()!!!!
1 Como descrito na introdução desta proposta, o propósito do Intituto Semear é, de fato, mais amplo do que o aumento da probabilidade de que os alunos concluam o curso, incluindo a "superação de dificuldades" e a "promoção de competências" dos jovens. A opção por analizar inicialmente apenas o indicador de evasão escolar resulta de restrições metodológicas e restrições de recursos que impedem que o instituto avalie seu impacto de forma mais abrangente. Nossa interpretação é de que o aumento da probabilidade de que os alunos concluam seus cursos é uma evidência de que os propósitos do instituto estão sendo atingidos, mas não constitui seu único ou principal fim.
2 Definimos “curso” como um carreira de ingresso, dentro de uma instituição de ensino. Assim, Engenharia Elétrica na USP no Campus São Carlos é consiuderado um curso distinto de Engenharia Elétrica na USP no Campus Capital, por exemplo.
Para procedermos à interpretação da fórmula, note que a fração que aparece do lado direito em (1) consiste na taxa de alunos que progrediram no curso (alunos que não evadiram), e chamemos este termo de taxa de progressão:
(2) 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!! = 1 − 𝑡𝑎𝑥𝑎_𝑝𝑟𝑜𝑔𝑟𝑒𝑠𝑠ã𝑜!!
Podemos então analisar a intuição por trás da taxa de progressão em si: (3) 𝑡𝑎𝑥𝑎_𝑝𝑟𝑜𝑔𝑟𝑒𝑠𝑠ã𝑜!! = !"#$í!"#$%! ! !!"#$%&&'"(%& !! !"#$í!"#$%!!!!!!"#!$%&#'()!!!!
Primeiramente, temos que o denominador da taxa de progressão contém os alunos que deveriam estar matriculados no ano y, com base no corpo de alunos do ano anterior (todos os alunos que estavam matriculados no ano anterior, excetuando-‐se os que concluíram o curso). O numerador, por outro lado, contém os alunos efetivamente matriculados no ano y, com base no corpo de alunos do ano anterior (alunos matriculados no ano y, excetuando-‐se os alunos ingressantes neste ano). Portanto, a fração nos mostra o percentual de alunos efetivamente matriculados no ano y, dentre os alunos que deveriam estar matriculados no ano y, constituindo assim uma medida da taxa de progressão.
Um fator que deve ser considerado no cálculo do impacto é que os pesos de cada curso nos grupos de tratamento e controle devem ser os mesmos, de modo a tornar a comparação mais adequada. Isso porque os cursos variam não só em termos de suas características particulares, como também com respeito ao número de alunos matriculados.
Considere os índices t para o grupo de tratamento (ou seja, os alunos apoiados pelo programa do Semear), e c para o grupo de controle (nesta notação, por exemplo, 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!!!,!!
representa o número de martículas no curso i e no ano y, para os alunos tratados pelo Semear). Denote 𝑛!,!! = 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠
!!!,!! − 𝑐𝑜𝑛𝑐𝑙𝑢𝑖𝑛𝑡𝑒𝑠!!!,!!. Então o peso implícito de cada curso no cálculo
da evasão no grupo de tratamento é dado por 𝑝!! = 𝑛!,!! / !𝑛!,!! (ver Anexo 1 para a derivação da
fórmula), de modo que podemos reescrever a taxa de evasão total no grupo de tratamento, em termos das taxas de evasão de cada curso (dentre os alunos do grupo de tratamento), como:
(4) 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!= 𝑝!! ∗ 1 − !"#$í!"#$%!,! !!!"#$%&&'"(%& !,!! !"#$í!"#$%!!!,!!!!"#!$%&#'()!!!,!! !
Para que os grupos de controle e tratamento sejam comparáveis, devemos utilizar os mesmos pesos dos cursos no grupo de tratamento para o grupo de controle. Temos então a seguinte fórmula para a taxa de evasão do grupo de controle:
(5) 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,! = 𝑝!! ∗ 1 − !"#$í!"#$%!,! !!!"#$%&&'"(%& !,!! !"#$í!"#$%!!!,!!!!"#!$%&#'()!!!,!! !
Para a avaliação final do impacto, será tomada a diferença entre as taxas de evasão do grupo de tratamento e do grupo de controle:
(6) 𝑖𝑚𝑝𝑎𝑐𝑡𝑜!= 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!− 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!
Nível de Avaliação (Tier)
Optamos por propor uma avaliação “Tier 1” por dois motivos distintos. Em primeiro lugar, o Instituto Semear tem uma restrição de recursos que inviabiliza tanto a coleta ativa de microdados detalhados do grupo de controle (necessário para avaliação Tier 2) quanto a realização de um experimento aleatório (necessário para avaliação Tier 3). Adicionalmente, acreditamos que a maior simplicidade da medição Tier 1 pode ser benéfica na comunicação do impacto junto à comunidade externa ao Semear.
5. Definição dos Grupos Tratamento e de Controle
Reiterando o fato de que os cálculos das taxas de evasão serão feitos com base nas equações (4) e (5), os grupos de tratamento e controle para a avaliação do programa em 2013 são definidos com base na aplicação desta fórmula a um determinado conjunto de alunos:
• Grupo de tratamento: Alunos com status definidos na equação (4), para o ano y = 2013, e que tenham sido beneficiados pelo Instituto Semear em 2013 ou em ano anterior. Note que, pela definição o grupo inclui alunos que tenham sido beneficiados pelo Instituto antes de 2013, e que estavam matriculados neste ano – deste modo, a medição da evasão leva em conta a possibilidade de que o aluno abandone a universidade em qualquer ano de seu curso, e não apenas no ano em que o benefício é concedido. Para esclarecer ainda mais a composição deste grupo, listamos abaixo cada uma das categorias utilizadas no cálculo da taxa de evasão:
o 𝐦𝐚𝐭𝐫í𝐜𝐮𝐥𝐚𝐬𝟐𝟎𝟏𝟑,𝐜𝐢: alunos matriculados no ano letivo de 2013 no curso i, e que
tenham sido beneficiados pelo Semear em 2013 ou em ano anterior.
o 𝐦𝐚𝐭𝐫í𝐜𝐮𝐥𝐚𝐬𝟐𝟎𝟏𝟐,𝐜𝐢: alunos matriculados no ano letivo de 2012 no curso i, e que
tenham sido beneficiados pelo Semear em 2012 ou em ano anterior.
o 𝐜𝐨𝐧𝐜𝐥𝐮𝐢𝐧𝐭𝐞𝐬𝟐𝟎𝟏𝟐,𝐜𝐢 : alunos que concluíram o curso i em 2012, e que tenham sido
beneficiados pelo Semear em 2012 ou em ano anterior.
o 𝐢𝐧𝐠𝐫𝐞𝐬𝐬𝐚𝐧𝐭𝐞𝐬𝟐𝟎𝟏𝟑,𝐜𝐢 : alunos do curso i que ingressaram no Instituto Semear em
2013.
• Grupo de controle: Alunos com status definidos na equação (5), para o ano y = 2013, considerando os cursos (índice i) em que os alunos do Semear se encontravam matriculados.
3 Note que a definição de ingressantes!"#$,!! toma como referência o ingresso do aluno no Instituto Semear, e não no curso universitário. Esta definição é condizente com a forma com que os ingressantes são
Ou seja, é o conjunto de alunos incluídos em alguma das quatro categorias abaixo, para os cursos frequentados por algum aluno do Semear no mesmo período:
o 𝐦𝐚𝐭𝐫í𝐜𝐮𝐥𝐚𝐬𝟐𝟎𝟏𝟑,𝐜𝐢: todos os alunos matriculados no ano letivo de 2013 no curso i
o 𝐦𝐚𝐭𝐫í𝐜𝐮𝐥𝐚𝐬𝟐𝟎𝟏𝟐,𝐜𝐢: todos os alunos matriculados no ano letivo de 2012 no curso i
o 𝐜𝐨𝐧𝐜𝐥𝐮𝐢𝐧𝐭𝐞𝐬𝟐𝟎𝟏𝟐,𝐜𝐢 : todos os alunos que concluíram o curso i em 2012
o 𝐢𝐧𝐠𝐫𝐞𝐬𝐬𝐚𝐧𝐭𝐞𝐬𝟐𝟎𝟏𝟑,𝐜𝐢 : todos os alunos que ingressaram no curso i em 2013
6. Plano Amostral
• Grupo de tratamento: Alunos com status definidos na equação (4), para o ano y = 2013, e que tenham sido beneficiados pelo Instituto Semear em 2013 ou em ano anterior, totalizando 74 Jovens-‐Semente.
• Grupo de controle: Alunos com status definidos na equação (5), para o ano y = 2013, considerando todos os cursos nos quais havia ao menos um aluno do Instituro Semear matriculado. Os microdados do Censo da Educação Superior de 2013 ainda não foram divulgados pelo INEP, mas cálculos preliminares referentes ao ano de 2012 indicam uma ordem de grandeza de 15 mil alunos.
7. Execução de Medição
Propomos que a medição seja realizada pelo próprio Instituto Semear, que disponibilizará documentos que sustentem os números obtidos, como descrito a seguir.
• Medição da taxa de evasão no grupo de controle: A taxa de evasão será calculada segundo a equação (4), com base nos dados do Censo da Educação Superior, disponibilizados publicamente pelo Ministério da Educação. A leitura e limpeza das bases dos dados públicas será feita utilizando uma rotina do software Stata, que gerará uma base de dados sucinta contendo apenas as variáveis relevantes para a medição. Esta nova base de dados será utilizada para o cálculo da taxa de evasão, utilizando-‐se uma planilha do software Microsoft Excel.
O código e a planilha serão anexados ao relatório final de medição, e podem ser solicitados por qualquer parte interessada junto ao Instituto Semear.
• Medição da taxa de evasão no grupo de tratamento: A taxa de evasão será calculada segundo a equação (5), com base na consulta aos comprovantes de matrícula dos 74 Jovens-‐Semente do grupo de tratamento. Os comprovantes serão anexados ao relatório final de medição, bem como a planilha utilizada no cálculo.
Vale notar que o modo de medição apontado enfrenta, em princípio, a fragilidade de não levar em conta se os alunos estão efetivamente frequentando a universidade, distinguindo-‐os de alunos que estejam matriculados apenas de maneira pro-‐forma (alunos que, apesar de formalmente matriculados, não estejam de fato indo às aulas). Dois atenuantes podem ser apontados para este problema. Em primeiro lugar, e com maior importância, está o fato de que um aluno que se utilize de tal comportamento e que venha a ser excluído da universidade em algum ano subsequente, impactará a taxa de evasão de seu grupo em tal ano. Então, caso o comportamento de matrícula pro-‐
forma leve à evasão de um aluno, ele será capturado pela medição de evasão em algum ano futuro.
Vale destacar aqui que o Semear tem como objetivo realizar a avaliação de impacto de seu programa anualmente, e que, portanto, uma eventual evasão decorrente comportamento de matrícula pro-‐
forma ocorrida em 2013 será revelada nas medições de anos subsequentes. Em segundo lugar, vale
notar que este problema é comum às medições do grupo de tratamento e de controle -‐ tanto a medição com base nos atestados de matrícula dos alunos do grupo de tratamento quanto a medição com base no Censo da Educação Superior do grupo de controle são feitas com base na existência formal da matrícula, e não na frequência efetiva aos cursos. Ou seja, este problema não é específico a um dos grupos, o que diminui o risco de que seja um fator confundidor da medição de impacto, uma vez que esta é calculada como a diferença entre as taxas de evasão dos grupos de tratamento e controle.
8. Cronograma de Medição
Há duas frentes de coleta de dados necessárias para a execução da medição: coleta de dados para o cálculo da taxa de evasão do grupo de controle e para o cálculo da taxa de evasão do grupo de tratamento.
• Grupo controle: Espera-‐se que os microdados necessários para a medição da taxa de evasão sejam disponibilizados ao púbico pelo INEP no mês de Dezembro de 2014. (O resumo geral do Censo da Educação Superior 2013 foi divulgado no mês de Agosto de 2014, sinalizando que os microdados deverão ser disponibilizados em breve.)
• Grupo de tratamento: A realização desta etapa depende da coleta ativa dos comprovantes de matrícula dos alunos do grupo de controle. Espera-‐se que todas as matrículas sejam recolhidas até final de Dezembro de 2014.
• Resultado: Após a coleta dos dados, a realização do cálculo das taxas de evasão do grupo controle e do grupo de tratamento constitui uma tarefa relativamente simples. Espera-‐se que a apresentação dos resultados seja feita até o final de Janeiro de 2015.
Acesso aos dos microdados do Censo da Educação Superior 2013
Dezembro de 2014. Coleta dos comprovantes de matrícula dos
jovens do grupo de tratamento (alunos que participaram do Semear entre 2010 e 2013)
Dezembro de 2014.
Cálculo das taxas de evasão dos grupo de tratamento e controle
Janeiro de 2015. Elaboração do relatório final com apresentação
dos resultados.
Janeiro de 2015.
Referências
ARAÚJO, M. de; ALMEIDA, L. de; LOURO, D; DEL-‐MASSO, M. O Impacto da Política de Permanência Estudantil na UNESP – A Percepção do Aluno Bolsista. Revista Ciência em Extensão, v.7, n.2, p.16-‐28, 2011.
BETTINGER, E; BAKER, R. The Effects of Student Coaching: An Evaluation of a Randomized Experiment in Student Advising. Educational Evaluation and Policy Analysis. American Educational Research Association, n.36, p. 3-‐19, Março 2014.
DESJARDINS, D; AHLBURG, D; MCCALL, B. Simulating the Longitudinal Effects of Changes in Financial Aid on Student Departure from College. The Journal of Human Resources, v.37, n.3, pp. 653-‐679, 2002.
Inside Track. Disponível em: <http://www.insidetrack.com>. Acesso em: 16 de Setembro de 2014.
Insper Metricis. Guia para Avaliação de Impacto Socioambiental para Utilização em Investimentos de Impacto. Julho 2014. São Paulo, SP. Disponível em: <http://www.insper.edu.br/wp-‐ content/uploads/2014/08/guia-‐avaliacao-‐impacto-‐socioambiental-‐investimentos.pdf>. Acesso em: 16 de Setembro de 2014.
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, INEP. Microdados para download. Microdados Censo Da Educação Superior 2012. Disponível em: <http://portal.inep.gov.br/basica-‐levantamentos-‐acessar> Acesso em: 16 de Setembro de 2014.
SILVA FILHO, R; MOTEJUNAS, P.; HIPÓLITO, O.; LOBO, M. A evasão no ensino superior brasileiro.
Cadernos de Pesquisa, v.37, n.132, p.641-‐659, 2007.
FICHA PADRONIZADAPARA AVALIAÇÃO DE IMPACTO
SETOR DO PROJETO Setor da Educação Superior NOME DO PROJETO Instituto Semear
BREVE DESCRIÇÃO DO PROJETO COM SUA TEORIA DA MUDANÇA (descrição das atividades; resultados; mudanças e impactos pretendidos)
O Instituto Semear possui três pilares como atividades: bolsa de estudos, mentoria e rede de contatos. Como resultados diretos dessas atividades, temos aumento dos recursos financeiros dos jovens, maior acesso destes jovens a informações relevantes sobre o meio universitário e o mercado de trabalho e o acesso a oportunidades de desenvolvimento pessoal, acadêmico e profissional. Em relação às mudanças vistas, temos a diminuição da necessidade de abandono do curso devido a dificuldades financeiras, melhores tomadas de decisões com jovens mais bem informados e efetivação de oportunidades de crescimento pessoais, profissionais e acadêmicas. O impacto causado por essas atividades é a diminuição da taxa de evasão universitária no grupo de alunos beneficiados, em comparação a alunos de cursos similares no Brasil.
MEDIDAS UTILIZADAS
Taxa de evasão, calculada segundo a fórmula: 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!= 1 −
𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!− 𝑖𝑛𝑔𝑟𝑒𝑠𝑠𝑎𝑛𝑡𝑒𝑠! 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!!!− 𝑐𝑜𝑛𝑐𝑙𝑢𝑖𝑛𝑡𝑒𝑠!!!
MÉTRICAS (como será medido)
O impacto será medido como a diferença entre as taxas de evasão dos grupos de tratamento e controle:
𝑖𝑚𝑝𝑎𝑐𝑡𝑜!= 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!− 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!
Para o cálculo da taxa de evasão do grupo controle serão utilizados os microdados do Censo do Ensino Superior disponibilizados pelo INEP. Para o cálculo da taxa de evasão do grupo de tratamento serão coletados os comprovantes de matrícula dos Jovens-‐Semente.
TIER DE MEDIÇÃO UTILIZADO(check) x TIER1
JUSTIFICATIVA DA ESCOLHA DO TIER DE MEDIÇÃO (apontado acima)
A escolha do Tier 1 é resultado da existência de dados públicos para a realização deste tipo de medição, e da inexistência de dados para realização de medições Tier 2 ou 3. Esta restrição de dados torna o método Tier 1 muito mais barato, sendo, de fato, a única alternativa financeiramente viável para o Instituto no curto-‐prazo. Além disso, acreditamos que a comunicação da medição à comunidade em geral é
facilitada pela simplicidade do Tier 1.
PERÍODO DA MEDIÇÃO INICIAL(t=0) 01/jan/2013 (A medição refere-‐se a taxa de evasão durante o ano escolar de 2013)
PERÍODO DA MEDIÇÃO FINAL (t=1)
31/dez/2013
(A medição refere-‐se a taxa de evasão durante o ano escolar de 2013)
DESCRIÇÃO PLANO AMOSTRAL (tamanho amostral e indicação de quem são os grupos controle e tratado)
GRUPO TRATADO
Alunos matriculados em cursos universitários em 2013, que tenham sido auxiliados pelo Instituto Semear (74 jovens) em 2013 ou em ano anterior.
GRUPO CONTROLE (e placebo, caso aplicável).
Todos os alunos matriculados em 2013 nos cursos universitários frequentados por ao menos um aluno do Instituto Semear em 2013.
EMPRESA EXECUTORA DO PROJETO Instituto Semear INVESTIDOR DE IMPACTO -‐
ENDEREÇO DA EMPRESA EXECUTORA
DO PROJETO Av. Salmão, 663, sala 62, Jd. Aquarius, São José dos Campos, SP RESPONSÁVEL PELO PROJETO Fernando Carnaúba
TELEFONE (11) 97651 4265
E-‐MAIL carnauba@stanford.edu/ fernando.carnauba@gmail.com
ÁREA ABAIXO PARA PREENCHIMENTO DO CENTRO DE AVALIAÇÃO DE IMPACTO
RESPONSÁVEL PELA ANÁLISE DATA CARIMBO CENTRO
Sérgio Lazzarini Leandro Pongeluppe 09/12/2014
Anexos
Anexo 1 – Cálculo dos pesos de cada curso na taxa de evasão do grupo de Tratamento
Considere inicialmente a taxa de evasão no grupo de tratamento, levando em conta todos os alunos do Instituto Semear, independentemente do curso em que frequentam.
𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!= 1 −
𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!,!− 𝑖𝑛𝑔𝑟𝑒𝑠𝑠𝑎𝑛𝑡𝑒𝑠!,!
𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!!!,!− 𝑐𝑜𝑛𝑐𝑙𝑢𝑖𝑛𝑡𝑒𝑠!!!,!
Adicionando um pouco mais de notação e incluindo o índice i para designar os cursos, podemos reescrever a fórmula em termos do número de matriculados, concluintes e ingressantes em cada curso:
𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!= 1 − 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!,! ! ! − !𝑖𝑛𝑔𝑟𝑒𝑠𝑠𝑎𝑛𝑡𝑒𝑠!,!! 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!!!,!! ! − !𝑐𝑜𝑛𝑐𝑙𝑢𝑖𝑛𝑡𝑒𝑠!!!,!!
Denote 𝑛!,!! = 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!!!,!!− 𝑐𝑜𝑛𝑐𝑙𝑢𝑖𝑛𝑡𝑒𝑠!!!,!!. Queremos demonstrar que o peso da
taxa de evasão de cada curso no cálculo da evasão no grupo de tratamento é dado por 𝑝!! = 𝑛!,!! / !𝑛!,!! . Partindo da fórmula anterior, e manipulando algebricamente os termos
temos: 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!= 1 − 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!,!!− 𝑖𝑛𝑔𝑟𝑒𝑠𝑠𝑎𝑛𝑡𝑒𝑠!,!! ! 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!!!,!!− 𝑐𝑜𝑛𝑐𝑙𝑢𝑖𝑛𝑡𝑒𝑠!!!,!! ! 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,! = 𝑛!,!! 𝑛!,!! ! ! − 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!,! !− 𝑖𝑛𝑔𝑟𝑒𝑠𝑠𝑎𝑛𝑡𝑒𝑠 !,!! ! 𝑛!,!! ! 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!= 𝑛!,!! − 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!,!!− 𝑖𝑛𝑔𝑟𝑒𝑠𝑠𝑎𝑛𝑡𝑒𝑠!,!! 𝑛!,!! ! ! 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!= 𝑛!,!! 𝑛!,!! ! 1 −𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!,! !− 𝑖𝑛𝑔𝑟𝑒𝑠𝑠𝑎𝑛𝑡𝑒𝑠 !,!! 𝑛!,!! !
𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!= 𝑝!! ∗ 1 − 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!,!!− 𝑖𝑛𝑔𝑟𝑒𝑠𝑠𝑎𝑛𝑡𝑒𝑠!,!! 𝑚𝑎𝑡𝑟í𝑐𝑢𝑙𝑎𝑠!!!,!!− 𝑐𝑜𝑛𝑐𝑙𝑢𝑖𝑛𝑡𝑒𝑠!!!,!! ! 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜!,!= 𝑝!! ∗ 𝑡𝑎𝑥𝑎_𝑒𝑣𝑎𝑠ã𝑜 !,!! !
