Avaliação continuada do Programa de
Formação Interdisciplinar da Unicamp
Ana Maria Carneiro – NEPP e GEOPI/DPCT
III Seminário da Rede Brasileira de Monitoramento e Avaliação Brasília, 2 de junho de 2011
Objetivo
apresentar a avaliação continuada do Programa de
Formação Interdisciplinar Superior (ProFIS) da
Unicamp e discutir seus desafios metodológicos e
operacionais
1)
Metodologia participativa
2)
avaliação continuada implementada concomitantemente
com o programa
3)
o caráter multidimensional
4)
as dificuldades da atribuição da causalidade neste tipo de
Momento da avaliação
Momento privilegiado para a implementação do
monitoramento e avaliação do programa
Raramente estes processos são implementados no início do
programa
Facilidade para traçar a linha de base dos beneficiários,
mensurar as variações nos indicadores selecionados e atribuir a causalidade, comparando-se com grupos de comparação
desenho da avaliação planejado para prover uma base
confiável de informações que auxiliarão na gestão do
programa
O ProFIS
Curso de complementação de estudos de nível superior
duração de 2 anos 120 vagas
Curso aprovado pelo CONSU em 2010 para 1ª turma em 2011
Currículo de formação geral
conhecimentos que vão além daqueles normalmente oferecidos em
formações mais específicas e profissionalizantes
Ação afirmativa
seleção dos melhores alunos concluintes das escolas públicas de
Ensino Médio de Campinas utilizando-se as notas do ENEM
731 inscritos de 88 escolas (95% das escolas de EM de Campinas) 120 matriculados de 76 escolas (44 com 2 alunos e 32 com 1 aluno) Objetivo de inclusão social já foi atingido quanto ao acesso
O ProFIS
Após os 2 anos, os alunos podem escolher um curso de
graduação na Unicamp
120 vagas em 61 dos 67 cursos de graduação regular
Para escolha, alunos são ordenados segundo Coeficiente de
Rendimento nas disciplinas obrigatórias
Um dos objetivos do curso é ajudar os alunos a escolher a
carreira
Curso foi negociado com unidades de ensino, que
ofereceram (ou não) vagas nos cursos de graduação e
disciplinas
Metodologia de avaliação continuada do
ProFIS
Composta por 3 eixos:
1. processo de implementação do programa
2. viabilidade do programa
Objeto de avaliação
Programa de Formação Interdisciplinar Superior da
Unicamp – PROFIS formado por:
Programa de formação geral de 2 anos
Curso de graduação da Unicamp
Curso
Formação
Escopo da avaliação
Ensino Médio Graduação profissional ProFIS Unicamp Mundo do trabalho Unicamp Avaliação de viabilidade Avaliações de Impactos Avaliação de Resultados Linha de BaseObjetivos da avaliação
Avaliar a implementação e viabilidade do ProFIS
como programa de formação geral para Unicamp
Avaliar o impacto do ProFIS na formação e trajetória
profissional do aluno
Avaliar o processo seletivo do ProFIS na promoção
Metodologia da avaliação
Análise do Projeto Pedagógico do ProFIS
Definição das hipóteses e dimensões
de análise a partir dos objetivos
Estudo de pré-indicadores
Definição e validação dos indicadores e suas
métricas
Alunos do ProFIS Grupos de comparação
Linha de base
Avaliação de meio-termo
Avaliação de viabilidade/resultados
Avaliações de impactos
Definição das fontes e mecanismos de obtenção
Avaliação de meio termo
ProFIS
2011
2012
2013
2014
2015
2016
2017
Momentos e instrumentos da avaliação
(+ registros acadêmicos semestrais)
Linha de base (turma de 2012) Linha de base (turma de 2011) Linha de base (turma de 2013) Linha de base (turma de 2016) Linha de base (turma de 2015) Linha de base (turma de 2014) Linha de base (turma de 2017) Avaliação de resultados (turma de 2011) Avaliação de resultados (turma de 2015) Avaliação de resultados (turma de 2014) Avaliação de resultados (turma de 2013) Avaliação de resultados (turma de 2012) Avaliação de impactos ao final da graduação (turma de 2011) Avaliação de viabilidade PROFIS
Turmas e GC 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2011 LB MT R V I1 I2 2012 LB R I1 2013 LB R I1 2014 LB R I1 2015 LB R I1 2016 LB R 2017 LB R 2018 LB R 2019 LB R 2020 LB LB – Linha de Base R – Av. Resultados I1 – Av. Impactos 1 I2 – Av. Impactos 2 MT – Av. Meio Termo V – Av. Viabilidade
Curso de Formação Geral Curso de Graduação
ProFIS e Unicamp
Beneficiários do
programa
Dimensões da avaliação
Desenvolvimento de habilidades acadêmicas e cognitivasAcesso ao ensino superior
Carreira e economia
Gestão do Programa
Perfil socioeconômico (variáveis condicionais)
Dimensões da avaliação
1. Desenvolvimento de habilidades acadêmicas e
cognitivas: refere-se à caracterização do
desenvolvimento das competências cognitivas e
acadêmicas gerais, as vivências e integração na
universidade e a auto-eficácia na formação e o
desempenho acadêmico
2. Acesso, permanência e equidade - refere-se à
caracterização do acesso ao ensino superior, bem
como permanência e persistência, e a promoção da
inclusão social
Dimensões da avaliação
3. Impactos econômicos e na carreira: refere-se à
caracterização dos impactos econômicos decorrentes da
realização do ensino superior via ProFIS e o
desenvolvimento da carreira
4. Gestão do Programa: refere-se ao monitoramento
da implementação e operação do ProFIS
5. Perfil socioeconômico: refere-se à caracterização do
perfil do estudante, bem como da condição
socioeconômica dele e de sua família
1) Caráter participativo
Processo de avaliação busca envolver os principais atores
ligados ao programa (alunos, professores, coordenação,
especialistas)
no processo de definição do que deve ser avaliado
na coleta dos dados
análise de informações
Como?
Comitê de Orientação da Avaliação
Painéis de Validação da metodologia e de seus resultados
Envolvimento com alunos do ProFIS e grupos de comparação
para conseguir acompanhá-los por uma década – questionários online, entrevistas presenciais
1) Caráter participativo
a participação não significa apenas o envolvimento de
diversas pessoas
a negociação de diferentes perspectivas, valores e interesses
muitas vezes conflitantes
resulta no envolvimento de diferentes atores e de diferentes
interpretações sobre a realidade
Construção da legitimidade do processo
os resultados da avaliação têm mais chance de serem
2) Avaliação continuada
Metodologia de avaliação sendo desenvolvida junto com o
programa
Mescla monitoramento e avaliação de impactos
Realizada por equipe interna à Unicamp com apoio de
especialistas
Desafios
assegurar que a avaliação acontecerá numa base
programada e com recursos adequados
manter a estabilidade do sistema de avaliação - revisão
periódica dos temas e indicadores com evolução do
programa mas manutenção das séries históricas
Integração de dados de vários sistemas de informação da
3) Metodologia multidimensional
dimensões selecionadas representam mudanças na vida
dos beneficiários provocadas pela experiência
universitária (+ gestão do programa)
Grande parte são impactos intangíveis
Desafio balancear a quantidade de dimensões e
indicadores para
tornar a avaliação na medida para analisar os principais
impactos
4) Atribuição da causalidade
checagem dupla da causalidade
Desenho inclui grupos de comparação
comparação dos beneficiários com eles mesmos, perguntando
diretamente pela atribuição do programa se houve mudança nos indicadores
Dificuldade da atribuição da causalidade dos impactos no
caso do ProFIS
Mudanças em grande parte podem ser atribuíveis às grandes
transformações da fase da vida dos alunos (adolescência para vida adulta)
Grupos de comparação
Grupo de inscritos com perfil semelhante de
desempenho no ENEM dos matriculados – impacto do
curso de formação geral
+
curso de graduação
Grupo de alunos da Unicamp que entraram com PAAIS
com distribuição semelhante por grandes áreas – impacto
do
curso de formação geral
Curso
Formação
Geral
Curso de
graduação
Para finalizar
Desafios são muitos
delimitação do que deve ser avaliado - risco de criar uma
perversa lista de indicadores sem significado
manter a participação, envolvendo os stakeholders e os
shareholders no desenvolvimento, interpretação e revisão dos
indicadores, além dos beneficiários e grupos de comparação na coleta dos dados
tornar a avaliação institucionalizada (garantir recursos humanos
e financeiros) no longo prazo
Dificuldades de passar da pesquisa à prática
Avaliação continuada do Programa de
Formação Interdisciplinar da Unicamp
Ana Maria Carneiro – [email protected]
Cibele Yahn de Andrade
Stella Maria Barberá da Silva Telles
