Elaboração e validação da teoria do programa

Para cumprir parte do segundo objetivo específico deste estudo (elaboração da estrutura lógica do Programa na UFV), foram utilizados como fontes dados extraídos dos documentos sobre o PNAES, das entrevistas (que também tiveram por objetivo resgatar a teoria do programa, como mencionado) e de algumas questões abordadas nos questionários aplicados junto aos beneficiários do Programa.

Destaca-se que os questionários, que se encontram no Apêndice B, tiveram por objetivo verificar o grau de satisfação e influência do PNAES nos principais indicadores de resultado final, bem como validar as análises de consistência do modelo lógico. A amostra do público a ser direcionado o questionário foi baseada em entrevistas realizadas junto a gestores que trabalham na área de assistência estudantil da UFV, ocorridas previamente à aplicação dos questionários, que apontaram a alimentação como uma das principais ações que possuem alta influência na permanência de estudantes em vulnerabilidade socioeconômica na UFV.

Assim, quando solicitado à PCD a listagem dos beneficiários a serem contemplados na pesquisa, foi utilizado como filtro (critério), que nesta listagem deveria haver beneficiários ao menos com o auxilio alimentação. Isso porque, considerar o número de beneficiários atendidos simultaneamente por todos os produtos/serviços oferecidos pela PCD poderia diminuir significativamente o número de participantes da pesquisa.

Desta forma, a avaliação ocorreu da seguinte forma: os respondentes avaliaram as áreas em que todos são beneficiários – diretamente, como no caso da alimentação (filtro utilizado para seleção dos respondentes), ou indiretamente, referente às áreas em que a assistência é direcionada a todos os estudantes da UFV, ou seja, cultura, esporte, lazer, saúde, acessibilidade, apoio pedagógico e acessibilidade. A avaliação nas áreas de moradia e creche, em que somente parte da amostra é beneficiária (diretamente), a avaliação foi feita separadamente, ou seja, somente a partir de quem recebe este benefício. Assim, não foi possível uma avaliação geral da satisfação em relação ao PNAES, mas sim por áreas. Na construção do questionário em questão, considerou-se contribuições de outros autores que também tiveram como tema de estudo o PNAES (DEL GIÚDICE, 2013; ANDRADE, 2014; PENHA, 2015).

Desta forma, após a definição do filtro, foi enviado o questionário para todos os beneficiários que possuíam pelo menos o produto alimentação, tendo em vista que é permitido pelo programa que graduandos acumulem mais de um benefício. Logo, na amostra havia beneficiários que possuíam os sete produtos/serviços oferecido pela Pró- Reitoria de Assuntos Comunitários - PCD ou, pelo menos, o produto (alimentação). No Quadro 10 apresenta-se a caracterização do questionário.

Quadro 10 – Caracterização do questionário

Categoria Descrição

Bloco 1 Perfil dos beneficiários Esse bloco foi dividido em aspectos referentes ao perfil acadêmico, perfil social e perfil econômico do beneficiário

Bloco 2

Áreas definidas pela política de atuação do PNAES -

Decreto no 7.234/2010

Compreende os aspectos inerentes as áreas de moradia, alimentação, transporte, atenção à saúde, inclusão digital,

cultura, esporte Intenção de conclusão do

curso de graduação

A proposta foi avaliar a intenção do beneficiário de concluir o curso e sua correlação com as áreas do PNAES

Bloco 3

Identificar o grau de satisfação nas diferentes

áreas do PNAES

Constitui na avaliação da satisfação dos beneficiários quanto as atuais condições (resultados de curto a médio prazo) em relação a cada uma das áreas definidas na política de assistência estudantil indicadas no Decreto no 7.234/2010

Bloco 4

Grau de influência das atividades do PNAES nos

principais indicadores

A proposta desse bloco foi avaliar o grau de influência das áreas do PNAES no constructo desempenho acadêmico,

decisão de continuar no curso e condições de formatura dentro do prazo previsto para o curso

Fonte: resultado da pesquisa.

Inicialmente foi extraído um relatório, em 16/04/2018 com os endereços de e- mail desses beneficiários e enviado a essa amostra o questionário através do Sistema Informatizado de Gestão de Bolsas da PCD (SISBOLSA). O questionário foi aplicado através da plataforma do Google docs para 1.487 beneficiários, ficando no status de recebendo respostas do dia 17/04/2018 a 13/06/2018. Foi enviado um aviso pelo SISBOLSA para os beneficiários que ainda não haviam respondido. Outra medida de divulgação do questionário entre os beneficiários foi através da solicitação do apoio na divulgação dos membros da Comissão de Moradias Estudantis (CME) e entre os próprios estudantes.

Após esse período retornaram 312 respostas (21%) do número total de beneficiários. Essas respostas foram importadas para a plataforma de análise Statistical Package for the Social Sciences (SPSS), editor de dados, versão 21. Os cálculos da amostra foram baseados segundo a fórmula da proporção finita de GIL (2008), Onde:

em que

n = amostra calculada; N = população;

Z = variável normal padronizada associada ao nível de confiança; p = é a percentagem com a qual o fenômeno se verifica; e

e = erro amostral.

Fonte:Gil (2008); Santos [s.d.].

Em função do nível de confiança que se busca, usou-se uns dos valores determinado que é dado pela forma da distribuição de Gauss. Os valores mais frequentes são apresentados no Quadro 11.

Quadro 11 – Níveis de confiança utilizada com maior frequência

Nível de Confiança 90% 95% 99%

Valor de Z 1,645 1,96 2,575

Fonte: Bolfarine; Bussab (2005)

Para proceder ao cálculo com o auxílio da fórmula, adotou-se, N= 1487 (tamanho da população de beneficiários que recebem pelo menos a alimentação), para a definição da amostra, o erro de 5% (e=5) e 95% de confiança (Z=1,96; conforme representado no Quadro 11). Como regra geral, usou-se p=50% por não se ter nenhuma informação sobre o valor que se espera encontrar. Desta forma, substituindo-se os valores na equação, obtemos o valor de 306 beneficiários. Logo as 312 respostas obtidas estão dentro do quantitativo esperado.

Assim, a partir dos dados acima mencionados, no que se refere ao tratamento dos dados extraídos dos documentos analisados sobre o PNAES e das entrevistas e questionários, utilizou-se a metodologia do modelo Lógico (ML) prescrito por

McLaughlin e Jordan (2004), que também foi base para o Modelo Lógico elaborado pelo Instituto de Pesquisa Econômica Aplicada (Ipea), como ferramenta de explicitação da Teoria do Programa.

Para Cassiolato e Gueresi (2010), o processo de construção do desenho do programa deverá contribuir para garantir as condições a seguir:

• a definição clara e plausível dos objetivos do programa;

• a identificação de indicadores relevantes de desempenho, que possam ser obtidos a um custo razoável; e

• o comprometimento dos gestores do programa com aquilo que está proposto no modelo lógico.

De forma atender ao segundo objetivo específico deste estudo, após a elaboração do Modelo Lógico, realizou-se a sua validação. Conforme apresentado no referencial teórico deste estudo, esse processo se constitui em seguir os seguintes passos:

1) teste da clareza e da consistência do Modelo Lógico – para verificar se os objetivos do programa foram claramente definidos e se estes são mensuráveis, bem como para avaliar se o desenho do programa permite chegar aos resultados propostos;

2) análise de vulnerabilidade – para identificar aspectos que devem ser observados quando da execução do programa de forma a garantir o seu sucesso; e

3) análise da pertinência e suficiência das ações – para examinar se as ações destacadas são suficientes e pertinentes para se atacar as causas mapeada do problema que originou o programa.

Apresenta-se no Quadro 12 o resumo dos procedimentos adotados para realizar os testes da validação do modelo lógico.

Com a construção do modelo lógico é possível definir indicadores apropriados para aferir o desempenho do programa. Segundo Cardoso Junior (2012), o indicador é uma medida, que pode ser quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado.

Quadro 12 – Resumo das fases de validação do modelo lógico

Fases da Validação do Modelo Lógico Meios de Verificação

Teste de Clareza e consistência do modelo

Atividades + produtos/serviços + indicadores+ fatores de contexto analisados pela lógica Se Então e mapeamento reverso (backward mapping).

Análise de Vulnerabilidade

Análise dos fatores de contexto + grau de influência das áreas do PNAES nos principais indicadores de resultado final (banco de dados: entrevista e questionário).

Análise de pertinência e suficiência das ações

Análise cruzada entre as atividades elencadas no modelo e as causas do problema + grau de influência do PNAES nos principais indicadores de resultado final (banco de dados: modelo lógico e questionário) Fonte: resultado da pesquisa.