Etapa I: Elaboração do modelo lógico preliminar, do questionário e do instrumento de

Tendo como referência princípios da técnica do Modelo Lógico apresentado por Mourão e Meneses (2012b), Damasceno, Abbad e Meneses (2012) e Abbad, Souza, Laval e Souza (2012), do modelo de pesquisa avaliativa apresentado por Contandriopoulos, Champagne, Denis & Pineault (1997), da tipologia de avaliação da implantação apresentada por Denis e Champagne (1997), do Modelo de Avaliação Integrado e Somativo – MAIS de Borges-Andrade (2002, 2006), das proposições da Joint Committee on Standards for Education Evaluations (1994) e dos níveis de avaliação propostos por Hamblin (1978), construímos, como um sistematizador geral de dados a serem coletados em uma avaliação ou produzidos em um planejamento de intervenções educativas, a Matriz Lógica Heurística-MLH, bem como uma síntese gráfica teórica da MLH, o Gráfico Lógico- GL.

Seguindo os pressupostos que orientam esta pesquisa, cada dimensão da MLH necessita ser compreendida por si e em suas relações recíprocas dentro de uma rede de negociações sociotécnicas, considerando a existência de atores humanos e não-humanos,

como proposto por Latour (2000, 2012), e não apenas descrita ou entendida linearmente em uma relação de causa e efeito.

Dessa forma, mantendo atenção nas recomendações de Stufflebeam (1994) acerca da necessária busca de objetividade no processo avaliativo e de respeito aos padrões da Joint Committee (1994), mas sem prescindir da participação dos atores centrais (egressos, professores e servidores) nesse processo, algumas questões se constituiram como pano de fundo, com vistas à confiabilidade dos resultados: a proposta é factível no prazo proposto?; houve planejamento sistemático?; há suficiência de recursos?; os procedimentos são obstrutivos ou podem ser obstruídos?; quais os motivos e intenções da avaliação?; o resultado atende aos interesses de quem?; qual sua aplicação?; o método e os critérios são pertinentes?; o processo foi participativo e transparente?; buscou-se objetividade, imparcialidade e prudência?; existe causalidade relativa entre dados e resultados?; os resultados são úteis, acessíveis e claros?; que explicações e justificativas podemos lhes dar? (Braga, Carvalho & Santos, 2011; Elliot, 2011; Davok, 2014).

Em um primeiro momento, realizamos uma pequena revisão narrativa sobre revisões bibliográficas para embasarmos a construção do instrumento OLTI, de onde trouxemos as contribuições de autores como Muñoz et al (2002), Botelho, Cunha e Macedo (2011), Otani e Barros (2011) e Vosgerau e Romanowski (2014), entre outros, e partimos para nova revisão narrativa e, na sequência, para uma revisão integrativa com um tema mais específico, “mestrado profissional e saúde coletiva”, conforme orientam Graziosi, Liebano e Nahas (2013). A partir do referencial teórico levantado com o auxílio do instrumento OLTI nessa etapa de revisão narrativa, a MLH teve sua estrutura constituída (problema, insumos, retorno social, objetivos, processos, efeito imediato objetivo, efeito imediato subjetivo, efeito tardio primário e efeito tardio secundário), dando origem ao GL. Assim, realizamos uma releitura dos documentos oficiais levantado pela revisão narrativa e uma leitura do referencial teórico selecionado pela revisão integrativa, utilizando a MLH e o GL como lentes, a fim de caracterizarmos as expectativas apresentadas pelas políticas públicas de constituição do mestrado profissional e pela literatura para programas do gênero. Na sequência, os componentes da MLH figuraram, durante a análise documental, como temas teóricos, categorias de análise, previamente elaborados, os quais condicionaram a leitura dos documentos do programa (plano de curso, planos de ensino, regulamento do programa e Avaliação Trienal 2013), pressupondo-se a possibilidade de participação simultânea de conteúdos semelhantes em dois ou mais temas. Isso permitiu

uma caracterização prévia do programa e a elaboração de uma síntese gráfica empírica denominada Mapa Lógico Preliminar (MLP). Contribuiu para a elaboração do MLP a análise das dissertações por meio da Planilha de Análise Sistemática (PAS).

Este novo organizador gráfico avançado (MLP), em sua construção, seguiu preceitos derivados da técnica dos mapas conceituais, trazidos por Cicuto, Dazzani e Trivelato (2011), Lourenço, Hernandes, Costa e Hartwig (2012) e Aguiar e Correia (2013), e, sendo constituído a partir dos conteúdos obtidos com a análise documental para cada dimensão e componente central da MLH, possui, portanto, a mesma estrutura, porém, com uma organização expandida que permitiu a visualização de relações entre suas dimensões, componentes e conteúdos, em uma tentativa de melhor caracterização do programa, a fim de que fosse possível sua leitura crítica por parte dos entrevistados (egressos, professores e servidores), em uma etapa seguinte, e sua validação como modelo lógico da intervenção (turma 2010-2012 do programa MPSC-UFG). Como parte do instrumento de entrevista, além do MLP, foram elaboradas questões (focais e complementares) capazes de orientar o olhar dos entrevistados sobre o MLP e conduzir as entrevistas posteriores, as quais possibilitaram sua análise crítica e a evidenciação de novos critérios, bem como de elementos explicativos que trouxeram à tona variáveis de contexto no âmbito técnico, cultural, político e econômico caracterizadas como explicações alternativas para os resultados do programa e inerentes ao campo da Saúde, algumas já denunciadas como possíveis condicionantes, por Barros Junior (2012), e demandantes de constantes negociações entre os atores.

Dentre os elementos constituintes da MLH e do MLP, mereceram especial atenção os objetivos pedagógicos do programa. Assim, tendo em mente a tensão entre ensino e aprendizagem, na constituição do processo pedagógico, e a definição de ensino trazida por Laburú et al (2003), para levantar os objetivos do programa avaliado, foi realizada análise de todo o material disponibilizado, extraindo os objetivos pedagógicos aferentes (focados no ensino e no professor) e eferentes de aprendizagem (focados no resultado acadêmico do aluno) e de desempenho (focados na aplicação pelo egresso, em situações de trabalho, das competências aprendidas), com atenção aos efeitos esperados e comportamentos por eles descritos, em conformidade com as prescrições teóricas trazidas por Ferraz e Belhot (2010), Mourão e Meneses (2012b) e Zerbini, Coelho & Abbad (2012), focando-os no aluno e resgatando, do material analisado, as competências esperadas por aqueles que planejaram o curso.

A análise das dissertações foi realizada por meio do PAS e visou identificar sua adequação aos objetivos e retorno social almejado pelo curso, bem como sua contextualização no serviço e indicação clara sobre sua aplicabilidade no órgão de origem do egresso, como convém a um mestrado profissional. A leitura desses trabalhos de conclusão do curso de acordo com as questões indutoras presentes no instrumento PAS, possibilitou, também, a extração de critérios para o MLP e o questionário bidimensional e a caracterização da intervenção proposta pelo discente, bem como a identificação da aprendizagem obtida pelo egresso e prevista nos objetivos do MPSC-UFG. Para tanto, foram lidos os resumos de todas as dissertações produzidas (24 no total) e sorteadas 50% desse efetivo para leitura do trabalho completo. Quando as informações dos resumos não eram suficientes para atender aos requisitos da PAS, realizamos uma verificação de pontos específicos do corpo do texto da dissertação analisada. Isso possibilitou uma visão panorâmica dos trabalhos, sua contribuição e limitações, permitiu verificar a qualidade informativa dos resumos e contribuiu com elementos para o preenchimento do MLP.

Na sequência, após essa incursão pregressa, além da literatura da área, aos documentos que fundamentaram e materializaram a existência do MPSC-UFG, os mesmos que possibilitaram a construção da Matriz Lógica e a caracterização de seu conteúdo, constituindo, portanto, uma linha de continuidade entre ambos os instrumentos, e de posse de todo esse material produzido até o momento, compilamos os critérios emergentes e procedemos à construção do questionário, que contou, na seção 1, com 55 itens, considerados critérios de julgamento relativos ao curso de mestrado, e, na seção 2, com elementos que buscaram evidenciar as características socioacadêmicas dos respondentes. Para sua validação, foi aplicado um questionário-piloto a 6 indivíduos com formação superior, durante o mês de julho de 2015, com a finalidade de verificar a clareza e a compreensibilidade desse instrumento, bem como estabelecer sua consistência. O questionário foi aplicado ao primeiro respondente, as sugestões foram anotadas, discutidas com ele e, quando pertinente, incorporadas ao questionário, que foi levado ao segundo respondente e, assim, consecutivamente, até que, por exaustão de questionamentos, demo- nos por satisfeitos. A exaustão ocorreu no quinto, sendo confirmada pelo sexto respondente.

3.2.2 Etapa II: Coleta das percepções para validação do modelo lógico e