Etapa III: Sistematização e análise dos dados

Tendo em mãos os resultados dos questionários e das entrevistas, partimos para sua compilação e sistematização dos dados, a fim de organizá-los para sua análise.

De posse dos resultados sistematizados do questionário e da entrevista, realizamos seu confronto com os dados da análise documental e procedemos à sua apresentação, bem como sua análise com o auxílio do referencial teórico-conceitual e legal permitido com o uso do instrumento OLTI. Assim, seguindo as orientações estruturais dos nossos organizadores avançados MLH e GL, que estabeleceram uma linha de continuidade entre os dados durante todo o trabalho, procuramos realizar as discussões e conclusões conciliando os resultados das diferentes estratégias de pesquisa (análise documental, entrevistas e questionário) em sua triangulação. Segindo essa perspectiva, como ilustrado

pela Figura 13, do GL, e com a finalidade de manter a organicidade do trabalho, após sua descrição por procedimento, a síntese dos resultados procurou reorganizar os dados em um texto orgânico, a partir das cinco categorias orientadoras que derivaram dos componentes da MLH e, também, compuseram o modelo lógico (Apêndice I): 1-avaliação do cenário, 2-cenário, 3-horizontes e 4-processos e 5-resultados.

Nas seções a seguir, encontram-se alguns detalhamentos sobre o conceito, os motivos e a forma de obtenção das variáveis derivadas (L, W, P, P’, f, f’) daquelas atribuídas (E, T, H) pelos respondentes no questionário, bem como as estratégias matemáticas e estatísticas utilizadas na comparação entre tais variáveis, com o auxílio dos softwares Excel Microsoft e Action (Estatcamp, 2014). Na sequência, detalhamos os procedimentos da análise de conteúdo realizada com o uso do software NVivo (QRS International, 2014).

a. Questionário bidimensional

Os questionários bidimensionais utilizados como referência para a análise de resultados corresponderam a uma compilação dos questionários originais para cada respondente de forma individual. Ou seja, realizamos uma síntese das respostas numéricas dadas pelos respondentes em cada questionário bidimensional enviado e construímos um questionário-síntese para cada um (egresso, professor e servidor), contendo as médias, desvios-padrão e coeficientes de variação para cada variável original (E, T e H) julgada (Apêndice J). De posse dessas médias, foram calculadas as variáveis derivadas (L, P, P’, W, f e f’), em conformidade com os métodos e os motivos que se seguem.

Dentro desse cenário, as variáveis E e T produziram a variável L (lacuna) por meio de uma diferença (E-T), e são restritas à primeira dimensão do questionário. A variável H, existente nas duas dimensões, produziu a variável W (peso), por meio de uma ponderação em que o somatório dos H dos itens dentro de uma determinada categoria, na primeira dimensão, ou de uma certa categoria, na segunda dimensão, foi inserido no denominador e o H do item ou da categoria em questão foi colocado no numerador (Hi/∑Hi). O peso

produziu uma terceira variável, denominada prevalência da prioridade, que se referiu à primeira dimensão, Prevalência de Prioridade de Primeira Ordem (P), ou segunda dimensão, Prevalência de Prioridade de Segunda Ordem (P’), por meio de um produto entre ele, peso, e o fator f ou f’, respectivamente (W*f ou W*f’).

O fator de correção (de primeira ordem ou f; de segunda ordem ou f’) possuiu duas formas de cálculo: na primeira dimensão, pela igualdade com L em que seus valores se confundem (f=L), e, na segunda dimensão, por meio do somatório das prevalências dos itens da categoria em questão (f’=∑Pi). Com isso, por meio da percepção dos respondentes,

obtivemos, na primeira dimensão: a ocorrência, subjetivamente, observada do item (E), o grau de importância absoluta do item julgado (T), correspondente à expectativa com sua ocorrência, o grau de discrepância ente o obtido e o esperado com item julgado (L=E-T), a importância relativa atribuída a cada item dentro de uma categoria (H) e essa mesma importância relativizada pela lacuna (L=f) e ponderada pelos pesos (P=W*f). Na segunda dimensão, obtivemos: o grau de importância relativa (H) atribuída a cada item pelo respondente e a prevalência de importância das categorias entre si (P’=W*f’).

Utilizar um ranking de graduação decimal de 1 à 10, na coluna H, possibilitou ao respondente estabelecer distâncias assimétricas entre as posições, de maneira a informar o valor relativo dos itens e não apenas sua posição relativa dentro do conjunto. Assim, pudemos ter uma ideia de quanto ele atribui mais importância a um item em relação ao outro em uma escala de intensidade. Em outras palavras, dois itens distantes pela posição ordinal tiveram a possibilidade de guardar maior proximidade de importância entre si que dois itens contíguos, o que pode ser interessante para análises do perfil do respondente. Contudo, os valores de H não foram, diretamente, aplicados ao cálculo das prevalências, sendo convertidos em pesos (W) e relativizados pelo fator f ou f’, que também varia em conformidade com a dimensão considerada.

A prevalência relativa de prioridade entre as categorias (P’) trouxe consigo um diferencial em relação ao que obtivemos com o P dos itens. Vale lembrar que da composição de P e P’ participam o fator f e f’, respectivamente, e o peso (W) do item ou da categoria. O peso é uma proporção do total das notas atribuídas em H aos itens da categoria, na primeira dimensão, ou às próprias categorias, se estivermos nos referindo à segunda dimensão do instrumento. Ao considerarmos o somatório das notas de prevalência de primeira ordem (P dos itens) como parte de suas próprias, a categoria trouxe para si, por meio do fator f’, a hierarquia de importância relativa (H) e as lacunas de desempenho (L) lá percebidas e, por meio de seu peso (W), relativizou indiretamente seu próprio H, atribuído de forma direta pelo respondente, na composição de sua prevalência de segunda ordem (P’). Ao proceder assim, como nos itens, mantivemos implícita a ideia de que a atenção dos tomadores de decisão deve ser, também, condicionada por múltiplos critérios. Ou seja, o ataque a um problema na intervenção deve ocorrer não apenas porque os respondentes do questionário, em suas preferências, consideram a categoria menos ou mais relevante em relação às demais. Nesse processo, além da relevância relativa da categoria, expressa em H e comunicada ao seu P’ por meio do W, o P’ agregou, ainda, informações da primeira dimensão (conjunto de itens da categoria), na forma do fator f’. Tal conjunto continha tanto itens com reduzida importância (expressa no H da primeira dimensão) e uma baixa expectativa de ocorrência (expressa na coluna percepção teórica T), quanto itens com grande importância relativa (H) e elevada expectativa de ocorrência (T). Esses graus de importância H e expectativa T, trazidas da primeira para a segunda dimensão pelo fator f’, puderam reafirmar ou modificar a posição hierárquica (H) anterior da categoria considerada, ao compormos a coluna de prevalência (P’). A reafirmação ou modificação dessa posição pode tanto alterar o julgamento da hipótese de nulidade nas comparações

estatísticas entre categorias, quanto se refletir na agenda de prioridades do gestor da intervenção, condicionando a implementação de estratégias para solução de problemas a partir de um critério (item) específico.

Nesse contexto, o uso de pesos possibilitou maior robustez ao sistema, tornando- o mais estável e deixando a prevalência (P ou P’) menos sensível a variações nos valores que a originaram. A estabilidade e robustez do sistema é uma das exigências da técnica Swing Weigthing (Neiva & Gomes, 2007) da qual deriva nosso instrumento. Em uma ilustração concreta realizada por meio de testes empíricos do instrumento, a elevação para 10, nas notas da coluna H nos itens da categoria II, uma proporção média de 10,65%, causou uma pequena elevação de apenas 0,72% no valor do somatório das prevalências quando elas foram o produto da lacuna L pelo peso relativo W. Ao considerarmos as variações individuais para cada item da categoria II, obtivemos que, para uma elevação da mesma ordem em H, a média de elevação das prevalências foi de 0,45%. O mesmo pôde ser extrapolado para os itens da categoria I, onde a elevação de seu H na proporção média de 18,9%, produziu uma pequena elevação de 2,13% na soma de todas as prevalências desse grupo e assim por diante nas demais categorias, indicando a dependência mútua dos pesos na determinação da prevalência (P ou P’), o que não ocorreu quando ela foi calculada por meio do produto direto da lacuna pela nota H. Neste caso, considerando a mesma proporção de aumento do H dentro, por exemplo, da categoria II, tivemos uma elevação do somatório da prevalência P em 11,2% e uma elevação média dos valores individuais da prevalência P de cada item na proporção de 10,64%, o que é muito acima dos valores obtidos com o uso de pesos em lugar do produto direto da lacuna pela nota H.

Ainda, o uso de pesos tornou o somatório das prevalências P ou P’ uma constante em relação ao número de elementos (n) da série somada, na medida em que cada prevalência, individualmente, se tornou uma grandeza inversamente proporcional a "n" e diretamente proporcional ao peso e ao fator f ou f’ com o qual se relaciona. Outra propriedade dos pesos residiu no fato de serem inversamente proporcionais ao somatório dos dados que lhes deram origem, ou seja, H, a fim de manterem constante o valor do somatório das prevalências, o qual originaram. Essas propriedades garantem que a transposição do somatório das prevalências P dos itens para o cálculo das prevalências P’ das categorias não sofra interferência do "n" inerente a cada conjunto de itens dentro da categoria, mas agregue as variações relativas à sua lacuna e ao seu H, tornando-os comparáveis entre si em um ranking.

Consideramos, ainda, que a nota H é um valor relativo e o peso é um valor derivado da relação dessas notas entre si, dentro da categoria considerada. Assim, o uso de pesos transportou para a prevalência um caráter duplamente relativo (um derivado da subjetividade do respondente do questionário, outro derivado da objetividade das notas já cunhadas), transformando cada prevalência (P ou P’) em uma proporção variável do conjunto de valores presentes em H, não podendo se dizer o mesmo quando usamos o produto direto das notas H com a lacuna L. No cálculo da prevalência de uma categoria, o uso do somatório das prevalências dos itens que lhe compõem, como propõem Neiva & Gomes (2007), permitiu evitar que o número de itens interferisse diretamente sobre o valor encontrado, uma vez que esse número varia de categoria para categoria e poderia gerar um hiperdimensionamento dos valores, bem como um posicionamento relativo equivocado. Assim, mantivemos a fidelidade do ranking aos valores atribuídos aos itens, sem prejuízo ao caráter, duplamente, relativo das prevalências das categorias. Além disso, o uso do H e a consequente ponderação com os pesos (W) garante que pequenos fatores de correção (f ou f’) em itens ou categorias com grande importância relativa (H) ganhem o destaque necessário para chamar a atenção dos gestores do programa e ascender esse item ou categoria na escala de prioridade ou, do contrário, grandes fatores de correção podem ser minimizados quando a importância relativa do item, na primeira dimensão, ou da categoria, na segunda dimensão, for pequena no panorama mais geral do programa, modificando as estratégias dos gestores.

É importante, ainda, esclarecer algumas questões sobre os limites valorativos das variáveis L, P e P’ construídas a partir dos valores numéricos atribuídos pelos respondentes às variáveis E, T e H. A amplitude possível para a P e P’ foi dependente do H, que pôde variar em escalas decimais de 1 a 10, das lacunas (L), que possuiam como menor valor possível -4 e como maior valor possível +4, e dos pesos (W), cujos valores são interdependentes e variaram, empírica e conjuntamente, na medida em que ocorria variação em uma ou mais notas atribuídas ao H. Assim, nos testes tivemos que, para combinações entre os extremos de 1 e 10, atribuídos a H, e -4 e +4, atribuídos às lacunas, as prevalências (P ou P’) podiam variar de -25 a +25, para os itens da categoria I, de -100 a +100, para os itens da categoria II, de -36,36 a +36,36, para os itens da categoria III, e de -16,67 a +16,67, para os itens da categoria IV, todos esses valores interferindo diretamente sobre as prevalências das categorias na segunda dimensão. Contudo, é necessário frisar que, nos testes, tais valores potenciais apenas foram alcançados quando ocorreu a variação idêntica de todos os valores do item dentro da categoria, havendo inúmeras possibilidades que

diferiram entre esses limites quando a atribuição de valores ladeados pelos extremos 1 e 10, para H, e -4 e +4, para a lacuna, variaram suas combinações ou não foram aplicados, igual e simultaneamente, a todos os itens. Se recorrermos à Análise Combinatória para solucionarmos esta questão veremos quão complicado isso se torna. As possibilidades em H correspondem a uma Permutação com 100 elementos (100 fatorial ou, na notação técnica, 100!). Contudo, é uma Permutação na qual não existe a necessidade de se esgotar todos os elementos disponíveis, o que dificulta a previsão de ocorrências. Além disso, sendo a prevalência o produto W*f, existiram as possibilidades trazidas pelo cruzamento entre a Permutação ocorrida em H e os valores aleatórios de -4 a +4 das lacunas. Tal cruzamento se deu, indiretamente, por meio dos pesos que, ainda, sofriam modificações recíprocas conforme a permuta ocorria, interferindo nos valores dos demais itens de forma cruzada, mesmo que estes não tivessem alterados os seus valores de H. Tudo isso elevou à enésima potência o número de possibilidades combinatórias entre os valores, tornando a definição de uma referência valorativa a priori bastante complicada, onerosa e pouco eficiente para os fins a que se destinaria: servir como um parâmetro para a avaliação da grandeza absoluta da P ou P’, uma vez que o maior mérito da prevalência é seu valor relativo dentro do conjunto de dados.

O questionário bidimensional construído e tratado dessa forma, e aplicado simultaneamente ao questionário sociodemográfico, visou, ainda que dentro de uma lógica quantitativa, valorizar aspectos da subjetividade que, segundo Minayo (2009b), costumam ser negligenciados nesse tipo de instrumento e reduzem as possibilidades de vislumbrar os critérios e referências utilizados pelo respondente na emissão de seu julgamento como, por exemplo, as escalas de satisfação do usuário muito utilizadas nos serviços de Saúde. Ainda que caiba uma série de ponderações a respeito de vários outros critérios de ordem subjetiva que compõem o arsenal de referências do respondente, o questionário utilizado possibilitou um melhor julgamento pela diversificação das formas de observação de um mesmo objeto, claramente, multideterminado. Ao final, o questionário permitiu obter, seja por meio das variáveis originais, seja por meio das variáveis derivadas, a percepção dos atores quanto a cada critério apresentado como itens para julgamento, possibilitando a emergência de critérios para o agendamento de intervenções e aprimoramento do curso por seus gestores. Contudo, a elaboração dos critérios de referência pelos gestores do programa pode ser facilitada com o tratamento dos dados, a fim de que se tornem ferramentas mais práticas. Para isso, além de sua compilação em médias dos valores numéricos atribuídos pelos

respondentes e distribuídas em diversos formatos de planilhas (Apêndices I, J, K, L), foram realizados dois outros tratamentos sobre essas médias: a ordenação das lacunas em quartis (Apêndices M e N), para ranqueamento das prioridades gerais dos itens, e a organização das variáveis em gráficos radar, para sua melhor visualização.

Assim, nas planilhas dos Apêndice J, podem ser visualizadas as médias de cada item para as variáveis originais E, T e H, com seus desvios-padrão e coeficientes de variação, bem como as variáveis derivadas L, W e P, para os três atores, possibilitando uma visão panorâmica sobre os dados. No Apêndice J é possível observar as médias de cada item para a variável original H, com suas medidas de dispersão, e as variáveis derivadas W e P’. No Apêndice K é possível compararem-se os valores de L para cada ator e item dentro de uma categoria. E no Apêndice L é possível verem-se os valores de P hierarquizados dentro de uma categoria para os diferentes atores. Tais planilhas, por si só trazem informações relevantes que permitem algum nível de avaliação dos resultados obtidos, contudo, maiores detalhes puderam ser visualizados com os dois tratamentos complementares.

Nessa perspectiva, em conformidade com o referencial teórico adotado e apoiando-nos nas experiências trazidas por Nepomuceno et al (2010), Nepomuceno e Costa (2012) e Freitas et al (2008) e, à guisa das recomendações de Langford (2006) e Murteira, Ribeiro, Silva e Pimenta (2002), tratamos os resultados de lacuna (L) do questionário por meio de Quartis determinados pelo modelo exclusivo (QExc) para amostras ímpares de resto

três, utilizando a sintaxe Quartil.Exc(matriz;quarto) do software Excel-2010. Isso possibilitou o ordenamento das discrepâncias entre o desempenho observado do programa e a expectativa do respondente quanto a esse desempenho, expressa pela variável L, conforme sua magnitude, em quatro níveis de prioridade, crítica, alta, moderada e baixa, sendo valores mais negativos aqueles considerados com maior prioridade. Esse ordenamento em quartis ocorreu entre os itens, independentemente dos limites da categoria a que pertenciam, permitindo uma priorização geral dos itens quanto à atenção merecida em relação ao grau de atendimento das expectativas dos respondentes.

O segundo tratamento para apresentação dos dados do questionário se deu na forma de sua organização em gráficos radar. Essa organização ocorreu de três formas: 1- comparando-se o comportamento de P’ em relação aos atores; 2-comparando-se a variável L entre atores, dentro de uma categoria; 3-comparando-se o nível de prioridade geral das questões de um ator com os demais dentro de uma categoria. Plotadas em um gráfico, as

variáveis analisadas apresentam, visualmente, tendências que existem nos dados e podem passar despercebidas pela visualização nas tabelas e planilhas. Nos gráficos assim organizados, quanto mais ao centro localizados os pontos de uma curva, maior a prioridade considerada ao caso. Assim, para uma categoria, cujos pontos sejam mais centrais que as demais, significa que os respondentes lhe atribuíram maior importância; para um item, cujo valor de L seja mais central, implica que a discrepância desempenho-expectativa foi grande; e, para o terceiro caso, um outro item, que corresponda a um valor mais próximo do centro do gráfico, entendemos estar o item em um quartil de maior prioridade. Em outras palavras, um posicionamento central pode representar uma maior necessidade de atenção pelo gestor do programa. Vale mencionar que a validação do instrumento se ateve às duas primeiras fases sugeridas por Pasquali (2010). Assim, procedemos à fase teórica, em que a análise documental e a literatura científica que permitiram sua elaboração foram capazes de consubstanciar a definição constitutiva e operacional de sua estrutura e seus atributos, e à fase empírica, na qual ocorreu a validação semântica e operacional do instrumento, por meio de testes-piloto e sua reconfiguração. A terceira fase, analítica, com testes estatísticos, não foi uma meta, pois nossa pesquisa possuiu pretensões qualitativas para a interpretação do instrumento, sem aspirações de generalização ampla de seus resultados, ainda que ele congregasse atributos também quantitativos e uma análise estatística tenha sido realizada para auxiliar a interpretação de seus resultados finais, juntamente com sua plotagem em gráficos radares e planilhas, mas sem a ambição da generalização. Além disso, como permitem entender Campos (2004) e Minayo (2009b), a associação concomitante de entrevistas é capaz de legitimar os resultados do instrumento e de minimizar, pela triangulação, os vieses advindos da ausência da validação estatística, dada a natureza da pesquisa e objetivos almejados. A Figura 14, permite uma visualização do método de avaliação perceptiva permitida pelo questionário elaborado em nosso estudo.

Quanto à análise estatística utilizada, adotamos o protocolo a seguir. Após aplicação do teste de Kolmogorov-Smirnov, concluímos a fuga da normalidade para os dados no interior da população (egressos, professores e servidores), das categorias (I, II, III e IV), das variáveis (E, T, L, P e P‘) e dos quartis (baixo, moderado, alto e crítico). Considerando todos os dados em conjunto, de fato, talvez pudessemos assumir sua normalidade, entretanto, o número de dados foi demasiadamente pequeno para garantir confiabilidade a uma possível normalidade existente em cada grupo e, assim, optamos pelo uso de testes não-paramétricos, como o teste de Kruskal-Wallis, em lugar da ANOVA-one way, ao qual é análogo, sem a suposição de normalidade e independência dos dados, e o

teste de Friedman, uma alternativa quando existe a possibilidade de variações diferentes entre as populações avaliadas e quando os pressupostos de normalidade não estão assegurados de forma a possibilitar o teste de experimentos em blocos ao acaso em uma ANOVA regular. Testes não-paramétricos não fazem suposições sobre a distribuição dos dados, assim, seu poder em relação ao teste paramétrico, se as populações forem realmente normais, é menor, o que, contudo, não comprometeu os resultados possíveis do trabalho (Campos, 2001; Siegel & Castellan, 2006; Estatcamp, 2014).

A fim de se obter maior eficiência nas análises, realizamos comparações múltiplas entre grupos de forma simultânea à análise de variância, seja no teste de Kruskal-Wallis, para dados independentes, seja no teste de Friedman, para dados pareados, por meio do uso