Procedimento de coleta de dados do survey

As escalas foram inseridas no formulário eletrônico FormSUS e os links para acesso aos formulários foram informados por e-mail. Desta forma, os formulários foram respondidos de forma virtual.

A avaliação de reação foi disponibilizada ao final do treinamento para resposta pelos participantes dos cursos. O texto enviado está disponível no Anexo E. A avaliação de suporte foi enviada aos participantes dos treinamentos e às chefias imediatas cerca de três meses após o término dos treinamentos. As informações recebidas pelos participantes dos treinamentos estão no Anexo J e as informações vistas pelas chefias estão no Anexo R. Por fim, as avaliações de auto e heteroavaliação de impacto foram encaminhadas a participantes e chefias imediatas cerca de seis meses após o término do treinamento. Os textos enviados estão nos Anexos S e Anexo T, respectivamente.

7.1.4.2 Procedimentos de coleta dos dados qualitativos

As entrevistas foram realizadas individualmente, conforme disponibilidade de cada instrutor, e ocorreram após a realização do treinamento. As entrevistas com os instrutores dos cursos de Indicadores na Saúde e Redação de Normas ocorreram nas dependências da Anvisa, em horário de expediente. Já a entrevista com a instrutora da Oficina de Metas e Indicadores ocorreu em seu local de trabalho, durante o horário de expediente. O áudio das entrevistas foi gravado e posteriormente foi transcrito.

As entrevistas foram conduzidas com base nas recomendações de Sampieri et al. (2013), por ser um texto atual, especializado em metodologia de pesquisa e com orientações bem claras e objetivas. A entrevista semiestruturada foi a escolhida, pois se baseia em um roteiro, mas o entrevistador tem a liberdade para fazer outras perguntas para precisar conceitos ou obter mais informações sobre os assuntos desejados. A pesquisadora procurou um lugar reservado para realizar as entrevistas, a fim de evitar interrupções, buscou

estabelecer um clima de confiança com os entrevistados, explicar claramente os objetivos da entrevista, não fazer perguntas tendenciosas e só fazer uma pergunta de cada vez.

Os grupos focais foram previstos para serem realizados na semana seguinte ao treinamento, porém, devido às incompatibilidades de agenda, alguns grupos ocorreram até quatro meses após o término do treinamento. Foi realizado um grupo por turma, totalizando sete grupos. Os grupos focais ocorreram nas dependências da Anvisa, em horário de

expediente. O áudio foi gravado, com o consentimento dos participantes, e posteriormente foi feita a transcrição.

Os grupos focais também foram conduzidos com base nas recomendações de Sampieri

et al. (2013). Foram convidados 6 a 8 participantes por grupo, tendo em vista que as questões

abordavam assuntos mais cotidianos e não ações mais profundas ou temas mais complexos. Foram disponibilizados água e café durante a sessão para os participantes. Cada grupo

participou de apenas uma sessão, com duração que variou entre 45 minutos e 1h47. A unidade de análise considerada foi o grupo e não as respostas individuais.

O tipo de roteiro escolhido foi o semiestruturado, com a utilização de poucos tópicos, pois neste formato são apresentados os tópicos que devem ser abordados, mas o moderador tem liberdade para incorporar novos tópicos que surgirem durante o encontro ou alterar parte da ordem que os assuntos serão tratados (Sampieri et al., 2013). Não foram utilizados

materiais de estímulo, tais como desenhos ou fotografias. Foram utilizados apenas roteiros escritos para que os participantes pudessem completar, conforme será descrito a seguir.

A dinâmica do grupo focal funcionou da seguinte forma: nos primeiros momentos de cada grupo, a pesquisadora se apresentou e solicitou que os participantes se apresentassem rapidamente. Ofereceu informações a fim de deixar os participantes à vontade, como o objetivo do grupo, os procedimentos que seriam adotados e a duração do encontro. Explicou, ainda, o critério adotado para escolha dos participantes. Lembrou que o grupo seria gravado, garantindo o sigilo dos registros e dos nomes dos participantes. Destacou que todas as ideias e opiniões seriam válidas.

O roteiro com as questões a serem discutidas pelo grupo foi impresso em folhas de papel com campo para resposta, sendo a folha azul para respostas individuais, a folha amarela para as respostas das duplas e a folha verde para as respostas do grande grupo. Inicialmente, a pesquisadora solicitou aos participantes que refletissem individualmente sobre as questões e as respondessem na folha azul. Depois disso, a pesquisadora solicitou que os participantes se dividissem em duplas ou trios, a depender do número de pessoas, tentassem chegar a um consenso sobre as respostas e preenchessem a folha amarela. Em seguida, foi solicitado às duplas ou trios que apresentassem suas respostas aos demais grupos, discutissem e chegassem a um consenso do grande grupo. As repostas deveriam ser registradas na folha verde. Por fim, o grande grupo foi solicitado a apresentar o que era consenso. Nesta etapa, a pesquisadora fez questionamentos para esclarecer as opiniões. Esta última etapa foi gravada em áudio, com a concordância de todos os participantes.

Registra-se que o áudio do grupo focal da turma 1 do Curso de Redação de Normas foi perdido, por problemas técnicos, e não foi possível fazer a gravação da turma 2 do Curso de Indicadores na Saúde, pois o grupo começou com bastante atraso e os participantes

precisaram se ausentar e voltar em muitos momentos. Contudo, como foram duas as formas de registro dos grupos focais (roteiros preenchidos e gravações), as informações centrais não foram perdidas.

7.1.5 Procedimentos de preparação e análise dos dados

Nesta seção, serão apresentados os procedimentos para preparação e análise dos dados, divididos em dois tópicos, sendo um para os dados quantitativos e outro para os dados

7.1.5.1 Dados quantitativos

Inicialmente, os dados oriundos da aplicação dos questionários eletrônicos e do tipo lápis e papel foram digitados no software IBM Statistical Package for Social Sciences

Satistics 22 (SPSS).

Em seguida, realizou-se a inversão das respostas na Escala de Suporte Psicossocial à Transferência para os itens 2, 4, 12, 13 e 16, de acordo com a recomendação de Abbad, Sallorenzo, Coelho Junior, Zerbini, Vasconcelos e Todeschini (2012), pois nesses itens, ao contrário dos demais, médias altas indicam baixo suporte.

Depois disso, foi realizada a média das notas atribuídas aos dois instrutores na Escala de Reação ao Desempenho do Instrutor (ERDI) para o Curso Indicadores na Saúde, tendo em vista que este foi o único treinamento que contou com dois instrutores e se faz necessário ter uma única nota para realização das análises.

Por fim, foi realizado o somatório da pontuação de cada uma das escalas.

Dois problemas com o banco de dados foram encontrados: o primeiro é que as respostas ao item 18 da avaliação de suporte psicossocial e material pelas chefias não foram

computadas. O segundo problema diz respeito à ausência de resposta aos itens 1 a 7 na

Avaliação de Reação pela turma 1 do Curso Indicadores na Saúde. Analisa-se que o problema esteve relacionado ao formulário eletrônico utilizado e não à ausência de resposta pelos respondentes. Para o primeiro caso, considerou-se o instrumento sem o item 18. Para o segundo caso, cogitou-se solicitar novamente as respostas, mas já havia passado muito tempo da realização do treinamento quando o problema foi detectado e entendeu-se que os

participantes não teriam condições de responder da mesma forma que responderam ao final do curso. Portanto, optou-se por utilizar apenas as demais respostas destes participantes.

Os dados faltantes ou missings values foram analisados e optou-se por não dar nenhum tratamento a eles, tendo em vista que as condições apresentadas pela literatura (Tabachnik & Fidell, 2001; Field, 2013) não puderam ser atendidas. Registra-se que no caso dos testes situacionais, as respostas ausentes não foram compreendidas como dados faltantes, mas sim como ausência de resposta à questão, por se tratar de uma prova. Para a verificação de outliers multivariados foi utilizada a distância de Mahalanobis, não tendo sido encontrados outliers multivariados. Os outliers univariados foram encontrados em número muito reduzido, e entendeu-se que não afetariam a amostra.

Cabe informar que se verificou a adequação de se realizar um processo de validação estatística das escalas. Field (2013) discute os requisitos necessários para realização deste tipo de análise. Segundo ele, a depender do autor, a amostra de respondentes ao questionário deve ser de 10 a 15 participantes por item do instrumento ou, ainda, deve haver um mínimo de 300 respondentes. O autor também fala do teste KMO, que é um teste que indica a adequação da amostra, com valor considerado aceitável acima de 0,8.

Os números da presente pesquisa foram analisados e verificou-se que o quantitativo mínimo de respondentes estabelecido na literatura não foi atingido, como pode ser visto na Tabela 26. Além disso, o KMO só foi favorável para a avaliação de reação. Desta forma, considerando que a escala de avaliação de reação, as escalas de avaliação de suporte à transferência e escalas de auto e heteroavaliação de impacto em amplitude já foram submetidas a processos de validação estatística, com indícios de validade, e que já foram aplicadas em outras organizações, não será realizada análise fatorial neste estudo. Destaca-se, contudo, que os resultados apresentados nesta pesquisa respeitam as estruturas empíricas extraídas de análises fatoriais exploratórias ou confirmatórias dos estudos realizados.

Tabela 26

Análise de adequação da amostra para realização de análise fatorial

Instrumento Número de itens Número necessário de participantes (5 por item) Número de respondentes KMO Avaliação de Reação 39 195 99-116 0,837 Autoavaliação de Impacto em Amplitude 12 60 40-41 0,735 Heteroavaliação de Impacto em Amplitude 12 60 27-28 0,754 Avaliação de Suporte - participantes 22 110 22-23 - Avaliação de Suporte - chefias 21 105 38-42 -

As respostas dos participantes aos itens dos questionários foram submetidas a análises descritivas e exploratórias, com a utilização do SPSS. Os pressupostos para cada teste estatístico foram realizados, conforme recomendação de Field (2013). Para o estudo correlacional, foram checadas linearidade e normalidade.

Nas análises estatísticas descritivas foram examinadas médias aritméticas, desvios- padrão, frequências absolutas e percentuais, valores mínimos e máximos. Também foram realizados os testes não-paramétricos de Mann-Whitney, Kruskal Wallis e Rho de Spearman.

7.1.5.2 Dados qualitativos

Os dados qualitativos resultantes das entrevistas e grupo focal foram analisados por meio da análise de conteúdo categorial de Bardin (2011). Após as entrevistas e grupos focais, as falas foram transcritas. A partir das transcrições, foi elaborado o corpus das entrevistas e o

corpus dos grupos focais. O corpus consiste na transcrição das entrevistas sem as

dos dados, a pesquisadora procedeu, inicialmente, à leitura flutuante dos corpus. Em seguida, os critérios para análise foram utilizados, levando em consideração os temas e a recorrência deles. Não foram definidas categorias a priori, priorizou-se, portanto, a lógica dos

respondentes. O agrupamento das categorias se deu pelos critérios da exaustão,

homogeneidade, exclusão, pertinência e representatividade (Bardin, 2011). Esse agrupamento foi discutido por quatro pesquisadores. Finalmente cada categoria recebeu um nome e uma definição e foram destacados os temas constantes da categoria. Depois disso, foram

identificadas as falas dos indivíduos que se associavam às categorias.