ESTUDO 4 – CONSTRUÇÃO E OBTENÇÃO DE EVIDÊNCIAS DE VALIDADE DE
4.2 Método
4.2.4 Validação de conteúdo e semântica da Escala de avaliação de Impacto de
A escala, em sua primeira versão, composta por 55 itens, foi submetida à validação de conteúdo por juízes especialistas. Essa etapa foi adotada para julgamento e verificação da adequação, legitimidade e credibilidade do conteúdo do instrumento (Pasquali, 2010; Rubio et al., 2003). Atuaram como juízes para validação de conteúdo dois doutorandos, um do programa de Pós-graduação em Administração e outro do programa de Pós-graduação em Psicologia Social, do Trabalho e das Organizações da Universidade de Brasília e um doutor em Administração, todos os quais especialistas em avaliação de treinamentos. Além desses, participaram desta etapa duas doutorandas em administração e especialistas em construção de instrumentos. Estes juízes não participaram das etapas anteriores de construção dos instrumentos, conforme recomendam Balbinotti et al. (2006).
Os itens foram dispostos numa planilha no Microsoft Office Excel e disponibilizados para cada juiz (Apêndice H). A primeira instrução para os juízes foi relacionar a categoria de conteúdo a que cada item pertencia. A Tabela 4.1 apresenta as dimensões de conteúdo com suas definições constitutivas.
Tabela 4.1
Categoria de conteúdo para a validação dos juízes
Categoria de conteúdo Definição constitutiva
Compliance e controle Refere-se ao gerenciamento de risco de conformidade e ao fortalecimento do sistema de controles internos.
(Continuação)
Categoria de conteúdo Definição constitutiva
Segurança de pessoas e ambiente Refere-se às habilidades gerenciais de prevenção de riscos, à segurança patrimonial e de pessoas e ao monitoramento de uso de dispositivos de segurança.
Conciliação e mediação de conflitos Refere-se às habilidades de gerenciamento e resolução de conflitos no ambiente de trabalho.
Gestão do clima organizacional Refere-se às habilidades gerenciais de análise e interpretação de resultados de pesquisas de clima, diagnóstico e elaboração de planos de melhoria do clima da equipe.
Entrevista de seleção Refere-se às habilidades gerenciais para a condução de entrevistas de seleção.
Gestão da jornada de trabalho Refere-se às habilidades gerenciais de aplicação das normas e legislação sobre a jornada de trabalho, bem como as implicações do não cumprimento na dependência sob sua responsabilidade.
Planejamento de carreira Refere-se às habilidades gerenciais de orientação profissional e gerenciamento de carreira.
Gestão de competências e desempenho de pessoas
Refere-se às habilidades gerenciais para auxiliar o desenvolvimento de competências e gerenciamento de desempenho da equipe.
Em seguida, os juízes deveriam avaliar cada item por meio de dois critérios, a clareza de linguagem e a pertinência prática. A clareza de linguagem diz respeito a quanto cada item é compreensível e expressa adequadamente o que se espera medir, com o uso da escala de cinco pontos, em que 1 corresponde a não há clareza e 5 a há muita clareza. O critério de pertinência prática se refere a quanto cada item é apropriado, adequado e relevante para atingir os objetivos propostos, e a escala de cinco pontos utilizada variou de 1, para não há pertinência, a 5, para há muita pertinência.
Ao receber o retorno dos juízes, o primeiro passo foi analisar se havia a concordância entre os juízes de alinhamento do item com as respectivas categorias e se havia alguma sugestão de modificação do item. O critério adotado para permanência do item no instrumento foi apresentar pelo menos 80% de concordância entre as respostas dos juízes, e os ajustes foram realizados em conformidade com as sugestões. Alguns itens foram excluídos por motivos como: muito genérico, repetitivo, com altos níveis de desejabilidade social e óbvio em relação às suas tarefas (ver Tabela 4.2).
Tabela 4.2
Ajustes e exclusão de itens do instrumento
Categoria Itens excluídos Itens ajustados
Compliance e controle 51, 46, 49 4
Gestão de competências e desempenho de pessoas 2 44
Gestão de Jornada de Trabalho 48, 9, 19, 23, 34, 48 -
Entrevista de seleção - 1
Segurança de pessoas e ambiente 55 -
Planejamento de carreira - 40
Nessa etapa, o coeficiente de validade de conteúdo (CVC), que mensura o grau de concordância de respostas dos juízes para cada item, foi analisado em relação aos critérios de
clareza de linguagem e pertinência prática. Para cada item, é recomendado apresentar um valor de CVC ≥ 0,8; caso contrário, é necessário reformular o item ou retirá-lo (Balbinotti et al., 2006; Hernández-Nieto, 2002; Pasquali, 1999, 2010). A fórmula utilizada consta na Figura 4.3.
Tabela 4.3
Fórmula do CVC e descrição
Fórmula do Coeficiente de Validade de Conteúdo (CVC) 1
MX = ∑X / J
Média de cada item: soma dos valores obtidos na escala de Likert (x) para os diferentes juízes dividida pelo número de juízes (J)
2 CVCi = Mx / Vmáx
CVC do item: média do item pelo número máximo que o item poderia alcançar
3 CVCc = CVCi – (1/J)J
CVCc: CVC do item subtraído da constante (Pei) da fórmula
4 CVCt = Mcvci – M (1/J)J
CVC total: média do CVC do item subtraído da média da constante
Nota. CVCi – Coeficiente de validade de conteúdo de cada item; CVCc – Coeficiente de validade de conteúdo de cada item subtraído da constante; Pei – Constante de fórmula; CVCt – Coeficiente de validade de conteúdo total do critério.
O CVC foi calculado utilizando a fórmula da Figura 4.1. As análises foram conduzidas no software Microsoft Office Excel. Os resultados do CVCt para os critérios de clareza de linguagem e pertinência prática foram satisfatórios (ver Tabela 4.3). Apenas o item 7 apresentou um CVC de clareza de linguagem insatisfatório, mas foi revisado para melhor entendimento e aceito para compor o instrumento.
Tabela 4.4
Cálculo do Coeficiente de Validade de Conteúdo (CVC)
Critérios de validação CVC total CVC reavaliado e aceito
Clareza de linguagem 0,91 Item 7 (CC): 0,76
Pertinência prática 0,95 -
Em seguida, a escala com 44 itens foi submetida à análise semântica, da qual participaram, na primeira etapa, o planejador instrucional do programa e uma assessora de avaliação de treinamentos da universidade corporativa. O planejador instrucional sugeriu a eliminação de seis itens. Um deles era pertinente apenas a algumas unidades de negócio da instituição e não era pertinente aos cargos dos respondentes de outras áreas. Os outros cinco itens não refletiam a rotina das lideranças na categoria de entrevista de seleção, pois eram pertinentes à área de gestão de pessoas. A contribuição foi importante para aproximação do instrumento à realidade organizacional de acordo com a cultura e rotinas dos egressos.
Na segunda etapa da validação semântica, o instrumento foi apresentado já em seu formato digital para três líderes egressos do programa de treinamento de liderança. Foi solicitado que eles respondessem todas as perguntas e ao final informassem se houve alguma dificuldade de compreensão dos itens ou das instruções, se o instrumento refletia os conteúdos do programa e se eles sugeriam alguma alteração. Um egresso apontou apenas uma diferença sutil no nome de um dos cursos do programa. As sugestões foram incorporadas à versão final do instrumento, que totalizou 8 categorias e 38 itens (Apêndice I).
A validação empírica do instrumento foi a próxima etapa, aquela em que o instrumento foi enviado para os egressos do programa, conforme detalhado a seguir.