Elaboração e validação dos instrumentos de impacto em

Foi desenvolvido, inicialmente, o instrumento para autoavaliação de impacto. O primeiro passo foi tentar evidenciar os objetivos instrucionais do curso por meio de uma análise da documentação mantida pelo banco, o que se mostrou insuficiente. Partiu-se, então, para a análise do conteúdo do curso com base no material didático fornecido aos participantes para, daí, extrair objetivos instrucionais mais detalhados e precisos. Nessa

tarefa, que contou com a participação de pesquisadores do Grupo de Pesquisa Impacto, do Departamento de Psicologia Social e do Trabalho da UnB, foram examinados os materiais utilizados em sete dos oito módulos do DGEx, mencionados na seção 5.4. Apenas o material pertinente ao módulo sobre Governança Corporativa foi descartado, pois o módulo foi considerado não condizente com o objetivo do curso, de desenvolver competências gerenciais e, além disso, considerou-se que eventuais CHAs decorrentes desse aprendizado poderiam não ser demonstrados no trabalho dos participantes por se tratarem de conhecimentos muito específicos, cuja aplicabilidade é restrita a algumas áreas da instituição, ao contrário das competências gerenciais, que são utilizadas por todos os participantes da amostra. Em uma primeira etapa foram identificados 80 objetivos instrucionais, listados no Apêndice A.

Em seguida, todo esse material foi analisado e a partir dele foram construídos itens que representassem competências ou expressões de conhecimentos, habilidades e atitudes que tenham sido desenvolvidas como consequência dos ensinamentos do curso e que se expressem sob a forma de comportamentos gerenciais observáveis do participante (Pereira, 2009). Ao final, foram construídos 41 itens, que cobriram todo o conteúdo instrucional dos sete módulos analisados.

Uma das maiores dificuldades nessa etapa foi construir itens que representassem comportamentos gerenciais a partir dos objetivos instrucionais. O curso, em grande parte, foi constituído por objetivos instrucionais intermediários, que se situam entre os dois primeiros níveis da conhecida taxonomia de objetivos instrucionais de Bloom (Bloom, Englehart, Furst, Hill e Krathwohl, 1976), domínio cognitivo, reproduzida na Tabela 5.

Tabela 5. Taxonomia de Bloom, domínio cognitivo

Níveis Objetivos Capacidades a adquirir

Conhecimento Lembrar informações sobre: fatos, datas, palavras, teorias, métodos, classificações, lugares, regras, critérios, procedimentos, etc.

Definir, descrever, distinguir, identificar, rotular, listar, memorizar, ordenar, reconhecer, reproduzir, etc.

Compreensão Entender a informação ou o fato, captar seu significado, utilizá-la em contextos diferentes.

Classificar, converter, descrever, discutir, explicar, generalizar, identificar, inferir, interpretar, prever, reconhecer, redefinir, selecionar, situar, traduzir, etc.

Aplicação Aplicar o conhecimento em situações concretas.

Aplicar, construir, demonstrar, empregar, esboçar, escolher, escrever, ilustrar, interpretar, operar, praticar, preparar, programar, resolver, usar, etc.

Análise Identificar as partes e suas inter-relações. Analisar, calcular, comparar, discriminar, distinguir, examinar, experimentar, testar, esquematizar, questionar, etc.

Síntese Combinar partes não organizadas para formar um todo.

Compor, construir, criar, desenvolver, estruturar, formular, modificar, montar, organizar, planejar projetar, etc.

Avaliação Julgar o valor do conhecimento. Avaliar, criticar, comparar, defender, detectar, escolher, estimar, explicar, julgar, selecionar, etc.

Fonte: adaptado de Bloom et al. (1976).

Os dois primeiros níveis, como se pode verificar pelos verbos associados a eles na Tabela 5, não representam ações que permitam o emprego direto dos CHAs aprendidos no curso. O curso raramente apresentou objetivos situados nos níveis mais altos da taxonomia, ao contrário do que seria de se esperar de um evento voltado para o desenvolvimento de competências gerenciais, que envolvem, por exemplo, habilidades de solução de problemas, tomada de decisão e avaliação de cenários. Como os objetivos instrucionais estavam situados nos dois primeiros níveis, tornou-se mais difícil a construção de itens que representassem comportamentos observáveis. A solução encontrada foi derivar ou inferir comportamentos a partir desses objetivos, como nos exemplos a seguir: o objetivo “compreender conceitos da Teoria Geral dos Sistemas e suas aplicações no planejamento estratégico empresarial” gerou o item “uso métodos calcados na abordagem sistêmica para o planejamento de estratégias no Banco”; e “distinguir os conceitos de grupo e equipe” gerou o item “identifico as diferenças entre grupo e equipe no meu trabalho como gestor”.

Depois de construídos os itens, foram acrescentadas duas escalas do tipo Likert, de cinco pontos, conforme relatado na sessão 5.1, com o objetivo de mensurar a intensidade

do uso das competências (escala de uso das competências – EUC) e a contribuição do curso para a aquisição ou fortalecimento das competências (escala de contribuição do DGEx – ECD). A primeira escala é de concordância, ancorada por 1 (discordância total) e 5 (concordância total); e a segunda de contribuição, ancorada em 1 (nenhuma contribuição) e 5 (contribuição decisiva), como se pode ver no Apêndice B.

Concluída a criação do instrumento para autoavaliação procedeu-se à elaboração da versão do instrumento para heteroavaliação. A utilização de heteroavaliação neste estudo atendeu a sugestões de pesquisadores da área, quanto à necessidade de se buscar outras fontes de percepção, além dos próprios treinandos, como forma de agregar maior confiabilidade ao julgamento sobre o impacto de treinamento (Leitão, 1996; Abbad, 1999; Sallorenzo 2000; Meneses & Abbad, 2003, Freitas, 2005a). Na construção da versão para heteroavaliação, além de adaptar a redação para a resposta dos subordinados dos gerentes participantes do curso, procurou-se selecionar somente itens que representassem competências ou comportamentos que pudessem ser observados por essas pessoas. Como a maior parte dos itens se referia a competências cuja utilização não seria perceptível pelo heteroavaliador (p.ex.: item 19 - identifico necessidades de treinamento da minha equipe, de acordo com os objetivos institucionais), ao final do trabalho selecionou-se apenas 18 dos 41 itens iniciais. A esses 18 itens foi adicionada somente a escala de concordância de cinco pontos.

Na escolha da forma de avaliação optou-se pela ascendente, que se caracteriza pela coleta de percepções de subordinados em relação a seus superiores imediatos. A razão dessa escolha está na dificuldade de se obter informações dos chefes imediatos de parte dos gerentes avaliados, os chefes de unidade, cujos supervisores são os membros da diretoria colegiada da organização, indivíduos de difícil acesso e que, muito provavelmente, não estariam disponíveis para a resposta de questionários de avaliação como os utilizados nesta pesquisa. Por outro lado, a avaliação por pares dos gerentes não nos pareceu adequada, pela dificuldade que teriam os heteroavaliadores de perceber o uso da maior parte das competências pelos avaliados. Assim, a opção viável foi a avaliação ascendente, que pareceu adequada considerando que o curso se destinou ao desenvolvimento de competências de natureza gerencial, cuja utilização é bastante visível aos subordinados. Esse tipo de avaliação não é muito comum nas pesquisas da área, mas foi usado por Meneses (2003) e W. Silva (2008).

Por fim, esses itens foram submetidos à validação semântica para verificar a precisão, clareza e objetividade. Os juízes nesse caso foram todos os integrantes do

anteriormente citado Grupo Impacto que, por duas vezes, ofereceram críticas e contribuições para a melhoria do trabalho. Além dessas pessoas, outros pesquisadores da UnB participaram dessa validação.

5.5.2 Validação dos instrumentos de impacto em amplitude - auto e