Discussão dos resultados do Estudo 2

O Estudo 2 focou confirmar evidências de validade das escalas de avaliação da aprendizagem, de impacto do treinamento, de suporte à transferência de treinamento no trabalho e de autoeficácia no uso de computadores. A análise da estrutura empírica das escalas adotadas na testagem do modelo de avaliação do treinamento proposto é necessária, uma vez que é importante confirmar evidências de validade dos instrumentos na amostra participante. Nesse sentido, os procedimentos e os resultados encontrados no Estudo 2 possibilitaram confirmar as estruturas empíricas das escalas.

Em principio, buscou-se contemplar o objetivo 2 – “Construir e fornecer evidências de validade de construto do instrumento de Avaliação da contribuição do treinamento para aprendizagem das competências previstas (AVT)”. Uma análise minuciosa do material do curso possibilitou a construção de um instrumento exclusivo sobre o curso avaliado, em que seus 10 itens, que descreviam competências específicas ensinadas no curso, obtiveram cargas fatoriais entre 0,58 e 0,76, e α=0,89. Esses índices confirmaram a qualidade da escala construída especialmente para avaliar o impacto desse treinamento sobre o comportamento do egresso no trabalho e adequação para utilização no modelo de avaliação do treinamento. A comparação desses resultados com índices de escalas anteriores não foi possível, uma vez que essa escala foi construída para mensurar os resultados de um treinamento específico. Por outro lado, o caráter específico e único dessa escala possibilitará à organização participante aprimorar alguns

137

aspectos relacionados ao desenho instrucional e à execução do curso. Outra utilidade importante da escala nomeada AVT é o direcionamento dos itens para elaborar pré- testes auto-aplicáveis de aprendizagem aos empregados interessados em fazer o treinamento, a fim de que a clientela possa avaliar a sua necessidade em ter ou não que realizar tal curso, ou, se necessário, eliminar módulos que o indivíduo eventualmente já domine, conforme recomendado por Coelho Jr e Abbad (2010).

Finalmente todos os procedimentos descritos na construção e validação da escala AVT são expostos de forma detalhada e poderão auxiliar futuros pesquisadores ou consultores em TD&E a construir medidas que avaliam indicadores de competências específicas ensinadas em treinamento, denominados de instrumentos de avaliação de impacto em profundidade ou de transferência de treinamento. Segundo Borges-Andrade (2006b), o compartilhamento dessas técnicas possibilita o desenvolvimento da área de TD&E, promovendo uma sustentação teórica e empírica acerca de algumas das principais variáveis relacionadas à efetividade dos sistemas instrucionais, no contexto das organizações.

Como limitações dessa escala, observa-se que, apesar da proposta inicial ter sido investigar uma variável ligada à avaliação da aprendizagem das competências ensinadas no curso, entende-se que o instrumento “Avaliação da contribuição do treinamento para aprendizagem das competências previstas” (AVT) investigou uma variável próxima à aprendizagem, e não a aprendizagem em si, algo difícil de ser detectado apenas por meio de uma escala de autoavaliação. A medida adotada procurou ligar o treinamento à aprendizagem, como resultado. Dessa forma, pretendeu-se isolar o efeito direto do curso sobre a aprendizagem, eliminando outras variáveis externas ao curso, que também poderiam explicar os resultados de aprendizagem.

Em seguida, o objetivo específico 3 de fornecer evidências sobre a replicabilidade dos instrumentos de: “Impacto do treinamento no trabalho (IMPACTO)”, “Suporte à transferência do treinamento (SUPORTE)” e de “Autoeficácia no uso de computadores (ACP, ACSD e DNTIC)” buscou confirmar as estruturas empíricas dessas escalas, que já foram utilizadas em estudos anteriores. A escala de “Impacto do treinamento no trabalho (IMPACTO)” que avalia o efeito do treinamento no desempenho geral dos egressos (impacto em largura), apresentou ótimos índices psicométricos (7 itens, α=0,926 e cargas fatoriais entre 0,744 e 0,839), demonstrando que a qualidade dessa escala, que também é utilizada nos processos internos de avaliação de treinamentos pelo Banco, confirma assim, a qualidade dos

138

instrumentos adotados nas avaliações somativas dos processos de TD&E. Os valores obtidos pela escala de impacto em largura (ou amplitude) foram muito parecidos com os achados por Zerbini et al. (2012) que apresentou α=0,94 e cargas fatoriais entre 0,78 e 0,88. Da mesma forma, o trabalho de Zerbini et. al foi aplicado na mesma instituição, com profissionais com o perfil parecido com a amostra deste estudo, o que sugere portanto, que novas validações desse instrumento sejam realizados em amostra com o perfil diferente, no intuito de assegurar suas qualidades psicométricas, apresentadas nos estudos anteriores.

Assim como a escala de IMPACTO, a escala de “Suporte à transferência do treinamento (SUPORTE)” também obteve índices consistentes para sua utilização em situações de diagnósticos organizacionais. A estrutura de 13 itens da escala obteve nos resultados, cargas fatoriais entre 0,639 e 0,819 e alfa de 0,91, comprovando sua utilidade em pesquisas onde o contexto do treinamento é levado em conta. A escala de suporte que também foi empregada na pesquisa de Zerbini et al., apresentou o mesmo alfa obtido por esse estudo (α=0,91) e cargas fatoriais próximas (0,55 a 0,78). Mais uma vez, acredita-se que essa semelhança se deve à aplicação de um mesmo instrumento em amostras diferentes de uma mesma instituição. Por um lado, esses resultados confirmam a qualidade psicométrica da escala aplicada, mas por outro lado, destaca a necessidade de empregar essa escala em pesquisas com amostra cujos perfis sejam diferentes, no intuito de averiguar se a escala de suporte apresenta o mesmo desempenho que demonstrou nos estudos citados.

Sobre as escalas que se propõem a avaliar “Autoeficácia no uso de computadores”, observou-se que as três escalas nomeadas ACAP, ACSD e DNTIC apresentaram valores de alfa e de cargas fatoriais maiores que no Estudo 1, afirmando, nesse segundo momento, suas qualidades psicométricas na amostra participante. A escala ACAP (5 itens), relacionada à aprendizagem mediada pelo computador, obteve nesta segunda validação, índices de α=0,91 e cargas fatoriais entre 0,805 e 0,835, valores maiores que no primeiro estudo (que obteve α=0,83, e cargas fatoriais entre 0,65 e 0,744. A escala de ACSD (7 itens), que pede para o sujeito responder sobre o seu nível de confiança no uso do computador em situações diversas, obteve α=0,90, cargas fatoriais entre 0,563 e 0,891, valores diferentes dos obtidos no Estudo 1 (que apresentou α=0,89 e cargas fatoriais entre 0,383 e 0,912) . A escala DNTIC (23 itens), que investiga o nível de dificuldade do sujeito em utilizar recursos do computador,

139

apresentou valores de α=0,97, cargas fatoriais entre 0,676 e 0,853, obtendo, assim como as outras medidas, índice de confiabilidade maior que obtido no estudo anterior (com α=0,948 e cargas fatoriais entre 0,520 e 0,776). Esses resultados demonstram evidências de validade de constructo das três se propõem a avaliar o construto autoeficácia no uso do computador. Contudo, o fato do público pertencer a uma mesma organização, sendo profissionais da área bancária, e apresentarem um perfil homogêneo no que se refere aos dados pessoais (como a frequência ou familiaridade do uso do computador e ao nível de escolaridade), ressalta a importância de testar essas estruturas empíricas das escalas de suporte e AEC em outras amostras, que apresentem menos contato com o computador no dia a dia ou que possuam um nível de escolaridade mais variados.

Em suma, esse Estudo 2 foi um momento de elaboração e verificação de evidências de validade das escalas psicométricas inerentes à aplicação do modelo de avaliação. Sem esses cuidados preliminares, a utilização da técnica de regressão múltipla para análise quantitativa da contribuição das variáveis antecedentes não seria confiável. Concluída essa etapa de avaliação das medidas empregadas na coleta de dados, serão discutidos no tópico a seguir, os resultados do Estudo 3, sobre o teste do modelo de avaliação do treinamento à distância oferecido pelo Banco para aquisição de novas competências relacionadas a um programa de habitação urbana.