.:. Aula 9 .:.
Avaliação de Programas de Treinamento
Profª Daniela Cartoni
ETAPAS DO PLANEJAMENTO DE
PROGRAMAS DE TREINAMENTO
Etapa 1: Levantamento de necessidades de treinamento (LNT)
Etapa 2: Elaborando um Programa de Treinamento
Etapa 3: Execução do programa de treinamento
COMO MANTER OS PARTICIPANTES MOTIVADOS?
Dica: (*) Crie um modo para conseguir obter dos treinados informações sobre seus objetivos pessoais e profissionais (*) Avalie como fazer este mapeamento de expectativas (*) Não esquecer de monitoramento de resultadosÉ muito comum que os treinados já cheguem a sala de aula desmotivados.
Tal problema pode ocorre em função de diversas situações, como por exemplo:
• Instrutores anteriores causaram situações embaraçosas;
• O assunto exposto não era de interesse do grupo;
• Não houvera integração entre os participantes;
• Os treinados não conseguiram visualizar um ganho de benefícios no âmbito pessoal;
• Faltou didática e, portanto, não conseguiram assimilar o conteúdo.
A
avaliação do treinamento
é
um conjunto de metodologias e procedimentos
que permitem identificar os
resultados
alcançados
com os programas de treinamento,
comparando-os com os
objetivos propostos
,
sobretudo, visando
fornecer informações para
elaboração de novos programas
ou
modificações dos existentes.
As avaliações de TD&E demandam a coleta de dados de um
ou mais dos seguintes níveis de resultados:
– Resultados imediatos: que se subdividem em reação e
aprendizagem
– Efeitos em longo prazo: comportamento no cargo
(impacto), organização e valor final.
(Borges-Andrade, Abbad e Mourão, 2012)
• Construir modelos integrados reação, aprendizagem, impacto,
resultados e valor final de avaliação de programas de TD&E.
• Construir modelos que incluam variáveis demográficas,
motivacionais e profissionais da clientela e suas relações com as
condições de trabalho.
• Realizar análise multivariadas a fim de identificar que aspectos
melhor explicam e predizem os resultados das ações de TD&E.
• Mudar a atitude do profissional de TD&E;
• A falta de competência não é função apenas de características
individuais (saberes e motivação), mas de múltiplos fatores
ambientais externo, muitas vezes, incontroláveis.
Se por um lado temos cada vez maior a pressão para que as
áreas responsáveis pela programação, implementação e
avaliação de ações educacionais demonstrem a efetividade
das ações sob sua responsabilidade, de outro, não há
consenso teórico-metodológico para modelos de avaliação.
Os mais utilizados são:
- Modelo de Kirkpatrick,
- Modelo de Phillips
- Além dos conceitos desenvolvidos por Hamblin e Parry.
(*) Há outros modelos, que podem ser adaptados, de acordo
com o propósito do programa.
Modelo de
Kirkpatrick
O modelo de Kirkpatrick (1976) é baseado em quatro
níveis de avaliação:
1) Reação;
2) Aprendizagem;
3) Comportamento;
4) Resultado.
A partir desse modelo (por inclusão de novos
componentes e novas interpretações), surgiram os
modelos atuais da literatura de avaliação de TD&E.
Nível 1 – Reação: mede a satisfação do consumidor e como os participantes
reagem (que avalia o conteúdo do treinamento, seu programa, o material
didático, a carga horária, seus instrutores e os recursos utilizados de maneira a
melhorar sua realização no futuro e até mesmo a eliminar programas que não
satisfizerem os participantes ou patrocinadores do programa
Nível 2 – Aprendizado: busca aferir o quanto os participantes podem mudar
de atitude, ampliar seus conhecimentos e/ou habilidades (ou seja, avalia o
que efetivamente os participantes aprenderam)
Nível 3 – Comportamento: identifica o quanto os participantes mudaram seu
comportamento em decorrência do que foi aprendido (verifica se o
participante colocou em prática, no trabalho, o conteúdo aprendido)
Nível 4 – Resultados: mostra os resultados finais do treinamento (verifica se a
aplicação do conteúdo no trabalho foi capaz de causar impactos favoráveis no
resultado da organização).
• Oferece informações aos responsáveis pelos treinamentos, como
comentários e sugestões para melhoria do programa
• Os participantes avaliam o desempenho dos instrutores (e ficam
convencidos de que estes estão trabalhando realmente com o
intuito de ajudá-los a desenvolver melhor suas atribuições)
• Fornecem informações quantitativas que os profissionais de
treinamento podem mostrar aos responsáveis pelos programas
• Fornecem informações qualitativas (com perguntas abertas)
-com a percepção mais abrangente e que podem ser utilizadas
como parâmetro de desempenho para futuros programas.
Como os participantes avaliam o conteúdo:
Foi interessante? Relevante para o trabalho? Possui relação com o dia a dia?
Como os participantes avaliam o instrutor:
Demonstrou domínio sobre o assunto? Exibiu habilidade ao se comunicar?
Como os participantes avaliam as instalações:
Estavam confortáveis? Foram convenientes para o tipo de treinamento? Os equipamentos utilizados eram adequados?
Como os participantes avaliam a carga horária: Insuficiente? Suficiente? Excessiva?
Sugestões de melhoria pelos participantes:
Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?
Para Kirkpatrick, os participantes devem também ser encorajados a emitir suas opiniões em questões abertas com sugestões de melhoria.
Algumas formas de avaliar:
vários tipos de escala: os participantes podem dar notas de 1 a 5,
dizer se o quesito foi excelente, bom, regular ou ruim
Podem ser utilizadas expressões do tipo “folha de sorrisos”, que
mostram aos participantes desenhos de faces com expressão
risonha, de indiferença ou aborrecimento.
NÍVEL 1 - REAÇÃO
Que bom...
Que pena...
Que tal...
Como os participantes avaliam o conteúdo:
Foi interessante? Relevante para o trabalho? Possui relação com o dia a dia?
Como os participantes avaliam o instrutor:
Demonstrou domínio sobre o assunto? Exibiu habilidade ao se comunicar?
Como os participantes avaliam as instalações:
Estavam confortáveis? Foram convenientes para o tipo de treinamento? Os equipamentos utilizados eram adequados?
Como os participantes avaliam a carga horária: Insuficiente? Suficiente? Excessiva?
Sugestões de melhoria pelos participantes:
Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?
Para Kirkpatrick, os participantes devem também ser encorajados a emitir suas opiniões em questões abertas com sugestões de melhoria.
1) O conteúdo abordado foi interessante?
2) Relevante para o trabalho e possui relação com o dia a dia?
3) O instrutor demonstrou domínio sobre o assunto?
4) O instrutor foi capaz de transmitir o conteúdo com clareza?
5) O local para realização do curso foi apropriado quanto ao espaço e conforto?
6) Os recursos e equipamentos utilizados foram adequados?
7) A carga horária do curso foi adequada?
( ) Insuficiente ( ) Suficiente ( ) Excessiva
8) Deixe suas sugestões de melhoria
Ou: “Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?”
1) O conteúdo abordado foi interessante?
( ) 5 ( ) 4 ( ) 3 ( ) 2 ( ) 1
2) Relevante para o trabalho e possui relação com o dia a dia?
3) O instrutor demonstrou domínio sobre o assunto?
4) O instrutor foi capaz de transmitir o conteúdo com clareza?
5) local para realização do curso foi apropriado quanto ao espaço e conforto?
6) Os recursos e equipamentos utilizados foram adequados?
7) A carga horária do curso foi adequada?
( ) Insuficiente ( ) Suficiente ( ) Excessiva
8) Deixe suas sugestões de melhoria
Ou: “Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?”
1) O conteúdo abordado foi interessante?
( ) concordo plenamente ( ) concordo parcialmente ( ) não sei ( ) discordo parcialmente ( ) discordo totalmente
2) Relevante para o trabalho e possui relação com o dia a dia?
3) O instrutor demonstrou domínio sobre o assunto?
4) O instrutor foi capaz de transmitir o conteúdo com clareza?
5) local para realização do curso foi apropriado quanto ao espaço e conforto?
6) Os recursos e equipamentos utilizados foram adequados?
7) A carga horária do curso foi adequada?
( ) Insuficiente ( ) Suficiente ( ) Excessiva
8) Deixe suas sugestões de melhoria
Ou: “Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?”
1) O conteúdo abordado no curso foi:
( ) excelente ( ) bom ( ) regular ( ) péssimo
2) Relevante para o trabalho e possui relação com o dia a dia?
3) O instrutor demonstrou domínio sobre o assunto?
4) O instrutor foi capaz de transmitir o conteúdo com clareza?
5) local para realização do curso foi apropriado quanto ao espaço e conforto?
6) Os recursos e equipamentos utilizados foram adequados?
7) A carga horária do curso foi adequada?
( ) Insuficiente ( ) Suficiente ( ) Excessiva
8) Deixe suas sugestões de melhoria
Ou: “Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?”
O autor considera que as respostas deste nível oferecer pistas como:
• se os participantes se sentiram confusos em algum momento,
• se alguma parte do treinamento não foi bem absorvida pela turma
• o quão engajados os participantes estão no treinamento.
Para Kirkpatrick, os interesses e motivação dos participantes são
fatores determinantes para a aprendizagem efetiva.
Para o autor, o 1º passo de um sistema de avaliação do treinamento
sempre é a aplicação da avaliação de reação, sem exceção.
A avaliação de aprendizagem tem o importante papel de
verificar se os conhecimentos apresentados pelo programa
foram absorvidos
Ou seja, se as habilidades dos participantes foram
melhoradas e se suas atitudes foram modificadas em função
do conteúdo exposto.
Para Kirkpatrick, pelo menos um desses quesitos (CHA =
conhecimentos, habilidades e atitudes) deve ser modificado
para que a mudança de comportamento do participante no
trabalho realmente aconteça.
NÍVEL 2 - APRENDIZAGEM
Para avaliação de aprendizagem, o autor sugere:
•Utilização de grupos de controle (comparações entre grupos
semelhantes que receberam o treinamento e que não
receberam).
•Testes para avaliação de melhoria de conhecimento e
mudanças de atitude (antes e depois do treinamento).
Para Kirkpatrick, avaliar a aprendizagem do aluno é, também,
avaliar o ensino do instrutor.
Esse nível de avaliação busca respostas para o que acontece depois
que os participantes deixam as salas de aula e voltam a seus
trabalhos.
Como funcionou a transferência de conhecimentos, habilidade e
atitudes para suas atividades?
Que mudanças em seus comportamentos aconteceram em
decorrência do programa de treinamento?
NÍVEL 3 - MUDANÇA DE COMPORTAMENTO
Esta análise pode ser feita pelo gestor direto ou aplicação de testes
(individuais e em grupo)
Segundo Kirkpatrick, é o mais importante e o mais difícil de realizar.
Avaliar os resultados significa apurar as mudanças nas organizações em
função da participação dos funcionários nos programas de treinamento:
• Quanto melhorou a qualidade dos produtos/serviços em função do
treinamento? Quanto isso contribui para os lucros da companhia?
• Quanto cresceu a produtividade em função do treinamento?
Quanto diminuiu o turnover e disputas internas entre níveis hierárquicos?
• Quanto aumentou a produtividade ou diminuíram os custos após
treinamento?
• Quanto aumentou o valor das vendas após a equipe de vendedores ter
sido submetida a um programa de treinamento de vendas?
NÍVEL 4 - RESULTADOS
Para esse nível, a coleta de dados pode se realizada
tanto por meio de entrevistas e questionários
Modelo de
Phillips
• Assim como a metodologia de Kirkpatrick, a metodologia de
Phillips (1991) costuma ser amplamente aceita e utilizada
• A metodologia proposta por Phillips é, na verdade, uma
ampliação e revisão do modelo de Kirkpatrick.
• Os quatro níveis de avaliação são acrescidos de um quinto
nível de avaliação, onde é calculada a taxa de retorno sobre o
investimento, a ROI de treinamento.
MODELO DE PHILLIPS
• O nível 5 (ROI) é a última medida de avaliação do treinamento
• Busca dar respostas contábeis à organização, como: Existe algum
retorno financeiro ao se investir em programas, processos,
iniciativas ou soluções para melhoria de performance?
Para o autor, as oportunidades de investimento em treinamento se
inserem no mesmo contexto racional de análise e de tomada de
decisões por parte dos dirigentes das empresas e que, desta forma,
devem ser medidas tal qual todos os demais investimentos realizados.
A fórmula proposta pelo autor para o cálculo da ROI de
treinamento é a seguinte:
ROI (%) = (Benefícios líquidos do programa ÷ Custos do Programa) x
100.
A equação significa que, para um resultado encontrado de 100%,
para cada $1,00 investido, a organização tem de volta
MODELO DE PHILLIPS
É importante observar que, assim como Kirkpatrick (1998), Phillips & Phillips
(2005) defende que a aplicação ou não de cada nível de avaliação deve ser
considerada de acordo com a importância de cada programa de treinamento.
Portanto, não é aconselhável que todos os programas sejam avaliados no nível 5.
São passíveis de avaliação de nível 5 (ROI) os programas que:
1) têm expectativa de apresentar um longo ciclo de vida;
2) estão relacionados com a estratégia e objetivos da organização;
3) exigem a alocação significativa de recursos como tempo, pessoas e $
4) têm larga audiência e são bastante visíveis na organização;
5) são do interesse dos gestores;
6) têm a intenção de direcionar mudanças importantes para a empresa
MODELO DE PHILLIPS
Assim como Kirkpatrick (1998), Phillips & Phillips (2005) defende que a
aplicação ou não de cada nível de avaliação deve ser considerada de acordo
com a importância de cada programa de treinamento.
Portanto, não é aconselhável que todos os programas sejam avaliados no
nível 5.
Modelo de
Hamblin
Hamblin (1974) apresentou, assim como os demais autores citados,
buscou como avaliar os resultados de ações de T&D, mas independente
da possibilidade ou não da conversão dos resultados encontrados em
termos monetários.
O autor preocupa-se em adequar o programa de acordo com a
forma em que a organização funciona (para assim avaliar se alcança
seus objetivos).
Hamblin (1974) propõe
um ciclo de avaliação,
demonstrado na figura.
A figura representa o
caráter cíclico da
avaliação e, também, a
necessidade de avaliação
dos fatores internos aos
programas de
treinamento
Modelo de
Parry
Para Parry (1997), a avaliação deve ser feita antes e depois do treinamento
