AVALIAÇÃO DA EFETIVIDADE DE AÇÕES DE TD&E: DESAFIOS METODOLÓGICOS E PRÁTICOS

AVALIAÇÃO DA EFETIVIDADE

DE AÇÕES DE TD&E:

DESAFIOS METODOLÓGICOS

E PRÁTICOS

Professora: Dra. Gardênia da Silva Abbad

Programas de Pós-Graduação em Psicologia Social e do Trabalho e Administração

Tópicos

▪Avaliação de treinamento: definição e objetivos

▪ Eficácia e efetividade em TD&E

▪Níveis de avaliação

▪Preditores e modelos de avaliação

▪Impacto de treinamentos no trabalho

▪Mudança e Valor final de ações de TD&E

▪Desafios metodológicos e práticos

Bell Ford

Kraiger

Tannenbaum

Noe

Bell, B.S.; Tannenbaum, S.I.;

Ford, K.; Noe, R.A.; Kraiger, K.

(2017).

100 Years of training

and development research:

What we know and where we

should go

Autores brasileiros – TD&E

Núcleo Pronex-CNPq

Profa. Dra. Gardênia da Silva Abbad

Linhas de pesquisa

▪

Avaliação de necessidades de treinamento

▪

Características dos treinandos

▪ Clientelas específicas

▪

Projeto, desenho, métodos de treinamento

▪

Contextos de treinamento

▪ antes, durante e após

▪

Avaliação de treinamento

▪ Reações, Aprendizagem

▪ Transferência de Treinamento – Comportamento do Cargo – Impacto do Treinamento no Trabalho

▪ Mudança e Valor Final

Objetivos da Avaliação

▪ 1) verificar cumprimento de objetivos, desempenhos de pessoas e instituições (Tyler, 1949),

▪ 2) julgar o mérito de ações (Hamblin, 1978; Scriven, 1991)

▪ 3) analisar processos e observar situações a partir do olhar de agentes externos (Worthen, Sanders, & Fitzpatrick, 2004)

▪ 4) reconhecer o nexo causal entre ações e eventos (McLauglin & Jordan, 2010; Oston, 2007),

▪ 5) julgar e aplicar padrões de qualidade, utilidade, eficácia e efetividade àquilo que foi avaliado (Bloom, Hastings, & Madaus, 1983; Khandker, Koolwal, & Samad, 2010; Vianna, 2000),

▪ 6) suscitar reflexão sobre ações (Hoffmann, 1991)

▪ 7) fomentar comunicação entre atores sociais diversos (Guba & Lincoln, 1989), dentre eles os stakeholders (Knowlton & Phillips, 2009; McLaughlin & Jordan, 2004; 2010).

Fonte: Souza (2013)

A

VALIAÇÃO DE

T

REINAMENTO

:

N

ÍVEIS

Reação

Aprendizagem

Comportamento

Mudança

Valor Final

Modelos Tradicionais Foco em resultados Hamblin (1978) Kirkpatrick (1976, 1977) I n d i v i d u a l o r g a n i z a c i o n a

A

VALIAÇÃO DE

T

REINAMENTO

–M

ODELOS

I

NTEGRADOS

Alliger e Janak (1989) observaram após análise de 203 artigos que somente oito artigos relataram correlações entre dois ou mais níveis de avaliação.

Tannenbaum e Yukl (1992)

observaram que não há suporte

empírico à suposição de

relacionamento direto causal entre os níveis de avaliação.

Inúmeros resultados de pesquisas nacionais e estrangeiras indicam que cada efeito é explicado por conjuntos diferentes de variáveis

Reação Aprendizagem Comportamento Mudança Organizacional Treinamento Clientela Suporte

Preditores

Critérios

-taxonomias de resultados de aprendizagem e de treinamentos e abordagens de desenho instrucional

-interações (6 tipos): tutor-tutor,

tutor-aluno,aluno-aluno,aluno-material,tutor-material,material-material ou interações com instrutor etc.

- desenhos ou métodos (modelação comportamental, PBL, aprender fazendo, aprendizagem por cenários, ambientes abertos de aprendizagem, jogos, simulações realísticas, simulações de alta e baixa fidelidade)

-interfaces gráficas e tipos de ambientes (manipulação, experimentação, armazenamento, interação, apoio),

realidade aumentada, AI, internet das coisas, simuladores

-mídias (internet, computador, videoconferência, rádio, tv, cd, dvd, mobile, papel), uso de hipertexto, hipermídia e

hiperbases

Preditores: Suporte, Clima, Contexto, Ambiente

Suporte psicossocial e Material Clima para Transferência

Suporte à Aprendizagem Contínua Restrições Situacionais à Transferência (ead-tad) Suporte gerencial Cultura de Aprendizagem

Clima para a transferência

Fonte do suporte Colegas, gerentes Organização Família, ambiente externo Tipo de Influência Distal Proximal Relação Temporal Suporte Antes-Durante-Após o Treinamento Foco Suporte -Restrição

Preditores - Características da Clientela

1. Repertório de Entrada

3. Psicossociais 4.Motivacionais 5. Cognitivo-comportamentais Locus de Controle Auto-eficácia Motivação para Aprender Motivação para Transferir Estratégias Comportamentais Estratégias Cognitivas

Valor Instrumental Estratégias Auto-regulatórias 2. Sócio-Demográficas Sexo, idade, escolaridade, formação, etc. Experiências anteriores Conhecimentos habilidades e atitudes prévias Tempo de serviço, cargo, função, etc.

Condição sócio-econômica Prazer e Sofrimento Comprometi-mento

Adaptado: Passmore e Velez (2015) Modelos Critérios de avaliação

Kaufmann & Keller (1994) Enabling-Reação

Aquisição Aplicação

Resultados Organizacionais Resultados societais

Warr, Bird & Rackham - CIRO (1970)

Contexto Insumos Reações Resultados Stufflebeam – CIPP (2003) Contexto

Insumo Processo Produto

Phillips – ROI (2007) Reação, Aprendizagem

Aprendizagem aplicada no trabalho, Resultados de negócio

Retorno de investimento

A

VALIAÇÃO DA

E

FETIVIDADE EM

TD&E

CONTEXTO

INSUMOS

PROCESSOS

PRODUTOS

RESULTADOS

Modelos de avaliação: relações entre componentes

Contexto

Insumo Processo Produto Resultado Impacto

Instrutores Orçamento previsto Desenhistas instrucionais Recursos Atividades de treinamento Profissionais treinados Reações Aprendizagem Transferência para o trabalho Melhoria do desempenho Problema Demanda Necessidade de Treinamento

Representação da Associação

do Modelo Lógico com Modelo IMPACT – Abbad – 2013 - CNPq

Recursos Insumos Atividades Processos Produtos Resultados imediatos

Resultados de médio-longo prazos Necessidades

Desafios

▪ Descrever e compreender as ligações entre os elementos

que compõem o sistema de treinamento

Necessidade – insumos/recursos-atividades

produtos/resultados imediatos/resultados tardios

▪ Identificar variáveis externas ao treinamento que afetam

seus resultados

▪ Explicações alternativas

▪ Externalidades

- Escolher fontes (humanas/documentais) e medidas

confiáveis

- Construir ou adaptar instrumentos e procedimentos de

avaliação existentes (com evidências de validade)

É possível realizar esse

tipo de análise nas

organizações?

Treinamento, resultados e explicações alternativas ou

externalidades

Treinamento Aprendizagem Retenção, Generalização Transferência Impacto em amplitude Mudança na organização Valor final Outras influências Outras influências Outras influências Outras influências Outras influências Outras influências Mensuração Indivíduo – participante do treinamento

Caso - Pereira (2009)

4. Longo Prazo

(Organizações)

3. Longo Prazo (Sociedade)

-Impacto no desenvolvimento social das instituições atendidas -Impacto do programa na rede solidária

b A

2. Médio Prazo

-Expressão de novas competências no trabalho (desempenhos individuais)

-Sistematização de práticas de desenvolvimento e Gestão Social

-Potencialização dos espaços de aprendizagem e engajamento --Difusão social dos conhecimentos produzidos

-Elaboração e gestão de projetos de intervenção e mudança em contextos

sócio-territoriais de diferentes escalas de poder

-Elaboração de Diagnósticos.

- Implementação das ações previstas nos projetos de intervenção - Eficácia dos Diagnósticos

1. Curto Prazo

- Satisfação com o curso

- Aprendizagem dos conteúdos (S1 A S5) -Motivação para aplicação dos conteúdos aprendidos

5. Longo Prazo (ONGs e OSCIPs)

6. Longo Prazo

Parcerias Público- Privadas)

Dissertação - Projeto

Residência Social

S1

S2

S3

S4

S5

Perfis Conjunto Mínimo de Competências T 1 ...

INGRESSANTES EM FORMAÇÃO _EGRESSOS

T 2 T 3

T

RANSFERÊNCIA DE TREINAMENTO E

IMPACTO DO TREINAMENTO

NO TRABALHO

–

EM PROFUNDIDADE

Capítulo 24 – TD&E – 2006

Capítulo 8 – Medidas de avaliação - 2012

Treinamento, resultados e explicações alternativas ou externalidades

Impacto no Trabalho e Transferência de Treinamento

▪Transferência de treinamento refere-se à

aplicação eficaz, no ambiente de trabalho, de

conhecimentos, habilidades e/ou atitudes

aprendidos por meio de treinamentos.

O que medir?

Resultados no nível do indivíduo

▪ Afetivos (atitudes frente a pessoas, objetos, aspectos do trabalho e não trabalho, si próprio e aprendizagem;

motivação no trabalho; auto eficácia; bem estar mental) ▪ Cognitivos (uso de informações verbais, conceitos e

regras e solução de problemas ou criatividade) ▪ Psicomotores (velocidade, fluidez)

▪ Efeitos instrumentais extrínsecos (aumento, promoção e novos trabalhos)

▪ Efeitos instrumentais relacionais (networking, relações de colaboração, capacitação de outras pessoas)

▪ Efeitos instrumentais não relacionados ao trabalho (mudanças em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida).

Etapas – construção de medidas

• Questionários impressos e online

• Auto (treinandos) e hetero (supervisores, colegas ou clientes)

• Combinação seria o ideal.

– Validade e alta precisão confirmadas seguidamente.

– Validar os resultados dessas avaliações baseadas em julgamentos humanos com resultados de desempenho (indicadores objetivos).

• Estudos permitiram avanços importantes nesse nível de avaliação.

As medidas impacto em amplitude são mais gerais:

•itens gerais e aplicáveis a quaisquer tipos de

treinamentos que objetivam efeitos no

desempenho profissional do egresso no trabalho (Abbad, 1999);

• itens que espelham objetivos gerais de

programas educacionais ou de capacitação

(Carvalho (2003), Pereira (2009), Neto (2009); •itens de avaliação de desempenho funcional, escolhidos entre aqueles que ilustram

dimensões do desempenho possivelmente afetadas pelo programa ou pelo treinamento em foco, como os utilizados por Nóbrega (2003).

•Resultados objetivos do trabalho.

Como medir impacto no trabalho?

▪ As medidas de transferência (impacto em profundidade) são específicas para cada treinamento ou programa

▪ Resultados objetivos de

desempenho do egresso (antes, durante e após)

▪ Itens construídos a partir de

objetivos instrucionais contidos na documentação do treinamento e/ou extraídos de relatos de instrutores, desenhistas

instrucionais, estudantes. ▪ Medidas de desempenho

individual disponíveis na

organização (nem sempre válidas e confiáveis)

IMPACTO DO TREINAMENTO NO

TRABALHO – MEDIDA EM

AMPLITUDE

Livro: Medidas de Avaliação em TD&E

Capítulo 9 – páginas 145-160

Gardênia da Silva Abbad Ronaldo Pilati

Jairo Borges-Andrade

Treinamento, resultados e explicações alternativas ou externalidades

Representação esquemática das relações entre treinamento e resultados, adaptada de Taylor e O`Driscoll (1998) Profa. Dra. Gardênia da Silva Abbad

O que é impacto em amplitude?

▪Impacto em amplitude

é o efeito da transferência

de treinamento sobre o desempenho do egresso.

▪Difere do impacto em profundidade

em termos

da

abrangência

e da

natureza do relacionamento

que mantém com o desempenho do egresso no

pós-treinamento.

Questionário de Autoavaliação de Impacto em Amplitude

Escala de Concordância: 1 - discordo Totalmente e 5 - concordo totalmente

Exemplos de itens – impacto em amplitude - curso para empreendedores

..?!!

O que mais medir e avaliar?

O que mais medir e avaliar?

Variáveis interferentes – preditivas de resultados:

▪ Suporte ao treinamento

▪ Suporte externo e interno à transferência de

treinamento

Impacto e Desempenho

Fontes: Abbad (1999) e Abbad; Borges Andrade (2004, 2014)

rr

r

Suporte PSICOSSOCIAL à Transferência: refere-se ao apoio de

chefes e colegas ao uso de novas habilidades no trabalho (fator 1).

Abbad, 1999

Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos

recursos materiais necessárias ao uso eficaz de novas habilidades no trabalho

Suporte Material

Abbad e cols (2012). P. 244-263

Exemplos de itens de Gestão e carga de trabalho

Quantidade de atribuições e serviços a serem realizados no dia-a-dia de trabalho.

Quantidade de funcionários na unidade para atender a outras demandas de trabalho.

Quantidade de metas a serem cumpridas além das metas relativas ao DRS. Distribuição de atividades entre os funcionários.

Disponibilidade de tempo para aplicar, no trabalho, o que aprendi no curso DRS. Grau de prioridade dada às atividades de DRS em relação às outras atividades de trabalho.

Prazos para realização das etapas da metodologia DRS.

Número de funcionários treinados na Agência que atuam com DRS.

Suporte Interno

Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 – PSTO

Exemplos de itens de Suporte Externo à Organização

Engajamento da comunidade e dos líderes comunitários em discussões e na busca de soluções para o desenvolvimento regional sustentável.

Interesse da comunidade e dos líderes comunitários pelo sucesso da implementação do plano de negócios DRS.

Apoio de parceiros (órgãos públicos e privados) de acordo com suas competências, para o planejamento e a realização das ações de DRS.

Nível de concertação dos membros da equipe DRS.

Potencial econômico do meu Município ou região para implementar a estratégia DRS (atividades produtivas, fatores climáticos, mão-de-obra, desenvolvimento, etc).

Suporte Externo

Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 –

MEDIDAS DE IMPACTO DE TD&E: O NÍVEL

DA MUDANÇA ORGANIZACIONAL

Isa Aparecida de Freitas Luciana Mourão

Treinamento, resultados e explicações alternativas ou

externalidades

Treinamento Aprendizagem Retenção, Generalização Transferência Impacto em amplitude Mudança na organização Valor final Outras influências Outras influências Outras influências Outras influências Outras influências Outras influências

A

VALIAÇÃO DE

T

REINAMENTO

: M

UDANÇA E

V

ALOR

F

INAL

Mudança

refere-se aos efeitos produzidos por

eventos

educacionais

nos

processos

de

trabalho dos

grupos

e da

organização. Podem

ser mensurados por meio de indicadores de

resultados e/ou de mudanças no desempenho

e atitudes de grupos.

Valor Final

refere-se aos efeitos globais do

treinamento sobre indicadores organizacionais

de resultados e produtividade.

Freitas e Mourão (2012), capítulo 10, p. 163-176 Mourão e Meneses (2012), capítulo 11, 177-189.

O que medir? O que não medir?

▪Mudanças que a ação de TD&E possa ter provocado na

organização.

▪O foco deve ser no

comportamento da organização

ou de

suas unidades.

▪Efeitos de médio e longo-prazos.

Impacto no Nível de Mudança e Valor Final

Mudança

refere-se aos efeitos produzidos por

eventos educacionais nos processos de trabalho

dos

grupos

e da

organização.

Podem ser mensurados por meio

de indicadores

de resultados

e/ou de mudanças no

desempenho e atitudes de grupos.

Valor Final

refere-se aos efeitos globais do

treinamento sobre indicadores organizacionais

de produtividade e/ou retorno social.

O que medir? Resultados Longo Prazo

▪ No nível da equipe:

▪ afetivos (coesão, satisfação, auto-eficácia, ambiguidade de papéis e orientação para tarefa)

▪ cognitivos (conhecimento possuído e representado)

▪ de desempenho (comunicação interna, tomada de decisão, solução de conflitos, níveis de participação)

▪ instrumentais intrínsecos

(responsabilidades e variedade de trabalho recebido)

▪ instrumentais extrínsecos (bônus) ▪ instrumentais de qualificação

(certificações formais)

▪ No nível da organização

▪ relativos a metas de produtos

(quantidade, qualidade, variedade) ▪ relativos a metas do sistema

(crescimento, lucro, retorno de investimentos)

▪ aquisição de recursos (novos clientes, compra de outras organizações)

▪ constituintes (satisfação de

consumidores e acionistas, imagem) ▪ de processos internos (novas

tecnologias, clima, absenteísmo, rotatividade, taxas de acidentes) – mudança organizacional

Com o que medir?

Quais indicadores de efeitos no comportamento da organização devem ser utilizados?

▪ Indicadores de melhoria nos processos organizacionais:

▪ agilidade na utilização de novas tecnologias, ▪ análise de mercado mais eficiente,

▪ clima organizacional favorável,

▪ tempestividade na criação de novos produtos.

▪ Indicadores de resultados (medidas objetivas)

▪ aumento de clientes,

▪ melhoria na satisfação do cliente, ▪ redução do número de horas na fila, ▪ número de novos produtos lançados

Obs: O mesmo processo de avaliação pode contemplar os dois tipos de indicadores

Como medir?

▪ Analisando documentos

▪ Observando e analisando resultados (redução de

custos, melhoria de processos de trabalho,

diminuição do retrabalho)

Desafios e Recomendações

▪ As mudanças de comportamento da organização a serem verificadas

deveriam ser derivadas dos desempenhos esperados do conjunto dos

indivíduos treinados, que, por sua vez, deveriam ser deduzidos dos objetivos dos eventos.

▪ O ideal seria encontrar em qualquer planejamento de TD&E os objetivos

esperados para cada um desses níveis (comportamento no cargo, organização e valor final).

▪ O planejamento instrucional poderia definir prioritariamente até que nível se espera a contribuição do evento e então, explicitá-los em cada um desses níveis possíveis.

▪ A lógica de planejamento poderia ser a de formular os objetivos do nível de valor final e deles derivar os objetivos do nível da organização, e assim por diante, até os objetivos do nível do indivíduo.

Quais eventos avaliar?

▪ Critérios mais importantes:

▪ vinculação estratégica do treinamento

▪ quantidade de pessoas treinadas e processos de trabalho

abrangidos.

▪ Escolher treinamentos ou programas que objetivam produzir impactos

em diversas unidades da organização, que envolvem muitas pessoas e

processos de trabalho.

▪ Escolher processos de trabalho bem descritos e com indicadores de

resultados em série histórica.

▪ Escolher indicadores sensíveis aos efeitos do treinamento disponíveis

na organização.

Fontes de informação e tempo necessário para avaliar

efeitos de treinamento

▪ Humanas:

participantes

do evento, seus

superiores imediatos,

colegas, gestores de

unidades, clientes etc.

▪ Documentais:

dados

secundários existentes na

organização.

▪ O prazo para avaliar o impacto de TD&E na organização

depende:

▪ da natureza do evento,

▪ das competências treinadas; ▪ do porte da organização

▪ do tipo de mudanças organizacionais esperadas.

▪ Geralmente é necessário mais tempo para capturar efeitos no nível da organização do que no nível dos indivíduos treinados.

▪ O primeiro efeito é na atuação da pessoa treinada, geralmente depois em seu grupo ou unidade e aí se propaga para toda a organização.

▪ Discutir com stakeholders para definir tempo necessário ao surgimento dos efeitos e

externalidades

Como medir impacto nos níveis de mudança

organizacional?

▪ Questões equivalentes às do nível anterior:

▪ - indicadores objetivos de desempenho organizacional

▪ Foco no comportamento da organização, processos, equipes ou de suas unidades ▪ Mudanças (deduzidas dos objetivos) a serem detectadas na cultura, valores, metas,

estruturas, processos e desempenhos organizacionais ou de equipes

▪ Faltam sistemas organizacionais de controle e avaliação sensíveis à detecção de efeitos de

T&D

▪ São altos os custos associados à construção de indicadores

Obrigada!

Profa. Gardênia da Silva Abbad

Departamento de Psicologia Social e do Trabalho - Instituto de Psicologia Universidade de Brasília Pesquisadora 1 C

-CNPq

Programas de Pós-graduação: IP - PSTO e FACE – PPGA Curriculum Lattes disponível no

site: http://lattes.cnpq.br/6225924782510184

http://scholar.google.com.br/citations?user=TSdmjpoAAAAJ& hl=pt-BR&oi=pll