Os 50 anos da Metodologia de Kirkpatrick: Reflexões sobre a Mensuração de Resultados em Educação Corporativa
Autoria: Flavio Hourneaux Junior, Marisa Pereira Eboli
Resumo: Apesar de haver uma série de metodologias propostas por vários autores,
consolidadas tanto em termos de maturidade como disseminação, principalmente aquela criada por Donald Kirkpatrick em 1959, a questão da mensuração dos resultados no que se refere às ações de Educação Corporativa continua sendo alvo de discussões, com muitas dúvidas sobre seus resultados e pouco consenso acerca do que ela representa em termos efetivos para as organizações. Assim, este artigo, de caráter exploratório, pretende apresentar e discutir os processos de mensuração e avaliação dos resultados das práticas de Educação Corporativa e acrescentar pontos relevantes que possam contribuir na busca da melhor forma de medir a eficiência e a eficácia das ações educacionais nas organizações. Para isso, está estruturado da seguinte forma: primeiramente, apresenta-se uma discussão da necessidade de se definir o desempenho para as organizações; em segundo lugar, a discussão das metodologias de Kirkpatrick e outros autores para a avaliação das atividades de Educação, Treinamento e Desenvolvimento; e um terceiro ponto, que trata da importância da mensuração do desempenho nas práticas organizacionais, apresentando ferramentas como o
Balanced Scorecard. Assim, parte-se de uma revisão da literatura dos principais autores,
conceitos e métodos relacionados ao tema possibilitando, para ao final, fazer-se uma análise crítica e com a discussão de outras possíveis propostas, além de levantar questões ainda a serem resolvidas por meio de estudos futuros.
1. Introdução
Independentemente do nome que venha a ter, Educação Corporativa, Universidade Corporativa, Treinamento & Desenvolvimento, as atividades de formação e desenvolvimento das competências das pessoas nas organizações têm um histórico de décadas – se considerarmos por uma visão mais recente – ou até séculos, se olharmos pelo prisma da história. Apesar das diferenças na nomenclatura e nas metodologias, em uma perspectiva mais prática, as pessoas vêm sendo treinadas para fazerem melhor suas tarefas. Ou seja, um dos objetivos deste treinamento – talvez o principal – seja para que elas tragam melhores resultados. Daí, nada mais coerente que se queira saber o quanto esse treinamento trouxe de resultado para quem o proporcionou.
O que, a princípio, é uma constatação lógica, torna-se uma grande dificuldade, em função da complexidade das variáveis envolvidas na questão. O primeiro passo para resolvê-la foi dado por Donald Kirkpatrick, em 1959, seguido de diversos autores que têm realizado propostas de metodologias de avaliação dos resultados dos treinamentos. Entretanto, o debate sobre a busca das organizações pela melhor maneira de fazê-lo permanece.
A partir desta contextualização, o objetivo deste artigo é apresentar e, sobretudo, discutir as metodologias e processos de mensuração e avaliação dos resultados das práticas de Educação Corporativa e Treinamento & Desenvolvimento, ou em outras palavras, identificar as diferentes maneiras de se medir a eficiência e a eficácia – de forma mais ampla, o desempenho – das ações de educação, treinamento e desenvolvimento das pessoas nas organizações. Para isso, parte-se de uma revisão da literatura dos principais autores, sobretudo a metodologia de Kirkpatrick, conceitos e métodos relacionados ao tema possibilitando, ao final, com o propósito final de possibilitar uma análise crítica destes pontos, discutir possíveis propostas e levantar questões ainda a serem resolvidas, por meio de estudos futuros.
Este trabalho, de caráter exploratório, está estruturado da seguinte forma: após a contextualização do problema, são apresentados os aspectos metodológicos. Na seqüência, a fundamentação teórica, dividida nas seguintes partes: primeiramente, a discussão da necessidade de se definir o desempenho para as organizações; em segundo lugar, a discussão das metodologias de Kirkpatrick e outros autores para a avaliação das atividades de Educação, Treinamento e Desenvolvimento; e um terceiro ponto, que trata da importância da mensuração do desempenho nas práticas organizacionais, apresentando ferramentas como o
Balanced Scorecard. Seguem-se as discussões e considerações finais e, finalmente, as
referências bibliográficas.
2. Aspectos Metodológicos Gerais
O presente estudo apresenta um enfoque exploratório. Sampieri, Collado e Lucio (1994, p. 59), justificam o uso do estudo exploratório quando o objetivo é examinar um determinado tema que tenha sido pouco ou nada estudado anteriormente, permitindo que se obtenha um maior grau e familiaridade com os fenômenos envolvidos no estudo. Já no entender de Selltiz
et al, o estudo exploratório, tem como motivação “familiarizar-se com um fenômeno ou
conseguir nova compreensão deste, para poder formular um problema mais preciso de pesquisa ou criar novas hipóteses” (SELLTIZ et al, 1974). Trivinõs reforça a idéia de que um estudo exploratório pode também servir para levantar possíveis problemas de pesquisa (1987, p. 109).
Como método de estudo, optou-se pela revisão da literatura, com o propósito de se levantar os principais pontos de discussão relativos ao tema mensuração de resultados em educação Corporativa. Para Luna (1997) apud Silva e Menezes (2001), a revisão de literatura em um trabalho de pesquisa pode ser realizada com quatro objetivos: determinação do “estado da arte”; revisão teórica; revisão empírica; e revisão histórica, sendo:
- Determinação do “estado da arte”: o pesquisador procura mostrar através da literatura já publicada o que já sabe sobre o tema, quais as lacunas existentes e onde se encontram os principais entraves teóricos ou metodológicos;
- Revisão teórica: você insere o problema de pesquisa dentro de um quadro de referência teórica para explicá-lo. Geralmente acontece quando o problema em estudo é gerado por uma teoria, ou quando não é gerado ou explicado por uma teoria particular, mas por várias;
- Revisão empírica: você procura explicar como o problema vem sendo pesquisado do ponto de vista metodológico procurando responder: quais os procedimentos normalmente empregados no estudo desse problema? Que fatores vêm afetando os resultados? Que propostas têm sido feitas para explicá-los ou controlá-los? Que procedimentos vêm sendo empregados para analisar os resultados? Há relatos de manutenção e generalização dos resultados obtidos? Do que elas dependem?
- Revisão histórica: você busca recuperar a evolução de um conceito, tema, abordagem ou outros aspectos fazendo a inserção dessa evolução dentro de um quadro teórico de referência que explique os fatores determinantes e as implicações das mudanças (SILVA; MENEZES, 2001).
Assim, por meio de um levantamento das discussões no tema, pretende-se com este trabalho reunir os principais conceitos e as diferentes visões dos vários autores, possibilitando, ao final, uma análise crítica destes pontos e a discussão de possíveis propostas, além de levantar questões ainda a serem resolvidas por meio de estudos futuros.
3. Fundamentação Teórica
3.1. Por que mensurar os resultados em Educação Corporativa, Treinamento e Desenvolvimento?
Recentemente, surge uma nova perspectiva para a área de Recursos Humanos ou Gestão de Pessoas, a partir da qual ela se torna estratégica e necessariamente alinhada com a estratégia organizacional (FISCHER; ALBUQUERQUE, 2005) e, de forma ainda mais impactante, as práticas da área, apesar de não serem os únicos elementos responsáveis por isso, passam a ser críticas para o sucesso (ou o fracasso) da organização (SCHULER; JACKSON, 1999).
De forma mais ampla, autores reconhecidos como Fitz-enz (2001); Becker, Huselid e Ulrich (2001) e Beatty, Becker e Husselid (2005) destacam a importância da mensuração dos resultados para a área de Recursos Humanos ou Gestão de Pessoas. Há evidências empíricas da importância estratégica da área para o desempenho da organização, como provam Huselid, Jackson e Schuler (1997) e Green Jr, Wu, Whitten e Medlin (2006), embora, deva-se dizer, haja controvérsias sobre o assunto (TRUSS, 2001).
A questão da mensuração do desempenho passa por uma mudança da maneira de ver as pessoas na organização. De acordo com Robinson e Robinson (1998) é fundamental que se promova a mudança do chamado foco tradicional para o foco em desempenho, quando estamos falando de programas educacionais. No Quadro 1 estão sintetizadas as diferenças-chave entre as duas abordagens ao treinamento: foco tradicional e foco em desempenho. Elas não são excludentes por natureza, funcionando muito mais como um continuum; muitos departamentos ou áreas de Treinamento e Desenvolvimento se encontram entre os extremos desse continuum.
Quadro 1 - Características do Foco Tradicional e do Foco em Desempenho
Foco Tradicional Foco em Desempenho
Í========================================================================Î Foco na necessidade de aprendizado das pessoas;
aquisição de conhecimento e habilidades é a finalidade
Foco no que as pessoas precisam fazer; aquisição de conhecimento e habilidades é apenas um meio para um fim para a obtenção de resultados.
Orientado para o evento Orientado para o processo
É introduzido no processo de trabalho de forma
reativa (alguém indica) É introduzido no processo de trabalho de ambas as formas: reativa e pró-ativa (iniciativa própria) Treinamento é a única solução Treinamento é uma das múltiplas soluções possíveis Funciona independente da participação dos clientes Requer participação dos clientes e compartilhamento
da visão de sucesso Sucesso é mensurado em termos da qualidade do
evento (p. ex.: qualidade do programa, do sistema de seleção, do sistema de avaliação)
Sucesso é mensurado em termos de sua contribuição na mudança de desempenho e seu impacto operacional
Fonte: adaptado de Robinson; Robinson, 1998
A partir deste contexto, de valorização estratégica das pessoas, da área de Recursos Humanos e de mais eficiência e eficácia nos processos, surge a chamada Educação Corporativa, que passa a ter importante papel nos processos citados, uma vez que, além de ser uma das formas de promover a gestão do conhecimento (VON KROGH, 2000, p. 262), atua como reforço para o conceito de autodesenvolvimento dos trabalhadores (MINTZBERG, 2003, p. 229), além de desenvolver as pessoas para atender a estratégia das empresas (MEISTER, 1999, p. 251-252; EBOLI, 2004, p. 114), expandindo a importância das ações de educação, treinamento e desenvolvimento.
A finalidade básica de um Sistema de Educação Corporativa (SEC) em uma organização é, no entender de Eboli (2004a, p. 48), fomentar “o desenvolvimento e a instalação das competências empresariais e humanas consideradas críticas para a viabilização das estratégias de negócios”, de uma forma sistemática, estratégica e contínua. Percebe-se, assim, o poder e a importância deste conceito em um cenário de extrema competitividade, como o atual, na criação de valor real agregado às pessoas envolvidas e ao negócio em si.
Desta forma, com a afirmação da Educação Corporativa como estratégica e sob a perspectiva da necessidade de se identificar o seu desempenho, percebe-se a necessidade de formas efetiva de realizá-lo. No entanto, essa questão não parece ainda solucionada. Phillips (1997) apontava que, dentre uma amostra de organizações americanas que tinham programas de Educação Corporativa, todas elas avaliavam seus programas no nível de reação (ver explicação no item 3.2), sendo que para os níveis seguintes, os números iriam caindo substancialmente: 40% para o nível Aprendizado; 16% para o terceiro nível e apenas 4% para o nível de Resultados. Resultados semelhantes foram apontados em pesquisa realizada no Brasil, com organizações atuantes no Brasil, que apontam para uma mensuração dos resultados dos programas em níveis mais elementares, com uma grande dificuldade de obtenção de resultados, na medida em que se torna mais complexo o processo de mensuração (HOURNEAUX; EBOLI; MANCINI, 2006).
A partir deste problema, a seção a seguir discute alguns pontos de como são estruturados os métodos de mensuração de resultados em Educação Corporativa, tendo-se como base a metodologia de Kirkpatrick.
3.2. A Metodologia de Kirkpatrick e de outros autores
Dentre as principais metodologias de mensuração de resultados, talvez a mais famosa seja a proposta de Donald Kirkpatrick, da Universidade de Wisconsin, de avaliar os programas de Treinamento e Desenvolvimento em quatro níveis (reação, aprendizado, aplicação e resultados). Apesar de antiga – seus primeiros trabalhos datam de 1959 – só recentemente as organizações passaram a dar maior valor para esta questão (KIRKPATRICK, 1998a). Um programa de treinamento é mais bem-sucedido quando os participantes corretos (seleção) recebem conhecimentos, habilidades e atitudes corretos ensinados por métodos, meios e instrutores adequados (processo) no momento e local certos de tal forma que atendam ou superem as expectativas da organização – aprendem objetivos e desempenho voltado para resultados (KIRKPATRICK, 1998b, p. ix). O autor define os quatro níveis que julga como uma graduação necessária para a correta avaliação dos programas de treinamento, que são descritos a seguir e apresentados no Quadro 2:
Quadro 2 – Os Quatro Níveis de Avaliação do Treinamento
Nível Natureza Questão Instrumento
1. Reação Gostaram? Quanto os participantes gostaram do curso? Formulários 2. Aprendizado Aprenderam? Quanto eles aprenderam? Testes, Exames Simulações 3. Comportamento
(Transferência) Estão utilizando? Quanto eles estão aplicando no trabalho? Mensuração do desempenho 4. Resultados Estão pagando? Qual o retorno do treinamento sobre investimento? Análise custo-benefício
- Nível 1: Reação – A avaliação de reação é feita a partir de um questionário que mede as impressões dos participantes sobre os programas de T&D com relação a conteúdo, instrutores, matérias e recursos instrucionais, ambiente e instalações e outros. De acordo com Kirkpatrick, todos os programas devem ser avaliados neste nível como forma de promover melhorias. De forma geral, a avaliação de reação é realizada sem maiores problemas pelas empresas, sendo uma prática bastante comum e disseminada.
- Nível 2: Aprendizado – Avaliar o aprendizado significa determinar a extensão em que os participantes melhoraram ou aumentaram conhecimentos, habilidades e atitudes em decorrência do treinamento. Portanto, vai além da satisfação, avaliada no Nível 1. Há desde testes informais a formais e assessments individuais ou em equipe, muitas vezes com avaliação antes e após o programa, para avaliar a diferença no aprendizado. Procura-se saber Procura-se o que Procura-se sabe fazer agora que não Procura-se sabia fazer antes do treinamento e o que eles se pode fazer agora que não se conseguia fazer antes.
- Nível 3: Transferência – Avaliar a transferência implica identificar se as pessoas treinadas estão transferindo os novos conhecimentos e habilidades assimiladas para o comportamento no trabalho. Verifica-se que novas habilidades e conhecimentos foram adquiridos e a mudança no comportamento do dia-a-dia das pessoas. Na prática, quando se avalia este nível significa estarmos avaliando o desempenho do indivíduo e, assim, representaria a verdadeira medida da efetividade do programa. Características inerentes ao comportamento tornam muitas vezes difíceis predizer quando este ocorrerá e, portanto, compromete o processo de avaliação.
- Nível 4: Resultados – Neste nível, avaliar resultados significa determinar se o treinamento afetou positivamente os resultados dos negócios ou contribuiu para os objetivos da organização. Mensuram-se mudanças em indicadores como crescimento na produtividade; melhoria na qualidade, redução de custos; redução na freqüência de acidentes, crescimento nas vendas e até mesmo maiores margens de lucro e de retorno. Procura-se identificar como a empresa foi beneficiada com o treinamento; se a produtividade aumentou; ou se as reclamações de clientes diminuíram, por exemplo.
Assim, para Kirkpatrick (1998a; 1998b), avaliar os resultados obtidos com treinamento, considerando-se esses quatro níveis, implica-se em planejar e integrar todo processo de avaliação para que se tenha clareza da informação (o quê?) que se pretende levantar, em qual fonte (onde?), por meio de qual método (como?) e em que momento (quando?). O modelo do autor não estabelece explicitamente a natureza hierárquica entre os níveis, no entanto na prática tem sido aceita essa hierarquia. Ter reações positivas (nível 1) é pré-requisito para que o aprendizado ocorra (nível 2); comportamento depende do aprendizado; e é a mudança no comportamento (nível 3) que gera resultados (nível 4) para a organização.
Além de Kirkpatrick, outros autores criaram suas próprias metodologias com foco na avaliação de programas de treinamento. O Quadro 3, a seguir, mostra uma análise feita por Marinelli (2007), em que tais metodologias são comparadas à de Kirkpatrick, com a inserção de um quinto nível, como sugerido por Hamblin (1978). De acordo com Marinelli (2007), percebe-se uma grande semelhança entre as metodologias em termos de estrutura, com diferenças mais acentuadas em termos de operacionalização e terminologia específica. O autor também destaca que a base para a definição das metodologias é muito semelhante aos modelos tradicionais e que se baseiam em Kirkpatrick e Hamblin. Tal posição é corroborada
por Abbad, Piloti e Pantoja (2003), que, por meio de um levantamento da literatura, apontam a falta de uma visão mais abrangente na proposta de novos modelos.
Quadro 3 – Comparação entre as principais metodologias
Metodologias Nível 1 Nível 2 Nível 3 Nível 4 Nível 5
Kirkpatrick
(original de 1959) Reação Aprendizagem Comportamento (Transferência) Resultados - Parker (1976) Reação Aprendizagem Comportamento no cargo Profissionais Resultados Retorno sobre investimento Hamblin (1978) Reação Aprendizagem Comportamento no cargo organizacional Mudança Valor final Phillips (1996) Reação Aprendizagem Comportamento no cargo profissionais Resultados Retorno sobre investimento Parry (1996) Reação Aprendizagem Comportamento no cargo profissionais Resultados Retorno sobre investimento Fonte: adaptado de Marinelli (2007, pg. 180)
Apesar de haver outras metodologias com o mesmo propósito (conforme BORGES-ANDRADE; OLIVEIRA-CASTRO, 1996; ABBAD; PILOTI; PANTOJA, 2003; MARINELLI, 2008; NEWMAN; MILNE, 1996), aqui cabe analisar apenas aquelas com a mesma estrutura da metodologia inicialmente proposta por Kirkpatrick e como tais propostas são vistas por pesquisadores e como podem ser analisadas do ponto de vista estratégico da mensuração do desempenho, como apresentado no item a seguir.
3.3. O desempenho das práticas organizacionais e sua mensuração
O desempenho de um negócio segue sendo um ponto chave para as pesquisas referentes às diversas estratégias administrativas, ocasionando uma contínua busca dos pesquisadores quanto ao estabelecimento das implicações do desempenho para a condução estratégica das organizações, através de uma grande variedade de métodos que visam à operacionalização deste desempenho (VENKATRAMAN; RAMANUJAN, 1986, p. 813).
Além disso, as medições são o ponto de partida para o aperfeiçoamento da própria empresa, porque permitem ao administrador saber quais são as metas da organização (HARRINGTON, 1993, p. 98). Harrington (1993, p. 212), resume as mudanças que vêm ocorrendo com relação ao enfoque da mensuração do desempenho nas organizações, como se observa no Quadro 4.
Quadro 4: Mudanças na mensuração de desempenho
ANTES HOJE
Medição dos produtos Medição de processos e serviços
Administração de lucros Administração de recursos
Realização de metas Aperfeiçoamento contínuo
Medições de quantidades Medições de eficácia, eficiência e de adaptabilidade Medições baseadas em especificações técnicas ou
empresariais
Medições baseadas nas expectativas dos clientes internos e externos
Atenção concentrada no indivíduo (indivíduos são
capazes de controlar os resultados) Atenção concentrada no processo (os processos determinam os resultados e devem ser controlados) Processo imposto de cima para baixo Equipe desenvolve e gerencia o desempenho
Fonte: adaptado de Harrington (1993, p. 212)
Percebe-se, pelo Quadro 1, que há um deslocamento do foco na tarefa e no imediatismo para o foco nos processos e nas melhorias contínuas, possibilitando uma visão mais ampla do que
de fato ocorre na organização e fora dela, com maior abertura para a participação, tanto internamente, como externamente, dos clientes ou stakeholders.
Para Kennerley e Neely (2002, p. 1242), há quatro fatores principais que afetam a evolução dos métodos de avaliação de desempenho: (a) os processos: existência de processos para revisão, modificação e desdobramento; (b) as pessoas: a disponibilidade de habilidades requeridas para uso, reflexão, modificação e desdobramento de indicadores; (c) a infra-estrutura: a disponibilidade de sistemas flexíveis que permitam a coleta, análise e reporte dos dados apropriados; e (d) a cultura: a existência de uma cultura de mensuração na organização, assegurando que o valor da mensuração a e importância de manter indicadores relevantes e apropriados sejam reconhecidos.
De forma geral, sem que haja uma mensuração e avaliação de desempenho adequada, os administradores podem encontrar dificuldades para comunicar as expectativas desse desempenho aos subordinados; saber o que de fato se passa na organização; identificar as falhas, analisá-las e eliminá-las; fornecer feedbacks, identificar o desempenho que deve ser recompensado; e ter um processo decisório baseado em informações efetivas (RUMMLER; BRACHE, 1994, p. 169-70). Silva (1993, p. 58-59) comprova a dificuldade de se considerar a mensuração do desempenho de maneira integrada e estratégica ao identificar que, dentre as 350 obras por ele estudadas que tratam do tema, apenas 22% delas tratam do desempenho global da empresa ou da unidade de negócios, enquanto que a grande maioria foca as áreas funcionais isoladamente.
A forma de gerenciar todo esse processo seria por meio de um Sistema de Mensuração de Desempenho (SMD), que seria um sistema de informações utilizado pelos administradores para rastrear a implementação da estratégia do negócio, comparando-se os resultados reais aos objetivos e metas estratégicas (SIMONS, 2000, p. 337). De forma mais processual, Lockamy e Cox (1994, p. 18), definem que um sistema de mensuração de desempenho seria um meio sistemático de avaliar as entradas, saídas, transformação e produtividade em uma operação, seja de manufatura ou não. Os autores colocam que um sistema é composto de três elementos: - Critério de desempenho: equivalente a indicador e é usado para avaliar macro e micro
desempenho, desempenho de curto e longo prazo, desempenho funcional e desempenho geral;
- Padrão de desempenho: o nível de desempenho aceito satisfatoriamente; e - Medida de desempenho: o valor real mensurado pelo critério de desempenho.
A partir desta perspectiva, percebe-se a necessidade de uma visão global e estratégica para a constituição de um Sistema de Mensuração de Desempenho. É desta perspectiva que se alimenta uma das metodologias de mensuração de desempenho mais utilizados no mundo, o
Balanced Scorecard, de Kaplan e Norton, cujos autores afirmam que, em um estudo realizado
pela empresa de consultoria Bain & Company, descobriu-se que, nos EUA, 55% das empresas utilizavam o Balanced Scorecard, enquanto que o mesmo estudo na Europa alcançou o percentual de 45% (KAPLAN; NORTON, 1999, p. 1). Confirmando este movimento, uma pesquisa realizada por Maisel (1999, p. 9), atestava que, de 1910 empresas que atuam nos Estados Unidos, 43% afirmavam utilizar o método criado por Kaplan e Norton – apresenta em uma das suas chamadas quatro perspectivas, (KAPLAN; NORTON, 1997, p. 10) que está diretamente relacionada ao fator humano, a chamada perspectiva de Aprendizado e Crescimento, na qual são refletidas as prioridades para criar uma atmosfera que dê apoio ao crescimento, à inovação e às mudanças organizacionais; portanto evidenciando a importância das pessoas como base para o desempenho organizacional – conceito fundamental para as
discussões a seguir. As setas na figura evidenciam as relações de causa-e-efeito que ocorrem dentro da organização e sobre as quais a lógica do Balanced Scorecard está baseada, como mostra a Figura 1, a seguir.
Figura 1: As quatro perspectivas do Balanced Scorecard e o Mapa Estratégico Fonte: Adaptado de Kaplan e Norton (1997; 2004)
Apesar de ser originariamente uma ferramenta voltada para a organização como um todo, o uso do Balanced Scorecard ou similares tem sido relacionado também a aspectos relacionados mais especificamente às pessoas (BECKER; HUSELID; ULRICH, 2001; BEATTY; BECKER; HUSELID, 2005). Na verdade, segundo os autores, os scorecards de Recursos Humanos e de Capital Humano seriam ferramentas diferentes e complementares ao Balanced Scorecard tradicional, sendo que o primeiro estaria diretamente ligado aos aspectos de sistemas de RH e de competências do pessoal da área, enquanto que o segundo teria foco em aspectos como comportamento, cultura, práticas e outros. Ambos têm o propósito de possibilitar a mensuração dos resultados em contínuo alinhamento com a estratégia organizacional.
Outra metodologia desenvolvida nesta linha foi criada no início dos anos 1990, pela Skandia, uma empresa sueca da área de seguros e de serviços financeiros, que desenvolveu o que chamou de Skandia Navigator, que passou a orientar a mensuração do desempenho na organização e se tornou uma das “forças-motrizes no movimento do capital intelectual” (SVELBY, 1998, p. 222), pois permitiria “identificar os resultados para a empresa, decorrentes de uma estratégia baseada na criação de conhecimento” (VON KROGH et al, 2001, p. 118). Desta forma, o Navigator ou Navegador de Capital Intelectual (CI) “fornece uma imagem equilibrada do capital financeiro e intelectual” (VON KROGH et al, 2001, p. 118) e seu núcleo “é a idéia de que o verdadeiro valor de desempenho de uma empresa reside na sua capacidade de criar um valor sustentável agindo de acordo com uma visão empresarial e a estratégia que dela resulta” (MEISTER, 1999, p. 56). O Navegador consiste em cerca de trinta indicadores-chave (SVELBY, 1998, p. 225), divididos em cinco áreas, sendo o foco
Mapa Estratégico da Empresa
Crescimento Lucratividade Financeira Proposição de valor Clientes Qualidade Processos Internos Pessoas Aprendizado e Crescimento Inovação Excelência Operacional Tecnologia Financeira Clientes Processos Internos Aprendiizado e Crescimento
financeiro referente aos resultados ocorridos (passado) e os focos nos clientes, nos recursos humanos e nos processos voltados ao que ocorre no momento na empresa (presente). O foco restante é referente à capacidade de renovação e de desenvolvimento da organização, competências que permitiriam vislumbrar o futuro da empresa. Cada um dos focos apresenta os chamados indicadores CI, que “traduzem cada foco em resultados utilizáveis, com a atenção voltada sobretudo à posição estratégica”, possibilitando o uso estratégico do conhecimento (VON KROGH et al, 2001, p. 118), conforme ilustrado na Figura 2.
Ontem →
Hoje → Foco no cliente (indicadores CI)
Foco humano
(indicadores CI)
Foco no processo
(indicadores CI)
Amanhã → Foco na renovação e no desenvolvimento
(indicadores CI)
Figura 2: O Skandia Navigator
Fonte: adaptado de Von Krogh et ai (2001, p. 119)
Para Bokowitz e Pertash apud Yeniyurt (2003, p. 136-137), a grande diferença entre o
Skandia Navigator e o Balanced Scorecard é a ênfase que o primeiro dá as pessoas: a
ilustração do método (vide figura 4) representa essa visão da importância das pessoas, estando o foco humano no centro das demais perspectivas, ressaltando a satisfação dos indivíduos e a importância do capital intelectual na aquisição de vantagens competitivas sustentáveis.
A seção seguinte discutirá a relação (ou a falta dela) entre as metodologias de avaliação de resultados de Educação Corporativa apresentadas anteriormente e o enfoque da mensuração de desempenho apresentado nesta seção.
4. Discussão e considerações finais
Com seus cinqüenta anos de idade, a metodologia de Kirkpatrick já despertou muitas críticas, tanto a favor, como contra, como seria de se esperar para uma ferramenta tão conhecida há tanto tempo na administração, sendo que o mérito de ser o primeiro certamente também contribui para isso.
Assim, vários autores criticaram fortemente a metodologia, em aspectos mais específicos como a dificuldade de mensuração de aspectos comportamentais (RUSSELL; WEXLEY; HUNTER, 1984); a aplicação da metodologia para iniciativas de E-learning (GALLOWAY, 2007) ou aspectos mais gerais, como a falta de um escopo mais abrangente, permitindo uma visão mais holística e prática e utilização de critérios mais claros (KAUFMANN; KELLER,
Foco financeiro
1994; STOKKING, 1996); ou a crítica à concepção da metodologia como um todo (HOLTON, 1996a; 1996b).
Uma parte considerável das críticas – e também das propostas que se seguiram – trata da necessidade de se dar um caráter mais financeiro para o processo de mensuração e avaliação dos resultados. Metodologias mais recentes, como Hamblin (1978), Phillips (1996), Parry (1996) e outros acrescentaram o quinto nível para cálculo do retorno financeiro dos programas. A evolução da metodologia para um quinto nível seria justificada a partir da necessidade de se atribuir credibilidade aos programas e de focar a análise em padrões financeiros, como análise de custo-benefício, para uma melhor gestão dos recursos (ROWDEN, 2001). No entanto, para Fitz-Enz (2001), a discussão permanece e dificulta as tentativas de se chegar a um consenso sobre o tema, tendo-se ainda outra questão que é como definir o que é o investimento ou custo dos programas educacionais.
O próprio autor identifica (e reconhece) que um dos aspectos mais desafiadores para o próximo milênio será avaliar o aumento de desempenho por ele causado (KIRKPATRICK, 1998a), justificando a necessidade de continuidade nos avanços nas pesquisas.
De um ponto de vista mais prático, o que se tem percebido é a dificuldade de aplicação da metodologia – no que se refere aos quatro níveis, o que já supõe uma dificuldade para níveis incrementais –, principalmente nos níveis 3 e 4 (STOKKING, 1996), tanto nos Estados Unidos (PHILLIPS, 1997), como no Brasil (HOURNEAUX JR.; EBOLI; MANCINI, 2006). Na pesquisa citada realizada no Brasil, como já apontado, os níveis finais têm quedas abruptas de concordância nas respostas, sendo que alguns pontos específicos podem ser destacados como a não unanimidade da necessidade de avaliação dos programas educacionais (somente 7,7% dos respondentes concordaram muito); a grande quantidade de diferentes indicadores utilizados, sendo que a maior parte das empresas utilizava indicadores apenas de freqüência e de horas de treinamento; e a dificuldade ainda maior de se perceber resultados para públicos externos, com praticamente a inexistência da avaliação para outros stakeholders que não os colaboradores e terceiros. Os autores ainda destacam que apenas 30,8% da amostra das 39 áreas responsáveis pela Educação Corporativa na organização estavam integradas ao
Balanced Scorecard corporativo.
Apesar das várias críticas que são feitas ao Balanced Scorecard (PERRIN, 1998; NORREKLIT, 2000; OLSON; SLATER, 2002; VOELPEL et al, 2006), é inegável que ferramentas que busquem a integração estratégica da organização ganham cada vez mais espaço. Assim, o ponto central da proposta deste trabalho é discutir até que ponto metodologias como a de Kirkpatrick e outras similares cumprem o papel que delas se requisita atualmente, ou seja, mensuram adequadamente os resultados e, ao mesmo tempo, contribuem para a consecução dos objetivos estratégicos.
Assim, um problema que parece inerente às metodologias citadas anteriormente é a falta de vinculação aos aspectos estratégicos, ou, em outras palavras, toda a mensuração dos resultados, seja em qualquer dos níveis, inclusive os níveis 4, de resultados e 5, de retorno financeiro, não passam pelo processo de desdobramento estratégico proposto pelos scorecards e outras metodologias similares, caracterizando um isolamento do ponto de vista estratégico. Em resumo, pode-se até ter um processo desenhado de mensuração de eficiência, mas não algo que retrate a eficácia organizacional, como ensinam Simons (2000) e outros autores.
Outro ponto relevante não considerado são as relações de causa-e-efeito. Novamente se repete o problema anterior, em que não se enxergam possíveis causalidades ou relações entre as iniciativas, pois não se tem uma visão integrada do processo, como pressupõem Kaplan e Norton (1997).
O que leva a um terceiro ponto, que é a caracterização de um foco operacional. Tal posição pode levar a um isolamento e esvaziamento da importância das atividades, uma vez que muito do que é tratado pelos responsáveis por estas atividades segue uma linguagem técnica, que dificulta o entendimento por parte do restante da organização, embora a utilização de termos financeiros, como Retorno sobre Investimento, tenha facilitado esse entendimento intra-organizacional. É importante salientar que o processo deve ser integrado, tanto internamente à área de Recursos Humanos / Gestão de Pessoas, como às demais áreas e, finalmente, à própria organização, em termos corporativos e estratégicos.
É claro que não se trata de uma tarefa fácil. Além dos aspectos técnicos e estratégicos já discutidos, não se pode esquecer-se daqueles que serão, simultaneamente, sujeito e objeto do processo: as pessoas. A mensuração e avaliação do desempenho não é uma atividade popular; ela é vista, geralmente, como um algo a mais e que pode trazer resultados inesperados e nada agradáveis (WILLIAMS, 2003, p. 25). Robbins (1978, p. 465-468), já observava que há uma necessidade de que os sistemas de avaliação de desempenho da organização incluam critérios múltiplos, pois, inerentemente ao próprio processo de avaliação, haverá um efeito diferente sobre as pessoas na organização, devido à diferença de percepção entre elas com relação a estes critérios. Kaplan e Norton (1997, p. 21) comentam a respeito da relação entre os sistemas de mensuração e as pessoas na organização: “O sistema de indicadores afeta fortemente o comportamento das pessoas dentro e fora da empresa”. De Haas e Kleingeld (1999, p. 234) afirmam que a eficácia dos sistemas de avaliação de desempenho está diretamente relacionada às variáveis comportamentais e de aprendizagem dos grupos envolvidos na avaliação.
Por fim, cabe ressaltar a dependência que os Sistemas de Educação Corporativa – como qualquer outra iniciativa implementada na organização com vistas a agregar valor e reforçar o alinhamento estratégico – têm com relação aos sistemas contábeis, de mensuração de desempenho e de informações gerenciais. Como afirmam Kaplan e Norton (1997, p. 21), “medir é importante: o que não é medido não é gerenciado”. A real efetividade dos SEC’s só poderá ser aferida se os sistemas de informação forem compatíveis e inter-relacionados, proporcionando a matéria-prima imperativa para a gestão e a tomada de decisão nas organizações. Afinal, “atingir um determinado nível de desempenho em um negócio dentro de uma organização humana constitui uma atividade difícil, porém essencial” (DRUCKER, 1964, p. 224).
5. Referências Bibliográficas
ABBAD, G.; PILOTI, R. ; PANTOJA, M. J. Avaliação de Treinamento: análise da literatura e agenda de pesquisa. Revista de Administração da USP – RAUSP, Volume: 38 - Número: 3 - Data: julho / agosto / setembro, 2003
BECKER, B. E.; HUSELID, M. A.; ULRICH, D. The HR scorecard: linking people, strategy, and performance. Boston: Harvard Business School Press, 2001.
BEATTY, R.; BECKER, B.; HUSELID, M. Scorecard para Recursos Humanos: conceitos e ferramentas para medir a contribuição das equipes. Rio de Janeiro: Elsevier, 2005
BORGES-ANDRADE, J. E.; OLIVEIRA-CASTRO, G.A. Treinamento e desenvolvimento: reflexões sobre suas pesquisas científicas Revista de Administração da USP – RAUSP, Volume: 31 - Número: 2 - Data: abril / junho / 1996
De HAAS, M. & KLEINGELD A. Multilevel design of performance measurement systems: enhancing strategic dialogue throughout the organization. Management Accounting Research, 1999, 10, p. 233-261
DRUCKER, P. F. Managing for results: economic tasks and risk-taking decisions. Nova Iorque: Harper & Row, 1964, 241 p.
EBOLI, M. Educação Corporativa no Brasil: Mitos e Verdades. São Paulo: Gente, 2004
FISCHER, A. L.; ALBUQUERQUE, L. G. Trends of the human resources management model in Brazilian companies: a forecast according to opinion leaders from the area. International Journal of Human Resource Management; Jul2005, Vol. 16 Issue 7, p1211-1227, 17p
FITZ-ENZ, J. Retorno do investimento em capital humano: medindo o valor econômico do desempenho dos funcionários. São Paulo: Makron Books, 2001, 262 p.
GALLOWAY, D. L. Evaluating Distance Delivery and E-Learning: is Kirkpatrick’s model relevant? Performance Improvement. Volume 44 Issue 4, Pages 21 – 27, Published Online: 9 Feb 2007
GREEN, JR., K.; WU, C.; WHITTEN, D.; MEDLIN, B. The impact of strategic human resource management on firm performance and HR professional' work attitude and work performance. International Journal of Human Resource Management; Apr2006, Vol. 17 Issue 4, p559-579, 21p,
HAMBLIN, A.C. Avaliação de controle e treinamento. São Paulo: MacGrow Hill do Brasil, 1978
HARRINGTON, H. J. Aperfeiçoando processos empresariais. Tradução de Luiz Liske. São Paulo: Makron Books, 1993, 343 p.
HOLTON III, E. Final Word: Response to Reaction to Holton Article. Human Resource Development Quarterly; Spring96, Vol. 7 Issue 1, p27-29, 3p.
HOLTON III, E. The Flawed Four-Level Evaluation Model. Human Resource Development Quarterly; Spring96, Vol. 7 Issue 1, p5-21, 17p.
HOURNEAUX JR.; EBOLI, M.P.; MANCINI, S. “O Desafio da Criação e da Implementação de Indicadores Para A Mensuração dos Sistemas de Educação Corporativa no Brasil”, anais do IX SEMEAD - FEA-USP, São Paulo, em 08/2006;
HUSELID, M. A.; JACKSON, S. E.; SCHULER, R. S. Technical and strategic human resources management effectiveness as determinantes of firm performance. Academy of Management Journal; Feb97, Vol. 40 Issue 1, p171-188, 18p
KAPLAN, R.S.; NORTON, D. P. A estratégia em ação – Balanced Scorecard. Tradução de Luiz Euclides Trindade Frazão Filho. 13 ª ed. Rio de Janeiro: Campus, 1997, 344 p.
_________. Building a Strategy-Focused Organization. Balanced Scorecard Report, v.1, n.1, p.1-6, sep/oct 1999
KAUFMAN, R.; KELLER, J. Levels of Evaluation: Beyond Kirkpatrick. Human Resource Development Quarterly; Winter94, Vol. 5 Issue 4, p371-380, 10p.
KENNERLEY, M.; NEELY, A. A framework of the factors affecting the evolution of performance measurement systems. International Journal of Operations & Production Management; 2002; 22, 11, p. 1222-1245
KIRKPATRICK, D. L. Evaluating Training Programs – The Four Levels. San Francisco: Berrett - Koehler Publishers, Inc, 1998.
LOCKAMY III, A.; COX III, J.F. Reengineering performance measurement: how to align systems to improve processes, products and profits. New York: Irwin Professional Publishing, 1994, 293 p.
MARINELLI, M. Educação Corporativa: um estudo sobre modelos de avaliação de programas. Fortaleza: Editora UFC, 2007, 214 p.
MEISTER, J. C. Educação Corporativa: a gestão do capital intelectual através das universidades corporativas. Tradução de Maria Claudia Santos Ribeiro Ratto. São Paulo: Makron Books, 1999, 296 p.
MINTZBERG, H. Managers, not MBA´s. San Francisco: Berrett-Koehler Publishers, 2003 NEWMAN, S. MILNE, D. Measuring Management Training: Two New Instruments. The Journal of Management Development; 1992; 11, 3; ABI/INFORM Global pg. 18
NØRREKLIT, H. The balance on the balanced scorecard – a critical analysis of some of its assumptions. Management Accounting Research, 2000, 11, p. 65-88
OLSON, E. M.; SLATER, S.F. The balanced scorecard, competitive strategy and performance. Business Horizons, Maio-Junho 2002, 45 (3), p. 11-17
PARRY, S.B. Measuring training’s ROI. In: KIRKPATRICK, D.L. (Org.) Another look at evaluating training programs. Alexandria: ASTD, 1998
PERRIN, B. Effective use and misuse of performance measurement. American Journal of
Evaluation, Vol. 19, n. 3, 1998, pp. 367-379.
PHILLIPS, J.J. Handbook of training evaluation and measurement methods. Butterworth-Heinemann, 1997, 420 p.
ROBBINS, S. P. O processo administrativo: integrando teoria e prática. Tradução de Wiktor Wanjtal e Isael C. Weippert. São Paulo: Atlas, 1978, 516 p.
ROBINSON, D.G.; ROBINSON, J.C. Moving from Training to Performance: A Practical Guidebook. San Francisco: Berrett-Koehler, Inc & ASTD, 1998.
ROWDEN, R. W. Exploring methods to evaluate the return from training. American Business Review; Jan 2001; 19, 1; ABI/INFORM Global pg.6
RUMMLER, G.; BRACHE, A. P. Melhores desempenhos das empresas – Uma abordagem prática para transformar as organizações através da reengenharia. Tradução de Katia Aparecida Roque. Makron Books, 2a. ed., 1994
RUSSELL, J.; WEXLEY, K.; HUNTER, J. Questioning the effectiveness of behavior modeling training in an industrial setting. Personnel Psychology; Autumn84, Vol. 37 Issue 3, p.465-481, 17p.
SAMPIERI, R.H., COLLADO C.F.; LUCIO, P.B. Metodología de la Investigación. México: McGraw Hill, 1994, 288 p.
SCHULER; JACKSON, 1999. Linking competitive strategies with human resource management practices in SCHULER, R.S.; JACKSON, S.E. Strategic Human Resource Management. Oxford: Blackwell Publishers, 1999, 497 p.
SELLTIZ, C.; JAHODA, M.; DEUTSCH, M.; COOK, S. W. Métodos de pesquisa nas relações sociais. Tradução de Dante Moreira Leite. São Paulo, EPU, 2.ed., 1974, 687 p.
SILVA, E. L.; MENEZES, E. M. Metodologia da Pesquisa e Elaboração de Dissertação. 3a edição revisada e atualizada. Florianópolis, 2001. Acesso em 28/02/2009. Disponível em http://projetos.inf.ufsc.br/arquivos/Metodologia%20da%20Pesquisa%203a%20edicao.pdf SILVA, P. R. Mensuração de desempenho estratégico e operacional na excelência de manufatura de classe mundial: integração para a vantagem competitiva em empresas selecionadas. Universidade de São Paulo, São Paulo, Tese de doutoramento, 1993, 267 p. SIMONS, R. Performance Measurement and Control Systems for Implementing Strategy. Upper Saddle River: Prentice Hall, Inc., 2000, 348 p.
STOKKING, K. M. Levels of Evaluation: Kirkpatrick, Kaufman and Keller, and Beyond. Human Resource Development Quarterly, Summer96, Vol. 7 Issue 2, p179-186, 5p
SVELBY, K.E. A nova riqueza das organizações. Tradução de Luiz Euclides T. Frazão Filho. Rio de Janeiro: Campus, 2a. ed., 1998, 220 p.
TRIVIÑOS, A.N.S. Introdução à Pesquisa em Ciências Sociais: a pesquisa qualitativa em educação. São Paulo: Atlas, 1987, 175p.
TRUSS, C. Complexities and controversies in linking HRM with organizational outcomes. Source:Journal of Management Studies; Dec2001, Vol. 38 Issue 8, p1121-1149, 29p.
VENKATRAMAN, N.; RAMANUJAN, V. Measurement of business performance in strategic research: a comparison of approaches. Academic Management Review, 1986, 11, p. 801-814
VOELPEL, S.C.; LEIBOLD, M.; ECKHOFF, R. A.; DAVENPORT, T, H. The tyranny of the Balanced Scorecard in the innovation economy. Journal of Intellectual Capital. Bradford: 2006. Vol. 7, Iss. 1; pp. 43.
VON KROGH, G., ICHIJO, K.; NONAKA, I. Facilitando a criação do conhecimento: reinventando a empresa com o poder de inovação contínua. Tradução de: Afonso Celso da Cunha Serra. Rio de Janeiro: Campus, 2001, 350 p.
WILLIAMS, P. Measuring Performance. International Trade Forum, 1, 2003, p. 22-25
YENIYURT, S. A literature review and integrative performance measurement framework for multinational companies. Marketing Intelligence & Planning. Bradford: 2003. Vol. 21, 3, p. 134.
