ANAIS
630 * A revisão gramatical, ortográfica, ABNT ou APA foi realizada pelos autores.
AVALIAÇÃO DE DESEMPENHO DE PROGRAMAS DE TREINAMENTO: OPORTUNIDADES DE PESQUISAS FUTURAS
Bárbara Gonçalves do Amaral (Universidade Federal de Santa Catarina)
Sandra Rolim Ensslin (Universidade Federal de Santa Catarina) Sandra Mara Iesbik Valmorbida (Universidade Federal de Santa Catarina)
Resumo: Este estudo tem como objetivo analisar as pesquisas científicas referentes
à Avaliação de Desempenho de Programas de Treinamento evidenciando oportunidades de pesquisa. Para isso, adotou-se como instrumento de intervenção o Knowledge Development Process-Constructivist (ProKnow-C) para seleção da literatura, que resultou em 29 artigos, que compõem o Portfólio Bibliográfico (PB), analisados segundo os níveis como o Sistema de Avaliação de Desempenho está sendo abordado no PB, com base na proposta de Neely, Gregory & Platts (1995) e os paradigmas da evolução da mensuração por Micheli & Mari (2014). Na análise de Neely, Gregory & Platts (1995), verificou-se que grande parte dos Sistemas de Avaliação não possui relação com o ambiente, e 48% dos artigos são conjuntos de medidas. Quanto à análise feita por Micheli & Mari (2014), constatou-se a necessidade de desenvolver modelos orientados pelas premissas do paradigma Relativista. Também, averiguou-se a necessidade de ampliar as parcerias entre os pesquisadores e gestores e foi constatada ausência dos elementos propostos pela Avaliação de Desempenho Organizacional nos estudos do PB.
Palavras-chave: Avaliação de Desempenho. Programas de Treinamentos. Revisão
de Literatura. ProKnow-C.
1 INTRODUÇÃO
631 A Administração Pública confronta-se com demandas pela melhoria dos serviços prestados e pela eficiência na alocação de recursos (Sims, 1993). Para isso, precisa-se de servidores públicos preparados, qualificados e atualizados. Entende-se que a promoção de treinamentos pode auxiliar no atendimento a essas demandas (Huque & Vyas, 2008; Getha-Taylor et al., 2015; Suliyanto & Setyawati, 2015; Lee et al., 2017). Getha-Taylor et al. (2015) alertam para o fato de servidores públicos treinados serem essenciais para o atendimento da eficácia da prestação de serviços das organizações governamentais.
Os Programas de Treinamento são experiências de aprendizagens planejadas, pois visam atualizar os conhecimentos, as atitudes e as habilidades dos servidores públicos e, consequentemente, melhorar a qualidade do serviço e do desempenho (Sims, 1993; Healy, 2001; Huque & Vyas, 2008; Suliyanto & Setyawati, 2015; Lee et al., 2017). Devido à capacidade de esses Programas intervirem na dinâmica de prestação de serviços e na qualidade dos serviços prestados pelos servidores, há a necessidade de um processo de avaliação.
A Avaliação de Desempenho de Programas de Treinamento é considerada um mecanismo que permite às organizações mensurarem o sucesso do treinamento ofertado e analisarem sua relação custo-benefício (Mann & Robertson, 1996; Suliyanto & Setyawati, 2015).
Além da mensuração, a Avaliação auxilia na gestão do Programa de Treinamento ao fornecer feedback para os gestores e planejadores do Programa, bem como na gestão de Recursos Humanos ao possibilitar a avaliação da agregação de valor dos serviços prestados pelos servidores que participaram de treinamento (Sims, 1993; Healy, 2001; Huque & Vyas, 2008; Suliyanto & Setyawati, 2015; Lee et al., 2017). Portanto, a Avaliação do Treinamento torna-se indispensável na estratégia de desenvolvimento do capital intelectual (Tasca et al., 2010; Suliyanto & Setyawati, 2015; Kucherov & Manokhina, 2017).
Em virtude da importância e necessidade, os pesquisadores deste estudo defendem a necessidade de se analisarem as ferramentas utilizadas pela literatura sobre o tema Avaliação de Desempenho de Programas de Treinamento. Diante disso, propõe-se a seguinte questão de pesquisa: Quais são as oportunidades de pesquisa futuras identificadas na literatura sobre Avaliação de Desempenho de Programas de Treinamento?
Este estudo tem como objetivo analisar as pesquisas referentes à Avaliação de Desempenho de Programas de Treinamento e demonstrar as oportunidades de pesquisa. Sendo assim, estabeleceram-se os seguintes objetivos específicos: (i) realizar seleção de um Portfólio Bibliográfico (PB) sobre o tema; (ii) realizar análise bibliométrica do PB; e (iii) identificar oportunidades de pesquisas futuras. Para proceder a tais objetivos, adotou-se, como instrumento de intervenção, o Knowledge Development Process-Constructivist (ProKnow-C) (Valmorbida et al., 2016; Thiel, Ensslin & Ensslin, 2017).
632 na busca pelo conhecimento científico sobre o tema e pela facilidade de consultar os artigos disponíveis no Portal de Periódicos da CAPES. Em relação à delimitação de pesquisa, utilizaram-se somente artigos científicos publicados em periódicos e apenas nas bases mais relevantes para área de Ciências Sociais Aplicadas.
Este artigo estrutura-se em cinco seções. Além desta Introdução, a seção 2 apresenta a fundamentação teórica subdividida em Avaliação de Desempenho e Avaliação de Desempenho de Programas de Treinamento; na seção 3, são expostos os procedimentos metodológicos; na seção 4, dispõem-se a análise e a discussão dos resultados da pesquisa; a seção 5 evidencia as considerações finais; e, por fim, são apresentadas as referências.
2 FUNDAMENTAÇÃO TEÓRICA
Esta seção apresenta o referencial teórico que embasa o tema Avaliação de Desempenho e Avaliação de Desempenho de Programas de Treinamento.
2.1 Avaliação de desempenho
Na literatura sobre Avaliação de Desempenho (AD), há diversos conceitos do que é Desempenho em virtude das diferentes áreas na ciência que buscam investigar o Desempenho Organizacional (Lebas, 1995; Franco-Santos et al. 2007; Choong, 2014). Apesar de, cada vez mais, o número de pesquisas sobre Avaliação de Desempenho crescer, a multidisciplinariedade existente leva à falta de uniformização. Isso impossibilita a comparação dessas pesquisas (Lebas, 1995; Franco-Santos et al. 2007; Cuccurullo; Aria & Sarto, 2016; Van Camp & Braet, 2016).
Inicialmente, ao conceituar a Avaliação de Desempenho, esta pode ser deliberada como “processo de quantificação da eficiência e eficácia de uma ação” (Neely, Gregory & Platts, 1995, p. 80). Logo, emprega-se um conjunto de métricas que refletem os desempenhos de acordo com os objetivos organizacionais pré-estabelecidos (Ghalayini & Noble, 1996). Para Neely, Gregory & Platts (1995), não há dificuldade em se identificar o que deve ser medido, e sim como e para que gerenciar essas medidas.
Bititci et al. (2015) acrescentam que uma medida de desempenho bem desenvolvida resulta na adequação de suas práticas de mensuração e gestão com seus objetivos estratégicos em face das mudanças no contexto corporativo.
Segundo Franco-Santos et al. (2007), as definições de Avaliação de Desempenho são constituídas por uma combinação de características do Sistema de Avaliação de Desempenho Organizacional, dos papéis desse Sistema e os processos que o formam. Quanto aos papéis, a Avaliação forneceria a posição na qual o desempenho se encontra, daria a direção na qual a organização quer estar, influenciaria o comportamento dos colaboradores, identificaria a necessidade de intervenção, promoveria aprendizagem e asseguraria a implementação da estratégia (Franco-Santos et al., 2007).
633 Para muitos autores, a Avaliação de Desempenho Organizacional (ADO) é um processo integrado e holístico, constituída por processos de mensuração de desempenho alinhados à estratégia organizacional que incorpora os stakeholders (Ghalayini & Noble, 1996; Bourne et al.,2000; Franco-Santos et al., 2007; Ferreira & Otley, 2009; Bititci et al., 2012; Franco-Santos, Lucianetti & Bourne, 2012; Taticchi, Balachandra & Tonelli, 2012; Choong, 2014; Melnyk et al., 2014; Carneiro-De-Cunha, Hourneaux & Corrêa, 2016; Van Camp & Braet, 2016).
Ao atrelar as medidas de desempenho à estratégia organizacional, faz-se necessário comunicar aos colaboradores, independente de esses estarem no nível estratégico, tático ou operacional, o porquê e para que dessas medidas (Ferreira; Otley, 2009; Bititci et al., 2012; Micheli & Mari, 2014). Essas medidas influenciam o comportamento dos colaboradores (Franco-Santos et al., 2007). Isso torna a avaliação um sistema social que promove a aprendizagem (Bititci et al., 2012).
A avaliação deve levar em conta a cultura e a estrutura organizacional antes de sua implementação para não ter nenhum viés nos seus resultados e, assim, focar nos pontos de melhoria do desempenho global e da produtividade (Ferreira; Otley, 2009; Nudurupati et al., 2011; Bititci et al., 2012; Melnyk et al., 2014; Bititci et al., 2015; Van Camp &Braet, 2016).
O processo de Avaliação de Desempenho precisa ser monitorado e retroalimentado, de forma contínua, em razão das mudanças nos contextos em que as organizações estão inseridas (Neely et al., 1995; Lebas, 1995; Ghalayini; Noble, 1996; Bourne et al., 2000; Ferreira; Otley, 2009). Os Sistemas de Avaliação de Desempenho precisam ser vistos como ferramentas de melhoria, e não apenas de controle (Bourne et al., 2000). Ademais, também devem ser utilizados como meios de recompensar o desempenho (Behn, 2003; Bititci et al., 2012).
634 Figura 1 – Aspectos da Avaliação de Desempenho
Fonte: Elaborada pelos autores.
2.2 Avaliação de desempenho de programas de treinamento
Nas organizações, o treinamento é percebido como um processo educativo (Suliyanto & Setyawati, 2015). Esse processo é capaz de apoiar o crescimento organizacional, melhorar as oportunidades de progresso na carreira, desenvolver habilidades e crescer profissionalmente quando seus ensinamentos estão alinhados à estratégia organizacional (Lingham, Richley & Rezania, 2006; Tasca et al., 2010; Grohmann & Kauffeld, 2013).
Para as organizações, os Programas de Treinamento influenciam a vida organizacional (Mann & Robertson, 1996). Pelo fato de o treinamento eficaz influenciar o comportamento do colaborador na execução de seu trabalho, isso pode refletir no aumento de seu conhecimento e desempenho (Tasca et al., 2010; Tasca, Ensslin & Ensslin, 2012).
O treinamento possibilita a aprendizagem que se transforma em conhecimento (Curado & Teixeira, 2014). Devido à relevância no treinamento, há demanda por processos de avaliação que assegurem a efetividade desse treinamento (Tasca et al., 2010). Nesse contexto, o que seria a Avaliação dos Programas de Treinamento?
635 Em linhas gerais, avaliação eficaz deve ser feita na conclusão do Programa de Treinamento para se julgar o seu resultado (Rahim, 2017), visto que aperfeiçoará a qualidade do treinamento (Kucherov & Manokhina, 2017). Há preocupação em verificar a qualidade da aprendizagem e os resultados que o Programa fornece.
Na literatura, discutem-se não só as definições referentes à Avaliação de Desempenho de Programas de Treinamento, mas também têm sido discutidas e reconhecidas por seus benefícios nas organizações (Sims, 1993), conforme apresenta a Figura 2.
Figura 2 – Benefícios da Avaliação de Desempenho
Fonte: Elaborada pelos autores.
Apesar desses potenciais benefícios, na literatura, a realização da Avaliação na prática ficou preterida (Sims, 1993). Os Programas de Treinamento são partes essenciais no ambiente corporativo (Mann & Robertson, 1996). Dessa forma, o que se deve avaliar? Em um primeiro momento, para avaliar de forma eficaz, precisa-se compreender a natureza da avaliação, sua finalidade e outras variáveis relevantes, como as necessidades dos participantes (Lingham, Richley & Rezania, 2006).
636 et al., 2010; Curado & Teixeira, 2014; Jeschke et al., 2017); (v) atitudes ou reações (Moffie, Calhoon & O'Brien, 1964; Kirkpatrick, 1979; Honeycutt & Stevenson, 1989; Mann & Robertson, 1996; Healy, 2001; Al-Athari & Zairi, 2002; Birdi, 2005; Steensma & Groeneveld, 2010; Grohmann & Kauffeld, 2013; Curado & Teixeira, 2014; Getha-Taylor et al., 2015; Suliyanto & Setyawati, 2015; Rahim, 2017); (vi) aprendizagem (Kirkpatrick, 1979; Mann & Robertson, 1996; Kuprenas, Madjidi & Alexander, 1999; Healy, 2001; Birdi, 2005; Wang & Wilcox, 2006; Tasca et al., 2010; Steensma & Groeneveld, 2010; Grohmann & Kauffeld, 2013; Getha-Taylor et al., 2015; Suliyanto & Setyawati, 2015; Muhaisen & Asour, 2017; Lucas et al., 2017; Rahim, 2017); (vii) resultados do treinamento (Kirkpatrick, 1979; Honeycutt & Stevenson, 1989; Mann & Robertson, 1996; Healy, 2001; Al-Athari & Zairi, 2002; Wang & Wilcox, 2006; Steensma & Groeneveld, 2010; Getha-Taylor et al., 2015; Suliyanto & Setyawati, 2015; Rahim, 2017); (viii) desempenho organizacional (Mann & Robertson, 1996; Grohmann & Kauffeld, 2013); (ix) transferência de aprendizagem (Mann & Robertson, 1996; Suliyanto & Setyawati, 2015) e alcance (Jeschke et al., 2017); e (x) estrutura física (Ghosh et al., 2011).
Mesmo havendo forte demanda por processos de gestão que permitam assegurar a efetividade dos programas, diversos autores estipulam as ‘características essenciais’ para um processo eficaz de avaliação, como: (i) promover a aprendizagem (Kuprenas, Madjidi & Alexander, 1999; Tasca et al., 2010; Tasca, Ensslin & Ensslin, 2012; Muhaisen & Asour, 2017); (ii) viabilizar informações úteis para a organização e seus envolvidos (Sims, 1993; Lingham, Richley & Rezania, 2006); (iii) ser um processo de comunicação entre o programa e a organização inserida e os gestores do programa e participantes (Sims, 1993; Lingham, Richley & Rezania, 2006; Ghosh et al., 2011; Grohmann & Kauffeld, 2013); (iv) ser processo colaborativo (Lingham, Richley & Rezania, 2006); (v) ter feedback dos participantes quanto ao conteúdo e aplicabilidade de tais programas (Sims, 1993; Lingham, Richley & Rezania, 2006; Grohmann & Kauffeld, 2013); (vi) estar alinhadas às atividades organizacionais (House & Tosi, 1963; Tasca et al., 2010); e (vii) levar em conta que cada avaliação deve considerar as particularidades do programa (Al-Athari & Zairi, 2002).
Por fim, percebe-se que o processo de Avaliação de Desempenho de Programas de Treinamento enfrenta barreiras em sua implementação, tais como recursos financeiros escassos que levam as organizações a implantar ferramentas padronizadas (Honeycutt & Stevenson, 1989; Mann & Robertson, 1996; Al-Athari & Zairi, 2002; Lingham, Richley & Rezania, 2006; Wang & Wilcox, 2006; Tasca et al., 2010; Kucherov & Manokhina, 2017), bem como o pensamento que a Avaliação de Treinamento pode ser arriscado para a organização se sua avaliação não alcançar o resultado pretendido (Honeycutt & Stevenson, 1989; Mann & Robertson, 1996). Também se evidencia falta de cultura nas organizações que apoie a avaliação (Wang & Wilcox, 2006; Kucherov & Manokhina, 2017).
637
3 PROCEDIMENTOS METODOLÓGICOS
Esta seção demonstra os procedimentos metodológicos subdivididos em enquadramento metodológico, instrumento de intervenção para orientar o alcance do objetivo da pesquisa e procedimento para coleta e análise dos dados.
3.1 Enquadramento metodológico
Quanto à classificação dos objetivos, enquadra-se como exploratória-descritiva (Richardson, 1999). Exploratória, visto que investiga a literatura sobre Avaliação de Desempenho de Programas de Treinamento por meio da análise crítica das variáveis avançadas delimitadas (apontadas no lado direito do Quadro) que fornecerá a base para a elaboração de oportunidades para futuras pesquisas. Descritiva ao identificar e evidenciar os ‘destaques’ das características estabelecidas do PB (apontadas no lado esquerdo do Quadro).
Para a coleta de dados do Portfólio Bibliográfico (PB), foram utilizados dados primários e secundários em virtude de os pesquisadores interferirem na seleção do PB e haver a consulta aos artigos em periódicos (Richardson, 1999).
Em relação aos procedimentos técnicos, classifica-se como pesquisa bibliográfica e pesquisa-ação. É bibliográfica ao analisar um fragmento da literatura. Caracteriza-se como pesquisa-ação pelo fato de os pesquisadores se envolverem com as decisões tomadas e delimitações postas que direcionam a seleção do PB e as características investigadas que nortearão a identificação das oportunidades de pesquisa.
A abordagem do problema é qualitativa (Richardson, 1999) por promover análise crítica das variáveis delimitadas para identificar as oportunidades para futuras pesquisas. Para a seleção do PB, utilizou-se como instrumento de intervenção o Knowledge Development Process-Constructivist (ProKnow-C) (Valmorbida et al., 2016, Thiel; Ensslin & Ensslin, 2017).
3.2 Instrumento de intervenção: Knowledge Development
Process-Constructivist (Proknow-C)
Para a seleção dos Portfólios Bibliográficos (PBs), empregou-se o ProKnow-C. Esse método foi desenvolvido pelos pesquisadores do Laboratório de Metodologias Multicritério de Apoio à Decisão (LabMCDA), da Universidade Federal de Santa Catarina (UFSC), para subsidiar o pesquisador com pouco conhecimento na área a ser pesquisada, identificando na literatura estudos comprovados cientificamente e alinhados ao tema (Valmorbida et al., 2016; Thiel, Ensslin & Ensslin, 2017). Portanto, esse processo de mapeamento sistemático possibilita ao pesquisador embasar seu arcabouço teórico e, consequentemente, defender lacunas de pesquisa conforme seus interesses e delimitações. Atualmente, esse processo foi operacionalizado em distintos estudos (Valmorbida et al., 2016, Thiel; Ensslin & Ensslin, 2017).
638 as características desse material e fazer uma análise crítica com base numa afiliação teórica e, dessa forma, propicia-se a observação de oportunidades de pesquisa (Valmorbida et al., 2016). A Figura 3 ilustra as quatro etapas do ProKnow-C.
Figura 3 - Fluxograma das etapas do Knowledge Development Process-Constructivist
Fonte: Extraído em Valmorbida et al. (2016, p. 12).
Neste estudo, será operacionalizada a etapa de seleção do PB (subseção 3.2.1), segundo os procedimentos impostos pelo Proknow-C, concentrando-se em explorar a análise bibliométrica e inferir oportunidades de pesquisas futuras. Essa análise busca verificar as caraterísticas nas publicações do PB. Esse processo constrói conhecimento no pesquisador (Valmorbida et al., 2016, Thiel; Ensslin & Ensslin, 2017). As variáveis investigadas no presente estudo são apresentadas no Quadro 1.
Quadro 1 - Tipos de variáveis analisadas
Análise Bibliométrica
Variáveis Básicas Variáveis Avançadas
Pela contagem de ocorrências: Análise das ferramentas de Avaliação de Desempenho, segundo fundamentos essenciais da Avaliação de Desempenho.
i) Autores prolíficos i) Em que níveis os Sistema ou ferramentas de Avaliação de Desempenho dos artigos no PB se encontram? (Neely; Gregory & Platts, 1995)
639 iii) Periódicos no PB ii) Em qual paradigma e/ou fase subsequentes da evolução da mensuração os artigos no PB se
identificam? (Micheli & Mari, 2014) Fonte: Elaborado pelos autores.
Em relação aos paradigmas e/ou às fases da evolução por Micheli & Mari (2014), foram levadas em consideração as características de cada paradigma, compostas por Valmorbida & Ensslin (2015), conforme Figura 4.
Figura 4 – Validação da precisão das informações
Fonte: Extraído em Valmorbida & Ensslin (2015, p. 10). Adaptada para esta pesquisa.
3.2.1 Procedimentos para seleção do material para compor o referencial teórico de Avaliação de Desempenho de Programas de Treinamento
640 A filtragem do banco de artigos bruto consiste em: (i) excluir os artigos repetidos; (ii) conferir o alinhamento do tema pelo título; (iii) apurar o alinhamento quanto ao reconhecimento científico; (iv) verificar o alinhamento do tema pelo resumo; (v) averiguar a disponibilidade dos artigos na íntegra; e (vi) confirmar o alinhamento integral dos artigos (Valmorbida et al., 2016).
Após a leitura integral, deu-se início ao teste de representatividade dos 27 artigos. Os artigos considerados integralmente alinhados tiveram suas referências bibliográficas verificadas para constatar se todas as publicações científicas relevantes sobre Avaliação de Desempenho de Programas de Treinamento foram incorporadas.
A Figura 6 demonstra as etapas realizadas e os resultados obtidos para fundamentar a seleção de artigos sobre a Avaliação de Programas de Treinamento. Esse processo de seleção do banco de artigos bruto foi feito de 27 a 30 de março de 2018.
Figura 6 – Seleção do PB
Fonte: Elaborada pelos autores.
O PB foi constituído de 29 artigos disponibilizados gratuitamente sobre Avaliação de Desempenho de Programas de Treinamento.
4 ANÁLISE DOS RESULTADOS
641
4.1 Análise bibliométrica 4.1.1 Variável Básica
Na análise bibliométrica, foram analisados, como variáveis básicas, os autores prolíficos e a rede de instituições por autores e os periódicos de destaque.
Em relação aos autores prolíficos, os autores do PB com maior número de artigos foi Sandra Rolim Ensslin, Leonardo Ensslin e Jorge Eduardo Tasca (Gráfico 1). Sandra Rolim Ensslin é professora na Universidade Federal de Santa Catarina, com Pós-Doutorado pela Universidade de Valência, na Espanha. Sua linha pesquisa é voltada para a Avaliação de Desempenho Organizacional e Apoio à Decisão, seguindo epistemologia Construtivista.
Leornado Ensslin atualmente leciona na Universidade do Sul de Santa Catarina e tem doutorado em Engenharia Industrial e Sistemas pela University of Southern, na Califórnia. Sua pesquisa, também, é voltada para a Avaliação de Desempenho Organizacional e Apoio à Decisão, adotando epistemologia Construtivista.
Jorge Eduardo Tasca é tenente-coronel da Polícia Militar de Santa Catarina e doutor em Engenharia de Produção, pela Universidade Federal de Santa Catarina. Tem como linha de pesquisa as áreas de prevenção ao crime, Avaliação de Desempenho e Apoio à Decisão.
Nas referências, o autor que merece destaque é Donald Kirkpatrick, que foi professor emérito da University of Wisconsin, na qual também obteve seu PhD. Ele foi reconhecido como autor prolífico no campo de formação e Avaliação de Treinamento. Consagrou-se com a criação de um modelo de "quatro níveis" para a Avaliação de Programas de Treinamento. Esse modelo é visto como um padrão de avaliação, na indústria, pelo pessoal dos Recursos Humanos e pelos formadores de treinamentos. A maioria dos artigos menciona livros escritos por Kirkpatrick, referentes ao modelo, o que pode ter impossibilitado esse autor de ser destaque no PB, como também não ter tido mais artigos nas referências.
Gráfico 1 – Cruzamento de autores do PB e das Referências
642 Também se pode verificar que, no PB, há fortes núcleos entre os autores. Os pesquisadores sobre o assunto necessitam expandir suas parcerias e, consequentemente, aumentar a dispersão de conhecimento. Isso deve ser visto como oportunidade para os pesquisadores formarem relações fora de seu universo acadêmico, resultando em disseminação de ideias, novos contatos com culturas diferentes e acesso a recursos. Dessa forma, podem melhorar a qualidade dos achados das pesquisas pela ampliação do conhecimento técnico de profissionais (Figura 7).
Figuras 7 – Rede de Instituições
Fonte: Elaborado pelos autores.
As instituições do PB possuem poucas associações com outras instituições de ensino e o mercado de trabalho no setor privado e instituições governamentais. Precisa-se aumentar essas relações, pois é uma oportunidade de os estudos obterem relevância prática na realização, se os pesquisadores se associarem aos profissionais do mercado de trabalho em seus estudos.
643 nomeada como docente. Além de possuir interesse em gestão do setor público e de Recursos Humanos, e em questões pedagógicas focadas na melhoria do aprendizado dos alunos.
Também se observa predominância de parcerias entre as instituições dos Estados Unidos. Nesse PB, o país com mais publicações sobre o assunto e havendo melhor distribuição entre as instituições foi os Estados Unidos.
Em relação aos periódicos nos quais os artigos do PB foram publicados, observa-se que houve ênfase em Journal of European Industrial Training (17%), Public Personnel Management (10%) e European Journal of Training and Development (7%), de acordo com o Gráfico 2.
Gráfico 2 – Periódicos no PB
Fonte: Elaborado pelos autores.
O periódico Journal of European Industrial Training está em atividade desde 1977, mas, a partir de 2012, foi renomeado como European Journal of Training and Development. Esse periódico visa atender os profissionais, pesquisadores e gestores quanto às necessidades de treinamento e desenvolvimento exclusivamente da indústria, porém suas pesquisas não estão limitadas à Europa. Seus interesses de pesquisas são: a globalização e o desenvolvimento de Recursos Humanos, aprendizagem combinada e e-Learning, gestão de talentos e desenvolvimento de recursos humanos, call centers, centros de contato e centros de serviços, estratégia corporativa, cultura e Recursos Humanos, mercado de trabalho europeu, inovações na educação gerencial, visão regional sobre iniciativas de treinamento de pequenas empresas, abordagens europeias para desenvolvimento de Recursos Humanos e compromisso dos funcionários no desenvolvimento de recursos humanos.
O periódico acadêmico Public Personnel Management foi criado em 1972, divulgando pesquisas referentes ao desenvolvimento de Recursos Humanos na
0 1 2 3 4 5
Academy of Management…Advances in Developing… Career Development…European Journal of… Evaluation and Program…Human resource… Industrial and Commercial…Industrial Marketing… International Business… International Journal of… International Journal of… Journal of Business and…Journal of Engineering… Journal of European… Journal of Management in… Journal of Workplace LearningPersonnel Psychology
Public Administration and… Public Personnel ManagementRevista de Administração…
Safety Science Training and Development…
644 Administração Pública. Seus interesses na esfera pública envolvem as relações de trabalho, cultura, aprendizagem e reformas políticas, dentre outros.
4.2 Variável avançada
Na análise avançada, foram analisados os artigos sobre Avaliação de Desempenho de Programas de Treinamento, segundo algumas características encontradas nos estudos de Neely, Gregory & Platts (1995) e de Micheli e Mari (2014). Os níveis como o Sistema de Avaliação de Desempenho está sendo abordado no PB, conforme Neely, Gregory & Platts é apresentado no Gráfico 3.
Gráfico 3 – Níveis no PB
Fonte: Elaborado pelos autores.
A maioria dos estudos que utilizaram medidas individuais (28%) detinha questionários e entrevistas como instrumentos de coleta de dados para avaliar os Programas de Treinamentos (House & Tosi, 1963; Moffie, Calhoon & O'Brien, 1964; Sims, 1993; Birdi, 2005; Ghosh et al., 2011; Jeschke et al., 2017; Lee et al., 2017; Muhaisen & Asfour, 2017). Essas medidas não evidenciavam o alinhamento com a estratégia e/ou com os objetivos da organização (Lebas, 1995; Neely, Gregory & Platts, 1995; Ghalayini & Noble, 1996; Neely, 1999; Bourne et al.,2000; Otley, 2001), mesmo alguns autores mencionarem em sua fundamentação teórica que deveria haver tal alinhamento na Avaliação de Desempenho com as necessidades da organização (Moffie, Calhoon & O'Brien, 1964; Sims, 1993; Lee et al., 2017; Muhaisen & Asfour, 2017).
Ao observar o Gráfico 3, a grande parte dos artigos (48%) é constituída por conjuntos de medidas (Kirkpatrick, 1959; Mann & Robertson, 1966; Kuprenas, Madjidi & Alexander, 1999; Healy, 2001; 2002; Tennant, Boonkrong & Roberts, 2002; Alvarez, Salas & Garofano, 2004; Lingham, Richley & Rezania, 2006; Steensma & Groeneveld, 2010; Grohmann & Kauffeld, 2013; Curado & Teixeira, 2014; Getha-Taylor et al., 2015; Suliyanto & Setyawati, 2015; Lucas et al., 2017; Rahim, 2017), visto que apenas seis autores reconhecem, na elaboração da Avaliação, a estratégia como elemento crucial (Moffie, Calhoon & O'Brien, 1964; Kuprenas, Madjidi & Alexander, 1999; Tennant,
645 Boonkrong & Roberts, 2002; Lingham, Richley & Rezania, 2006; Steensma & Groeneveld, 2010; Lee et al., 2017). Outros autores somente comentam, em suas revisões de literatura ou considerações finais, o quanto a Avaliação de Programa de Treinamento incorporado em uma base estratégica construtiva é uma ferramenta poderosa para a formação de pessoal qualificado (Curado & Teixeira, 2014).
Apenas a pesquisa de Tasca, Ensslin e Ensslin (2012) considera a relação entre o Sistema e o ambiente de Avaliação de Desempenho. Ressalta-se que os artigos do PB, com exceção dos de Tasca, Ensslin e Ensslin (2012), não consideraram o ambiente externo. Isso foi constatado pela leitura de que a maioria dos artigos considera o ambiente interno como sendo o foco do programa, e não a organização (em si com seus colaboradores).
Nesse PB, os autores, ao construírem ou adaptarem as ferramentas, não focaram na dimensão financeira em seus níveis, optando principalmente em avaliar atitudes (Moffie, Calhoon & O'Brien, 1964; Kirkpatrick, 1979; Honeycutt & Stevenson, 1989; Mann & Robertson, 1996; Healy, 2001; Birdi, 2005; Steensma & Groeneveld, 2010; Grohmann & Kauffeld, 2013; Curado & Teixeira, 2014; Getha-Taylor et al., 2015; Suliyanto & Setyawati, 2015; Rahim, 2017) e conteúdo (Curado & Teixeira, 2014; Suliyanto & Setyawati, 2015; Lucas et al., 2017; Muhaisen & Asour, 2017); e aprendizagem (Kirkpatrick, 1979; Mann & Robertson, 1996; Kuprenas, Madjidi & Alexander, 1999; Healy, 2001; Birdi, 2005; Tasca et al., 2010; Steensma & Groeneveld, 2010; Grohmann & Kauffeld, 2013; Getha-Taylor et al., 2015; Suliyanto & Setyawati, 2015; Muhaisen & Asour, 2017; Lucas et al., 2017).
Pode-se observar pela leitura que a maioria das ferramentas foi usada com o foco na mensuração do Desempenho. Essas múltiplas dimensões (Otley, 2001), não primordialmente destinadas a apoiar a gestão, consequentemente impossibilitaram muitos de fornecerem melhorias para o desempenho.
Quanto à análise dos paradigmas e/ou fases subsequentes da evolução da mensuração por Micheli & Mari (2014), analisou-se a prática adotada por meio do posicionamento dos autores nas aplicações dessas ferramentas.
No Gráfico 4, evidencia-se que o paradigma metafísico foi o que mais norteou os autores do PB, com 41% de frequência. Esses estudos utilizam os preceitos explícitos do modelo de quatro níveis e consideram-no como a melhor configuração para se estruturarem os aspectos a serem avaliados pelos programas de treinamentos (Healy, 2001; Steensma & Groeneveld, 2010; Getha-Taylor et al., 2015).
646 Salas & Garofano, 2004; Grohmann & Kauffeld, 2013). Nota-se controvérsia no estudo de Alvarez, Salas & Garofano (2004) quando afirmam levar em conta, no topo do seu modelo, as necessidades (particularidades) do contexto, porém baseiam-se suas medidas em estudos anteriores.
Além disso, no estudo de Muhaisen & Asour (2017), os decisores participaram do processo de desenvolvimento do Programa de Treinamento, mas ficou instável na fase da Avaliação pela leitura.
Em relação aos estudos Relativistas, somente classificaram-se 28% dos artigos nesse grupo (Kirkpatrick, 1979; Kuprenas, Madjidi & Alexander, 1999; Tennant, Boonkrong & Roberts, 2002; Lingham, Richley & Rezania, 2006; Tasca, Ensslin e Ensslin, 2012; Suliyanto & Setyawati, 2015; Lucas et al., 2017). O artigo de Kirkpatrick (1979) estabelece o que deve se levar em conta para se montarem as medidas centradas nos quatros níveis, mais não define quais deveriam ser. O autor promove reflexão sobre quais medidas e técnicas poderiam ser consideradas pelo avaliador, porém, não houve aplicação do modelo.
Também verificou-se que o artigo de Kuprenas, Madjidi & Alexander (1999) fez uso de uma equipe de gestão de formação como múltiplos decisores e foram esses que identificarem no contexto quatro níveis para mensurar a eficácia do programa de treinamento de gestão. Esse foi o mesmo caso dos autores Lingham, Richley & Rezania (2006) que tiveram preocupação na construção das quatro fases de seu modelo ao considerar as perspectivas dos participantes e a organização.
Tennant, Boonkrong & Roberts (2002), na construção do modelo, deixam implícito que se devem ser levados em consideração os objetivos da organização. Para eles, os aspectos importantes são contexto e reações, porém o estudo não foi aplicado.
Os estudos de Suliyanto & Setyawati (2015) e Lucas et al. (2017) basearam sua avaliação na representação hierárquica de objetivos ou critérios (AHP). Segundo esse método, o tomador de decisão estaria envolvido na resolução do problema. No entanto, os autores não identificam os decisores.
Por fim, o estudo de Tasca, Ensslin e Ensslin (2012) deixa claro seguir uma abordagem Construtivista, a qual consiste em construir a realidade no processo decisório. Em seu modelo, a Fase de Estruturação progride de forma interativa com os objetivos e preferências do decisor e seu contexto.
647 Gráfico 4 – Periódicos no PB
Fonte: Elaborado pelos autores.
Ressalva-se que os 21% pertencem a estudos teóricos que revisam a Avaliação de Programas de Treinamento e estudos empíricos que aplicaram survey para entender como essa Avaliação é entendida em determinado contexto ou público-alvo.
Ao comparar os resultados encontrados na escolha e as análises acima do PB e com o arcabouço teórico de Avaliação de Desempenho Organizacional, observa-se que os estudos, em geral, não veem a Avaliação dos Programas de Treinamento como um processo social de aprendizagem na prática. Em geral, poucos artigos consideraram os interesses dos stakeholders em seus contextos.
Também, não reconhecem a avaliação dos Programas como forma de recompensar ou incentivar seus colaboradores. Em sua totalidade, não levam em consideração o alinhamento da estratégia com suas medidas, o que pode prejudicar a análise sobre a utilidade do Programa.
Em relação ao feedback da Avaliação dos Programas, alguns entendem isso como relevante e útil e ajuda a melhorar os Programas de Treinamento, mas, em suas ferramentas, não se identifica isso (Sims, 1993; Steensma & Groeneveld, 2010; Grohmann & Kauffeld, 2013; Lee et al., 2017). Quanto ao aspecto da cultura da Avaliação dos Programas, os estudos de Sims (1993) e Kucherov & Manokhina (2017) salientam esse aspecto. Contudo, os demais estudos do PB apontam que os Programas devem ter uma cultura de aprendizagem sem mencionar a Avaliação.
4.3 Identificações de oportunidades
Com base na análise desse fragmento da literatura, propõem-se oportunidades de pesquisa para a área de Avaliação de Desempenho de Programas de Treinamento, tanto para os pesquisadores, como para o cenário corporativo. Estas oportunidades proporcionaram progressos nos conhecimentos científico e prático:
648 Necessidade de alinhar as medidas de desempenho dos programas com os objetivos estratégicos da organização e do programa para ser capaz de gerir. Inteirar os ambientes externo e interno sobre a Avaliação dos Programas de
Treinamento.
Considerar os diversos stakeholders para que a Avaliação possa atender não só os instrutores.
Desenvolver modelos de Avaliação com enfoque nas particularidades de cada contexto.
Realizar diagnóstico dos modelos, focando em melhorar os níveis comprometedores da Avaliação de Desempenho.
As organizações devem observar as necessidades antes de dar ênfase apenas para a aprendizagem, satisfação ou motivação Isso são considerados aspectos psicológicos, sociológicos, financeiros e motivacionais.
Levar em conta a infraestrutura antes de aplicar um modelo padronizado. Construir modelos de Avaliação de Desempenho sob o viés Relativista, que
consideram as preferências do decisor.
Proporcionar a retroalimentação da Avaliação de Desempenho para os participantes do Programa, planejadores, instrutores e administração.
Implantar modelos de Avaliação de Desempenho que considerem a expansão do conhecimento do decisor na resolução de seu problema.
Incentivar a organização a investir na Avaliação dos Programas de Treinamento.
Estabelecer apoio da equipe de Tecnologia da Informação, a fim de minimizar a dependência de recursos externos que encarecem a construção do modelo. Promover a conscientização para toda a organização sobre Avaliação dos
Programas, consequentemente a aprendizagem social na organização.
Desenvolver parcerias entre os praticantes para sanar os problemas dos modelos de Avaliação de Programas.
Estudos empíricos que correlacionem a cultura da organização e a Avaliação dos Programas visto que esta seria uma barreira para sua implementação. Promover estudos com aplicação de modelos de Avaliação dos Programas, e
não somente a construção do design.
Os pesquisadores discutirem as falhas nos modelos da Avaliação de Desempenho e procurarem soluções.
Pesquisas longitudinais que mostrem o status do modelo.
Os pesquisadores da área necessitam promover parcerias com outras instituições de ensino para expandir o conhecimento e os objetos de estudos. Verificar se os praticantes, no setor público, consideram as características de
649 Pesquisas para identificar e solucionar as barreiras para a Avaliação de
Programas.
Pesquisas em que a Avaliação seja vista como adequada, e não como resultados verdadeiros.
Essas oportunidades devem ser analisadas por todos os praticantes dos setores privado e público.
5 CONSIDERAÇÕES FINAIS
As organizações são desafiadas, por meio do desenvolvimento de Programas de Treinamento eficazes para seus membros, como forma de competir e ter sucesso no ambiente volátil (Lingham, Richley & Rezania, 2006). Esses Programas podem atualizar os conhecimentos e influenciar o comportamento dos colaboradores na organização. Sendo assim, as organizações procuram avaliar os programas como modo de verificar a eficácia de seus efeitos e possivelmente potencializá-los, devido à importância da Avaliação de Desempenho dos Programas de Treinamentos para as organizações.
Este estudo teve como objetivo analisar as pesquisas referentes à Avaliação de Desempenho de Programas de Treinamento e demonstrar as oportunidades de pesquisa.
Os autores utilizaram o instrumento ProKnow-C e selecionaram 29 artigos relevantes para a Avaliação de Programas de Treinamento. Esse instrumento possibilitou a análise crítica de um fragmento da literatura sob a perspectiva de Neely, Gregory & Platts (1995) e de Micheli & Mari (2014) e permitiu incluir oportunidades de pesquisas para que avance o conhecimento da área.
Constatou-se que a área precisa investir em parcerias entre os praticantes em diferentes localidades do mundo a fim de ampliar os recursos organizacionais e aumentar a dispersão do conhecimento.
Ao se compararem os elementos propostos pela Avaliação de Desempenho Organizacional, averiguou-se que a maioria dos estudos do PB apresenta ausência de alguns elementos da Avaliação de Desempenho dos Programas de Treinamentos, como verificar a cultura, a relação do modelo com os ambientes externo e interno, as diversas partes interessadas, a estratégia e retroalimentação da Avaliação.
Durante a análise avançada observou-se a ausência de modelos de Avaliação de Desempenho dos Programas de Treinamentos sob a perspectiva Relativista que considerem as particularidades de cada organização e as preferências do decisor durante toda a Avaliação. Isso precisa gerar informações relevantes para a gestão interna, ou seja, é insuficiente para a Avaliação eficaz ter modelos focados apenas na mensuração. Os pesquisadores da área precisam reconhecer o limite da mensuração. Por fim, pela análise do PB, percebe-se que há, na Avaliação de Programas, lacunas a serem investigadas, mesmo que a literatura tenha debatido diversos assuntos dentro dessa área.
650 Como sugestão para pesquisas futuras, propõe-se ampliar as bases de dados, preencher as lacunas, analisar as variáveis avançadas por outros autores e desenvolver a análise sistêmica.
REFERÊNCIAS
Alvarez, K., Salas, E., & Garofano, C. M. (2004). An integrated model of training evaluation and effectiveness. Human resource development Review, 3(4), 385-416. [1]
Al-Athari, A., & Zairi, M. (2002). Training evaluation: an empirical study in Kuwait. Journal of European Industrial Training, 26(5), 241-251. [2]
Behn, R. D. (2003). Why measure performance? Different purposes require different measures. Public Administration Review, 63, 586-606.
Birdi, K. S. (2005). No idea? Evaluating the effectiveness of creativity training. Journal of European Industrial Training, 29(2), 102-111. [3]
Bititci, U.; Garengo, P.; Dörfler, V.; Nudurupati, S. (2012). Performance
measurement: Challenges for tomorrow*. International Journal of Management Reviews, 14(3), 305-327.
Bititci, U. S.; Garengo, P.; Ates, A.; Nudurupati, S. S. (2015). Value of maturity models in performance measurement. International Journal of Production Research, 53(10), 3062-3085.
Bourne, M.; Mills, J.; Wilcox, M.; Neely, A.; Platts, K. (2000). Designing, implementing and updating performance measurement systems. International Journal of
Operations & Production Management, 20(7), 754-771.
Carneiro-Da-Cunha, J. A.; Hourneaux Jr, F.; Corrêa, H. L. (2016). Evolution and chronology of the organizational performance measurement field. International Journal of Business Performance Management, 17(2), 223-240.
Castro, C. M. (1977). A prática da pesquisa. McGraw-Hill.
Choong, K. K. (2014). Has this large number of performance measurement
publications contributed to its better understanding? A systematic review for research and applications. International Journal of Production Research, 52(14), 4174-4197. Cuccurullo, C.; Aria, M.; Sarto, F. (2016). Foundations and trends in performance management. A twenty-five years bibliometric analysis in business and public administration domains. Scientometrics, 108(2), 595-611.
651 Franco-Santos, M.; Kennerley, M.; Micheli,P.; Martinez, V.; Mason,S.; Marr, B.;
Gray,D.; Neely. A. (2007). Towards a Definition of a Business Performance Measurement System. International Journal of Operations and Production Management, 27(8), 784-801.
Franco-Santos, M.; Lucianetti, L.; Bourne, M. (2012). Contemporary performance measurement systems: A review of their consequences and a framework for research. Management Accounting Research, 23, 79-119.
Getha-Taylor, H., Fowles, J., Silvia, C., & Merritt, C. C. (2015). Considering the effects of time on leadership development: A local government training evaluation. Public Personnel Management, 44(3), 295-316. [5]
Ghalayini, A. M.; Noble, J. S. (1996). The changing basis of performance
measurement. International Journal of Operations and Production Management, 16 (8), 63-80.
Ghosh, P., Prasad Joshi, J., Satyawadi, R., Mukherjee, U., & Ranjan, R. (2011). Evaluating effectiveness of a training programme with trainee reaction. Industrial and Commercial Training, 43(4), 247-255. [6]
Grohmann, A., & Kauffeld, S. (2013). Evaluating training programs: Development and correlates of the Questionnaire for Professional Training Evaluation. International Journal of Training and Development, 17(2), 135-155. [7]
Healy, P. (2001). Training and public sector reform: An integrated approach. Public Administration and Development, 21(4), 309-319. [8]
Honeycutt, E. D., & T. H. Stevenson (1989). Evaluating sales training programs. Industrial Marketing Management, 18(3), 215-222. [9]
House, R. J., & H. Tosi (1963). An experimental evaluation of a management-training program. Academy of Management Journal, 6(3), 303-315. [10]
Huque, A. S., & Vyas, L. (2008). Expectations and performance: Assessment of public service training in Hong Kong. International Journal of Human Resource Management, 19(1), 188-204. [11]
Jeschke, K. C., Kines, P., Rasmussen, L., Andersen, L. P. S., Dyreborg, J., Ajslev, J., Kabel, A., Jensen, E., & Andersen, L. L. (2017). Process evaluation of a Toolbox-training program for construction foremen in Denmark. Safety Science, 94, 152-160. [12]
Kirkpatrick, D. L. (1979). Techniques for Evaluating Training-Programs. Training and Development Journal, 33(6), 78-92. [13]
652 Kuprenas, J. A., Madjidi, F. & Alexander A. S. (1999). A Project Management
Training Program. Journal of Management in Engineering, 15(6), 47-55. [15] Lebas, M. J. (1995). Performance measurement and performance
management. International Journal of Production Economics, 41(1-3), 23-35.
Lee, C., Jean, D., Kim, W. & Lee, J. (2017). Evaluating Training for New Government Officials: A Case Study Using the Success Case Method. Public Personnel
Management, 46(4), 419-444. [16]
Lingham, T., Richley, B., & Rezania, D. (2006). An evaluation system for training programs: A case study using a four-phase approach. Career Development International, 11(4), 334-351. [17]
Lucas, R. I., Promentilla, M. A., Ubando, A., Tan, R. G., Aviso, K., & Yu, K. D. (2017). An AHP-based evaluation method for teacher training workshop on information and communication technology. Evaluation and Program Planning, 63, 93-100. [18] Mann, S. & Robertson, I. T. (1996). What should training evaluations evaluate? Journal of European Industrial Training, 20(9), 14-20. [19]
Melnyk, S. A.; Bititci, U.; Platts, K.; Tobias, J.; Andersen. B. (2014). Is performance measurement and management fit for the future? Management Accounting
Research, 25(2), 173-186.
Micheli, P. & Mari, L. (2014) The theory and practice of performance measurement. Management Accounting Research, 25(2), 147–156.
Moffie, D. J.; Calhoon, R.; O'brien, J. K. (1964). Evaluation of a management development program. Personnel Psychology, 17(4), 431-440. [20]
Muhaisen, A. S. & Asour, O. S. (2017). Developing and Evaluating Training Programs on Energy Efficient Building Design: The IUG Experience, Palestine. Journal of Engineering Research & Technology, 4(2), 43-47. [21]
Neely, A.; Gregory, M.; Platts, K. (1995). Performance measurement system design - A literature review and research agenda. International Journal of Operations &
Production Management, 15(4), 80-116.
Neely, A. (1999). The performance measurement revolution: why now and what next? International Journal of Operations & Production Management, 19(2), 205-228. Nudurupati, S.S.; Bititci, U.S.; Kumar, V.; Chan, F.T.S. (2011). State of the art
literature review on performance measurement. Computers & Industrial Engineering, 60(2), 279-290.
653 Rahim, S. A. (2017). Evaluation of the effectiveness of training programmes of Islami Bank Bangladesh Limited. Journal of Business and Retail Management Research, 11(3), 154-164. [22]
Richardson, R. J. (1999). Pesquisa social: métodos e técnicas. São Paulo: Atlas. Sims, R. R. (1993). Evaluating public-sector training-programs. Public Personnel Management, 22(4), 591-615. [23]
Steensma, H. & Groeneveld, K. (2010). Evaluating a training using the four levels model. Journal of Workplace Learning, 22(5), 319-331. [24]
Suliyanto, W. N., & Setyawati, S. M. (2015). Training program evaluation on batik micro small medium enterprises (MSMEs), An analytical hierarchy process (AHP) method. International Business Management, 9(3), 251-257. [25]
Tasca, J. E., Ensslin, L., & Ensslin, S. R. (2012). A avaliação de programas de
capacitação: um estudo de caso na administração pública. Revista de Administração Pública-RAP, 46(3), 647-675. [26]
Tasca, J. E., Ensslin, L., Ensslin, S. R. & Alves, M. B. M. (2010). An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, 34(7), 631-655. [27]
Taticchi, P.; Balachandran, K.; Tonelli, F. (2012). Performance measurement and management systems: state of the art, guidelines for design and challenges. Measuring Business Excellence, 16(2), 41-54.
Tennant, C., Boonkrong, M., & Roberts, P. A. (2002). The design of a training
programme measurement model. Journal of European industrial training, 26(5), 230-240. [28]
Thiel, G. G., Ensslin, S. R., & Ensslin, L. (2017). Street lighting management and performance evaluation: opportunities and challenges. Lex Localis, 15(2), 303-328. Valmorbida, S. M. I., & Ensslin, S. R. (2015). Avaliação de Desempenho de Rankings Universitários: Revisão da Literatura e diretrizes para futuras investigações. Anais do XXXIX Encontro da ANPAD (EnANPAD 2015) Belo Horizonte MG, 13.
Valmorbida, S. M. I., Ensslin, S. P. R., Ensslin, L., & Ripoll-Feliu, V. M. (2016). Rankings universitários mundiais. Que dizem os estudos internacionais?. REICE-Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 14(2), 5-29. Van Camp, J.; Braet, J. (20160. Taxonomizing performance measurement systems failures. International Journal of Productivity and Performance Management, 65(5), 672-693.
