Estudo sobre o Processo de Implementação do Sistema de Medição de Desempenho em Empresas Manufatureiras
Edwin Cardoza (EESC/USP) cardozaed@yahoo.com Luiz C. R. Carpinetti (EESC/USP) carpinet@prod.eesc.sc.usp.br
Roberto A. Martins (UFSCar) martins@power.ufscar.br
Resumo
Na literatura são apresentadas várias práticas de como medir e avaliar o desempenho organizacional. Entretanto, apesar do grande desenvolvimento teórico dos modelos propostos, pouco é discutido sobre a implementação dos sistemas de medição de desempenho (SMD’s). Tendo em vista essa questão, o objetivo principal deste trabalho é investigar os efeitos positivos e os problemas decorrentes da implementação de um SMD. A pesquisa exploratória foi realizada em duas fábricas do interior do Estado de São Paulo, que recentemente desenvolveram e implementaram um novo SMD. No estudo é utilizado como método de pesquisa a entrevista em grupos de foco (“Focus Group”). Neste caso, a equipe selecionada era responsável pela perpetuação e divulgação do projeto na empresa. Para finalizar são apresentadas várias recomendações sobre como melhorar o processo de implementação do SMD.
Palavras-chave: Medição de desempenho, Gestão de desempenho, Gestão da melhoria.
1. Introdução
A competição presente na maioria dos mercados e as mudanças tecnológicas pressionam as empresas a desenvolver e utilizar novas ferramentas e métodos de gestão empresarial. Assim, a velocidade com que as empresas conseguem adaptar seus processos de negócio aos novos conceitos define o sucesso que é alcançado ao satisfazer os clientes.
Algumas práticas de melhoria e teorias demonstram que os objetivos estratégicos e as vantagens competitivas podem ser alcançados com mais facilidade quando os processos críticos de negócio são integrados e avaliados por indicadores de desempenho financeiros e não-financeiros (BITITCI et al., 1997).
Com o objetivo de garantir esses aspectos, os resultados planejados, desenvolver o projeto de medidas de desempenho, entre outros, vários pesquisadores publicaram modelos de referência de SMD’s: Balanced Scorecard (KAPLAN & NORTON, 1996), Performance Prism (NEELY & ADAMS, 2001), Integrated Performance Measurement Systems (BITITCI et al., 1997), Estrutura de Indicadores de Gestão (MUSCAT & FLEURY, 1992), Performance Measurement Questionnaire (DIXON et al., 1990) e Performance Pyramid (CROSS &
LYNCH, 1990). Ainda, outros autores propuseram procedimentos para o desenvolvimento e a implementação de sistemas de medidas de desempenho (RENTES et al., 2002; MARTINS, 2002; VAN AKEN et al., 2001; NEELY et al., 2000; BITITCI et al., 2001; NEELY et al., 1997; FLAPPER et al., 1996).
Ao desenvolver um projeto de sistema de medição de desempenho devem ser realizadas
várias atividades. Bourne et al. (2002), Rentes et al. (2002), Van Aken et al. (2001), Neely
(1999), e Flapper et al. (1996) ressaltam que dentre todas as fases envolvidas nesse tipo de ação, atualmente o tópico mais importante e problemático é o processo de implementação das medidas de desempenho. Diversos autores descrevem que nessa etapa devem ser gerenciados vários fatores (processos de revisão, modificação e desenvolvimento de métricas, pessoas, infraestrutura, uso da informação e cultura organizacional) que afetam a evolução dos SMD’s nas empresas (KENNERLEY & NEELY, 2002; MARTINS, 2002; RENTES et al., 2000;
SCHNEIDERMAN, 1999).
Considerando essa problemática, o objetivo principal deste trabalho é investigar os efeitos positivos e os problemas decorrentes do processo de implementação de SMD’s. A pesquisa foi realizada em duas fábricas do setor metal-mecânico localizadas no interior do Estado de São Paulo, que recentemente desenvolveram e implementaram um novo SMD. As informações foram coletadas por meio de entrevistas em grupos de foco (“Focus Group”). Os entrevistados eram os responsáveis pela disseminação e perpetuação dos SMD’s nas empresas.
Na próxima seção será descrito o referencial teórico utilizado para discutir o problema de pesquisa. Em seguida, são apresentadas as informações coletadas nas empresas. Para finalizar são realizadas algumas considerações sobre os processos de implementação dos SMD’s estudados.
2. Implementação dos sistemas de medição de desempenho
Durante muitos anos, os gestores utilizaram os indicadores financeiros para avaliar o desempenho dos negócios, pessoas, áreas administrativas e operacionais. Na maioria das vezes, as medidas expressavam o desempenho em unidades monetárias (fluxo de caixa, lucro, investimentos etc.) ou em termos de porcentagens (produtividade, eficiência, eficácia, absenteísmo, refugo etc.).
Críticos dessas medidas tradicionais ressaltam que: esse tipo de informação não revela as mudanças ou as melhorias nos processos de negócio (BITITCI et al., 1997), são informações de curto prazo que não retratam os resultados das ações de melhoria, não são focalizadas na satisfação dos consumidores e dificilmente as métricas dos processos operacionais são alinhadas com os objetivos estratégicos da companhia (KAPLAN & NORTON, 1996), não agregam valor no processo de formulação e acompanhamento de políticas industriais (MUSCAT & FLEURY, 1992), incentivam a otimização localizada nas empresas (NEELY et al., 1997) e, na maioria das vezes, são utilizados como sistemas de controle das atividades realizadas pelas pessoas (OTLEY, 1999).
As mudanças tecnológicas que ocorrem no mundo dos negócios e a pressão que as forças do mercado (demanda e competitividade) exercem nas empresas, demonstram que os modelos de avaliação de desempenho tradicionais são limitados para gerenciar os negócios empresariais.
Kaplan & Norton (1996) ressaltam que nos próximos dez anos várias empresas vão adotar os novos sistemas de medidas de desempenho (com métricas financeiras e não-financeiras) como modelos de gestão empresarial. Portanto, é um tema que está acompanhando e crescendo conforme a dinâmica do mercado. Neely (1998) descreve que verificar a posição (check position), comunicar a posição (communicate position), identificar as prioridades (confirm priorities) e motivar o progresso (compel progress) são as quatro razões que justificam a avaliação do desempenho das organizações.
Essas preposições motivaram vários pesquisadores a desenvolver novos modelos de medição
de desempenho. Entre os mais divulgados e utilizados podem ser citados: Balanced Scorecard
(KAPLAN & NORTON, 1996), Performance Prism (NEELY & ADAMS, 2001), Integrated
Performance Measurement Systems (BITITCI et al., 1997), Estrutura de Indicadores de Gestão (MUSCAT & FLEURY, 1992), Performance Measurement Questionnaire (DIXON et al., 1990) e Performance Pyramid (CROSS & LYNCH, 1990).
Paralelo a essa nova prática surgem os procedimentos para implementação dos novos SMD’s nas empresas (RENTES et al., 2002; MARTINS, 2002; VAN AKEN et al., 2001; RENTES et al., 2000; NEELY et al., 2000; BITITCI et al., 2001; NEELY et al., 1997; FLAPPER et al., 1996). A Figura 1 apresenta os passos ou as etapas para desenvolver (projetar) e utilizar (implementar) um SMD. É importante ressaltar que as atividades propostas pelos modelos teóricos têm os mesmos princípios e significados, conforme pode ser observado nos trabalhos publicados por Rentes et al. (2002), Rentes et al. (2000), Van Aken et al. (2001), Bititci et al.
(2001), Neely et al. (2000), Neely et al. (1997), Kaplan & Norton (1996), Flapper et al.
(1996), Dixon et al. (1990) e Cross & Lynch (1990).
Figura 1 - Etapas de desenvolvimento, implementação e utilização do SMD
Adaptado de Rentes et al. (2002), Martins (2002), Van Aken et al. (2001), Neely et al. (2000) e Bititci et al. (1997)
A seguir, apresenta-se um resumo geral dos passos mínimos necessários para o desenvolvimento e implementação dos novos SMD’s:
- a primeira atividade é definir os objetivos estratégicos das unidades organizacionais, identificando as competências, oportunidades, ameaças e restrições globais que a empresa
Identificar os objetivos estratégicos
PROJETO
Definir as áreas críticas do
processo (ACP’s) Definir as métricas de desempenho das
ACPS’s
IMPLEMENTAÇÀO
DESENVOLVIMENTO
UTILIZAÇÃO
Implementação das métricas de desempenho Visualização e
Comunicação do desempenho Identificar e
implementar iniciativas de
melhorias Rever o impacto
no desempenho da empresa
Apontar a necessidade
de medir
Identificar os objetivos estratégicos
PROJETO
Definir as áreas críticas do
processo (ACP’s) Definir as métricas de desempenho das
ACPS’s
IMPLEMENTAÇÀO
DESENVOLVIMENTO
UTILIZAÇÃO
Implementação das métricas de desempenho Visualização e
Comunicação do desempenho Identificar e
implementar iniciativas de
melhorias Rever o impacto
no desempenho da empresa
Apontar a necessidade
de medir
sofre pelo ambiente externo e interno;
- em seguida, é necessário identificar as áreas críticas de desempenho (ACP’s). As ACP’s são os fatores críticos de sucesso que levam a organização a alcançar os objetivos estratégicos;
- outra atividade essencial no início do projeto é apontar a necessidade de medir o desempenho da empresa, identificando os fatores externos e internos que afetam a performance das unidades de negócio;
- a seguir, a equipe define as métricas de desempenho apropriadas para cada uma das ACP’s.
Para definir corretamente as medidas se recomenda utilizar a folha de registro (record sheet) proposta por Neely et al. (1997) e seguir os princípios listados por Van Aken et al. (2002);
- depois, o projeto de SMD deve ser implementado. Ao mesmo tempo, a proposta deve ser revista pelos participantes;
- outra atividade importante é o meio que será utilizado para comunicar e visualizar o desempenho da empresa; e
- finalmente, as últimas etapas são identificar e implementar as iniciativas de melhorias nas áreas que apresentam resultados insatisfatórios e rever o impacto dessa melhoria no desempenho geral da empresa.
Muitos dos problemas e barreiras enfrentados pelas empresas com os novos SMD’s são associados ao procedimento utilizado na implementação (KENNERLEY & NEELY, 2002;
BOURNE et al., 2002; MARTINS, 2002; BOURNE, 2002; RENTES et al., 2002; NEELY et al., 2000; RENTES et al., 2000; SCHNEIDERMAN, 1999). Ou seja, várias pesquisas demonstram que apenas desenvolver um bom projeto de SMD não é suficiente para garantir resultados positivos nas organizações. Kennerley & Neely (2002) e Bourne et al. (2002) ressaltam que o sucesso do projeto pode ser alcançado com mais facilidade quando são identificadas as forças (fatores que influenciam a introdução de novas medidas, modificação das métricas existentes e eliminação das medidas obsoletas) e as barreiras (fatores que impedem que a mudança seja efetiva) que dificultam a implementação dos SMD’s nas empresas.
Recentemente, em uma pesquisa realizada com sete empresas da Europa, foi identificado que os problemas que ocorrem no processo de implementação podem ser classificados em quatro categorias: falhas no processo de desenvolvimento, problemas com as pessoas, adaptação dos modelos de SMD’s e os aspectos culturais da empresa (KENNERLEY & NEELY, 2002, BOURNE et al. 2002). Outros pesquisadores apontam que os SMD’s falham porque as métricas não são integradas com os objetivos estratégicos (FLAPPER et al., 1996), falta relacionamento e equilíbrio entre as medidas financeiras e não-financeiras, escassez de recursos financeiros, ausência de envolvimento e participação dos funcionários (VAN AKEN et al., 2001, SCHNEIDERMAN, 1999), dificilmente é definido como a informação será utilizada (MARTINS, 2002) e faltam métodos para assegurar a coleta, análise, interpretação e disseminação dos dados na empresa (NEELY, 1998).
Assim, percebe-se que investigar os resultados do processo de implementação do SMD é importante para o gerenciamento da melhoria e mudança organizacional. Ainda, outras questões precisam de respostas para melhorar o debate sobre o tema, como por exemplo:
como produzir a informação para modelar o desempenho da organização? como transformar a
informação em soluções inteligentes (gerenciamento de tomada de decisão)? qual é a
quantidade suficiente de medidas para avaliar o desempenho da empresa? como implementar
e usar os SMD’s? A seguir será descrita a experiência de duas fábricas do setor metal-
mecânico, que no ano de 2002 desenvolveram e implementaram novos SMD’s.
3. Descrição dos projetos de SMD’s implementados nas indústrias manufatureiras
Na pesquisa de campo, o problema investigado foi abordado qualitativamente. O procedimento científico utilizado para reunir os dados é conhecido como Focus Group. Esse tipo de pesquisa é utilizado para conduzir entrevistas em grupos pré-definidos no ambiente natural que ocorre um determinado fenômeno (OLIVEIRA & FREITAS, 1998).
Empresa 1
A primeira empresa é uma subsidiária de um grupo norte-americano. No Brasil, ela é uma das maiores fábricas de componentes que são utilizados na refrigeração doméstica, comercial e condicionadores de ar. O parque industrial é formado por duas plantas onde funcionam seis unidades de negócio de manufatura (fundição, estamparia, usinagem, fabricação de peças, pintura e expedição), integradas e denominadas de MBU’s (manufacturing business units), e cinco setores administrativos (finanças, recursos humanos, fornecedores, vendas e manutenção).
No inicio de 2002, a empresa começou o processo de implementação de um novo SMD. Com o objetivo de reunir as informações sobre os resultados do procedimento de implementação seguido pela companhia, os pesquisadores planejaram e realizaram entrevistas com os funcionários responsáveis pelo projeto (supervisores das linhas de produção e com o gerente de todos os processos produtivos de uma das plantas).
Entre as principais características desse novo programa podem-se citar: o projeto do SMD foi desenvolvido pela alta administração - porque a matriz passou a exigir e avaliar o desempenho de todas as subsidiárias do grupo; o objetivo principal do programa era facilitar a comunicação entre as MBU’s e a alta administração; o SMD seria implementado em todas as áreas da empresa; e a revisão das medidas seria realizada com uma freqüência de oito meses.
Entretanto, até o final do ano passado, o projeto só havia sido implementado em uma das MBU’s (fabricação de peças) e as métricas de desempenho do processo produtivo ainda não haviam sido revistas.
Outro aspecto importante do novo sistema de medição de desempenho é a maneira como seria avaliada a performance da planta industrial, i.e., o desempenho das linhas de produção deixou de ser apresentado por índices específicos (porcentagem) e no lugar dessa informação os administradores passaram a divulgar por meio de gráficos o desempenho global de todas as MBU’s. Como decorrência desse novo critério, as medidas de desempenho apresentam informações gerais da planta, impedindo a visualização de particularidades dos processos de produção, algo que o antigo sistema possibilitava aos gerentes e supervisores. Contudo, é importante ressaltar que não foram incluídas novas métricas de desempenho no novo SMD.
Conforme os entrevistados, esse aspecto é questionado e discutido apenas pelos supervisores das linhas de produção.
No novo modelo apresentado, são consideradas seis áreas de desempenho: busca contínua da perfeição; gerenciamento visual; equipes com poder de decisão; local limpo, seguro e organizado; produção just-in-time e programa 50ppm (número de peças com defeitos por milhão). Segundo as informações reunidas nas entrevistas, para cada uma delas ainda faltam definir as métricas de desempenho e caracterizar na prática ou no dia-a-dia da empresa qual é o significado.
As informações do novo SMD são utilizadas pelos gerentes de todas as linhas de produção,
principalmente quando participam das reuniões mensais com os administradores de outras
áreas (financeira, fornecedores, marketing, vendas e manutenção). Os objetivos dessas reuniões são avaliar o desempenho da planta industrial e definir quais são as ações de melhoria que serão implementadas nas áreas com menor desempenho.
Empresa 2
A segunda empresa investigada é uma fábrica de estruturas metálicas, pertencente a um grupo nacional, que presta serviços na área de energia e telecomunicações e fornece uma vasta gama de produtos nos segmentos de transporte metro-ferroviário, geração de energia, metalurgia e movimentação de materiais em portos.
Segundo os entrevistados, os principais motivos que levaram a diretoria da empresa no início de 2002 a buscar um novo sistema de medição de desempenho foram: o conteúdo do banco de dados era incerto, tornando difícil a avaliação do desempenho da empresa; os dados eram desatualizados, ou seja, era comum entregar o produto ao cliente e não registrar sua saída na central de informações; e por último, as informações eram centralizadas nas pessoas e era comum usar meios informais para avaliar o desempenho da fábrica.
Para resolver esses problemas, o primeiro passo da empresa foi contratar uma empresa de consultoria. A proposta desenvolvida pelos consultores foi apresentada aos pesquisadores pelos gerentes das áreas de manufatura e planejamento e controle da produção. As principais características do novo SMD são: para cada um dos projetos da fábrica existem módulos (conjunto de métricas) de financiamento, engenharia e planejamento; as informações são atualizadas semanalmente na central de dados e revistas mensalmente; as medidas de desempenho são revistas freqüentemente pelos coordenadores dos projetos; e auditorias são realizadas no apontamento dos funcionários. Os entrevistados ressaltaram que a principal contribuição do novo SMD é a formalidade e a segurança que os novos dados de desempenho da empresa apresentam.
Na fase de implementação do projeto a diretoria da empresa decidiu deixar o trabalho de perpetuação e divulgação com os próprios usuários do novo sistema de medição de desempenho. Conforme os entrevistados, alguns problemas foram enfrentados pelos funcionários. Primeiramente, o projeto foi desenvolvido entre os agentes da consultoria e a alta administração. Entretanto, a implementação ficou sob a responsabilidade do coordenador do produto. Esse aspecto dificultou o avanço e compreensão do SMD nos setores da empresa.
Outras barreiras identificadas pelos próprios gerentes foram: a falta de treinamento, resistência à mudança, e a necessidade dos usuários de inclusão de novas medidas e eliminação das obsoletas.
3.1 Efeito dos processos utilizados na implementação dos novos SMD’s
Entre as vantagens alcançadas pelas empresas com a implementação dos novos SMD’s, segundo os entrevistados, pode-se citar que a mais importante é a formalização dos dados no ambiente interno. Em função do estágio de implementação que atualmente os SMD’s se encontram nas fábricas, é difícil avaliar ou afirmar se outros benefícios serão alcançados.
Nos dois casos apresentados, percebe-se que os responsáveis pelo desenvolvimento do sistema de medição de desempenho não participaram na fase de implementação. Além disso, no desenvolvimento do projeto não ficou evidente se foi adotado algum modelo teórico.
Bititci et al. (2001) e Neely et al. (2000) apontam que essa atitude faz as empresas perderem a
oportunidade e os benefícios de utilizar ferramentas e técnicas para avaliar e identificar
claramente as ACP’s, os fatores que afetam o desempenho e o relacionamento das principais
medidas de desempenho da empresa.
Na empresa 1, pôde-se perceber que os funcionários pretendem continuar usando o antigo sistema de informações porque ele permite-lhes avaliar e controlar melhor as atividades do setor operacional. Dessa forma, eles acabaram criando um sistema paralelo ao implementado pela organização. Esse problema pode ser resolvido se antes de pôr em prática o projeto for avaliado como a informação contribuirá no local que será divulgada (VAN AKEN et al., 2001). Nesse sentido, Martins (2002) defende que o uso da informação deve ser um direcionador do projeto de um SMD.
Nos casos descritos, observa-se que na fase de desenvolvimento do SMD participaram a alta administração e os gerentes. Na empresa 2, eles foram apoiados por consultores, porém faltou a participação dos usuários do SMD. Esse problema deve ser eliminado, porque com o envolvimento e participação dos funcionários se torna mais fácil reduzir as barreiras culturais que aparecem durante o processo de implementação do SMD (KENNERLEY & NEELY, 2002; BOURNE et al., 2002). Finalmente, na pesquisa de campo percebeu-se que os conceitos básicos teóricos de SMD, como por exemplo: integração, relacionamento, critérios de desempenho e tecnologia, entre outros, na prática ainda são pouco considerados pelas empresas estudadas, dificultando com isso o uso correto da informação.
4. Considerações finais
O estudo demonstrou que os resultados positivos ou os problemas decorrentes da implementação do SMD dependem da maneira de como são trabalhados os aspectos gerais do ambiente da organização (competitividade entre projetos, recursos disponíveis, comunicação, participação etc.) e da sistemática adotada para desenvolver e implementar o projeto de SMD.
Certamente, adotando as etapas propostas pelos autores as chances de descobrir os erros do projeto e resolve-los antes de iniciar o processo de implementação são maiores.
Melhorar a qualidade do debate sobre o tema na empresa seria um passo inicial para se garantir o sucesso do projeto de SMD. Outra recomendação seria usar as respostas das seguintes questões:
- qual é o modelo de referência e o procedimento de implementação que deve ser usado pela empresa?;
- como será garantido que o SMD vai ser utilizado corretamente pelos funcionários?; e - como as pessoas contribuem na implementação do SMD?
Essas informações são importantes porque permitem comparar quais são os benefícios e as limitações dos modelos teóricos na hora de desenvolver e implementar um SMD. Ainda, para alcançar o sucesso com esse tipo de programa, a equipe responsável pelo projeto deve definir quais são as forças que impulsionam (facilitadores) seus funcionários a implementar as métricas de desempenho (KENNERLEY & NEELY, 2002; BOURNE et al., 2002).
Finalmente, destaca-se que as duas empresas investigadas não seguiram as propostas na fase de implementação. Como conseqüência deste fato, poucas vantagens apareceram com o novo sistema de medição de desempenho.
Referências bibliográficas
BITITCI, U.S.; CARRIE, A.S.; McDEVITT, L. Integrated performance measurement systems: a development guide. International journal operations & Production management, v.17, n.5, p.522-534, 1997.
BITITCI, U.S.; SUWIGNJO, P.; CARRIE, A.S. Strategy management through quantitative modeling of performance measurement systems. International journal production economics, v.69, p.15-22, 2001.
BOURNE, M. Researching performance measurement system implementation: the dynamics os sucess and failure. In: XXII Encontro nacional de engenharia de produção & VIII International conference on industrial management and operation management, Curitiba, PR, 2002.
BOURNE, M.; NEELY, A.; PLATTS, K.; MILLS, J. The success and failure of performance measurement initiatives: perceptions of participating managers. International journal of operations & Production management. v.22, n.11, p.1288-1310, 2002.
CROSS, K.F.; LYNCH, R.L. Managing the corporate warriors. Quality progress, v.23, n.4, p54-59, 1990.
DIXON, J.R.; NANNI, J.R.; A, VOLLMANN. T.E. The new performance challenge: measuring operations for world-class competition. New York, NY. Business One Irwin, c.4, p.66-91, 1990.
FLAPPER, S.D.P.; FORTUIN, L.; STOOP, P.P.M. Towards consistent performance management systems.
International journal operations & Production management, v.16, n.7, p.27-37, 1996.
KAPLAN, R.S.; NORTON, D.P. Using the balanced scorecard as a strategic management system. Harvard business review, v.74, n.1, p.75-85, jan./feb., 1996.
KENNERLEY, M.; NEELY, A. A framework of the factors affecting the evolution of performance measurement systems. International journal of operations & Production management, v.22, n.11, p.1222-1245, 2002.
MARTINS, R.A. The use of performance measurement information as a drive in designing a performance measurement system. Proceedings of the third performance measurement and management conference.
Performance measurement association, Boston, MA, p.371-378, 2002.
MUSCAT, A.R.N.; FLEURY, A.C.C. Indicadores de qualidade e produtividade na indústria brasileira. Revista de indicadores da qualidade e produtividade, v.1, n.1, p.83-107, fev., 1992.
NEELY, A. Measuring business performance. London, The Economics, c.3, p.70-89, 1998.
NEELY, A.; MILLS, J.; PLATSS, K.; RICHARDS, H.; GREGORY, M.; BOURNE, M.; KENNERLEY, M.
Performance measurement system design: developing and testing a process-based approach. International journal of operations & Production management, v.20, n.10, p.1119-1145, 2000.
NEELY, A. The performance measurement revolution: why now and what next?. International journal operations & Production management, v.19, n.2, p.205-228, 1999.
NEELY, A.; ADAMS, C. Perspectives on performance: The performance Prism. Cranfield, UK, Center for business performance (working paper), 2001.
NEELY, A.; RICHARDS, J. M.; PLATTS, K.; BOURNE, M. Designing performance measures: a structured approach. International journal of operations & Production management,. v.17, n.11, p.1131-1152, 1997.
OLIVEIRA, M; FREITAS, H. Focus group, pesquisa qualitativa: resgatando a teoria, instrumentalizando o seu planejamento. Revista de administração da Universidade de São Paulo, v.33, n.3, p.83-91, 1998.
OTLEY, D. Performance management: a framework for management control systems research. Management accounting research, v.10, p.363-382, 1999.
RENTES, A.F.; CARPINETTI, L.C.R.; VAN AKEN, E.M. Measurement system development process: a pilot application and recommendations. Proceedings of the third performance measurement and management conference, Performance measurement association, Boston, MA, 2002.
RENTES, A.F.; VAN AKEN, E.M. Performance measurement system development process and case application. Enterprise engineering research Lab. working paper, Blacksburg, VA, Virginia Tech, 2000.
SCHNEIDERMAN, A.M. Why balanced scorecards fail. Journal of strategic performance measurement, January, p.6-10, 1999.
VAN AKEN, E.M.; KLEIN, S.; GROESBECK, R. Building better performance measurement systems.
Enterprise engineering research Lab. working paper, Blacksburg, VA, Virginia Tech, 2001.
