MÉTRICAS E MÉTODOS DE AVALIAÇÃO DE DESEMPENHO EM
PESQUISA E DESENVOLVIMENTO
Julio Cezar de Souza (UFAM) - julio.souza@samsung.com.br Márcia Helena Veleda Moita (UFAM) - marciamoita@ufam.edu.br
Silvana Dacol (UFAM) - sdacol@ufam.edu.br
Léo Fernando Castelhano Bruno (UFAM) - leobruno@fdc.org.br
RESUMO
O presente artigo tem o objetivo de apresentar uma revisão de estudos prévios sobre as métricas e métodos utilizadas para análise do desempenho em Pesquisa e Desenvolvimento, além de clarificar o entendimento da influência dos fatores e dimensões utilizados nos processos de avaliação de performance em P&D. As métricas e os métodos utilizados são categorizados em agrupamentos feitos com base nos objetivos da avaliação de P&D, nos níveis de medição relatados, no tipo de P&D objeto de medição, e na fase do processo de P&D onde o método de avaliação é sugerido. Além disso, são feitas distinções entre as métricas utilizadas em aplicações reais e aquelas sugeridas na literatura. Os resultados apresentados permitem a avaliação da aplicabilidade da medida ou método de medição para situações específicas em que se deseje medir o desempenho de P&D, além de esclarecer a complexidade das diferentes métricas, categorizando-as de acordo com dimensões gerais que cobrem diferentes organizações. O agrupamento final de medidas mais adequadas a cada organização depende de diversos fatores, sendo específico para cada empresa. Ou seja, não existe um agrupamento comum e universal de medidas. No entanto, através do reconhecimento das diferentes métricas e dimensões as organizações podem conhecer diferentes possibilidades, e podem usar as medições mais adequadas para suas necessidades específicas.
Palavras chave: P&D, analise de desempenho, métricas e métodos
ABSTRACT
assessment in P&D. The metrics and the methods used are categorized in groupings carried out grounded on the objectives of the P&D assessment at the reported level of measurement, on the type of P&D object of the measurement, and at the stage of the P&D process where the assessment method is suggested. Further, distinctions are made between the metrics used in actual applications and those suggested in the literature. The results presented allow for the assessment as to the applicability of the measurement or measuring method in specific situations in which the measuring of the P&D performance is desired, besides shedding some light on the complexity of different metrics by categorizing them in accordance with the general dimensions which cover different organizations. The most adequate final grouping of measurements for each organization depends on a number of factors being company-specific. That is, there is no one common and universal grouping of measures. However, through the acknowledgement of different metrics and dimensions, the organizations can become aware of different possibilities and will be able those measurements which are more adequate for their specific needs.
Keywords: P&D. Performance Assessment, metrics and methods
1. INTRODUÇÃO
O presente estudo concentra-se em revisar estudos prévios da performance e analise para pesquisa e desenvolvimento (P&D) e classificar as métricas e métodos reportados na literatura para avaliação da performance da P&D. O principal objetivo do estudo é incrementar e estruturar o entendimento da influência dos fatores e dimensões da análise de performance de P&D em medidas aplicáveis ou métodos de avaliação de desempenho.
As medidas e métodos de avaliação de P&D podem ser classificados de diversas formas. No presente estudo os principais agrupamentos são feitos com base nos objetivos das medidas de performance de P&D, nos níveis de avaliação sugeridos ou reportadas, nos tipos de P&D como sujeito de medição, nas perspectivas de medições e na fase do processo de P&D onde a medida e o método de avaliação é sugerido para ser aplicado. Adicionalmente, caso reportado, uma distinção é feita entre as medidas utilizadas nas aplicações do mundo real e aqueles sugeridos na literatura acadêmica. As análises das medidas reportadas apresentam comentários e sugestões sobre a aplicabilidade da medida ou método de avaliação para certas situações ou objetivos específicos.
controle sistemático. Uma parte do orçamento era destinada às atividades de pesquisa e desenvolvimento, sendo que os gestores naturalmente esperavam que produtos comercializáveis pudessem surgir como resultado do investimento. As características associadas com as atividades de P&D também aumentaram as dificuldades da avaliação de desempenho. Agora, diferentes estruturas organizacionais e modelos de controle têm forçado muitos gerentes a repensar os mecanismos relacionados à pesquisa e desenvolvimento e seu controle. Um dos motivos mais críticos para medir performance de P&D no nível da empresa é a validação dos investimentos definidos para P&D, ou seja, a pesquisa e o desenvolvimento têm de provar sua produtividade e significância para toda a empresa. O fato é que os investimentos em P&D sempre competem com outros investimentos dentro da organização. Um grande número de métricas ou métodos de avaliação de performance da P&D têm sido reportadas na literatura durante a última década. Neste estudo procura-se esclarecer a complexidade dos diferentes tipos de métricas classificando-as com a ajuda de dimensões de medição que poderiam vir a ser utilizadas em quaisquer organizações. O grupo final das métricas a serem utilizadas depende de inúmeros fatores e é especifico para cada tipo de organização. Isto significa que grupos comuns e universais de medidas de P&D não existem. Entretanto, com o conhecimento e entendimento dos diferentes tipos de métricas e dimensões relatadas as organizações podem tornar-se mais cientes das diferentes possibilidades, e podem usar as medições mais adequadas como checklists para objetivos de medição específicos.
2. REVISÃO BIBLIOGRÁFICA DAS MÉTRICAS E MÉTODOS DE AVALIAÇÃO DE P&D.
2.1 Análise das dimensões de desempenho do P&D e fatores que influenciam a seleção das métricas de avaliação.
de controle estratégico escolhido para a organização de P&D são tidos como de importância em desenvolver os sistemas de medidas para P&D (KERSSENS-VAN DROGELEN, 1999). Neste estudo, estes fatores podem ser vistos como restrições que têm conseqüentemente influência nas dimensões discutidas acima. Como exemplo, dependendo das características da industria na qual opera e no controle geral do modelo das organizações, as firmas enfatizam certos tipos de P&D e têm certos objetivos de medição, que poderiam ser, por exemplo, pesquisa de mercado de concorrentes de P&D em uma industria fortemente competitiva. Na literatura podemos encontrar diversas sugestões para a medição do P&D em diferentes estágios ou diferentes propósitos, ou para qual tipo de métodos de avaliação para usar para certos tipos de P&D. Estes aspectos, discutidos na seção posterior, podem ser utilizados como ponto de verificação prioritários para a real seleção das medidas de P&D. A ênfase dos fatores definem diferentes requisitos para o critério de avaliação na seleção final das medidas de performance de P&D. Para utilizar as dimensões na seleção das medidas de P&D, o processo descrito na figura 1 abaixo integra os diferentes aspectos concernentes ao processo total de escolher o grupo certo de medidas específicas para a organização de P&D. Este estudo fornece categorizações, exemplos de métodos de avaliação e medidas de performance de P&D a serem utilizadas como checklists de verificações quando uma organização busca encontrar as medidas mais adequadas aos seus objetivos. O reconhecimento do estado da arte pode ajudar em economizar tempo e outros recursos valiosos no processo de selecionar as medidas.
Estratégia e objetivos esctratégicos de P&D e perspectivas de análise de performance
Definir o propósito de medição de performance de P&D
Definir o nível da análise de performance de P&D
Definir os tipo(s) de P&D que serão avaliadas ou
medidas
Definir a fase do processo de P&D a ser
medida Checklists Utilização de sistemas de suporte à decisão Seleção de processo: - Organização - Coleta de idéias - Definição do critério de seleção - Escolha das métricas de
P&D Re-avaliar
Usar as métricas de acordo com os propósitos definidos
2.2 Métricas de P&D classificadas em função da perspectiva de medição
A medição do desempenho em geral tem recentemente sido amplamente discutida no contexto do gerenciamento estratégico. A abordagem do Balanced Scorecard (KAPLAN E NORTON, 2001) faz a ligação das medidas de desempenho das diferentes perspectivas e a colocação da estratégia e da visão em 1º. plano. O BSC pode aparecer como uma pedra angular de um sistema de gerenciamento estratégico (KAPLAN E NORTON, 2001) e também tem sido adaptado para o gerenciamento do P&D (KERSSEND-VAN DROGELEN, 1999).
Neste capítulo, as “perspectivas” são vistas tanto nas áreas de medições derivadas dos objetivos estratégicos, parecido com a abordagem do BSC, mas com mais alternativas para a categorização das áreas, e conforme medições subjetivas que são derivadas de objetivos ou grupos de objetivos e enfatizados pelo gerenciamento. A questão essencial relativo às métricas e objetos de medição selecionáveis é: Na perspectiva de quem devemos medir?
As medidas ou métodos de avaliação do P&D como percebidos pelas diferentes perspectivas de medição têm sido estudadas, conforme mostrado na tabela 1.
Referência Breve Descrição do Estudo
Akcakaya (2001) O autor apresenta um modelo para avaliação da efetividade do P&D. No seu modelo, tanto o critério de acesso quantitativo quanto o qualitativo existem. A informação quantitativa é categorizada em informação geral, desenvolvimento de produto, desenvolvimento tecnológico e vendas de tecnologia, como critério qualitativo de auto-acesso são categorizados para resultados intangíveis, condições e métodos.
Cooper e Kleinschmidt (1996)
Um estudo de benchmarking de 161 unidades de negócios inclui dez mensurações de desempenho, o qual capturam o desempenho total dos novos produtos nas unidades de negócios. As métricas estão listadas abaixo.
Curtis e Ellis (1997) O estudo apresenta o BSC para o desenvolvimento de novos produtos apoiados por 4 anos de pesquisas em uma larga variedade de tecnologia ou indústrias focadas no mercado. O estudo apresenta medidas recomendadas para os seguintes processos: performance financeira, time to market e satisfação do consumidor.
tempo, custo e qualidade de medida básicos, enquanto que os acadêmicos gostariam de um uso crescente das medições de relacionamento com o consumidor nos estágios do design e do desenvolvimento.
Griffin e Page (1996) O estudo categoriza as medidas em nível de projeto para o sucesso baseado no cliente, sucesso financeiro, e sucesso de desempenho técnico. A utilidade média das medidas de sucesso é calculada é calculada para cada estratégia do projeto.
Kerssens-van Drongelen e Bilderbeek (1999)
Os pesquisadores apresentam medidas de performance conforme categorizadas pelos princípios da abordagem Balanced
Scorecard. Veja tabela 2 abaixo. Szakonyi (1994a,
1994b)
A abordagem desenvolvida por este autor ajuda a comparar a performance do departamento de P&D com a performance de um departamento de P&D “médio”. Chegou-se nesse departamento “médio” pela avaliação de 60 exemplos no “mundo real”.
Tipping et al. (1995) Os autores apresentam as 11 métricas principais dentre 33 métricas nas sua “pirâmide de valor tecnológico” conforme avaliado em 165 empresas industriais.
Werner e Souder (1997b)
O estudo conclui que nos E.U.A., para medição de P&D, as métricas quantitativas são enfatizadas, enquanto que na Alemanha são utilizadas métricas de entrada que simplesmente medem intrinsecamente o valor do P&D.
Tabela 1 - As referências classificam as métricas de P&D em função das perspectivas de desempenho.
Como um exemplo dos estudos apresentados acima, as métricas reportadas por Cooper e Kleinschmidt (1996) são:
Taxa de sucesso - As proporções dos projetos de desenvolvimento que se tornam sucesso comercial; Percentagem de vendas por novos produtos (introduzidos dentre os últimos três anos); Lucratividade em relação às despesas; Taxa de sucesso técnico; Impacto nas vendas; Impacto nos lucros; Atingimento dos objetivos de vendas; Atingimento dos objetivos de lucros; Lucratividade versus concorrentes; Resultado geral.
As 11 métricas principais reportadas por Tipping (1995) são:
Retorno financeiro para o empreendimento; Alinhamento estratégico com o negócio; Valor projetado do line-up de P&D; Vendas ou lucro bruto de novos produtos; Atingimento dos resultados de projeto; Portfolio de projetos de P&D; Pesquisa de satisfação do consumidor;
Market share; Desenvolvimento do tempo de ciclo; Qualidade e confiabilidade do produto;
Objetivos na Perspectiva Financeira Métricas
Sobreviver Valor dos ganhos de P&D / despesas P&D.
Ter sucesso % faturamento com novos produtos.
Prosperar Market share adquirido através do P&D.
Objetivos na perspectiva dos consumidores
Alto nível de satisfação do consumidor Pesquisa de satisfação do consumidor Antecipação necessidades consumidores % projetos que efetivamente atendem os
consumidores.
Alto nível de design para manufatura Horas em projetos / horas em projetos e
troubleshooting.
P&D alcança a taxa % projetos abortados antes do término.
Objetivos na perspectiva interna do negócio
Produtividade Horas gastas projetos / total horas de P&D.
Time-to-market T.t.m. atual / t.t.m. de referência. Tecnologia / reutilização do design Taxa de reutilização de design padrão /
tecnologia dominada.
Entrega confiável dos produtos Tempo de revisão projeto / Tempo revisão planejado.
Qualidade dos produtos Número de hora de retrabalho
Objetivos na perspectiva de inovação e aprendizado
Liderança em tecnologia Nr. de patentes por $ investido em P&D.
Foco no longo prazo % orçamento investido interna e
externamente em pesquisa básica / aplicada.
Alta capacidade de absorção % projetos em cooperação com terceiros.
Organização “que aprende” % novas idéias aplicadas em projetos.
Tabela 2 - Métricas de desempenho em função da abordagem BSC (BILDERBEEK, 1999).
2.3 Métricas de P&D classificadas em função do objetivo da medição
para em relação às medições, que é uma das áreas de problema na análise da performance do P&D.
De acordo com Lee (1996), medir a efetividade no P&D é importante para determinar se o investimento é justificado e se sua produtividade máxima é alcançada. É também essencial a motivação e a gratificação dos colaboradores e avaliar a contribuição do P&D para o negócio da empresa.
Referência Breve descrição do estudo
Gold (1989) O estudo define os principais tipos de contribuições que programas de P&D podem fornecer, e então discutir sua efetividade na avaliação: performance de P&D analisada isoladamente, contribuições para a performance como um todo para a empresa, e a performance de P&D em comparação com a concorrência.
Kerssens-van Drongelen e Bilderbeek (1999)
No capítulo 2.4 abaixo, a categorização pelos níveis de medição nos estudos de Kerssens-van Drongelen e Bilderbeek é apresentada. Além disso, os autores empiricamente têm estudado os propósitos mencionados para a medição de diferentes níveis. Loch e Tapper
(2002)
O estudo descreve um processo de desenvolvimento e implementa um sistema de medição de performance para um grupo de pesquisa aplicada. O sistema direciona as três primeiras das quatro funções básicas da análise de performance: alinhamento e priorização estratégicos, avaliação e incentivos, controle operacional, e aprendizado e melhoramento.
Meyer et al. (1997) Os autores que a avaliação de efetividade para a performance de P&D focadas em plataformas e a continuidade de seus produtos dentro de uma família de produto, por exemplo, o grau com que uma plataforma permite produtos derivados economicamente viáveis e em que grau esses produtos aumentam o faturamento em relação aos custos de desenvolvimento.
Tabela 3 – As referências classificam as métricas de P&D em função do objetivo da análise de desempenho
2.4 Métricas de P&D classificadas em função do nível de medição
negócio, de departamento de P&D, de processo de P&D, de projeto de P&D, de time de P&D e de nível de pesquisadores individuais.
As medidas ou métodos de avaliação de P&D são diferenciadas pelos diferentes níveis de análise de performance de P&D. Alguns exemplos de referências estudadas são mostradas na Tabela 4.
Referência Breve descrição do estudo
Brown e Gobeli (1996)
Conforme será discutido no capítulo 2.6 abaixo, o estudo apresenta fases para diferentes processos de P&D, quais sejam: 1) Divisão de metas, 2) Gerenciamento de projetos, 3) Atividades e processos dentro do P&D. Cada um dos níveis básicos contém diversas atividades importantes que precisam ser mensuradas.
Griffin e Page (1996)
Relata que o desenvolvimento de um projeto pode ser mensurado não somente no nível do projeto individual, mas também no nível do programa. As medidas de sucesso de projeto, em nível estratégico, foram empiricamente validadas. E medidas de sucesso em nível de empresa foram apresentadas.
Kerssens-Van Drongelen e Bilderbeek (1999)
O artigo apresenta os resultados de um estudo empírico focando na efetividade da pratica de medição de performance de P&D. Os autores categorizam as medidas por diferentes perspectivas para os níveis da equipe, individual departamental e da empresa.
Loch e Tapper (2002)
O estudo apresenta as medidas de performance de GemStone’s research group categorizado em: nível de grupo, métricas de saída em nível de projeto e métricas de processo em nível de projeto.
Tabela 4 - Referências que classificam as métricas de P&D em função do nível da análise do desempenho
2.5 Métricas de P&D classificadas em função do tipo de P&D
FUNÇÃO DA PESQUISA TÉCNICA DE AVALIAÇÃO
PESQUISA BÁSICA QUALITATIVA
PESQUISA EXPLORATÓRIA
PESQUISA APLICADA SEMIQUANTITATIVA
DESENVOLVIMENTO
MELHORAMENTO DO PRODUTO QUANTITATIVA
Figura 2 - Técnicas de avaliação em função dos diferentes tipos de P&D (adaptado de Pappas e Remer 1985)
As medidas ou os métodos da avaliação do P&D conforme definidos pelos diferentes tipos de P&D foram estudados nas seguintes referências (Tabela 5):
Referência Breve descrição do estudo
Brown e Gobeli (1992) O estudo apresenta exemplos de indicadores de
produtividade de P&D conforme identificados pelos participantes do estudo de caso. Classificam indicadores predominantemente qualitativos e quantitativos.
Hauser e Zettelmeyer (1997) Os autores apresentam uma abordagem por camadas, que permite-nos categorizar uma diversidade contínua dos projetos, programas e explorações, e focaliza nas características-chave. O estudo apresenta métricas de P&D, tanto de julgamento qualitativo como medidas quantitativas, reportadas por empresas pesquisadas, assim como suas relevâncias para as camadas. A Tabela 12 apresenta exemplos de métricas da camada 3.
Kim e Oh (2002) A categorização é feita com base no tipo de P&D em uma pesquisa sobre um sistema de medição de performance e eficácia de P&D na Coréia. Os tipos são P&D básico, P&D aplicado e P&D comercial.
Loch e Tapper (2002) Os autores classificam as medidas de um gráfico de performance em GemStone para as áreas de: repositório de conhecimento, processo de pesquisa, novas tecnologias e suporte técnico.
Werner e Souder (1997a) Segundo os autores a abordagem mais bem sucedida para que a medida de efetividade do P&D parecem ser métricas integradas que combinem múltiplos objetivos com métodos subjetivos.
2.6 Métricas de P&D classificadas em função da fase do processo
Conforme sugerido em diversos estudos (COOPER, 1996), a inovação e o P&D deveriam ser gerenciados como um processo. As influências do processo podem ser manipuladas para afetar o resultado – isto é, pode ser gerenciado (TIDD, 1997).
Brown e Svenson (1988) apresentam uma estrutura para avaliação e medição da performance de P&D. Nessa sua abordagem a P&D é como um sistema processador que inclui diversas fases que contém pessoas, informação, idéias, equipamentos, requisitos e fundos necessários às atividades. O sistema processador é normalmente o Laboratório de P&D, que transforma os inputs em produtos através da gestão de P&D, relatando os resultados, etc. Os outputs do sistema de processamento são: publicações, novos produtos ou processos, conhecimento e patentes. Os sistemas receptores dos produtos em todo o processo são: manufatura, marketing, engenharia e outros departamentos. Finalmente, os produtos finais, ou seja, o que agrega a organização, têm que ser medidos. Estes podem ser: redução de custos, vendas ou melhorias de produto (BROWN E SVENSON, 1988).
As métricas ou métodos de avaliação de P&D classificados em função da fase de P&D ou processo de inovação foram estudados nas referências descritas na Tabela 6.
Referência Breve descrição do estudo
Brown and Gobeli (1992)
O estudo apresenta os “ dez mais” dos indicadores da produtividade de P&D baseado na classificação da medições de: 1) recursos, 2) gestão de projetos, 3) gestão de pessoas, 4) planejamento, 5) estudo de novas tecnologias e desenvolvimento, 6) outputs (produtos), e 7) resultados da divisão / outcomes (resultados).
Brown and Svenson (1988)
Os autores apresentam um modelo para medir a produtividade do P&D categorizando o sistema em: entradas, sistema de
processamento, saídas, recebimento, resultados, as medições
in-process, as medidas de saída (outputs) e de resultado (outcomes).
Chiesa et al. (1996)
Veja as métricas abaixo na tabela 7. As métrica foram testadas com a ajuda de estudos de caso.
Cooper (1996) Cooper apresenta o stage-gate - modelo de processo de
Cordero (1990) O autor apresenta um modelo e medidas exemplo para mensurar o desempenho da inovação categorizando as medidas em recursos para unidades técnicas, em recursos para unidades comerciais, em saídas (outputs) técnicas e em produtos aplicáveis ao mercado.
Ellis and Curtis (1995)
O artigo relata uma pesquisa que conecta tempo de ciclo e
desempenho financeiro. As três medidas do tempo de ciclo na cadeia de valor da inovação são: o tempo de ciclo da idéia-ao-cliente, o tempo de P&D e o tempo de ciclo de desenvolvimento de mercado. Schumann et al.
(1995)
O estudo mostra uma abordagem baseada em qualidade que considera os seguintes elementos do processo de P&D: pessoas; processos; produtos; clientes internos; clientes externos; sociedade.
Tabela 6 - Referências que classificam as métricas de P&D em função da fase do processo de P&D
Como exemplos dos estudos apresentados acima, apresentamos as medidas relatadas, métodos de avaliação e áreas de medição na “auditoria de inovação técnica” por Chiesa (1996) e os critérios relatados para medir a eficácia do P&D por Lee (1996).
Criação do conceito
- Nr. de idéias novos produtos, idéias de melhoria avaliadas no ano anterior - Nr. novas áreas negócio baseado em produtos / investimentos 5 anos anteriores - Satisfação do cliente
- Horizonte de planejamento do produto - Tempo de vida médio do produto
Desenvolvimento de Produto
- Time-to-market
o Média de tempo de conceito ao lançamento o Tempo de cada fase
o Média do overrun
o Média do tempo de melhoria do produto o Média do tempo para re-projeto
- Desempenho do Produto
o Custo
o Desempenho técnico o Qualidade
o Custo de fabricação o Viabilidade de manufatura o Viabilidade de testes
o Número de produtos re-projetados
Tabela 7 - Métricas na auditoria de inovação técnica (Chiesa et al. 1996)
3. Sumário das dimensões, suas combinações e relação com a seleção das métricas
Um sumário das “dimensões” essenciais de medidas que podem ser derivadas das diferentes fontes teóricas e empíricas está listado na Tabela 9. O presente estudo classifica as medidas relatadas pelas cinco dimensões de medição, por exemplo a fase do processo de P&D, o tipo de P&D a ser avaliado, e a perspectiva da medida. Conforme pode ser visto na Tabela 8, todas as combinações de dimensões não existem ou não vêm ao caso, mas a idéia principal é esclarecer as possíveis combinações organizacionais específicas das dimensões seguindo as áreas as mais essenciais a serem medidas.
Perspectivas da medida Objetivos da medida Nível da medida
Tipo de P&D Fase do processo
Cliente Controle estratégico
Indústria Pesquisa básica Entradas
Interno Justificação da existência Rede Pesquisa exploratória In-proces Financeiro, acionistas
Benchmarking Empresa Pesquisa
aplicada Output (produto) Outras partes interessadas Alocação de recursos Unid. Negócios / depto Desenvolvimento de produto Outcome (resultado) Aprendizado Desenvolvimento atividades / áreas problema Processo Melhoria do produto (incremental) Etc. Motivação, recompensas Projeto Etc. Grupo Indivíduo
A abordagem de Hause e Zettelmeyer (1997) categoriza as medidas de P&D em três tipos de projetos. As categorias na Tabela 12 podem ser vistas nas perspectivas da medição, e sendo assim o estudo combina os tipos de P&D e as perspectivas de medição. A Tabela 9 sugere métricas para diferentes categorias.
Categoria Métrica
Objetivos estratégicos Resposta competitiva
Qualidade / Valor Qualidade da pesquisa
Revisão da pesquisa
Benchmarking comparando atividades de pesquisa
Valor dos 5 principais produtos
Sucesso dos conceitos
Yield = [(qualidade x oportunidade x relevância x alavancagem) ] x consistência do foco
Pessoas Envolvimento gerencial
Processo Produtividade Atendimento dos prazos
Produtos entregues
Atendimento completo das especificações técnicas
Tempo de finalizalização
Velocidade de obtenção de tecnologia para novos produtos
Time-to-market
Tempo de resposta aos problemas do cliente Cliente Relevância
Satisfação do consumidor
Serviço de qualidade (medida do consumidor) Número de consumidores que encontraram falhas Lucro / Custos Receita com novos produtos em 3 anos / custo de P&D
Percentual da receita de produtos com 3-5 anos no mercado Margem bruta em novos produtos
Valor econômico adicionado (EVA)
Ponto equilíbrio financeiro (break even) após o lançamento
Tabela 9 - Métricas para diferentes categorias (Hause e Zettelmeyer, 1997)
Adicionalmente, um exemplo ilustrativo pode fornecer linhas diretivas para como utilizar os resultados deste artigo: por exemplo, uma empresa industrial tende a encontrar e selecionar novas métricas para P&D. A empresa procura medidas em nível geral para o desenvolvimento e melhorias de produto; ou seja as técnicas da avaliação serão principalmente quantitativas ou semi-quantitativas (PAPPAS E REMER, 1985). Nenhuma atividade de pesquisa a longo prazo é executada. Antes de selecionar as medidas, a empresa também tem que definir as possíveis finalidades da medida, que neste caso são o controle estratégico total do P&D e possivelmente benchmarking das atividades. Entretanto, na primeira fase a empresa está satisfeita com suas medidas internas e procura agora medidas de produto e de resultado ou métodos de avaliação financeira e medidas especificas para perspectiva do cliente. Neste caso, se a companhia seguir a estratégia de prospecção poderá considerar as medidas recomendadas em nível de empresa de Griffin e de Page (1996) para esta estratégia. A Tabela 10 apresenta as dimensões e as possíveis métricas.
Perspectivas da medida Objetivos da medida Nível da medida
Tipo de P&D Fase do processo
Cliente Controle estratégico
Indústria Pesquisa básica Entradas
Interno Justificação da existência Rede Pesquisa exploratória In-process Financeiro, acionistas
Benchmarking Empresa Pesquisa
aplicada Output (produto) Outras partes interessadas Alocação de recursos Unid. Negócios / departamento Desenvolvimento de produto Outcome (resultado) Aprendizado Des. atividades /
áreas problema Processo Melhoria do produto Etc. Motivação, recompensas Projeto Etc. Grupo Indivíduo
Tabela 10 - Combinação das dimensões de análise de performance do P&D no exemplo apresentado.
4. CONCLUSÕES
A ênfase deste estudo foi nos passos necessários para a fase inicial do processo de seleção dos indicadores de desempenho da P&D. Esta fase, antes da seleção efetiva das medidas, inclui reconhecimento e consideração cuidadosa das necessidades de medição com a ajuda das principais dimensões de análise de performance em P&D: as perspectivas da análise de performance, o propósito da análise de performance, o tipo de P&D, a profundidade da análise, e a fase do processo de inovação.
O estudo contém uma revisão bibliográfica e a categorização de indicadores em função das dimensões de análise de desempenho de P&D. O reconhecimento do estado da arte é um elemento essencial na seleção e no processo de desenvolvimento dos indicadores de uma organização. As seguintes conclusões gerais podem ser extraídas da revisão da literatura conduzida neste estudo: i) a categorização via as diversas dimensões que influenciam a seleção revela a complexidade de toda a decisão de seleção. ii) as medidas relatadas anteriormente ou métodos de avaliação para certas situações e propósitos podem ser utilizadas como checklists na fase de mapeamento das métricas durante o processo de seleção. Novamente, a ênfase dos diferentes fatores e dimensões definem diferentes requisitos para o critério de avaliação na seleção final das métricas de performance de P&D.
5. REFERÊNCIAS
Akcakaya, R. (2001). Procedure for the Assessment of R&D Performance for a Manufacturing Company. Doctoral Dissertation, Marmara University, Institute for Graduate Studies in Pure and Applied Sciences, Istanbul, Turkey.
Brown, M. and Svenson, R. (1988). Measuring R&D Productivity. Research Technology Management, 31, 4, 11-15.
Brown, W.B. and Gobeli, D. (1992) Observations on the Measurement of R&D Productivity: A Case Study. IEEE Transactions on Engineering Management, 39, 4, 325-331.
Chiesa, V., Coughlan, P. and Voss C.A. (1996). Development of a Technical Innovation Audit. The Journal of
Product Innovation Management, 13, 105-136.
Cooper, R.G. and Kleinschmidt, E. (1996). Winning Businesses in Product Development: The Critical Success Factors. Research Technology Management, 39, 4, 18-29.
Cordero, R. (1990). The Measurement of Innovation Performance in the Firm: An Overview. Research Policy, 19, 2, 185-192.
Curtis, C.C. and Ellis, L.W (1997). Balanced Scorecards for New Product Development. Journal of Cost
Management, May-June, 12-18.
Driva, H., Pawar, K.S. and Menon, U. (2000). Measuring product development performance in manufacturing organizations. International Journal of Production Economics, 63, 147-159.
Ellis, L.W. and Curtis, C.C. (1995). Speedy R&D: How Beneficial? Research Technology Management, 38, 4, 42-51.
Gold, B. (1989). Some Key Problems in Evaluating R&D Performance. Journal of Engineering and Technology
Management, 6, 59-70.
Griffin, A. and Page A.L. (1996). PDMA success measurement project: recommended measures for product development success and failure. The Journal of Product Innovation Management, 13, 478-496.
Hauser, J. and Zettelmeyer, F. (1997). Metrics to Evaluate R, D&E. Research Technology Management, 40, 4, 32-38.
Kaplan, R.S. and Norton, D.P. (2001). The Strategy-focused Organization. Boston, Massachusetts, Harvard Business School Press.
Kerssens-van Drongelen, I.C. (1999). Systematic Design of R&D Performance Measurement Systems. Doctoral Dissertation, University of Twente, Enschede, the Netherlands.
Kerssens-van Drongelen, I.C. and Bilderbeek, J. (1999). R&D Performance Measurement: More than Choosing a Set of Metrics. R&D Management, 29, 1, 35-46.
Lee, M., Son, B. and Lee, H. (1996). Measuring R&D Effectiveness in Korean Companies. Research
Technology Management, 39, 6, 28-31.
Loch, C.H. and Tapper, U.A.S. (2002). Implementing a Strategy-driven Performance Measurement System for an Applied Research Group. The Journal of Product Innovation Management, 19, 185-198.
Meyer, M.H., Tertzakian, P. and Utterback, J.M. (1997). Metrics for Managing Research and Development in the Context of the Product Family, Management Science, 43, 1, 88-111.
Ojanen V., Piippo and Tuominem, M. (1999). An Analysis of Product Development Performance Measures in Finnish High-Tech Manufacturing Companies. Pre-Prints of 6th International Product Development Management Conference, 5.-6.7.1999, Cambridge, U.K. Part 2 (2), 857-872.
Pappas, R. and Remer, D. (1985). Measuring R&D Productivity, Research Management, May-June, 15-22. Rummler, G.A. and Brache, A.P. (1995). Improving Performance: How to Manage the White Space on the
Organization Chart, 2nd ed. San Francisco, California, Jossey-Bass Publishers.
Schumann, P. , Ransley, D. and Prestwood, D. (1995). Measuring R&D Performance. Research Technology Management, 38, 3, 45-54.
Szakonyi, R. (1994). Measuring R&D Effectiveness-I. Research Technology Management, March-April, 37, 2, 27-32.
Tipping, J.W., Zeffren, E. and Fusfeld, A.R. (1995). Assessing the Value of Your Technology. Research
Technology Management, 38, 5, 22-39.
Werner, B.M. and Souder, W.E. (1997). Measuring R&D Performance – State of the Art. Research Technology
