ANAIS SISTEMAS DE MEDIÇÃO DE DESEMPENHO PARA INOVAÇÃO: REVISÃO DA LITERATURA E PROBLEMAS DO CAMPO DE PESQUISA

ANAIS

SISTEMAS DE MEDIÇÃO DE DESEMPENHO PARA INOVAÇÃO: REVISÃO DA LITERATURA E PROBLEMAS DO CAMPO DE PESQUISA

ANDRÉ RIBEIRO DE OLIVEIRA ( andre-ribeiro@terra.com.br )

COPPE/UFRJ

RAFAEL GOMES CLEMENTE ( rafael.clemente@gpi.ufrj.br )

COPPE/UFRJ

HEITOR MANSUR CAULLIRAUX ( heitor@gpi.ufrj.br )

COPPE/UFRJ

Resumo: A avaliação do desempenho da inovação é um dos aspectos de gestão mais importante e desafiador para o sucesso das organizações atuais, e tal tarefa ainda torna-se mais complexa quando relacionadas às características inovadoras das organizações. Este trabalho tem como objetivo apresentar os resultados de uma revisão da literatura sobre sistemas de medição de desempenho para inovação, elencando e classificando os principais

frameworks teóricos desenvolvidos, e apontando problemas contidos neste campo de

pesquisa. Como resultado, espera-se que este artigo exponha que tipos de questões de pesquisa merecem ser explorados, de forma a orientar trabalhos futuros na busca de respostas a questões presentes neste campo.

Palavras-chave: Sistemas de Medição de Desempenho, Pesquisa e Desenvolvimento, Inovação

Introdução

A inovação tem se mostrado um elemento primordial para sustentação da vantagem competitiva das organizações e das nações. Pesquisas realizadas, como a da Boston

Consulting Group em 2006 apontam que organizações consideradas inovadoras superam suas

concorrentes não inovadoras (ou que se apropriam da inovação de forma não satisfatória), em termos de market share e lucratividade no longo prazo.

A discussão não só do investimento em si com inovação, mas dos aspectos que fundamentam e justificam tais investimentos, são fundamentais para o sucesso de países e organizações. Neste sentido, é fundamental gerir o processo de inovação. Mecanismos e estruturas de gestão da inovação vêm sendo adaptadas de forma a suprir as necessidades das organizações. Medir o desempenho da inovação é um dos aspectos de gestão mais importante e desafiador para o sucesso das organizações modernas (NEELY, 1999). Entretanto, algumas características de organizações inovadoras, destacadas por Kerssels-van Drongelen et al (2000) como a presença de elementos intangíveis como conhecimento, criatividade e motivação; a incerteza dos tempos envolvidos entre início e fim do processo; e a imprevisibilidade dos resultados torna a tarefa de projetar um sistema de medição de desempenho bastante complexa.

ANAIS

necessidade de uma visão multidimensional da área de P&D (Bremser e Barsky, 2004). Foi constatado, contudo, que poucos desses trabalhos propõem sistemas de medição de desempenho mais amplos, considerando, por exemplo, a capacidade de inovação organizacional para fora da área de P&D.

Este trabalho tem como objetivo apresentar os resultados de uma revisão da literatura sobre sistemas de medição de desempenho para inovação (quase todos, conforme será visto, focados na área de P&D), elencando e classificando os principais frameworks teóricos desenvolvidos, e apontando problemas contidos neste campo de pesquisa. Como resultado, espera-se que este artigo exponha que tipos de questões de pesquisa merecem ser explorados, de forma a orientar trabalhos futuros na busca de respostas a questões presentes neste campo de pesquisa.

A Importância do Tema

A discussão de inovação e pesquisa e desenvolvimento vêm ganhando relevância acadêmica e prática ao longo dos últimos anos. Sob a perspectiva acadêmica, pode-se perceber um crescente número de publicações disponíveis nas principais bases de dados de artigos acadêmicos: de uma média de 50 publicações por ano até o fim dos anos de 1980 a 900 publicações em 2007i.

Sob a perspectiva industrial, empresas localizadas em países membros do grupo dos mais ricos vêm aumentando seus investimentos em P&D ao longo dos anos, o que vai ao encontro das diretrizes apontadas pela União Européia – tais países têm como meta aumentar seus investimentos em P&D em, no mínimo, 3% do PIB até 2010. Em 2007, apenas Finlândia e Suécia, possuíam investimentos em P&D acima dos 3% do PIB, o que coloca na agenda dos demais países membros da União Européia o aumento dos investimentos em P&D (EUROSTAT <http://epp.eurostat.ec.europa.eu>, acesso em 25/08/2008).

No nível empresarial, diversas pesquisas, como a realizada pela Boston Consulting Group em 2006, apontam que organizações consideradas inovadoras superam suas concorrentes não inovadoras em termos de market share e lucratividade no longo prazo. A figura a seguir ilustra a diferença entre o valor de mercado de organizações inovadoras (média global das empresas, empresas européias, americanas e asiáticas) e organizações “médias” (da lista da Standard&Poor´s). 0 2 4 6 8 10 12 14 16 18

(Global) (EUA) (União Européia) (Asia)

In d ic a d o r d e R e to rn o a o A ci o n is ta (1 9 9 6 a 2 0 0 5 )

Empresas Inovadoras versus Benchmark da Standard&Poor´s

Inovadores Benchmark

Figura 1: Gráfico Comparativo do Indicador de Retorno ao Acionista no Período entre 1996 e 2005 - Empresas Inovadoras e Empresas das Listas da Standard&Poor´s.

ANAIS

A capacidade de inovação das organizações depende de uma série de fatores, que envolvem volumosos financiamentos em recursos como transferências de tecnologias, financiamento de pesquisas, aquisição de máquinas e equipamentos, etc. Na mesma pesquisa realizada pela

Boston Consulting Group em 2006, há indicações que as organizações estarão propensas a

gastar mais com inovação. Entretanto, o volume absoluto de investimentos com inovação não indica efetivo desempenho corporativo. Estudos realizados pela Booz Allen & Hamilton em 2006 chamam atenção para a ausência de correlação entre níveis de financiamento de P&D e desempenho corporativo. Das 1.000 empresas consideradas inovadoras pela pesquisa, 94 foram identificadas como as que obtiveram maior retorno sobre investimento com inovação e, também, melhor nível de desempenho em relação às outras 906 empresas em termos de Margem Bruta Média, Margem Operacional Média, Retorno Médio aos Acionistas, Crescimento de Vendas, Crescimento das Receitas Operacionais, Crescimento das Receitas Brutas, e Crescimento do seu Valor de Mercado. A Figura 2 ilustra que esse melhor desempenho varia de 20% a mais (no caso da Margem Bruta Média) até seis vezes mais (no caso do Valor de Mercado).

1,2 1,8 2,5 2,9 3,3 3,4 6,3 0 1 2 3 4 5 6 7 Margem Bruta Média Margem Operacional Média Retorno Médio aos Acionistas Crescimento de Vendas Crescimento das Receitas Operacionais Crescimento das Receitas Brutas Crescimento do Valor de Mercado

Figura 2: Desempenho das 94 Empresas mais Inovadoras/ Desempenho das 906 Demais Empresas Inovadoras.

Fonte: Booz Allen & Hamilton, 2006

A necessidade da inovação como condição para obtenção de sucesso competitivo, os crescentes movimentos por maiores investimentos em inovação e, por outro lado, a necessidade de se obter melhor resultado com o investimento realizado, são elementos que fazem com que a discussão de gestão da inovação das organizações torne-se fundamental. Entretanto, organizações inovadoras geralmente encontram-se inseridas em um ambiente competitivo e complexo, onde os movimentos dos atores envolvidos não são conhecidos ou são pouco previsíveis. O processo de inovação, embora conhecido, possui tempos longos e resultados raramente conhecidos (principalmente nas fases iniciais de geração de idéias e pesquisa). Alguns recursos exigidos por esse processo, como criatividade, conhecimento, técnicas, são pouco controláveis, o que dificulta a alocação de fundos para o seu desenvolvimento. Essas são algumas das particularidades que torna a gestão da inovação uma questão fundamental, mas ao mesmo tempo complexa e desafiadora.

ANAIS

para definição de alocação de recursos em projetos eram baseados em simples indicadores de retorno sobre investimento, atualmente, para organizações tipicamente inovadoras, tais instrumentos mostram-se insuficientes (NEELY, 2005).

Instrumentos de gestão vêm sendo adaptados de forma a suprir as necessidades de inovação das organizações. Um desses instrumentos, a medição de desempenho, vem sendo crescentemente aprimorada por acadêmicos e práticos, de forma a responder de forma mais satisfatória às necessidades dos gestores.

Método de Pesquisa

A revisão da literatura consiste em um método apropriado para casos onde uma grande quantidade de informações precisa ser estruturada de forma a apoiar o exercício de respostas a questões sobre determinado campo de pesquisa. Trata-se, pois, de determinar quais os elementos de um campo de pesquisa estão devidamente respondidos, e quais não estão respondidos, apontando para necessidades de futuros trabalhos a serem desenvolvidos (PETTICREW e ROBERTS, 2006).

No âmbito desta pesquisa, pretende-se investigar os principais frameworks disponíveis na literatura para avaliar a efetividade da inovação das organizações. Um exaustivo trabalho de pesquisa nas principais bases relacionadas ao tema precisou ser realizado.

A partir da ferramenta de busca presente nas bases Web of Science, Scopus, Engineering

Village e Willey Interscience foram identificados 532, 479, 302 e 64 artigos relacionados a

Sistemas de Medição de Desempenho para Pesquisa e Desenvolvimento (e Inovação), respectivamenteii. Importante ressaltar que vários artigos encontrados em uma base aparecem no resultado das buscas em outras bases. Houve necessidade, portanto, de consolidar os resultados sem que houvesse repetição de artigos. Esta consolidação exigiu, portanto, o uso de um software de gerenciamento de referências bibliográficas, que apoiasse a tarefa de consolidação e eliminação de artigos redundantes, resultados de buscas efetuadas em diferentes bases. Todas as referências encontradas nas diferentes bases foram exportadas para a ferramenta EndNotes, sendo necessário um minucioso trabalho de verificação das referências e eliminação daquelas repetidas, ou que ainda não estavam relacionadas ao tema central da tese. O resultado foi a organização de uma base com 797 artigos, dos quais, os títulos e os abstracts foram lidos para a seleção dos principais artigos a serem lidos na íntegra. A partir deste filtro foram selecionados 96 artigos para leitura integral, que balizaram a compilação teórica. A leitura na íntegra desses artigos, em especial aqueles considerados boas revisões e mostrando o estado da arte da discussão, apontou para a necessidade de leitura dos artigos contidos nas referências bibliográficas, que por ventura não foram identificados na pesquisa.

A leitura dos artigos subsidiou a próxima etapa do método, ou seja, a compilação e síntese dos

frameworks propostos pelos autores. Essa compilação será apresentada na seção seguinte, e ao

final do trabalho, serão apresentados os problemas percebidos no campo de pesquisa, apontando para a necessidade de desenvolvimento de trabalhos futuros.

Propostas de Sistemas de Medição de Desempenho para P&D

ANAIS

• Os que diferenciam a natureza das atividades de P&D;

• Os que são construídos a partir de uma visão processual da área de P&D; • Os que balizam uma estrutura de auditoria;

• Os que são construídos a partir de uma visão multidimensional do Balanced

Scorecard;

• Os que são Construídos a partir de outras visões multi-dimensionais

Propostas a Partir da Diferenciação de Atividades de P&D

Collier (1977) apud Osama (2006) direciona seus esforços para uma proposta mais estruturada de sistemas de medição de desempenho a partir de críticas aos métodos limitados aos indicadores de produtividade, sem o conhecimento das metas estratégicas da organização. Ele apresenta a necessidade de distinção entre produtividade (ou eficiência) e efetividade em diferentes estágios do P&D, desde a geração de idéias até o alcance das metas financeiras relacionadas aos trabalhos do P&D. A percepção de alinhamento do P&D com metas estratégicas (em especial, de natureza financeira) foi também compartilhada por Mansfield (1981), que apresentou a importância de métodos quantitativosiii de avaliação de efetividade do P&D.

Packer (1983) apud Osama (2006) apresenta um conjunto de indicadores de desempenho de P&D balanceados para medir a produtividade do P&D. O balanceamento proposto deve se dar entre avaliações subjetivas (como por pesquisas de opinião sobre resultados dos trabalhos da equipe de P&D), objetivas (baseadas em indicadores quantitativos) e objetivas-subjetivas (seria como pesquisa de opinião, frente ao um resultado objetivo). O trabalho de Packer (1983) é um dos primeiros a trazer a discussão dos conceitos relacionados a sistemas de medição de desempenho – por exemplo, multidimensionalidade dos indicadores, correlação entre indicadores, características dos indicadores, relação com metas estratégicas, comportamento dos funcionários e avaliação custo-benefício do indicador.

ANAIS

Técnicas para avaliar desempenho

Qualitativo

Semi-quantitativo

Quantitativo

Figura 3: Diferentes Técnicas para Avaliar Desempenho de Diferentes Etapas de P&D. Fonte: Pappas e Remer, 1985, p.16

Segundo os autores, a escolha das técnicas deve ser feita a partir da definição do objetivo do P&D para a organização e o objetivo do sistema de medição de desempenho para o P&D. Trata-se, portanto, de diferentes abordagens para medir desempenho do P&D – desde métodos intuitivos-qualitativos (por exemplo, a partir de questionários) até métodos quantitativos. Segundo este autor, nenhum método é suficiente por si só e a combinação de métodos é a maneira mais apropriada de se medir a contribuição do P&D para o desempenho da organização.

Allio and Sheehan (1984), que pesquisaram como empresas intensivas em P&D, como a Unilever, usavam a diferenciação entre atividades de pesquisa e desenvolvimento não apenas para manter o alinhamento com a estratégia, mas também para permitir um “desalinhamento controlado”, de forma a encorajar pesquisas em áreas potencialmente relevantes.

Propostas a Partir de uma Visão Processual da Área de P&D

Quinn (1960) foi um dos primeiros autores a tornar a discussão de indicadores de desempenho mais abrangente, no nível de sistema de medição de desempenho. O método proposto por este autor ia além da elaboração de critérios de priorização de projetos e investimentos em recursos, aplicando o conceito de cadeia causal para entender os resultados gerados pela inovação. A discussão da cadeia causal foi estruturada a partir da idéia de um processo de inovaçãoiv, conforme pode ser visualizado a seguir.

As três fases de pesquisa... Produzem tecnologia... Que alavancam possibilidades para explorar oportunidades...

Que podem ser usadas na organização...

Para apoiar suas metas estratégicas

Figura 4: Representação dos aspectos que levam a efetividade da inovação. Fonte: Quinn (1960, p. 70)

ANAIS

entrada – saída – resultados (input – output – outcomes), consolidado por Brown e Svenson em 1988, quase três décadas depois.

A partir da idéia original de Quinn (1960), Brown e Svenson (1998) introduziram o conceito de P&D como um sistema, onde o desempenho deste sistema deveria ser medido sob diferentes atributos (qualidade, quantidade e custos) em diferentes etapas do processo (entradas, processamento, saídase resultados). Este conceito implicitamente reconhece a área de P&D como um processo, e conseqüentemente, parte do pressuposto que este processo é identificável e modelável. A figura 5ilustra com maior detalhe este conceito.

 Marketing  Plano de Negócios  Manufatura  Engenharia  Operações Atividades:  Pesquisa  Desenvolvimento  Patentes  Produtos  Processos  Publicações  Conhecimento  Redução de Custos  Crescimento de Vendas  Melhoria do Produto  Economia de Capital  Pessoas  Idéias  Equipamentos  Facilidades  Financiamentos  Informação  Requerimentos específicos Entradas Sistema Processo Saídas Resultados

Sistema Receptor das Saídas

Indicadores de Saída

Indicadores de Resultado Indicadores de Processo

Figura 5: Sistema de Medição de Desempenho para P&D, em uma Visão de Sistema. Fonte: Brown e Svenson (1998, p.31)

Entende-se o processo de P&D como atividades que envolvem: pesquisa, desenvolvimento, testes e divulgação desses resultados. As entradas necessárias para este processo são pessoas (enquanto detentoras de conhecimentos específicos e úteis para o processo de P&D), idéias, equipamentos, financiamentos, informações, etc. Ao lado direito da figura, os autores fazem uma classificação interessante ao diferenciarem as saídas dos resultados. Entende-se por saídas as patentes geradas das pesquisas, produtos novos, processos e métodos, publicações. Tais saídas não fazem importância sem que haja um “subsistema receptor” dessas saídas. Por exemplo, um novo produto não tem importância, se ele não for aceito no mercado a que foi destinado. Idem para uma patente de algo não importante para este mercado. Ou mesmo um novo processo produtivo, se não houver redução de custos e/ou melhoria da qualidade do produto final. E é justamente essa a diferença de saídas e resultados: os resultados são conseqüências da ação da saída nesses subsistemas. Pelos conceitos vistos em sistemas de medição de desempenho e indicadores, os indicadores de entrada são classificados como de eficiência (ou seja, o melhor uso dos recursos); os de saída como de eficácia e os de resultado como de efetividade (ou seja, as saídas causam impacto significativo no subsistema receptor das saídas).

ANAIS

esta função, a saber: seleção de projetos de P&D, planejamento e gerenciamento de projetos, geração de novas idéias, garantia de qualidade de processos e métodos, motivação de pessoas, estabelecimento de times de trabalho, coordenação de atividades de P&D e funções de marketing, transferência de tecnologia de manufatura, colaboração entre P&D e finanças e a relação entre P&D com plano de negócio.

Schumman et al (1995) apontam que, embora a função P&D seja bastante complexa e que poucos indicadores de desempenho sejam insuficientes para mapear toda essa complexidade, se existe um processo de P&D, então é possível haver um sistema de medição de desempenho aceitável. A partir do quadro conceitual proposto por Brown e Svenson (1998) eles propõem um modelo constituído de dimensões (pessoas, processos, saídas, clientes internos, clientes externos e sociedade) para apoiar a identificação de indicadores de desempenho. Eles então elaboram uma matriz cruzando essas perspectivas com o desempenho do processo em si, das saídas do processo e dos resultados do processo em relação à sua aderência com seus objetivos.

Hauser (1996) classificam as atividades de P&D em três camadas, onde a primeira refere-se a atividades que conformam objetivos organizacionais ou atividades exploratórias (por exemplo, pesquisa básica); a segunda refere-se a atividades que selecionam e desenvolvem programas para a criação de competências centrais e; a terceira refere-se a atividades ou projetos focados em necessidades mais imediatistas do cliente. Indicadores de desempenho devem ser específicos para cada camada, e o conjunto de indicadores de desempenho das três camadas compõe um balanceamento razoável para medir desempenho do P&D.

Propostas a Partir da Estrutura de Auditoria

Na linha do acompanhamento das práticas de gestão de P&D, Chiesa et al (1996) propõem um modelo para auditoria de gestão tecnológica, indo além de um sistema de medição de desempenho, por apontar problemas e fornecer informações que podem ser usadas no desenvolvimento de planos de ação. O modelo incorpora 4 processos: geração de conceitos, desenvolvimento de produtos, processos de inovação e aquisição de tecnologia. Esses processos são apoiados por três processos habilitadores: o de desenvolvimento de recursos financeiros e humanos, sistemas e ferramentas de gestão e gestão, liderança e direção. Para cada processo, os autores propõem indicadores de desempenho para avaliação da inovação. Jordan et al (2003), a partir da identificação de atributos de excelência em pesquisa de laboratórios do Departamento de Energia Americano, chegaram a uma lista com 36 atributos, distribuídos em 4 categorias (desenvolvimento de recursos físicos e humanos, inovação e fácil circulação). Os autores elaboram um modelo denominado Valores Competitivos para estruturar esta lista de atributos, de forma a orientar avaliações e projetar melhorias no ambiente de pesquisa desses laboratórios.

Propostas a Partir de Elementos Multi-Dimensionais do Balanced Scorecard

Embora acreditem que um efetivo meio de se medir desempenho de P&D é ilusório, Tipping

et al. (1995) apresentam uma metodologia denominada Technology Value Pyramid (TVP),

ANAIS

Figura 6: Pirâmide de Valor Tecnológico. Fonte: Tipping et al (1985, p. 23)

O papel do P&D para a inovação pode ser identificado por uma estrutura em pirâmide, hierárquica. Em sua base, estão contidos os elementos estruturais para a geração de valor, como práticas de processo e tecnologias. Os meios para se gerar valor - integração com a estratégia do negócio e o portfólio de produtos e serviços a serem desenvolvidos, encontram-se na parte intermediária da pirâmide. O reconhecimento dos fatores contidos na pirâmide, juntamente com um conjunto articulado de indicadores permite que este modelo seja usado para gerenciar a inovação em diferentes níveis – desde os níveis estruturais, até os de resultado.

Kerssens-van Drongelen e Cooke (1997) propõem uma estrutura de Balanced Scorecard adaptada para a função de P&D. Os autores fazem uma importante revisão dos conceitos presentes em sistemas de medição de desempenho (como formas de medidas, estrutura, padrões, formatos e freqüência de medição) e destaca os principais problemas na medição de desempenho para P&D: a dificuldade de se isolar a contribuição do P&D para o desempenho corporativo e o tempo entre o esforço com pesquisa e as recompensas financeiras - além da própria imprevisibilidade dos resultados da pesquisa. A solução proposta baseia-se na definição dos objetivos do sistema de medição de desempenho (para motivar pessoas, para diagnosticar problemas); e na identificação dos fatores que contingenciam o sistema de medição de desempenho tais como a natureza do ambiente competitivo (conforme Loch et al, 1996), a estratégia da organização (conforme Griffin e Page, 1996), da natureza dos processos de P&D (conforme a classificação, por exemplo, da OCDE em pesquisa básica, aplicada e desenvolvimento; e Pappas e Remer, 1985). Por fim, os autores, a partir da base conceitual de sistemas de medição de desempenho, apresentam uma proposta de BSC específico para P&D. Pearson et al (2000) a partir da estrutura do Balanced Scorecard (Kaplan e Norton, 1992), Pirâmide de Performance (Lynch e Cross, 1991) e Modelo de Capital Intelectual (Edvinsson e Malone, 1997) sugerem que os sistemas de medição de desempenho para P&D sejam multi-dimensionais e com a utilização dos pontos fortes das diferentes técnicas, onde cada aplicação será específica e melhor utilizada em determinadas circunstância.

Loch e Tapper (2002) também aplicam os conceitos do BSC em um grupo de pesquisa aplicada, cascateando a perspectiva de processos do nível estratégico ao nível operacional, e buscando o alinhamento com a estratégia. Os autores apontam alguns ganhos com o emprego do BSC, por exemplo, a integração top-down, possibilidade de priorização de projetos e

benchmarking. Complementar a esse trabalho, Bremser e Barsky (2004) apresentam uma

ANAIS

em projetos de P&D, mantendo o alinhamento estratégico, o que justificou a utilização em conjunto com a técnica Stage-Gate de avaliação de oportunidades e propostas de projetos. Esta abordagem permite o balanceamento dos objetivos de curto e longo prazo, de avaliação financeira e não financeira e de resultados com meios de se atingir os resultados, além de facilitar o cascateamento dos objetivos corporativos para o P&D e para as equipes constituintes desta área. A figura a seguir ilustra a aplicação do BSC em um departamento de P&D.

Objetivos Estratégicos Indicadores Estratégicos (Nível da Firma) Indicadores de Pesquisa e Desenvolvimento (Nível Departamental)

A. Retorno do Capital Empregado 1. Valor criado pelo P&D nos estágios iniciais (A, B, C)

B. Lucratividade por Cliente 2. Valor criado pelo P&D nos estágios de comercialização (A, B, C)

C. Taxa de Crescimento das Receitas 3. Percentual de vendas de novos produtos (D, E)

D. Taxa de Retenção dos Clientes 4. Ciclo de vida do produto no mercado (D, E, F)

E. Market Share 5. Satisfação dos clientes pelos novos produtos (D,E)

F. Aquisição dos Clientes (quantidade e qualidade)6. Nº de novos produtos aprovados para comercialização (H)

G. Lucratividade dos Novos Produtos 7. Lead Time médio de desenvolvimento por estágio (H) H. Eficiência do P&D (tempo para lançamento no

mercado) 8. Custo médio de desenvolvimento por estágio (G, H) I. Percentual de Recursos para Sustentar Produtos

Existentes

9. Percentual de idéias aprovadas para o estágio de desenvolvimento (H)

J. Outros indicadores não relacionados a P&D 10. Acurácia do planejamento preço e margem (G)

K. Retenção dos Funcionários

L. Desenvolvimento dos Empregados M. Taxa de Cobertura de Competências Estratégicas (por Categoria de Competências) N. Pesquisa de Satisfação dos Funcionários O. Pesquisa de Cultura Inovativa

As letras em parêntesis são relações com indicadores do nível da firma

11. Taxa de aceitação de novos produtos (G) 12. Ocorrência de incidentes (H) 13. Nº de patentes (M)

14. Taxa de Cobertura de Competências Estratégicas (por Categoria de Competências) (K, M)

15. Competência do P&D vs competidores (M) 16. Pesquisa de Satisfação dos Funcionários (N, O) 17. Treinamento dos empregados (em horas) (K, L) Perspectiva Financeira Perspectiva de Clientes Perspectiva de Processos Internos Perspectiva de Aprendizado e Crescimento

Figura 7: Modelo de Indicadores de Desempenho à Luz do BSC. Fonte: Bremer e Barsky (2004, p.235)

Propostas a Partir de Outros Elementos Multi-Dimensionais

ANAIS

prestação de serviço (GRADY E FINCHAM, 1991) e como um centro de lucro (PEARSON

ET AL. 2000).

O comitê organizador do NRC (1996) apresentou outro quadro conceitual baseado em multi-dimensões de desempenho de P&D das organizações, buscando características de uma área de P&D classe mundial. Foram definidos cinco pilares (foco no cliente, recursos e capacitações, visão estratégica, criação de valor, e foco na qualidade) que balizam o sistema de medição de desempenho para P&D. Há 25 características de desempenho classe mundial distribuídos por estes cinco pilares, que são qualitativamente descritos.

Ojanen (2003) apresenta uma proposta classificação de indicadores de desempenho, visando outra forma de multidimensionalidade. Esses princípios encontram-se ilustrados na figura 8.

Definir o propósito dos indicadores de P&D Definir o nível de análise de desempenho do P&D Definir o tipo de P&Da ser avaliado Definir a fase do processo de P&D a ser avaliada Seleção de Processos - Estrutura - Geração de idéias - Definição de critério de seleção - Escolha dos indicadores de P&D Checklists Uso de sistema de apoio a decisão Reavaliação Uso de indicadores de acordo com o propósito definido

Figura 8: Elementos para Estruturação de Sistemas de Medição de Desempenho para P&D Fonte: Ojanen (2003, p. 16)

Segundo o autor, os indicadores devem ser escolhidos de acordo com o propósito de medida (controle estratégico, justificativa de existência, benchmarking, alocação de recursos, desenvolvimento de atividades, motivação/ recompensa, etc., conforme definido por Loch et

al., 1996; Meyer et al., 1997; Kerssen van-Drongelen and Bilderbeek, 1999; Baglieri et al.,

2000), nível de medida (indústria, rede, organização, unidade de negócio, processo, projeto, grupo de trabalho, indivíduo, conforme Schumann et al., 1995; Hauser, 1998; Nixon, 1998; e Bremser and Barsky, 2004), tipo de P&D (pesquisa básica, pesquisa exploratória, pesquisa aplicada, desenvolvimento de produtos, melhoria de produtos, conforme Pappas e Remer (1985), Werner e Souder, 1997; e Ojanen e Vuola, 2003), fase do processo (entrada, processo, saída e resultado, conforme Brown e Svenson, 1998; Kerssen van-Drongelen e Cooke, 1997; Werner e Souder, 1997; e Baglieri et al., 2000) e perspectivas de mensuração (cliente, interna, financeira/ stakeholders, outros stakeholders, aprendizado, conforme Kerssens-van Drongelen and Cooke, 1997; Pearson et al, 2000; e Loch e Tapper, 2002).

ANAIS

desenvolvimento porque essas atividades são diferentes em termos de complexidade, incerteza e grau de variabilidade. A Figura 9 sintetiza a lógica contida em um projeto de sistemas de medição de desempenho para P&D.

PESQUISA • Suporte à tomada de decisão • Melhoria do desempenho • Motivação de funcionários • Suporte à incentivos • Redução de riscos

DESENVOLVIMENTO • Suporte à tomada de decisão • Melhoria do desempenho

• Estímulo ao aprendizado organizacional • Melhoria da comunicação e coordenação PESQUISA • Efetividade • Contribuição para o valor adicionado DESENVOLVIMENTO • Eficiência • Tempo PESQUISA • Pesquisador • Laboratório/ Departamento • Projeto DESENVOLVIMENTO • Equipe • Projeto PESQUISA • Qualitativos • Subjetivos PESQUISA • Envolvimento mais cedo DESENVOLVIMENTO • Envolvimento mais tarde PESQUISA • Menor DESENVOLVIMENTO • Maior PESQUISA • Objetivos futuros DESENVOLVIMENTO • Auto-avaliação • Benchmarking PROPÓSITO

DIMENSÕES DE DESEMPENHO ESTRUTURA

• Quantitativos • Subjetivos DESENVOLVIMENTO • Quantitativos • Objetivos INDICADORES

ELEMENTOS DO PROJETO DE INDICADORES

ENVOLVIMENTO DOS FUNCIONÁRIOS FREQUÊNCIA PADRÕES DE REFERÊNCIA

Figura 9: Elementos para Definição de uma Estrutura de Gestão Considerando a Heterogeneidade da Função P&D.

Fonte: Chiesa e Frattini (2007, p. 297 )

Para os autores, um projeto de sistema de medição de desempenho depende primeiramente do objetivo deste sistema como suportar tomada de decisão, motivar pessoas, reduzir riscos, etc. Os indicadores de desempenho que irão popular esse sistema deverão ser escolhidos em função das dimensões de desempenho (que pode ser efetividade, eficiência, etc.). Além das dimensões de desempenho, a natureza das atividades de P&D (quantitativo, qualitativo, etc.); o objeto a ser gerenciado (um departamento, um projeto, uma equipe); e pelos elementos constituintes do próprio projeto de sistema de medição de desempenho (como o grau de envolvimento das pessoas, freqüência de medição, e padrões de referência, conforme definido em Driva et al.2000; e Chiesa et al., 2007) são dimensões importantes para uma boa definição de sistemas de medição de desempenho para P&D.

Questões da Área de Pesquisa

ANAIS

Uma conseqüência desta nova percepção do papel da área de P&D, a partir dos anos de 1960, foi o crescimento do número de publicações sobre a criação de indicadores de desempenho para gestão do P&D, tendo em vista a solução de problemas mais específicos da área – como premiação dos melhores pesquisadores e apoio à decisão de alocação de recursos. Contudo, ainda há uma séria de inconsistências e deficiências neste campo de pesquisa. Embora importantes, os trabalhos que consideram apenas uma questão específica do P&D, tal como mencionado no início da seção anterior, não podem ser considerados suficientes para uma efetiva proposta de sistemas de medição de desempenhov para inovação. Tais artigosvi foram (e continuam sendo) fundamentais para o campo de pesquisa, em particular para a elaboração de frameworks mais completos. De fato, vários artigos com propostas de frameworks considerados nesta revisão partiram de conceitos contidos em artigos mais específicos, não considerados aqui.

Os trabalhos com propostas puramente quantitativas possuem elevado nível de incerteza e, conseqüentemente, são pouco aplicadas em alguns casos. Hubert, um pesquisador da Unilever, elaborou um artigo seminal intitulado “R&D and the Company’s Requirements”, onde questiona o uso dos métodos matemáticos que priorizam o retorno máximo do investimento em P&D como critério de avaliação de projetos. Segundo ele, a estratégia de P&D carrega um componente de grande incerteza de avaliação de sucesso a longo prazo e, contudo, de sub-otimização da performance de curto prazo (HUBERT, 1970).

Trabalhos com propostas puramente qualitativas também possuem limitações sérias. Merton (1968) destaca que ambientes de pesquisa são fortemente influenciados por fatores que contaminam a decisão puramente técnica, tais como a reputação dos pesquisadores e a sua paixão por determinada linha de projetos. (Merton, 1968).

Osama (2006) destaca a falta de continuidade dos trabalhos publicados sobre este assunto, citando o exemplo da publicação de Quinn em 1960, praticamente esquecida da literatura e das publicações posteriores até a publicação de Brown e Svenson em 1988, quase 30 anos depois. A partir dos anos de 1990, percebe-se a mesma desconexão entre os diferentes quadros conceituais desenvolvidos, e muitos desses quadros possuem aplicações bastante limitadas e particulares. De maneira geral, esses trabalhos buscam hiper-simplificar a discussão, por exemplo, limitando o alcance do sistema de medição de desempenho para o departamento de P&D – sem reconhecer que o processo de inovação transcende a área de P&D, ou até mesmo, repetindo feitos das primeiras publicações, como a avaliação do P&D a partir de indicadores simplistas, como número de patentes depositadas.

Osama (2006) ainda destaca outro ponto em questão: a aparente perda de sofisticação metodológica, onde os quadros conceituais são propostos sem uma revisão da literatura sobre os conceitos de controle gerencial e sistemas de medição de desempenho em geral, onde questões como multidimensionalidade, equilíbrio, correlações, causalidade, confiabilidade, validade, variabilidade, são deixadas de lado (Quinn, 1960 e Packer, 1983 são exceções). Por exemplo, o trabalho de Brown e Svenson (1998) se encontra no mesmo patamar de conhecimento, onde há inúmeras publicações limitadas apenas em adaptá-lo para solução de problemas específicos.

ANAIS

que apresentam os efeitos da implementação de um sistema de medição de desempenho em P&D de uma organização).

Outra questão afeta às limitações das publicações refere-se à adoção de “frameworks estáticos” em ambientes de elevada dinâmica. O próprio BSC, atualmente principal e mais completo quadro conceitual de sistema de medição de desempenho, pressupõe certa estabilidade no ambiente competitivo, o que para as organizações inovadoras pode representar verdadeiro equívoco. Autores como Bremser e Barsky (2004) propuseram uma estrutura de BSC para apoiar a avaliação da área de P&D. Entretanto, os autores não consideram, por exemplo, que diferentes fases do processo de inovação requerem diferentes avaliações: o BSC foi bem projetado para avaliar os resultados da área de P&D, basicamente o sucesso comercial de novos produtos, mas deixou de considerar algumas questões relevantes para o sucesso da organização inovadora como a sua capacidade de adquirir conhecimento e tecnologia, e até mesmo, para apontar que conhecimentos e tecnologias seriam necessários para desenvolver. Finalmente, conforme já colocado no início do artigo, pode-se considerar que a quase totalidade dos artigos contidos na revisão contém propostas para sistemas de medição de desempenho para departamento de P&D. Empresas sem P&D estruturado, mas que possuem uma sistemática de inovação - por exemplo, empresas que conduzem seu processo de inovação fora dos limites do P&D, como na Engenharia, Manufatura e Marketing, ou mesmo fora dos limitas da empresa, de acordo com os conceitos da inovação aberta (Chesbrough, 2003), precisariam avaliar como aplicar esses framework (ou até mesmo se eles seriam aplicáveis) para avaliar seu processo de inovação.

Considerações Finais

Este artigo buscou apresentar o resultado de uma revisão da literatura sobre sistemas de medição de desempenho para inovação. Sob este aspecto, os frameworks identificados na síntese possuem pontos fortes e fragilidades, enquanto balizadores de um projeto de sistemas de medição de desempenho. Não parece adequado, portanto, um trabalho de pesquisa deste campo, continuar investindo esforço para adaptar ou criar outros quadros conceituais que sejam capazes de suportar um bom sistema de medição de desempenho para avaliar o P&D das organizações.

Talvez um novo paradigma de projeto de sistemas de medição de desempenho esteja surgindo, onde o que é mais importante não é o uso de quadros conceituais e adaptações destes, mas sim, a que se baseia em método para a elaboração de projetos de sistemas de medição de desempenho.

Assim trabalhos futuros que considerem o P&D não como um departamento, mas como um processo, que considere a inovação não apenas contida na empresa, mas para fora dos seus limites, que considere os elementos conceituais presentes em um sistema de medição de desempenho, e que, finalmente, considere não apenas adaptações de frameworks de referência, mas sim, métodos para elaboração de sistemas de medição de desempenho adequados para cada realidade parece ser a tendência de desenvolvimento de trabalhos nesta linha de pesquisa.

ANAIS

Bibliografia:

Afuah, A. Innovation Management: Strategies, Implementation, and Profits Oxford University Press. 1998

Allio, R. J. e D. Sheehan. Allocating R&D Resources Effectively. Research Management, July-August. 1984.

Baglieri, E., V. Chiesa, et al. Evaluating Intangible Assets: the Measurement of R&D Performance. Workshop on Innovation in the Knowledge Economy - European Perspectives. Nijmegen Business School June 5-6, 2000 2000. p.

Boston Consulting Group. Innovation 2006. 2006

Booz Allen Hamilton. Smart Spenders - The Global Innovation 1000. 2006

Bremser, W. G. e N. P. Barsky. Utilizing the balanced scorecard for R&D performance measurement. R&D Management, v.34, n.3, p.229–238. 2004.

Brown, M. G. e R. A. Svenson. Measuring R&D productivity: The ideal system measures quality, quantity and cost, is simple, and emphasizes evaluation of R&D outcomes rather than behaviors. Research Technology Management, v.41, n.6, p.30-35. 1998. Chesbrough, H. Open Innovation: The New Imperative for Creating and Profiting from

Technology. Harvard Business School Press, 2003

Chiesa, V., P. Coughlan, et al. Development of a Technical Innovation Audit. Journal of Product Innovation Management, v.13, n.2, March -1996, p.105-136. 1996.

Chiesa, V. R&D Strategy & Organization: Managing Technical Change in Dynamic Contexts Imperial College Press. 2001

Chiesa, V. e F. Frattini. Exploring the differences in performance measurement between research and development:evidence from a multiple case study. R&D Management, v.37, n.4, p.283–301. 2007.

Chiesa, V., F. Frattini, et al. How do measurement objectives influence the R&D performance measurement system design? Evidence from a multiple case study. Management Research News, v.30, n.3, 2007, p.187-202. 2007.

Collier, D. W. Measuring Performance of R&D Departments. Research Management, v.20, n.2, p.30-34. 1977.

Cordero, R. The measurement of innovation performance in the firm: An overview. Research Policy, v.19, n.2, p.185-192. 1990.

Driva, H., K. S. Pawar, et al. Measuring product development performance in manufacturing organisations. International Journal of Production Economics, v.63, n.2, p.147-159. 2000.

Edvinsson, L. e M. S. Malone. Intellectual Capital: Realizing Your Company's True Value by Finding Its Hidden Brainpower: Collins. 1997

EUROSTAT. <http://epp.eurostat.ec.europa.eu>. Eurostat 2008.

Franceschini, F., M. Galetto, et al. Management by Measurement: Designing Key Indicators and Performance Measurement Systems Springer. 2007

ANAIS

Griffin, A. e A. L. Page. PDMA Success Measurement Project: Recommended Measures for Product Development Success and Failure. Journal of Product Innovation Management, v.13, n.6, p.478 - 496. 1996.

Hauser, J. R. e F. Zettelmeyer. Metrics to Evaluate R,D&E 1996.

Hauser, J. R. Research, development and engineering metrics. Management Science, v.44, n.12, p.1670-1689. 1998.

Hodge, J. e H. Melville. Rate your Company´s Research Productivity. Harvard Business Review, v.41, n.6. 1963.

Hubert, J. M. R & D and the company's requirements. R&D Management, v.1, n.1, p.30-34. 1970.

Jain, R. K. e H. C. Triandis. Management of Research and Development Organizations: Managing the Unmanageable John Wiley & Sons. 1997

Jamsen, M., P. Suomala, et al. What is been Measured in R&D: Contradictions Between the Need and the Practice. Temprere University of Technology, Finland. 2001.

Jordan, G. B., L. D. Streit, et al. Assessing and Improving the Effectiveness of National Research Laboratories. IEEE Transactions on Engineering Management, v.50, n.2. 2003.

Kaplan, R. S. e D. P. Norton. The balanced scorecard – measures that drive performance. Harvard Business Review, January-February, p.71-79. 1992.

Keegan, D. P., R. G. Eiler, et al. Are your performance measures obsolete? Management Accounting, June, p.45-50. 1989.

Kerssens-Van Drongelen, I. C. e A. Cooke. Design principles for the development of measurement systems for research and development processes. R&D Management, v.27, n.4, p.345-357. 1997.

Kerssens-Van Drongelen, I. C. e J. Bilderbeek. R&D Performance Measure - More than Choosing a set of Metrics. R&D Management, v.29, n.1, January 1999, p.35-46. 1999. Loch, C., L. Stein, et al. Measuring Development Performance in the Electronics Industry.

Journal of Product Innovation Management, v.13, n.1, p.3-20. 1996.

Loch, C. H. e U. A. S. Tapper. Implementing a strategy-driven performance measurement system for an applied research group. Journal of Product Innovation Management, v.19, n.3, p.185-198. 2002.

Lynch, R. L. e K. F. Cross. Measure Up - The Essential Guide to Measuring Business Performance. London: Mandarin. 1991

Mansfield, E. How economists see R&D. Harvard Business Review, v.59, n.6. 1981.

Merton, R. K. The Matthew Effect in Science - The reward and communication systems of science are considered. Science, January. 1968.

Meyer, M. H., P. Tertzakian, et al. Metrics for managing research and development in the context of the product family. Management Science, v.43, n.1, January 1997. 1997. Neely, A. The evolution of performance measurement research: Developments in the last

ANAIS

Nixon, B. Research and development performance measurement: a case study. Management Accounting Research, v.9, n.3, p.329-355. 1998.

Nrc. World Class Research and Development: National Academies Press. 1996

Ojanen, V. R&D Performance Analysis: Case Studies on the Challenges and Promotion of the Evaluation and Measurement of R&D. Department of Industrial Engineering and Management, Lappeenranta University of Technology, Lappeenranta - Finland, 2003. Ojanen, V. e O. Vuola. Coping with the multiple dimensions of R&D performance analysis.

International Journal of Technology Management v.33, n.2-3, p.279-290. 2006.

Osama, A. Multi-Attribute Strategy and Performance Architectures in R&D: the Case of Balanced Scorecard. (Doctorate). RAND Graduate School, 2006.

Packer, M. B. Analysing Productivity in R&D Organizations. Research Management, v.26, n.1. 1983.

Pappas, R. A. e D. S. Remer. Measuring R&D Productivity. Research Technology Management, v.28, n.3, p.15-22. 1985.

Pearson, A. W., W. A. Nixon, et al. R&D as a business - What are the implications for performance measurement? R&D Management, v.30, n.4, p.355-366. 2000.

Roussel, P. A., K. N. Saad, et al. Third Generation R & D: Managing the Link to Corporate Strategy: Harvard Business School Press. 1991

Quinn, J. B. How to Evaluate Research Output. Harvard Business Review, v.37, n.2, p.69–80. 1960.

Schumann, P. A. J., D. L. Ransley, et al. Measuring R&D performance. Research Technology Management., v.38, n.3, p.45-54. 1995.

Szyonkyi, R. Mechanisms to Improving the Effectiveness of R&D: How Many Mechanisms are Enough? . R&D Management, v.15, n.3, p.219-225. 1985.

Tipping, J. W., E. Zeffren, et al. Assessing the value of your technology. Research Technology Management, v.38, n.5, p.22-39. 1995.

Werner, B. M. e W. E. Souder. Measuring R&D performance - state of the art. Research Technology Management., v.40, n.2, p.34-42. 1997.

i _{Essas buscas foram feitas nas bases Web of Science, Engineering Village e Scorpus em 15/07/2008.}

Utilizou-se palavras-chave relacionadas aos termos “Inovation” ou “Research and Development” no campo “Título”, retirando dos resultados os artigos não relacionados às áreas de gestão (management), negócios (business) e economia (economics).

ii _{As seguintes palavras-chaves foram utilizadas: Innov* and (Perform* or Measur*) OR R&D and}

(Perform* or Measur*) OR (Research and Develop*) and (Perform* or Measur*). O caractere “*” inserido nas buscas permite uma varredura mais ampla, contemplando variações do termo a partir da raiz “innov”, como “innovation”, “innovative”, “innovativiness”, “innovate”, etc. Filtros relacionados às áreas de pesquisa “MANAGEMENT”, “BUSINESS”, “ENGINEERING, INDUSTRIAL OR ECONOMICS”, “OPERATIONS RESEARCH & MANAGEMENT SCIENCE” e “PLANNING & DEVELOPMENT” foram aplicados.

iii

ANAIS

(Planning Assistanee Through Technical Evaluation of Relevance Numbers), desenvolvido pela Honeywell. (Mansfieled, 1981, p. 102).

iv

Embora o termo “processo de inovação” não foi tenha sido mencionado em seu trabalho, a relação causal explicitada por Quinn (1960, p.70) representa justamente uma primeira representação de um processo de inovação.

v _{Resumidamente, um sistema de medição de desempenho pode ser entendido como um conjunto de}

indicadores de desempenho balanceados, articulados e com número suficiente para possibilitar aos gestores a tarefa de análise e tomada de decisão (adaptado de Neely, 2000)

vi _{Por exemplo, Hodge Jr. (1963) elaborou uma proposta indicadores de desempenho visando não a gestão}