Os indicadores de desempenho de projetos no SEBRAE/RN são de dois tipos:
• Finalísticos: efeitos que devem ser produzidos no público-alvo ou junto a ele com a execução do projeto dentro do seu horizonte do tempo, refletem diretamente o objetivo, de forma a quantificá-lo e estabelecer prazos para que aconteçam.
• Intermediários: representam transformações que contribuem para o alcance dos resultados finalísticos, refletem resultados importantes para o projeto, mas que estão ligados
diretamente à contribuição para que o resultado finalístico aconteça ou de acordo com a necessidade de acompanhar algum ponto específico.
Os resultados de um projeto de atendimento devem ser descritos em frases auto explicativas, iniciadas por um verbo no infinitivo (indicando a transformação que se quer realizar), seguido do indicador, da meta a ser alcançada, e do respectivo horizonte de tempo, como observamos na figura a seguir:
Figura 8– Indicador de resultado de projeto
Fonte: Pesquisa, 2014.
A partir de 2012, foi estabelecida a padronização de resultados, criando, para tanto, grupos de indicadores a serem utilizados nos projetos, o que possibilita que os resultados similares sejam comparados, evidenciando quais projetos são referência em um determinado tipo de resultado e como podem contribuir com outros projetos que tenham resultados semelhantes.
Os indicadores de resultado analisados nos projetos selecionados para este estudo de caso medem as transformações no público-alvo, segmentados em critérios que envolvem satisfação, aplicabilidade, imagem, participação no projeto, mercado, faturamento, produtividade, competitividade, número de empresas certificadas e número de pessoas ocupadas, como observamos no quadro abaixo:
Quadro 9- Indicadores de desempenho de projetos selecionados Agronegócio do RN Critério Indicador de desempenho Objetivo do Projeto: Fortalecer o agronegócio potiguar, aumentando a competitividade,
sustentabilidade e rentabilidade dos empreendimentos atendidos
Resultado 1 - Tipo Finalístico Obter grau de satisfação "muito satisfeito" ou "satisfeito" com os produtos e
serviços oferecidos pelo projeto, de no mínimo 70% até dezembro de 2017
Satisfação Resultado 2 - Tipo Intermediário Obter grau de aplicação dos produtos e serviços do projeto no mínimo 70%
pelos participantes do projeto, até dezembro de 2017
Aplicabilidade Resultado 3 - Tipo Finalístico Obter índice de imagem, após contato, de no mínimo 7,5 entre os
participante do projeto até dezembro de 2017
Imagem Adensamento da Cadeia Produtiva do Petróleo, Gás e Energia do RN
Fase 2
Critério Indicador de desempenho Objetivo do Projeto: Promover a inserção competitiva e sustentável de micro e pequenas
empresas locais na cadeia produtiva de petróleo, gás e energia, visando a adequação fornecedores, estimulando processos locais desenvolvimento.
Resultado 1 - Tipo Intermediário Aumentar o número de micro e pequenas empresas participantes do projeto
no cadastro da Petrobras em 10% até dez/2013 (em relação ao To).
Participação no projeto Resultado 2 - Tipo Intermediário Reduzir o número de itens de baixa competitividade do cadastro da
PETROBRAS, dentre os indicados pelas Unidades de Negócios, em 10% até dezembro 2013.
Participação no projeto
Resultado 3 - Tipo Finalístico Aumentar o número de pessoas ocupadas nas micro e pequenas empresas
participantes do projeto em até 3% até dezembro 2013
Participação no projeto Resultado 4 - Tipo Intermediário Aumentar o número de MPES participantes do projeto cadastradas na ONIP
em 20% até dezembro 2013.
Participação no projeto Resultado 5 - Tipo Finalístico Aumentar o faturamento bruto (R$) das MPE para Cadeia Produtiva de
P&G em 5% até dez/2013 (em relação ao T0).
Faturamento
Expoart - 2014 Critério
Indicador de desempenho Objetivo do Projeto:
Fomento do artesanato no Rio Grande do Norte com foco no
desenvolvimento e comercialização de produtos artesanais de alto valor agregado buscando a elevação do patamar de qualidade estética, cultural e mercadológica visando o evento mobilizador da copa 2014.
Resultado 1 - Tipo Finalístico - Obter 80% dos visitantes satisfeitos em eventos realizados pelo Sebrae ou
por parceiros até 31/12/2015
Satisfação Resultado 2 - Tipo Intermediário Obter 30 visitantes participantes em eventos realizados pelo Sebrae ou por
parceiros até 31/12/2015
Participação no projeto
Resultado 3 - Tipo Finalístico Obter R$ 500.000 em volume de vendas diretas geradas até 31/12/2015 Faturamento
Fruticultura e Agroindústria Potiguar
Critério Indicador de desempenho Objetivo do Projeto: Manter e ampliar mercados interno e externo, visando o desenvolvimento da
fruticultura e da agroindústria de processamento de frutas e castanha de caju do Rio Grande do Norte, de forma racional, tecnificada e sustentável,
melhorando a competitividade e elevando a geração de renda dos produtores e empresários.
Resultado 1 - Tipo Finalístico Aumentar o volume de venda de produtos processados, produzido pelas
agroindústrias participantes do Projeto, em 5 % ao ano, até dezembro de 2017.
Vendas
Resultado 2 - Tipo Finalístico Ter acréscimo no faturamento dos produtores/empresas atendidos pelo
projeto na ordem de 4 % ao ano, até dezembro de 2017.
Vendas Resultado 3 - Tipo Intermediário Ampliar o número de produtores/empresas aplicando as Boas Práticas
Agrícolas e/ou certificadas para atender os atuais e novos mercados, em 40% até dez 2017.
Empresas certificadas Indústria da Moda e Confecções no Rio Grande do Norte
Critério
Indicador de desempenho Objetivo do Projeto: Promover a competitividade das indústrias inseridas no projeto por meio de
inovações no processo produtivo e produto, na gestão das empresas buscando a ampliação do mercado.
Resultado 1 - Tipo Intermediário
Aumentar em 30% a produtividade até dezembro de 2017. Produtividade Resultado 2 - Tipo Finalístico Obter no mínimo 60 pontos no nível de competitividade até dezembro de
2017.
Competitividade Resultado 3 - Tipo Finalístico Aumentar em 20% o número de novos clientes até dezembro de 2017. Mercado Resultado 4 - Tipo Intermediário Obter 60% das empresas com preview e lançamentos dentro do calendário
nacional até dezembro de 2017.
Mercado Sebrae 2014/RN - Tecnologia da Informação
Critério Indicador de desempenho Objetivo do Projeto
Identificar, disseminar e fomentar as oportunidades de negócios a partir do evento mobilizador Copa do Mundo 2014 de forma a aumentar a
competitividade das empresas de TIC do RN atendidas, possibilitando o ingresso em novos mercados regionais, nacionais e internacionais, antes, durante e pós-evento, considerando a missão de contribuir para a
competitividade e desenvolvimento sustentável das pequenas empresas desse setor.
Resultado 1 - Tipo Finalístico Aumentar o nível de competitividade das empresas participantes até dezembro de 2014.
Competitividade Resultado 2 - Tipo Finalísticos Obter
Resultado 3 - Tipo Intermediário
Aumentar 10% o número de novos clientes até 31/12/2014 Mercado Resultado 4 - Tipo Intermediário
Aumentar 15% o número de pessoas ocupadas até 31/12/2014 Ocupação
Fonte: Pesquisa, 2014.
Os indicadores de desempenho do SEBRAE/RN estão alinhados à definição de Barclay e Osei-Bryson (2010), pois para os autores, a medição de desempenho é a apuração e o monitoramento dos critérios de sucesso do projeto, definidos pelos stakeholders e representativos das dimensões de desempenho do projeto e segue a seguinte metodologia:
a) Identificação dos stakeholders do projeto;
b) Estruturação dos objetivos do projeto baseada nas perspectivas dos stakeholders relevantes;
c) Priorização dos objetivos do projeto;
d) Identificação de medidas que podem ser usadas para medir os objetivos do projeto.
Os indicadores de desempenho auxiliam na avaliação do andamento do projeto, acompanhamento de suas metas e são um instrumento de apoio a tomada de decisão. Como cada projeto é único, os indicadores de desempenho devem ser adequados as suas particularidades.
5 CONCLUSÕES
Considerando o atual cenário, em que as principais mudanças organizacionais e inovações são executadas em sua maior parte por projetos, e que a divulgação de seus resultados através de relatórios de desempenho e de prestação de contas não mais satisfazem às expectatitas da sociedade e das organizações, observamos a necessidade da comunicação de resultados concretos, que se traduzam em transformações e melhorias efetivas geradas para os beneficiários de projetos das organizações.
Diante dessas proposições, este trabalho teve o objetivo de analisar os indicadores de desempenho de projetos do SEBRAE/RN a partir da avaliação de critérios de sucesso em projetos e buscou responder à questão: Como avaliar os projetos do SEBRAE/RN através de indicadores que reflitam as reais transformações geradas por tais projetos no público-alvo no qual a instituição atua?
Para consecução do objetivo geral foi preciso a realização dos objetivos específicos que foram: identificar os critérios de sucesso de projetos do SEBRAE/RN, descrever o sistema de avaliação de projetos do SEBRAE/RN e comparar os indicadores de desempenho de projetos com indicadores existentes na literatura atual.
Com a adoçao de uma abordagem quantitativa, através de questionário, e qualitativa, ,por análise de documentos, com o método do estudo de caso, foi realizado uma pesquisa com a seleção de 6(seis) projetos da organização.
Inicialmente, foi aplicado questionário com público-alvo dos projetos seus parceiros e gestores, equipe de gestão e monitoramente, e diretoria executiva da organização, para, através de questionário elaborado pelos autores Shenhar; Dvir (2007) e adaptado pela autora, observar a visão dos critérios de sucessos pelos respondentes.
Após a coleta de dados, foi feita uma análise de critérios de sucesso da organização, descrição do sistema de avaliação de projetos e comparação dos indicadores de desemepnho da organização com indicadores existentes na literatura atual
De acordo com o primeiro objetivo específico desta pesquisa, que é identificar os critérios de sucesso de projetos do SEBRAE/RN, pode-se afirmar, que a instituição avalia seus projetos selecionados de acordo com indicadores de resultado de imagem organizacional, satisfação, aplicabilidade, faturamento, produtividade, competitividade e mercado , metas, execução de ações e execução financeira.
Ao observamos o resultado da pesquisa aplicada, notamos que as 5(cinco) dimensões tiveram alta concordância, ou seja, para os respondentes da pesquisa, todas as dimensões são
importantes como critério de sucesso do projeto. Atentamos para a dimensão impacto na equipe, que apresentou grau de concordância abaixo das demais.
Tem-se evidências de diferença estatística entre um dos critérios estudados, que ocorre entre o critério impacto no cliente/usuário com o sucesso comercial e organizacional direto, com o impacto no cliente/usuário apresentando melhor desempenho. Para os respondentes da pesquisa, há uma maior importância para o critério impacto no cliente em relação ao sucesso comercial. Quanto aos outros critérios todos possuem resultado semelhante.
Quanto aos critérios de sucesso de projetos, é notado que a dimensão eficiência do projeto é sempre apontada como de maior importância pela maioria dos projetos pesquisados, sendo mais relevante para o: Encadeamento de Petróleo, Gás e Energia do RN, ExpoArt 2014, Fruticultura e Agroindústria Potiguar. Nos projetos Indústria da Moda e Confecções e SEBRAE-2014 – Tecnologia da Informação é apontado como segundo mais importante. O critério Eficiência do Projeto envolve questões de conclusão de cronograma, e realização de orçamento previsto.
O critério impacto no cliente, que pesquisa itens de desempenho, satisfação, retorno financeiro, mudanças competitivas e melhoria de condições financeiras do cliente e de sua família, tem maior representatividade no projeto de agronegócio, onde os resultados costumam se entender à família do beneficiário, pelas características dos empreendimentos atendidos.
O terceiro critério, impacto na equipe, possui melhor avaliação dos projetos de Indústria da Moda e Confecções do RN e SEBRAE 2014 – Tecnologia da Informação, para estes projetos há uma importância maior que a equipe envolvida no projeto esteja satisfeita e queiram continuar na organização.
Entre todos pesquisados, existe diferença apresentada apenas no critério sucesso comercial e organizacional. Os gestores de projetos e analistas gerenciais, veem uma importância maior para o critério sucesso comercial e organizacional, que envolve questões de imagem da organização, execução de receita, alavancagem de parcerias, do que as empresas do projeto pesquisadas.
O critério preparação para o futuro, que aborda resultados do projeto a longo prazo, foi melhor avaliado para de Fruticultura e Agroindústria Potiguar e Agronegócio do RN.
Com relação ao segundo objetivo específico, que é descrever o sistema de avaliação de projetos do SEBRAE/RN, afirma-se que a organização possui um processo formal e não padronizado para medir e avaliar seus projetos, de acordo com os critérios de custo, prazo e indicadores de resultados que estão limitados a quesitos de imagem organizacional, satisfação, aplicabilidade, faturamento, produtividade, competitividade e mercado existindo assim, uma lacuna entre a teoria de critérios de sucesso de Shenhar; Dvir (2007) e a prática existente na organização.
Após estudo de referencial bibliográfico e análise dos dados, comparamos os indicadores de projetos da organização com indicadores existentes na literatura atual e observamos que os indicadores de desempenho do SEBRAE/RN estão alinhados a definição de Barclay; Osei-Bryson (2010), pois para os autores, a medição de desempenho é a apuração e o monitoramento dos critérios de sucesso do projeto, definidos pelos stakeholders e representativos das dimensões de desempenho do projeto, atendendo, ao terceiro objetivo específico, comparar os indicadores de desempenho de projetos com indicadores existentes na literatura atual.
Diante do objetivo geral desta pesquisa: analisar os indicadores de desempenho de projetos do SEBRAE/RN, a partir da avaliação de critérios de sucesso, conclui-se que, para uma avaliação das reais transformações geradas pelas ações da instituição no público-alvo de seus projetos, é necessário uma expansão dos itens de indicadores de desempenho de projetos da organização, contempladas na teoria de critérios de sucesso de Shenhar; Dvir (2007) , para que estes itens se transformem em uma ferramenta para indicação de sucesso ou fracasso de projetos.
REFERÊNCIAS
ALARCÓN, L.; GRILLO, A.; FREIRE, J.; DIETHELM, S. Learning from collaborative benchmarking in the construction industry. In______: ANNUAL CONFERENCE OF LEAN CONSTRUCTION, 9, 2001, Singapura. Anais eletrônicos. Singapura: IGLC National University of the Singapore, 2001.
ANDERSEN, Erling S. Rethinking Project Management. An organizational perspective. Harlow: Pearson Education Limited, 2008. 368 p.
ARMANI, D. Como elaborar projetos? – Guia Prático para Elaboração e Gestão de Projetos Sociais. Porto Alegre: Tomo, 2001.
ATKINSON, R. Project management: cost, time and quality, two best guesses and a phenomenon, it is time to accept other success criteria. International Journal of Project Management, v. 17, n. 6, 1999.
AZEVEDO, Paulo R. Medeiros. Introdução à Estatística. 2. ed. Natal, EDUFRN: 2009. BALACHANDRA, R.; FRIAR, J. H. Factors for success in r&d projects and new product innovation: a contextual framework. IEEE Transactions on Engineering Management, v. 44, n. 3, p. 276-287, 1997.
BARBI, Fernando C. Os 7 passos do gerenciamento de projetos. Disponível em
<http://www.microsoft.com/brasil/msdn/tecnologias/carreira/gerencprojetos.mspx>. Acesso em: 3 dez. 2011.
BARBER, E. Benchmarking the management of projects: a review of current thinking. International Journal of Project Management. v. 22, p. 301-307, 2004.
BARCLAY, C.; OSEI-BRYSON, K. M. Project performance development framework: An approach for developing performance criteria & measures for information systems (IS) projects. International Journal of Production Economics, v. 124, n. 1, p. 272-292, 2010. BARDIN, I. Análise de conteúdo. Lisboa: Edições Setenta, 1994, 226 p.
BROWN, James Dean. Statistics Corner: Questions and answers about language testing statistics: The Cronbach alpha reliability estimate The Cronbach alpha reliability estimate. Shiken: JALT Testing & Evaluation SIG Newsletter. 6 (1) February 2002 (p. 17 - 18) .University of Hawai'i at Manoa. Honolulu, Estados Unidos. 2002. Disponível em:< http://jalt.org/test/PDF/Brown13.pdf>. Acesso em: 10 ago. 2014.
CARVALHO, M.; RABECHINI JR, R. Gestão projetos inovadores em uma perspectiva contingencial: análise teórico-conceitual e proposição de um modelo. Revista de
Administração e Inovação, v. 6, n. 3, p. 63, 2009.
CHIANCA, T. Desenvolvendo a cultura de avaliação em organizações da sociedade civil. São Paulo: Global, 2001.
CLELAND, David L.; IRELAND, Lewis R. Gerência de Projetos. Rio de Janeiro: Reichmann & Affonso, 2002.
COOPER, D. R.; SCHINDLER, P. S. Métodos de pesquisa em Administração. 7 ed. Porto Alegre: Bookman, 2003.
CORRAR, Luiz J.; PAULO, Edilson; DIAS FILHO, José Maria. Análise multivariada: para os cursos de Administração, Ciências Contábeis e Economia. São Paulo: Atlas, 2009.
DE WIT, A. Measurement of project success. International Journal of Project Management, v. 6, n. 3, p. 164-170, 1988.
FILHO, D. B. Figueiredo. JÚNIOR. José A. Silva. Desvendando os Mistérios do Coeficiente de Correlação de Pearson (r). Revista Política Hoje, v. 18, n. 1, 115-146 p. 2009. Disponível em:< http://www.revista.ufpe.br/politicahoje/index.php/politica/article/viewFile/6/6>. Acesso em: 10 ago. 2014.
FRANCO, Maria Laura PuglisiBarbosa. Análise de conteúdo. Brasília: LíberLivro, 2008. GIL, Antônio Carlos. Como elaborar projetos de pesquisa. São Paulo: Atlas, 2002. < file:///C:/Users/Felli/Contacts/Downloads/GIL__Antonio_Carlos._COMO_ELABORAR_PR OJETOS_DE_PESQUISA_-_Copia-libre.pdf>. Acesso em: 08 ago. 2014.
HAIR JR., J.F., et al. Análise multivariada de dados. 6. ed. São Paulo: Bookman, 2009. HANDBOOK, Kellog Foundation. Site da Kellog Foundation, 2002.
GOODPASTURE, John C. The Project Office: Finding Pearls and Avoiding Perils. In______: Proceedings of The Project Management Institute Annual Seminars and Symposium, Houston, Setembro de 2000.
KAPLAN, R. S.; NORTON, D. P. A estratégia em ação: Balanced Scorecard. 13. ed. Rio de Janeiro: Campus, 1997.
KERZNER H. Strategic planning for project management maturity model. New York: John Wiley & Sons, 2001.
KERZNER, H. Gestão de projetos: as melhores práticas. Porto Alegre: Bookman, 2002. KERZNER, H. Project management: a systems approach to planning, scheduling, and controlling. 8. ed. New York: John Wiley & Sons, 2003.
KERZNER, H. Project management best practices: achieving global excellence. Hoboken: John Wiley & Sons, Inc., 2006.
KERZNER, H. Project Management: A Systms Approach to Planning, Scheduling, and Controllig. 10. ed. New Jersey: John Wiley & Sons, 2009. Disponível em: <
http://honestyets.pbworks.com/f/Project+Management+-+A+Systems+Approach+- +10thEd.pdf>. Acesso em: 08 ago. 2014.
JHA, K.N. e LYER K.C.. Commitment, coordination, competence and the iron triangle. International Journal of Project Management, n. 25, p. 527–540, 2007.
LAVIERI, Carlos Amorim. Sistema de avaliação de desempenho aplicado em redes de franquias. 2008. 178 f. Dissertação em Administração. Departamento de Administração, Faculdade de Economia, Administração e Contabilidade, São Paulo. 2008. Disponível em:< http://www.teses.usp.br/teses/disponiveis/12/12139/tde-23102008-141059/pt-br.php>. Acesso em: 08 ago. 2014.
LEWIS, James P. The Project Manager´s Desk Reference. 2. ed., Boston: Mac Grow-Hill, 2000.
PERRET, B. L’évaluation, clé d’une nouvelle gouvernance. In. ______: L’évaluation des politiques publiques, p. 93-107, Paris, La Découverte, Repères no 329, 2001.
PINTO, J.; SLEVIN, D. Project success: definitions and measurement techniques. Project Management Journal, v. 19, n. 1, p. 67-72, 1988.
PONTES, Antonio C. Fonseca. Obtenção dos níveis de significância para os testes de kruskal-wallis, friedman e comparações múltiplas não paramétricas. (Dissertação). Escola superior de Agricultura. Universidade de São Paulo. Piracicaba, São Paulo, Brasil, mai. 2000. Disponível em:<http://www.teses.usp.br/teses/disponiveis/11/11134/tde- 15032002-093020/pt-br.php>. Acesso em: 10 ago. 2014.
POSSI, M. Capacitação em gerenciamento de projetos. Rio de Janeiro: Brasport, PROJECT MANAGEMENT INSTITUTE. A guide to the project management body of knowledge – PMBOK Guide. Newton Square: PMI, 2008.
PROJECT MANAGEMENT INSTITUTE – PMI-SP. Disponível em: <
http://www.pmisp.org.br/sobre/80-institucional/1431-o-que-e-o-pmi Acesso em 20 maio2014. REIS, Edna Afonso; REIS, Ilka Afonso. Análise descritiva de dados: Síntese numérica. Relatório Técnico. RTP-02/2002. Série Ensino. 1.ed. 36p. jul. 2002. Universidade Federal de Minas Gerais. Instituto de Ciências Exatas. Departamento de Estatística. Disponível em:< ftp://ftp.est.ufmg.br/pub/rts/rte0202.pdf>. Acesso em: 10 ago. 2014.
SANVIDO, V., et al. Critical success factors for construction projects. Journal of Construction Engineering and Management, v. 118, n. 1, p. 94-111, 1992. SELLTIZ, B. The secrets of software succes. Jul, 2001. Disponível em: <
http://wiki.fluidproject.org/download/attachments/1704779/The+Nature+of+the+Team.pdf?v ersion=1:>. Acesso em: 08 ago. 2014.
SHENHAR, A. J.; DVIR, D. Reinventing project management: The Diamond Approach to successful growth and innovation. Boston, MA: 2007.
SHENHAR, A.; DVIR, D. Reinventando gerenciamento de projetos: a abordagem diamante ao crescimento e inovação bem-sucedidos. Harvard Business School Press. São Paulo. M. Books, 2010. 260p.
SÖDERLUND, J. Building theories of project management: past research, questions for the future. International Journal of Project Management. n. 22, p. 183-191, 2004.
TAKASHINA, N. T.; FLORES, M. C. X. Indicadores da qualidade e do desempenho: como estabelecer metas e medir resultados. 1. ed. Rio de Janeiro, RJ: Qualitymark, 1996. TAVAKOL, Mohsen; DENNICK, Reg. Making sense of Cronbach’s alpha. International Journal of Medical Education. v.2, p.53-55. Editorial. Nottingham, Reino Unido. 2011. Disponível em:< http://www.ijme.net/archive/2/cronbachs-alpha.pdf>. Acesso em: 10 ago. 2014.
TRIPODI, Tony, et al. Análise da pesquisa social. Rio de Janeiro: Francisco Alves, 1981. TRIVINOS, A.N.S. Introdução à pesquisa em ciências sociais: a pesquisa qualitativa em educação. São Paulo: Atlas, 1987.
VALARELLI, L. Indicadores de resultados de projetos sociais. In_______: Apoio à Gestão. Rio de Janeiro: RITS; 1999.
VALERIANO, D. Moderno Gerenciamento de Projetos. São Paulo: Pearson virtual, 2005. VARGAS, Ricardo Viana. Gerenciamento de Projetos: estabelecendo diferenciais
competitivos. 5. ed. Rio de Janeiro: Brasport, 2003.
VARGAS, Ricardo Viana. Gerenciamento de projetos: estabelecendo diferenciais competitivos. Rio de Janeiro: Brasport, 2005.
YIN, Robert. Case Study Research: Design and Methods. 2. ed. Thousand Oaks, CA: SAGE Publications, 2005.
APÊNDICE A- QUESTIONÁRIO DE AVALIAÇÃO DO SUCESSO DO PROJETO