ANAIS
*A revisão gramatical, ortográfica, ABNT ou APA foi realizada pelos autores.
GOVERNANÇA PÚBLICA: CONTRIBUIÇÃO PARA A ÁREA POR MEIO DA ANÁLISE SOBRE AS CARACTERÍSTICAS DAS PUBLICAÇÕES INTERNACIONAIS SOB A ÓTICA DA AVALIAÇÃO DE DESEMPENHO
Sara Abreu Henn
(Universidade Federal de Santa Catarina)
Sandra Rolim Ensslin
(Universidade Federal de Santa Catarina)
Resumo: A Administração Pública vem ao longo de reformas administrativas transformando seus modelos de gestão e mudando sua maneira de administrar. Com a aproximação entre a sociedade e o Estado, o desempenho do setor público passa a ser cada vez mais cobrado. Esta pesquisa tem como objetivo analisar as características das publicações científicas internacionais referentes à Avaliação de Desempenho (AD) no contexto da Governança Pública, a fim de identificar possibilidades de contribuição. Para tal, este estudo de abordagem qualitativa selecionou o instrumento Knowledge Development Process-Constructivist
(ProKnow-C) para seleção da literatura e identificação/análise/reflexão das características
estabelecidas. Com base no Portfólio Bibliográfico (PB) composto por 53 artigos, citam-se os seguintes resultados: os autores Laurence J. O’Toole e Kenneth J. Meier são os pesquisadores da área de Gestão Pública que, em parceria, vêm realizando pesquisas empíricas que apliquem na administração pública ferramentas e modelos de sistemas da área de Avaliação de Desempenho; a maior parte dos artigos do PB referem-se a estudos teóricos; há poucas evidências de pesquisas empíricas que façam uso de indicadores como ferramenta de medição associadas à avaliação por metas. Com base nos resultados encontrados e para promover avanços nessa área de conhecimento, aponta-se a necessidade de (i) realização de pesquisas empíricas que apliquem os constructos da Avaliação de Desempenho no contexto da Administração Pública; (ii) desenvolvimento de sistemas de Avaliação de Desempenho voltados à Gestão Pública que incorporem a relação entre o sistema e o ambiente público que o opera; e (iii) acompanhamento de revisão das métricas implementadas, com o objetivo de corrigir falhas e promover o processo de aprendizagem organizacional.
Palavras-chave: Governança Pública. Administração Pública. Avaliação de
Desempenho. ProKnow-C. Revisão de Literatura.
927
Ao longo das reformas administrativas a Administração Pública acompanha os movimentos de reformas políticas e econômicas, no sentido de adaptar-se a novos cenários. A partir da aproximação entre a sociedade e o Estado, o desempenho deste é cada vez mais cobrado e os resultados da gestão do Estado são comumente medidos por indicadores de desempenho (HOOD, 2007).
Com a crescente utilização de ferramentas voltadas à medição de resultados, há maior ênfase de estudos que abordem a avaliação de resultados no contexto público. Assim, o intuito deste estudo é responder à seguinte pergunta de pesquisa:
Quais as contribuições para a evolução científica da Avaliação de Desempenho aplicada no contexto da teoria da Governança Pública, com base na análise das publicações científicas internacionais nessa área de conhecimento?
Visando responder à pergunta de pesquisa, tem-se como objetivo geral deste estudo: analisar as características das publicações científicas internacionais referentes à Avaliação de Desempenho no contexto da Governança Pública a fim de identificar contribuições para a área. Para tanto, são propostos os seguintes objetivos específicos: (i) realizar análise bibliométrica das variáveis básicas; (ii) analisar as variáveis avançadas; e (iii) indentificar uma agenda de pesquisa para a área de conhecimento. Para a seleção da literatura e identificação/análise/reflexão das características estabelecidas, selecionou-se o instrumento Knowledge Development
Process-Constructivist (ProKnow-C) (THIEL; ENSSLIN; ENSSLIN, 2017; VALMORBIDA et al., 2016; DUTRA et al., 2015).
Esta pesquisa justifica-se pela importância, originalidade e viabilidade (CASTRO, 1977). Trata-se de um estudo importante, pois objetiva analisar as caracteríscticas desse fragmento da literatura com o intuito de apontar diretrizes para uma agenda de pesquisa. Além disso, é de suma importância que seja discutida a relevância da aplicação da Avaliação de Desempenho no cenário público, uma vez que, com o movimento de Governança Pública, a sociedade aproxima-se cada vez mais do Estado e deseja resultados. Entende-se que é uma pesquisa original, pois não se identificou outro estudo no PB selecionado que busque identificar o alinhamento dos constructos da Avaliação de Desempenho com os estudos de Governança Pública. A viabilidade do estudo é aferida devido ao acesso aos dados, visto que os artigos objetos de análise são buscados no portal CAPES e pelo tempo dos pesquisadores para a coleta dos artigos, sua leitura e análise. A pesquisa delimitou-se à busca de artigos internacionais e nas bases de dados disponíveis no portal de periódicos da CAPES.
Além desta seção introdutória, este artigo apresenta a metodologia da pesquisa na seção 2; o referencial teórico sobre Avaliação de Desempenho e Avaliação de Desempenho sob a ótica da Governança Pública na seção 3; os resultados são apesentados na seção 4; as considerações finais são apresentadas na seção 5; e, na sequência, as referências de base para este trabalho.
2 METODOLOGIA
928
o referencial teórico de Avaliação de Desempenho sob a ótica da Governança Pública e para coleta dos dados; (iv) Procedimento para seleção do material para compor o referencial teórico de Avaliação de Desempenho; e (v) Procedimentos para análise dos dados e identificação de oportunidades de pesquisa.
2.1 Enquadramento Metodológico
O presente estudo possui abordagem qualitativa, tendo em vista que objetiva analisar as características das publicações científicas internacionais referentes à Avaliação de Desempenho no contexto da Governança Pública, visando à geração de conhecimento para apontar possibilidades de contribuições futuras para a área de conhecimento (CRESWELL, 2010).
Quanto aos procedimentos técnicos, são utilizadas a pesquisa bibliográfica, por envolver a análise de artigos publicados nas bases de dados selecionadas; e a pesquisa-ação, pela interação dos autores, por meio das delimitações e inferências que fazem durante a sequência do processo estruturado Knowledge Development
Process-Constructivist (ProKnow-C), para a seleção do Portfólio Bibliográfico (PB), ou
seja, para obtenção dos dados da pesquisa.
Em relação à coleta de dados, há a utilização de dados primários e secundários. Faz-se uso dos dados primários, quando da seleção do PB, cuja identificação é feita pela percepção dos autores, por meio de suas delimitações; dos dados secundários, quando das análises realizadas dos artigos do PB selecionado (RICHARDSON,1999).
O instrumento utilizado para a coleta de dados é o ProKnow-C. Segundo Tasca et al., (2010, apud Cardoso et al., 2015, p. 6), “o Knowledge Development
Process-Constructivist (ProKnow-C) foi inicialmente concebido para auxiliar o
pesquisador que não possui conhecimento consolidado sobre um assunto e depara-se com o questionamento de onde e como depara-selecionar estudos cientificamente relevantes sobre seu tema”.
2.2 Instrumento de Intervenção: ProKnow-C
O instrumento Knowledge Development Process-Constructivist (ProKnow-C) foi desenvolvido a partir de 1994 pelo Laboratório de Metodologia Multicritério de Apoio à Decisão-Construtivista (LabMCDA-C), vinculado ao Departamento de Engenharia de Produção e Sistemas da Universidade Federal de Santa Catarina (UFSC), sob a coordenação do Prof. Leonardo Ensslin, com o intuito de investigar o tema Avaliação de Desempenho Organizacional, tanto em termos teóricos como em práticos, tendo seu reconhecimento científico por meio de publicações internacionais como resultado dessas investigações (ENSSLIN; ENSSLIN; PINTO, 2013).
929
etapa, com base na identificação das lacunas (devido ao desalinhamento dos artigos com a afiliação teórica), o processo orienta a formulação de pergunta(s) de pesquisa(s) científica(s) para futuros trabalhos (VALMORBIDA et al., 2014).
2.3 Processos para Seleção do Portfólio Bibliográfico para compor o Referencial Teórico sobre a Avaliação de Desempenho sob a ótica da Governança Pública e para Coleta dos Dados
A seleção dos artigos científicos para a construção do referencial teórico foi feita por meio do instrumento ProKnow-C. O processo de seleção do Portfólio Bibliográfico (PB) é constituído de três subetapas: seleção do banco de artigos bruto, filtragem do banco de artigos e teste de representatividade dos artigos do PB.
Para a seleção do banco de artigos bruto foram definidos os eixos de pesquisa, as palavras-chave, as bases de dados e a busca dos artigos. Os eixos de pesquisa utilizados foram: Avaliação de Desempenho e Governança Pública. Em relação às palavras-chave, foram definidos os seguintes termos: performance
measurement; performance evaluation; performance assessment; performance measure indicators; performance appraisal; performance management; public administration; public management; public governance; good governance; e governance.
Quanto às bases de dados, definiu-se as seguintes: Scopus; Web of Science;
Science Direct; EBSCO; Gale; e Proquest. A busca dos artigos nas bases de dados,
com base nas palavras-chave definidas, foi realizada de 19 a 21 de outubro de 2016, com uma delimitação temporal entre 2000 e 2016.
A busca inicial resultou em 28.552 publicações distribuídas entre as bases de dados. Posteriormente, realizou-se o ‘teste de aderência das palavras-chave’ com o objetivo de validá-las. Para essa validação, foram selecionados cinco artigos e suas palavras-chave foram comparadas com as do comando de busca. Ao realizar o teste, percebeu-se que todas as palavras-chave utilizadas na busca estavam contempladas nas palavras-chave definidas nos artigos. Dessa forma, prosseguiu-se o processo com um banco de artigos bruto composto por 28.552 artigos.
A etapa de filtragem do banco de dados é composta pela eliminação dos artigos repetidos; verificação do alinhamento do título; verificação do alinhamento quanto ao reconhecimento científico; verificação do alinhamento do resumo; verificação da disponibilidade do artigo na íntegra; e verificação do alinhamento integral dos artigos.
Os artigos foram exportados para um arquivo compatível com o software de gerenciamento bibliográfico EndNote® X7. Durante esse processo, restaram 27.591 artigos, dos quais se verificou que 5.477 eram publicações duplicadas ou não eram artigos científicos, sendo excluídos. Assim, o processo prosseguiu com 21.869 artigos. Destes, analisou-se o alinhamento dos títulos e se constatou que 324 artigos estavam com o título alinhado ao propósito da investigação.
930
identificaram-se os autores para montar o ‘banco de autores’. Os demais 234 artigos foram considerados como artigos com reconhecimento científico a comprovar. Destes, foram analisados aqueles que haviam sido publicados há menos de dois anos. Por se tratar de publicação recente, não há grande número de citações pela comunidade científica. Assim, foram classificados 83 artigos, cujos resumos foram lidos para verificar o alinhamento, e 14 apresentavam resumo alinhado à linha de pesquisa.
Foram identificados ainda os autores dos 151 artigos com menos de dois anos de publicação que também faziam parte do “banco de autores” com o intuito de evitar a exclusão de artigos relevantes para a pesquisa. Desses, 14 artigos foram escritos por autores do ‘banco de autores’; porém, quando da leitura do resumo, foram considerados somente 04 artigos alinhados. Os 18 artigos ‘com reconhecimento científico a confirmar’ foram somados às 79 publicações ‘com reconhecimento científico confirmado’, resultando em 97 artigos, cuja disponibilidade gratuita foi verificada. Dos 73 artigos disponíveis, realizou-se a leitura integral, e 47 artigos foram considerados integralmente alinhados. Dessa forma, concluiu-se a etapa da filtragem do banco de artigos e foi realizada a etapa do teste de representatividade dos 47 artigos.
Essa subetapa é realizada por meio da análise das referências bibliográficas utilizadas nos 47 artigos, respeitando a delimitação temporal anteriormente estabelecida, de 2000 a 2016. Nessa análise, verificou-se que 47 referências estavam alinhadas pelo título. Após a verificação do alinhamento dos títulos, foi igualmente analisado o reconhecimento científico dos artigos com base nas suas citações, consultado no Google Scholar. Definiram-se como representativos os artigos com mais de 44 citações (por aproximar-se do corte aplicado na etapa de filtragem), o que resultou em 38 artigos. Desses, 10 estavam alinhados pelo resumo, 06 estavam disponíveis gratuitamente e todos os 06 alinhados integralmente ao tema.
Dessa forma, concluiu-se a seleção do Portfólio Bibliográfico com 53 artigos que representam o fragmento da literatura referente à Avaliação de Desempenho sob a ótica da Governança Pública.
2.4 Processo para Seleção do Portfólio Bibliográfico para compor o Referencial Teórico sobre Avaliação de Desempenho
Da mesma forma que o primeiro Portfólio Bibliográfico (descrito na seção 2.3), foram seguidas as etapas propostas pelo instrumento de intervenção ProKnow-C, para a seleção dos artigos teóricos que subsidiarão o referencial teórico para o fragmento da literatura Avaliação de Desempenho no contexto organizacional. Dessa forma, o procedimento realizado para a Seleção do PB não será detalhado.
Inicialmente, foram definidos os eixos de pesquisa: o Eixo 1 – Avaliação de Desempenho ‒ representado pelas seguintes palavras-chave, na língua inglesa:
performance management, performance measurement, performance evaluation, performance assessment e performance appraisal; o Eixo 2 – Teórico ‒ representado
pelas seguintes palavras-chave, na língua inglesa: theoretical, review, systematic,
systemic, state of art, state of the art, research, agenda, revisiting, revision, conceptual
e revise.
Para a busca dos artigos, elegeram-se, no Portal de Periódicos da CAPES, as bases de dados: EBSCO Academic Search Premier; Emerald Group Publishing;
931
Considerando as mesmas delimitações e procedimentos utilizados na seção 2.3, ao final, obtiveram-se oito artigos que respondem pelo fragmento da literatura que aborda a evolução teórica e concepção do sistema da área Avaliação de Desempenho (nas referências bibliográficas os artigos do Portfólio Bibliográfico referente à Avaliação de Desempenho da Governança Pública estão sinalizados ao final com [PB – ADGP] e os referentes à Avaliação de Desempenho estão sinalizados com [PB – AD]).
2.5 Procedimentos para Análise dos Dados: Análise Bibliométrica Básica, Avançada e Oportunidades de Pesquisa
Com o propósito de gerar conhecimento e apontar lacunas de pesquisa para contribuir com a área de conhecimento investigada, a análise bibliométrica foi realizada em duas subetapas: análise das variáveis básicas e análise das variáveis avançadas.
As variáveis básicas (i) autores com trajetória na área do conhecimento; (ii) periódicos científicos que têm devotado espaço à divulgação de pesquisas sobre o tema e (iii) artigos relevantes sobre o tema, foram analisadas nos 47 artigos do PB e nos 06 artigos selecionados nas referências do PB. Já as variáveis básicas (iv) rede de colaboração entre coautores por país de origem, por meio de busca na web de ocorrências de coautoria do portfólio; (v) instituição de filiação dos autores e (vi) identificação de ferramentas de Avaliação de Desempenho utilizadas nos estudos empíricos, foram analisadas somente nos artigos do PB.
Com exceção da variável básica Relevância dos Artigos que foi identificada pelo maior número de citações resultante da consulta feita no Google Scholar, as demais variáveis básicas foram identificadas por meio da contagem de ocorrência.
Já na análise das características avançadas, foram analisadas as ferramentas de Avaliação de Desempenho utilizadas somente nos artigos empíricos constantes na seleção do Portfólio Bibliográfico. Dos 53 artigos analisados, verificou-se que apenas cinco são pesquisas empíricas. Assim, para a variável contribuição para a evolução do conhecimento, os artigos foram analisados sob a definição de utilização de sistemas/ferramentas de Avaliação de Desempenho apresentada por Neely et al. (1995), nos níveis: (i) medidas individuais de desempenho; (ii) conjunto de medidas de desempenho; e (iii) relação entre o sistema de Avaliação de Desempenho e o ambiente. Outra análise avançada diz respeito aos ciclos de vida das ferramentas e dos sistemas de Avaliação de Desempenho, conforme Bourne et al. (2000) e Nudurupati et al. (2011) em: (i) design; (ii) implementação; e (iii) revisão do sistema.
Com base nas análises realizadas, os pesquisadores estavam em condições de identificar lacunas científicas e apontar oportunidades que venham a contribuir para a área.
3 REFERENCIAL TEÓRICO
932 3.1 Avaliação de Desempenho
Ao investigar o conceito de Avaliação de Desempenho, Franco-Santos et al. (2007) afirmam, com base em uma revisão na literatura, que há diferentes abordagens para sua definição e pouco consenso em relação a suas principais características e componentes. Segundo os autores, a definição que engloba o maior número de elementos que melhor descrevem a Avaliação de Desempenho é a definição apresentada pelo pesquisador Andy Neely.
Neely (1998) afirma que um sistema de medição de desempenho permite que decisões e ações sejam tomadas com base em informações, pois quantifica a eficiência e eficácia das ações passadas por meio da coleta, agrupamento, classificação, análise, interpretação e divulgação de dados apropriados. Organizações medem seu desempenho com o intuito de: verificar a sua posição - permitindo comparar a posição ou benchmarking e monitorar o progresso; comunicar sua posição - comunicar o desempenho internamente e para o ambiente externo; confirmar prioridades - gerenciar o desempenho, o custo e controle, o foco no investimento e ação; e obriga o progresso - configura-se como um meio de motivação e recompensas (FRANCO-SANTOS et al., 2007).
Neely (1995) aborda ainda a diferença entre medida de desempenho e sistema de Avaliação de Desempenho. Uma medida de desempenho pode ser definida como uma métrica utilizada para quantificar a eficiência e/ou eficácia de uma ação, enquanto que um sistema de medição de desempenho pode ser definido como o conjunto de métricas usadas para quantificar a eficiência e eficácia das ações. Um sistema de Avaliação de Desempenho pode ser examinado sob três diferentes aspectos: (1) medidas de desempenho individual; (2) conjunto de medidas de desempenho - o sistema de medição de desempenho como uma entidade; e (3) a relação entre o sistema de medição do desempenho e o do ambiente em que ela opera.
Segundo Ghalayini e Noble (1996), a literatura na área de Avaliação de Desempenho aponta para duas fases. Na primeira fase, que começou no final da década de 1880 e passou pela década de 1980, houve ênfase nas medidas financeiras, tais como lucro, investimento e produtividade. Já a segunda fase, com início no final dos anos 1980, foi resultante das mudanças do mercado mundial, quando as empresas começaram a perder para concorrentes estrangeiros e tiveram que fornecer produtos de qualidade superior, com custos mais baixos e mais variedade. Houve, portanto, maior preocupação com a qualidade, flexibilidade, curto prazo e entrega confiável, implementação de novas tecnologias e filosofias de gestão da produção, ou seja, fabricação integrada, sistemas de fabricação flexíveis, tempo, tecnologia de produção otimizada e qualidade total.
Nudurupati et al. (2011) afirmam que os gestores começam a ter necessidade de medidas preditivas que indiquem o que pode ser decidido na próxima semana, no próximo mês ou no próximo ano. Os gerentes precisam de dados de desempenho atualizados sobre a produção, qualidade, mercados, clientes, entre outros, por meio dos quais possam agir proativamente e controlar vários processos para o desempenho global.
933
obra menos significativo e surgimento de métodos alternativos de custo do produto; (2) concorrência crescente - pressão contínua para diminuir custos e aumentar valor do produto: novo conceito e novas medidas; (3) oportunidades de aperfeiçoamento específicas - da fase do custo para fase do valor com busca pela melhoria contínua; (4) prêmios nacionais e internacionais – incentivo a mudanças no sistema de Avaliação de Desempenho; (5) mudança de papéis organizacionais – a Contabilidade precisa fornecer informações necessárias à gestão e não aos usuários externos, e a área de Recursos Humanos precisa ter um papel mais ativo no mundo dos negócios; (6) mudanças nas demandas externas - pressões de órgãos oficiais e investidores; e (7) poder da Tecnologia da Informação – facilidade na captura e análise de dados.
Nudurupati et al. (2011) destacam ainda que a maioria dos sistemas de Avaliação de Desempenho é histórica e estática. Ou seja, eles não são dinâmicos e sensíveis às mudanças no ambiente interno e ao ambiente externo à empresa. Como resultado, as informações apresentadas não são relevantes, atualizadas ou precisas, e poucos têm um sistema de informação de gestão integrado. Assim, a falta desse suporte acarreta a demora da obtenção de dados, triagem, manutenção e comunicação.
O conhecimento em relação às mudanças é também discutido por Bitici et al. (2012) quando abordam a necessidade de que as organizações utilizem a medição de desempenho dando mais relevância ao aprendizado da organização com a implementação da Avaliação de Desempenho do que simplesmente controlar seus resultados. O aumento no controle não leva a lugar algum se não houver aprendizado organizacional.
Dessa forma, percebe-se que ainda há muitos desafios na área de Avaliação de Desempenho, que as organizações precisam de fato conhecer seus objetivos para que definam melhor suas métricas de avaliação, tenham domínio dos dados que precisam implementar, comumente com o auxílio de sistemas de gestão e que consigam incorporar à cultura da instituição a necessidade de constantemente avaliar e rever seu sistema de medição de desempenho. Além disso, com base na revisão da literatura, evidencia-se que ainda há um distanciamento entre as discussões teóricas e a prática organizacional, carecendo de estudos empíricos que possam legitimar e aproximar os estudos.
3.2 Avaliação de Desempenho e Governança Pública
O processo de Governança tem como objetivo a descentralização das políticas públicas, com a cooperação entre os diferentes níveis da administração (local, regional, nacional) e entre agentes públicos e privados, representando um sistema complexo (MATEI; ANTONIE, 2014).
Corroborando com estes conceitos Binghman, Nabatchi e O`Leary (2005) afirmam que os líderes em assuntos públicos identificam ferramentas e instrumentos para a nova Governança por meio da integração por redes entre a administração pública, o mercado, organizações sem fins lucrativos e a sociedade. Os autores argumentam ainda que a nova Governança também envolve pessoas e os processos pelos quais elas participam no trabalho de governo.
934
sociedade. Assim, os resultados da gestão do Estado são comumente medidos por indicadores de desempenho.
De Lancer Julnes e Holzer (2001) afirmam que a medição de desempenho faz parte de uma longa linhagem de esforços que começaram na virada do século, resultado dos esforços de reformas de Estado, dando ênfase na gestão de resultados como exigência para as organizações públicas recuperarem a confiança de cidadãos, que esperavam mudanças. Nesse cenário, os resultados têm como objetivo a confiança dos cidadãos nas capacidades de resolução do Estado.
Neste sentido, Bonye e Walker (2010) apontam que uma das funções mais importantes das organizações públicas é fornecer serviços que atinjam as expectativas dos cidadãos e que sejam eficientes, eficazes e equitativos. Em outras palavras, espera-se que as organizações públicas alcancem padrões elevados em uma variedade de dimensões de desempenho. Segundo os autores, não há nenhum sinal de que essa expectativa diminuirá até 2020: os principais elementos do novo movimento de reforma da Gestão Pública ainda estão em pleno andamento, e a ênfase nos indicadores de desempenho, gerenciamento de desempenho e capacidade de resposta do consumidor permanece em alta na agenda política da maioria das nações.
Segundo Hood (2007), as medidas de desempenho comumente aplicadas no setor público são de três tipos básicos diferentes: (i) aplicação como alvo/destino – desempenho a ser alcançado durante um período de tempo; (ii) aplicação como
rankings/classificações – comparação entre conjunto de medidas ou entre períodos
distintos; e (iii) aplicação como “inteligência” – avaliação por meio de informações qualitativas. Cada um dos tipos citados pode ainda ser aplicado simultaneamente como sistemas híbridos que se complementam.
No entanto, a literatura aponta que, embora o número de organizações públicas que desenvolvem sistemas de medição seja robusto, o foco desses esforços nem sempre são sobre resultados. As informações obtidas pela medição de desempenho não são para orientar a tomada de decisões (DE LANCER JULNES; HOLZER, 2001).
Bonye (2002) constata após um estudo baseado na análise de 34 pesquisas empíricas que as organizações públicas são mais burocráticas e os gerentes públicos são menos materialistas e têm um compromisso organizacional mais fraco do que seus homólogos do setor privado.
Dessa forma, Speklé e Verbeeten (2014) discutem que a aplicação da Avaliação de Desempenho na Administração Pública, com pouca contribuição para os resultados como evidenciado pela literatura, só pode funcionar sob três condições: (1) quando os objetivos da organização são claros e inequívocos; (2) quando o desempenho pode ser medido de forma coerente com os padrões organizacionais para realização do objetivo; e (3) quando os atores organizacionais sabem controlar os processos de transformação e são capazes de avaliar os prováveis resultados e planejar os vários cursos alternativos de ação.
935
resultados ao longo do tempo. Os autores justificam que os estudos empíricos demonstram a importância autorregressiva do sistema, haja vista o desempenho passado aparecer como o mais significativo em todos os modelos estudados; o modelo é não linear ‒ em vez de estritamente aditivo ‒, e contingente para refletir a visão de que o que funciona em gestão é contingente em uma variedade de outros fatores.
Além disso, o modelo se configura como a primeira tentativa de incluir medidas de gerenciamento de operações e de gestão do ambiente na mesma análise. A proposta incorpora três princípios básicos em matéria de gestão pública e sistemas de gerenciamento para a entrega de resultados de programas públicos (MEIER; O`TOOLE, 2007).
Com base no Portfólio analisado, percebe-se que existe a necessidade de sistemas de Avaliação de Desempenho voltados ao setor público. Meier e O`Toole (2007) apontam para uma necessidade de mais estudos empíricos que testem o que os conceitos apontados pela medição de desempenho no cenário público abordam.
Assim, como consequência de interesses da sociedade e da configuração de uma governança em rede, a Administração Pública vem se preocupando em avaliar seus resultados com utilização principalmente de indicadores de desempenho e ajuste de modelos preexistentes. Ainda que existam alguns modelos desenhados ao setor público, há a necessidade de mais aprofundamento da medição de desempenho no cenário público.
4 RESULTADOS
A seguir são apresentadas as características básicas e avançadas da análise bibliométrica, bem como as contribuições para a área de conhecimento, com base nas lacunas encontradas.
4.1 Análise Bibliométrica: Características Básicas
Na análise da variável ‘autores com trajetória em Avaliação de Desempenho sob a ótica da Governança Pública’, verifica-se que os artigos do PB e das referências selecionadas foram escritos por 122 pesquisadores.
Com base nos autores ‘destaque’ identificados, constata-se que o autor Laurence J. O'Toole Jr. se destaca com dez artigos nas referências selecionadas e três artigos no PB. O pesquisador é professor na University of Georgia, Estados Unidos, na área de Administração Pública e atua em projetos de pesquisa com publicações sobre políticas comparativas, implementação de políticas, redes e gestão pública, bem como sobre aspectos do desenvolvimento sustentável.
Outro autor relevante é Kenneth J. Meier, com nove artigos nas referências e dois artigos no PB. O autor é professor de Ciência Política na Texas A & M University e sua área de conhecimento é Administração Pública.
936 University, Reino Unido, e sua atuação concentra-se em pesquisas em Avaliação de
Desempenho Organizacional no setor público e influência da estratégia, estrutura e processos organizacionais sobre os resultados do serviço público. Rhys Andrews é professor também na Cardiff University, Reino Unido, e seu interesse de pesquisa se concentra em gestão estratégica, capital social e desempenho do serviço público, cidadania e métodos de investigação quantitativa.
Em relação aos periódicos científicos que têm devotado espaço à divulgação de pesquisas sobre o tema, os artigos estão distribuídos em 33 periódicos distintos. Com base no cruzamento dos resultados, são destaques os periódicos Public
Administration Review e Journal of Public Administration Research & Theory.
O primeiro possui fator de impacto de 2.636 e é uma revista profissional no campo da teoria e prática da Administração Pública. Já o periódico Journal of Public
Administration Research & Theory possui fator de impacto de 4.545 e tem publicações
nas áreas de Administração Pública e estudos de políticas públicas, com o objetivo de avançar nas ciências organizacionais, administrativas e de políticas com aplicação no governo e Governança.
Percebe-se, portanto, que os periódicos de destaque relacionam-se à gestão pública. Não há destaque para revistas acadêmicas especializadas na área de Avaliação de Desempenho.
Outra variável analisada é em relação ao reconhecimento científico dos artigos. Com base nas citações dos artigos no Google Scholar, são apresentadas as publicações com maior reconhecimento científico encontradas no PB e nas referências selecionadas na Tabela 1.
Tabela 1: Reconhecimento científico
Artigo PB Ref. PB
Aguilera, R. V.; Jackson, G. The cross-national diversity of corporate governance: Dimensions and determinants. Academy of Management Review, v. 28, n. 3, p. 447–65,
2003. 0 1427
Behn, Robert D. Why Measure Performance? Different Purposes Require Different
Indicators. Public Administration Review, v. 63, n. 5, p. 586–606, 2003. 1348 1348
Boyne, G.A. Public and private management: What’s the difference? Journal of
Management Studies, v. 39, n. 1, p. 97–122, 2002. 0 1136
Agranoff R, McGuire M. Big questions in public network management research. Journal
of Public Administration Research and Theory, v.11, n. 3, p. 295–326, 2001. 0 1026 Fonte: Elaborado pelos autores.
Nota-se que as publicações mais relevantes foram publicadas nos periódicos de maior destaque no PB e nas referências, além de possuírem autoria também de pesquisadores que mais se destacam, demonstrando assim o reconhecimento dos artigos na área.
No que tange ao comportamento das pesquisas na área, a Avaliação de Desempenho no contexto da Administração Pública, durante os períodos analisados, passa a ser utilizada para a melhoria da tomada de decisão, e não somente para prestar auxílio à Contabilidade ou à área de Recursos Humanos. A partir de 2004, percebe-se a preocupação com a relação gestão-desempenho na área pública, bem como os impactos gerenciais internos e externos.
937
podem ser exportadas com sucesso de um setor para outro devido a diferenças em ambientes organizacionais, metas, estruturas e valores gerenciais (BONYE, 2002).
Assim, começam a surgir elementos como a democracia, por meio de conversas públicas, orçamento participativo, júris de cidadãos, círculos de estudo e elaboração de políticas colaborativas. Como consequência das pressões provenientes das partes interessadas, novas dimensões de desempenho, como a qualidade em serviços e estrutura de governança política, são adicionadas aos sistemas de medição de desempenho das organizações.
Os pesquisadores começam, então, a investigar utilização dos indicadores de desempenho aliados à realidade do setor público, em razão de as pesquisas demonstrarem não haver muito alinhamento entre medição de desempenho e Governança Pública.
Neste sentido, Bounye e Walker (2010) apontam que estudos de desempenho no setor público exigem um desenvolvimento substancial ao longo da próxima década: isso exigirá mais teoria, mais dados e mais evidências empíricas de uma variedade de locais.
Em relação à rede de coautoria por país de origem e instituição de filiação dos autores, foi realizada busca na web de ocorrências de coautoria dos autores do Portfólio. A análise dessa variável aponta para existência de rede de coautoria entre os autores Laurence J. O’Toole e Kenneth J. Meier que vêm desenvolvendo pesquisas empíricas que apliquem na Administração Pública ferramentas e modelos de sistemas da área de Avaliação de Desempenho com o intuito de contribuir à gestão dessas instituições. Destaca-se a criação de um modelo básico de desempenho, cujas funções e resultados vêm sendo aplicados especialmente em estudos de caso pelos autores.
Ressalta-se ainda que Richard M. Walker, George Bonye e Rhys Andrews, cuja área de investigacão dos dois últimos pesquisadores é a Avaliação de Desempenho Organizacional no setor público, possuem diversas publicações na rede como coautores.
Com relação às ferramentas de Avaliação de Desempenho utilizadas nos estudos empíricos, há poucas evidências de pesquisas relacionadas à avaliação de desempenho no setor público, resultado que corrobora a literatura. Devido à escassez de estudos nesse fragmento, Goddard (2010), Hood (2007), Taylor (2011) e Van Helden (2005) manifestam a necessidade de maior aplicação de estudos empíricos para evolução da área de Avaliação de Desempenho no setor público.
938 4.2 Análise Bibliométrica: Características Avançadas
Dos cinco artigos empíricos analisados no Portfólio, apenas uma publicação não utiliza medidas individuais para Avaliação de Desempenho mas, sim, um conjunto de medidas. Os demais artigos aplicam medidas individuais e/ou sistemas de avaliação e sua interação com o ambiente externo. Apesar de haver poucas pesquisas empíricas, os estudos aplicam o conceito de sistema de Avaliação de Desempenho, conforme Neely (1995) define.
Uma medida de desempenho pode ser definida como uma métrica utilizada para quantificar a eficiência e/ou eficácia de uma ação; enquanto um sistema de medição de desempenho pode ser definido como o conjunto de métricas usadas para quantificar a eficiência e eficácia das ações. Um sistema de Avaliação de Desempenho pode ser examinado sob três diferentes aspectos: (1) medidas de desempenho individual; (2) conjunto de medidas de desempenho: o sistema de medição de desempenho como uma entidade; e (3) a relação entre o sistema de medição do desempenho e do ambiente em que ele opera (NEELY, 1995).
Já no que tange aos ciclos de vida dos sistemas de Avaliação de Desempenho, dentre as pesquisas que utilizam ferramentas, duas pesquisas constroem o desenho dos sistemas de medição e dois estudos aplicam um sistema já consolidado. Na fase de implementação dos sistemas, somente dois estudos analisam o desempenho identificado, o que evidencia que as pesquisas tendem a apenas realizar um levantamento e comunicar os gestores sobre o desempenho identificado, sem analisá-lo. Além disso, nenhum dos trabalhos investigados evidencia a atividade de revisão das métricas utilizadas.
Segundo Bourne et al. (2000), o desenvolvimento de sistemas de medição de desempenho pode ser dividido em três fases principais: (i) concepção das medidas de desempenho – o que devemos medir?; (ii) implementação das medidas de desempenho – quais procedimentos são necessários para coletar e processar os dados que permitem que as medições sejam feitas regularmente?; e (iii) utilização das medidas de desempenho – utilização de medidas derivadas da estratégia e medidas de feedback para que seja validada a estratégia planejada.
Nudurupati et al. (2011) alertam que o fornecimento de informações de desempenho não é suficiente, já que o sucesso está no comportamento da utilização dessas informações. Assim, é necessário que haja um gerenciamento de mudanças, inclusive no que se refere à resistência das pessoas e à necessidade de que todos compreendam os objetivos e benefícios potenciais da Avaliação de Desempenho.
Assim, percebe-se que ainda há muito a avançar nos estudos empíricos de Avaliação de Desempenho no setor público. As pesquisas aplicam basicamente medidas individuais de desempenho, com pouca criação de sistemas de Avaliação de Desempenho, bem como sua implementação. Além disso, não há o devido gerenciamento, nem revisão dos sistemas de medição, refletindo os argumentos abordados pela literatura sobre o uso da Avaliação de Desempenho na Administração Pública.
4.3 Contribuições para o avanço da área
939
- Mais investigação teórica na área de Avaliação de Desempenho aplicada ao setor público, tendo em vista que a maioria dos autores possuem trajetória científica na área de administração/governança pública, mas não no fragmento científico investigado.
- Realização de pesquisas empíricas que apliquem os constructos da Avaliação de Desempenho no contexto da Administração Pública.
- Desenvolvimento de sistemas de Avaliação de Desempenho voltados à gestão pública que incorporem a relação entre o sistema e ambiente público que o opera.
- Avaliação dos resultados identificados a fim de dar continuidade à atividade de gestão: identificação, análise e implementação de ações de aperfeiçoamento rumo à estratégia planejada.
- Acompanhamento da necessidade de revisão das métricas implementadas, com o objetivo de corrigir falhas e promover o processo de aprendizagem organizacional.
- Gestão dos sistemas de Avaliação de Desempenho à medida que ocorram mudanças internas organizacionais, bem como no ambiente externo.
5 CONSIDERAÇÕES FINAIS
Este estudo teve como objetivo analisar as características das publicações científicas internacionais referentes à Avaliação de Desempenho no contexto da Governança Pública, possibilitando a construção de conhecimento dos pesquisadores para então apontar oportunidades que venham a promover avanços nessa área de conhecimento.
Para atender ao objetivo, esta pesquisa fez uso da ferramenta Knowledge
Development Process-Constructivist (ProKnow-C) para a condução da seleção do
Portfólio Bibliográfico (PB) e da análise bibliométrica. A seleção do Portfólio Bibliográfico realizada nas bases de dados destacadas, com delimitação temporal entre 2000 e 2016 e por meio dos comandos de busca, resultou em 53 artigos. A análise bibliométrica das características básicas e avançadas desses artigos evidenciou que:
- O autor Laurence J. O'Toole Jr. é o pesquisador que mais se destaca dentre os autores do PB e das referências do PB. Junto com Kenneth J. Meier, ambos pesquisadores da área de Gestão Pública, eles vêm buscando pesquisas empíricas que apliquem, na Administração Pública, ferramentas e modelos de sistemas da área de Avaliação de Desempenho. Ressalta-se a criação de um modelo básico de desempenho, cujas funções e resultados vêm sendo aplicados especialmente em estudos de caso pelos autores.
- Destacam-se ainda os pesquisadores Richard M. Walker, George Bonye e Rhys Andrews, cuja área de investigacão dos dois últimos pesquisadores é a Avaliação de Desempenho Organizacional no setor público. Os três possuem diversas publicações na rede como coautores.
940
apesar de possuirem trajetória acadêmica na área de Gestão Pública, investigam a Avaliação de Desempenho e os resultados do serviço público.
- As publicações mais relevantes, analisadas no presente estudo, foram publicadas nos periódicos de maior destaque no PB e nas referências, além de possuírem autoria também de pesquisadores que mais se destacam, demonstrando assim o reconhecimento dos artigos na área.
- No que tange ao comportamento das pesquisas na área, a Avaliação de Desempenho no contexto da Administração Pública, durante os períodos analisados, passa a ser utilizada para a melhoria da tomada de decisão, e não somente para prestar auxílio à Contabilidade ou à área de Recursos Humanos. Os pesquisadores começam a investigar a utilização dos indicadores de desempenho aliados à realidade do setor público, tendo em vista que as pesquisas demonstram não haver muito alinhamento entre medição de desempenho e Governança Pública.
- Há poucas evidências de pesquisas empíricas relacionadas à Avaliação de Desempenho no setor público. Nos estudos empíricos analisados, há a utilização somente de indicadores de desempenho como ferramenta de medição associado à avaliação por metas. Observa-se que há necessidade de desenvolvimento de sistemas de Avaliação de Desempenho voltados à Gestão Pública.
- Dentre as ferramentas de medição analisadas, destaca-se o modelo criado por Meier e O’Toole (2007), construído com base na análise da literatura e de pesquisas empíricas. Trata-se da primeira tentativa de incluir medidas de gerenciamento de operações e de gestão do ambiente na mesma análise. A proposta incorpora princípios básicos em matéria de Gestão Pública e sistemas administrativos para a entrega de resultados de programas públicos.
- Percebe-se a ausência de avaliação nos resultados identificados e de gestão dos sistemas de Avaliação de Desempenho implementados. Ressalta-se a necessidade do uso de revisão das métricas implementadas, com objetivo de corrigir falhas e promover o processo de aprendizagem organizacional.
Visando promover avanços sobre o tema e com base nas reflexões e no conhecimento gerado, os autores do presente artigo sinalizam que o tema Avaliação de Desempenho no contexto da Governança Pública é um campo a ser explorado, tendo em vista as lacunas percebidas com base na constatação do desalinhamento entre os conceitos/noções propostas na área de Avaliação de Desempenho e a operacionalização desses nos estudos identificadas no fragmento da literatura explorado pelo instrumento metodológico selecionado ProKnow-C.
Este estudo não está livre de limitações, dentre elas destacam-se: (i) a presente análise foi limitada aos resultados dos artigos das bases de dados selecionadas apenas quando disponíveis gratuitamente na internet; (ii) a restrição pelo limite temporal dos artigos publicados posteriormente ao ano 2000; (iii) a geração de conhecimento baseada nas variáveis estabelecidas pelos pesquisadores: análise de sete características básicas e duas características avançadas; e (iv) a operacionalização somente das duas primeiras etapas do ProKnow-C.
941
resultados identificados e gestão dos sistemas de Avaliação de Desempenho implementados; (v) uso de revisão das métricas implementadas, com objetivo de corrigir falhas e promover o processo de aprendizagem organizacional.
REFERÊNCIAS
AHRENS, J.; RUDOLPH, P. The Importance of Governance in Risk Reduction and Disaster Management. Journal of Contingencies & Crisis Management, v. 14, n. 4, p. 207-220, 2006. [PB – ADGP].
ARNABOLDI, M.; AZZONE, G.; SAVOLDELLI A. Managing a public sector project: the case of the Italian Treasury Ministry. International Journal of Project
Management, v. 22, n.3, p.213-223, 2004. [PB – ADGP].
AZMAT, F.; COGHILL, K. Good governance and market-based reforms: A study of Bangladesh. International Review of Administrative Sciences, v. 71, n. 4, p. 625-638, 2005. [PB – ADGP].
BEHN, R. D. Why Measure Performance? Different Purposes Require Different Measures. Public Administration Review, v. 63, n. 5, p. 586–606, set. 2003. [PB – ADGP].
BEVIR, M. Democratic Governance. New Jersey: Princeton, 2010.
BINGHAM, L. B.; NABATCHI, T.; O'LEARY, R. The new governance: Practices and processes for stakeholder and citizen participation in the work of government. Public
Administration Review, v. 65, n. 5, p. 547-558, set. 2005. [PB – ADGP].
BITICI, U; GARENGO, P; DORFLER, V; NUDURUPATI, S. Performance
measurement: Challenges for tomorrow. International Journal of Management
Reviews, v. 14, n.3, p. 305-327, 2012. [PB-AD].
BLOM-HANSEN, J.; REBECCA, M.; SERRITZLEW, S. Experiments in Public Management Research. International Public Management Journal, v. 18, n. 2, p. 151-170, mar. 2015. [PB – ADGP].
BOSTON, J. The challenge of evaluating systemic change: the case of public management reform. International Public Management Journal, v. 3, n. 1, p. 23-46, 2000. [PB – ADGP].
BOURNE, M.; MILLS, J.; WILCOX, M.; NEELY, A.; PLATTS, K. Designing, implementing and updating performance measurement systems. International
Journal of Operations and Production Management, v. 20, n. 7, p. 754-771, 2000.
[PB-AD].
BOVAIRD, T.; LÖFFLER, E. Evaluating the quality of public governance: Indicators, models and methodologies. International Review of Administrative Sciences, v. 69, n. 3, p. 313-328, 2003. [PB – ADGP].
Boyne, G.A. Public and private management: What’s the difference? Journal of
942
BOYNE, G. A.; WALKER, R. M. Strategic management and public service
performance: The way ahead. Public Administration Review, v. 70, n. 1, p. 185-192, 2000. [PB – ADGP].
BROOKS, A. C. Can nonprofit management help answer public management's big questions? (Big Questions/Big Issues). Public Administration Review, v. 62, p. 259, 2002. [PB – ADGP].
CASTRO, C. M. A prática da pesquisa. São Paulo: McGraw-Hill do Brasil, 1977. CHRISTENSEN, R. K.; GAZLEY, B. Capacity for public administration: Analysis of meaning and measurement. Public Administration and Development, v. 28, n. 4, p. 265-279, 2008. [PB – ADGP].
CRESWELL, J. W. Projeto de Pesquisa: Métodos Qualitativos, Quantitativos e Mistos. Tradução: Magda Lopes. Porto Alegre: Artmed, 2010. 296 p.
CUNLIFFE, A. L.; SUN, J. S. The need for reflexivity in public administration.
Administration & Society, v. 37, n. 2, p. 225-242, 2005. [PB – ADGP].
CUTLER, T.; WAINE, B. Managerialism reformed? New Labour and public sector management. Social Policy and Administration, v. 34, n. 3, p. 318-332, 2000. [PB – ADGP].
DE LANCER JULNES, P.; HOLZER, M. Promoting the Utilization of Performance Measures in Public Organizations: An Empirical Study of Factors Affecting Adoption and Implementation. Public Administration Review, v. 61, n. 6, p. 693-708, 2001. [PB – ADGP].
DUTRA, A.; RIPOLL-FELIU, V.M.; FILLOL, A. G.; ENSSLIN, S. R.; ENSSLIN, L. The construction of knowledge from the scientific literature about the theme seaport performance evaluation. International Journal of Productivity and Performance
Management, v. 64, n. 2, p. 243 – 269, 2015.
ENSSLIN, L., ENSSLIN, S. R. e PINTO, H. de M. Processo de investigação e Análise bibliométrica: Avaliação da Qualidade dos Serviços Bancários. Revista de
Administração Contemporânea, v.17, n. 3, p. 325-349, 2013.
ENSSLIN, L.; ENSSLIN, S. R.; DUTRA, A.; NUNES, N. A.; REIS, C. BPM
governance: a literature analysis of performance evaluation. Business Process
Management Journal, v. 23, n. 1, p.71 – 86, 2017.
ENSSLIN, L.; ENSSLIN, S. R.; PACHECO, G. C. Um estudo sobre segurança em estádios de futebol baseado na análise bibliométrica da literatura internacional.
Perspectivas em Ciência da Informação (Impresso), v. 17, p. 71-91, 2012.
FRANCO-SANTOS, M; KENNERLY, M; MICHELI, P; MARTINEZ, V; MASON, S; MARR, B; GRAY, D; NEELY, A. Towards a definition os a bussiness performance measurement system. Internacional Journal of Opertions and Production
Management, v. 27, n. 8, p. 784-801, 2007. [PB-AD].
GHALAYINI, A. M.; NOBLE, J. S. The changing basis of performance
943
GRUENING, G. Origin and theoretical basis of new public management.
International Public Management Journal, v. 4, n. 1, p. 1-25, 2001. [PB – ADGP].
HALL, M.; HOLT, R.; PURCHASE, D. Project sponsors under New Public Management: Lessons from the frontline. International Journal of Project
Management, v. 21, n. 7, p. 495-502, 2003. [PB – ADGP].
HOOD, C. Public Service Management by Numbers: Why Does It Vary? Where Has It Come From? What Are the Gaps and the Puzzles? Public Money and
Management, v. 27, n. 2, p. 95–102, 2007. [PB – ADGP].
______. Options for Britain: Measuring and Managing Public Services Performance.
Political Quarterly, v. 79, p. 7-18, 2008. [PB – ADGP].
HORTON, S. Guest editorial participation and involvement - the democratisation of new public management? International Journal of Public Sector Management, v. 16, n. 6, p. 403-411, 2003. [PB – ADGP].
HYNDMAN, N.; CONNOLLY, C. Accruals accounting in the public sector: A road not always taken. Management Accounting Research, v. 22, n. 1, p. 36-45, 2011. [PB – ADGP].
JOHNSEN, A. Strategic management thinking and practice in the public sector: A strategic planning for all seasons? Financial Accountability and Management, v. 31, n. 3, p. 243-268, 2015. [PB – ADGP].
JØRGENSEN, T. B.; SØRENSEN D. L. Codes of Good Governance. Public
Integrity, v. 15, n 1, p. 71-96, 2012. [PB – ADGP].
KETTL, D. F. Public Administration at the Millennium: The State of the Field. Journal
of Public Administration Research and Theory, v. 10, n. 1, p. 7-34, 2000. [PB –
ADGP].
KICKERT, W. J. M. Public management of hybrid organizations: governance of quasi-autonomous executive agencies. International Public Management Journal, v. 4, n. 2, p. 135-150, 2001. [PB – ADGP].
KUIPERS, B.; HIGGS, M; KICKERT, W.; TUMMERS, L.; GRANDIA, J.; VAN DER VOET, J. The management of change in public organizations: A literature review.
Public Administration, v. 92, n. 1, p. 1-20, 2014. [PB – ADGP].
LAPSLEY, I. New Public Management: The Cruellest Invention of the Human Spirit?
Journal of Accounting Finance and Business Studies, v. 45, n. 1, p. 1-21, 2009.
[PB – ADGP].
LEVY, R. New public management: End of an era? Public Policy and
Administration, v. 25, n. 2, p. 234-240, 2010. [PB – ADGP].
MATEI, A.; ANTONIE, C. The New Public Management within the Complexity Model ,
Procedia Science Direct, v. 109, n. 8, p. 1125–112, jan. 2014. [PB – ADGP].
______. The Need for Positive Change: Adapting Management in Public
944
MATEI, A.; CAMELIA, G. Characteristics of Process Management in the Public Institutions in Romania. Comparative Analysis. Procedia Economics and Finance, v. 39, p. 94-101, 2016. [PB – ADGP].
MAZOUZ, B.; ROUSSEAU, A. Strategic management in public administrations: a results-based approach to strategic public management. International Review of
Administrative Sciences, v. 82, n. 3, p. 411-417, 2016. [PB – ADGP].
MEIER, K. J.; O'TOOLE, L. J. Public management and organizational performance: The effect of managerial quality. Journal of Policy Analysis and Management, v. 21, n. 4, p. 629-643, 2002. [PB – ADGP].
______. Modeling public management: empirical analysis of the management performance Nexus. Public Management Review, v. 9, p. 503–527, 2007. [PB – ADGP].
MEIER, K. J.; O'TOOLE, L. J; BOYNE, G. A.; WALKER, R. M. Strategic Management and the Performance of Public Organizations: Testing Venerable Ideas against
Recent Theories. Journal of Public Administration Research and Theory, v. 17, p. 357–377, 2007. [PB – ADGP].
MICHELI, P.; NEELY, A. Performance measurement in the public sector in England: Searching for the golden thread. Public Administration Review, v. 70, n. 4, p. 591-600, 2010. [PB – ADGP].
MOYNIHAN, D. A.; PANDEY, S. K. Testing how management matters in an era of government by performance management. Journal of Public Administration
Research and Theory, v. 15, v. 3, p. 421-439, 2005. [PB – ADGP].
NEELY, A. The performance measurement revolution: why now and what next?
International Journal of Operations & Production Management, v. 19, n. 2, p.
205-228, 1999. [PB-AD].
NEELY, A.; GREGORY, M.; PLATTS, K. Performance measurement system design - A literature review and research agenda. International Journal of Operations &
Production Management, v. 15, n. 4, p. 80-116, 1995. [PB-AD].
NICHOLSON-CROTTY, S.; O'Toole Jr, L. J. Public Management and Organizational Performance: The Case of Law Enforcement Agencies. Journal of Public
Administration Research and Theory, v. 14, n. 1, p. 1-18, 2004. [PB – ADGP].
NOORDEGRAAF, M; ABMA, T. Management by measurement? Public management practices amidst ambiguity. Public Administration, v. 81, n. 4, p. 853-871, 2003. [PB – ADGP].
NUDURUPATI, S.S.; BITICI, U.S.; KUMAR, V.; CHAN, F.T.S. State of the art literature review on performance measurement. Computers & Industrial
Engineering, v. 60, n. 2, p. 279-290, 2011. [PB-AD].
NUDURUPATI, S. S.; TEBBOUNE, S.; HARDMAN, J. Contemporary performance measurement and management (PMM) in digital economies, Production Planning
945
O'FLYNN, J. From new public management to public value: Paradigmatic change and managerial implications. Australian Journal of Public Administration, v. 66, n. 3, p. 353-366, 2007. [PB – ADGP].
PAES DE PAULA, A. P. Administracao publica brasileira entre o gerencialismo e a gestao social. Revista de Administração de Empresas, v. 45, p. 36, 2005. [PB – ADGP].
POISTER, T. H.; Pitts, D. W.; Edwards, L. H. Strategic management research in the public sector: A review, synthesis, and future directions. American Review of Public
Administration, v. 40, n. 5, p. 522-545, 2010. [PB – ADGP].
RAADSCHELDERS, J. C. N.; Lee, K. H. Trends in the Study of Public Administration: Empirical and Qualitative Observations from Public Administration Review, 2000-2009. Public Administration Review, v. 71, n. 1, p. 19-33, 2011. [PB – ADGP]. RICCUCCI, N. M. The "old" public management versus the "new" public
management: Where does public administration fit in? Public Administration
Review, v. 61, n. 2, p. 172-175, 2001.[PB – ADGP].
RICHARDSON, R. J. Pesquisa Social: métodos e técnicas. São Paulo: Atlas, 1999. RYU, S. Modeling Public Management: Current and Future Research. Public
Organization Review, v. 16, n. 1, p. 77-94, 2016. [PB – ADGP].
SECCHI, L. Organizational models and public management reforms/Modelos organizacionais e reformas da administração publica. Revista de Administração
Pública, v. 43, p. 347, 2009. [PB – ADGP].
SPEKLÉ, R. F.; VERBEETEN, F. H. M. The use of performance measurement systems in the public sector: Effects on performance. Management Accounting
Research, v. 25, n. 2, p.131-146, 2014. [PB – ADGP].
STOKER, G. Public value management: A new narrative for networked governance?
American Review of Public Administration, v. 36, n. 1, p. 41-57, 2006. [PB –
ADGP].
TASCA, J. E.; ENSSLIN, L.; ENSSLIN, S. R.; ALVES, M. B. M., An approach for selecting a theoretical framework for the evaluation of training programs. Journal of
European Industrial Training, v. 34, n. 7, p. 631-655, 2010.
THIEL, G. G.; ENSSLIN, S. R.; ENSSLIN, L. Street Lighting Management and Performance Evaluation: Opportunities and Challenges. Lex Localis - Journal of
Local Self-Government, v. 15, n. 2, p. 303-328, 2017.
TILLEMA, S; MIMBA, N. P. S. H. G; HELDEN, J. v. Understanding the changing role of public sector performance measurement in less developed countries. Public
Administration and Development, v. 30, n. 3, p. 203-214, 2010. [PB – ADGP].
946
VALMORBIDA, S. M. I; ENSSLIN, S. R.; ENSSLIN, L.; RIPOLL-FELIU, V. M. Avaliação de Desempenho para Auxílio na Gestão de Universidades Públicas: Análise da Literatura para Identificação de Oportunidades de Pesquisas.
Contabilidade, Gestão e Governança, v. 17, n. 3, p.4–28, 2014.
______. Rankings Universitários Mundiais. Que Dizem os Estudos Internacionais?
Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, v. 14, n. 2, p. 5-29, 2016.
VIGODD-GADOT, E.; MIZRAHI, S. Public sector management and the democratic ethos: A 5-year study of key relationships in Israel. Journal of Public
Administration Research and Theory. v. 18, n. 1, p. 79-107, 2008. [PB – ADGP].
WEST, D.; BLACKMAN, D. Performance Management in the Public Sector.
Australian Journal of Public Administration, n. 74, n. 1, p. 73-81, 2015. [PB –
ADGP].
WILLIAMS, A.; SIDDIQUE, A. The use (and abuse) of governance indicators in economics: A review. Economics of Governance, v. 9, n. 2, p.131-175, 2008. [PB – ADGP].
WRIGHT, B; MANIGAULT, L. J.; BLACK T. R. Quantitative research measurement in public administration - An assessment of journal publications. Administration &
