UNIVERSIDADE FEDERAL DE SANTA CATARINA CENTRO SOCIOECONÔMICO
PROGRAMA DE PÓS-GRADUAÇÃO EM CONTABILIDADE Samuel Souza de Araújo
INSTRUMENTO DE GESTÃO PARA AVALIAR O DESEMPENHO DE UMA UNIDADE DE LICITAÇÕES: ESTUDO DE CASO NO HOSPITAL UNIVERSITÁRIO
Florianópolis – SC 2020
UNIVERSIDADE FEDERAL DE SANTA CATARINA CENTRO SOCIOECONÔMICO
PROGRAMA DE PÓS-GRADUAÇÃO EM CONTABILIDADE
Samuel Souza de Araújo
INSTRUMENTO DE GESTÃO PARA AVALIAR O DESEMPENHO DE UMA UNIDADE DE LICITAÇÕES: ESTUDO DE CASO NO HOSPITAL UNIVERSITÁRIO
Dissertação submetida ao Programa de Pós-Graduação em Contabilidade da Universidade Federal de Santa Catarina para a obtenção do título de Mestre em Contabilidade.
Orientadora: Prof.a Sandra Rolim Ensslin, Dr.a
Florianópolis – SC 2020
Samuel Souza de Araújo
INSTRUMENTO DE GESTÃO PARA AVALIAR O DESEMPENHO DE UMA UNIDADE DE LICITAÇÕES: ESTUDO DE CASO NO HOSPITAL UNIVERSITÁRIO
O presente trabalho em nível de mestrado foi avaliado e aprovado por banca examinadora composta pelos seguintes membros:
Banca examinadora:
___________________________________________________ Prof.a Sandra Rolim Ensslin, Dr.a
Universidade Federal de Santa Catarina
____________________________________________________ Prof. Sérgio Murilo Petri, Dr.
Universidade Federal de Santa Catarina
____________________________________________________ Prof. Sandro César Bortoluzzi, Dr.
Universidade Tecnológica Federal do Paraná
____________________________________________________ Prof.a Fabricia Silva da Rosa, Dr.a
Universidade Federal de Santa Catarina
Certificamos que esta é a versão original e final do trabalho de conclusão que foi julgado adequado para obtenção do título de Mestre em Contabilidade.
_______________________________________ Prof.a Dr.a Ilse Maria Beuren
Coordenadora do Programa
_______________________________________ Prof.a Dr.a Sandra Rolim Ensslin
Orientadora
Florianópolis, 27 de fevereiro de 2020.
Documento assinado digitalmente Sandra Rolim Ensslin
Data: 24/04/2020 11:12:19-0300 CPF: 599.690.590-68
Assinado de forma digital por Ilse Maria Beuren:23018194004 Dados: 2020.04.24 11:49:31 -03'00'
AGRADECIMENTOS
Aos meus pais, Maria e Quintiliano, pelo amor incondicional e ensinamentos. Ao carinho de ambos e dedicação na minha formação.
Aos meus irmãos, Mariane e Gabriel. Ao meu irmão pela companhia nos momentos que precisei descansar. À minha irmã pelas madrugadas de companheirismo, revisão e leitura.
À Nicole, por se esforçar em compreender as dificuldades que passei, pelo companheirismo e apoio. Por me motivar em momentos que duvidei que conseguiria concluir o estudo, obrigado amorzinho.
Agradeço a minha querida Orientadora Prof.a Dr.a Sandra Rolim Ensslin pela
compreensão, orientações e incentivos à execução desta Dissertação. Poder acompanhar a dedicação e a atenção da Prof.a com todos os seus alunos e a paixão que tem pelo ofício de
educadora é uma inspiração para nunca desistir de encontrar minha paixão.
Aos demais professores do mestrado que foram fundamentais para o conhecimento compartilhado. Em especial, ao Prof. Dr. Sérgio Murilo Petri, pelo apoio e leveza em momentos que me tranquilizaram. Aos membros da banca, Prof.a Dr.a Fabricia Silva da Rosa e Prof. Dr.
Sandro César Bortoluzzi, pelas valiosas contribuições.
Ao Lucas dos Santos Matos, pelas revisões e auxílios que foram fundamentais para a conclusão deste estudo e elaboração dos artigos. Aos demais colegas do Laboratório Multicritério de Apoio a Decisão-Construtivista pela ajuda e disponibilidade.
À Maura Paula Miranda Lopes que me acolheu e incentivou muitas vezes para a conclusão do estudo, muito obrigado.
Aos meus primos e familiares pela compreensão diante das tantas ausências nesse período. Aos amigos da vida e aos colegas do mestrado que estiveram juntos nessa caminhada. Aos colegas de trabalho que participaram da presente pesquisa, sem a vossa colaboração não seria possível realizar a pesquisa. Em especial, ao Vilmar, pelo interesse e pela oportunidade que tive de conhecer melhor a Unidade de Licitações.
No mundo dos negócios, o espelho retrovisor é sempre mais claro do que o para-brisa. (WARREN BUFFETT)
RESUMO
Diante da insatisfação com a qualidade dos serviços prestados à população pelos órgãos públicos e das reformas que ocorreram na década de 1990, as organizações públicas buscaram alcançar a eficiência e a eficácia. Considerando que bens, obras e serviços são adquiridos pelo setor de compras, torna-se essencial avaliar o desempenho no contexto das compras públicas de forma a suprir o órgão com maior qualidade e por um preço adequado. Levando em conta a complexidade do problema e os interesses conflitantes dos agentes públicos, questiona-se como construir um instrumento de gestão que permita ao gestor público avaliar o desempenho da unidade encarregada dos processos licitatórios de uma organização pública. Assim, o objetivo da pesquisa é propor um modelo para apoiar a gestão da Unidade de Licitações no processo de compras do Hospital Universitário Professor Polydoro Ernani de São Thiago, da Universidade Federal de Santa Catarina, visando construir, para seu gestor, conhecimento acerca do contexto que administra, permitindo a visualização dos aspectos julgados necessários e suficientes para se ter em consideração nesse processo. Emprega-se a metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C) para a estruturação de um Sistema de Avaliação de Desempenho específico às particularidades do gestor, representando a Unidade de Licitações (UL), do Hospital Universitário. Assim, a pesquisa utiliza uma abordagem qualitativa, sob forma de estudo de caso, com coleta de dados primários, com base em entrevistas com o gestor da UL. A estruturação do Sistema permite o desenvolvimento de uma Estrutura Hierárquica de Valor e indicadores qualitativos de desempenho. A criação dos indicadores de desempenho possibilita o efetivo acompanhamento das atividades desenvolvidas pelo setor, conduzindo à gestão eficiente e à melhor aplicação dos recursos públicos. Permite, ainda, a visualização dos aspectos em níveis comprometedores, de mercado e de excelência, evidenciando os fatores relevantes para a gestão. Assim, com base no modelo construído, foram identificados 14 indicadores nos quais a Unidade de Licitações, do HU, pode melhorar seu desempenho. Dessa forma, foram propostas recomendações para a UL. Caso sejam feitas todas as recomendações, o valor de desempenho global da Unidade de Licitações, do HU, terá um aumento de 38% em relação ao statu quo atual. Adicionalmente, o estudo contribui para o preenchimento de lacuna evidenciada com a análise da literatura sobre o tema. Considera-se que o Sistema capacita o gestor – Chefe da UL - com informações específicas para a tomada de decisão e promove uma discussão, ainda não encontrada na literatura, a respeito do uso de abordagens Construtivistas para o setor licitatório de um hospital universitário.
Palavras-chave: Avaliação de Desempenho. Compras Públicas. Processos Licitatórios. Apoio à Decisão. Metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C).
ABSTRACT
In view of the dissatisfaction with the quality of services provided to the population by public agencies and the reforms that occurred in the 1990s, public organizations sought to achieve efficiency and effectiveness. Considering that goods, works and services are acquired by the purchasing sector, it is essential to evaluate performance in the context of public procurement in order to supply the agency with higher quality and at an appropriate price. Taking into account the complexity of the problem and the conflicting interests of public agents, it is questioned how to build a management tool that allows the public manager to evaluate the performance of the unit in charge of a public organization's bidding processes. Thus, the objective of the research is to propose a model to support the management of the Bidding Unit in the purchasing process of the Professor Polydoro Ernani University Hospital of São Thiago, from the Federal University of Santa Catarina, aiming to build, for its manager, knowledge about the context which manages, allowing the visualization of the aspects deemed necessary and sufficient to be taken into account in this process. The Multicriteria Decision Aid-Constructivist (MCDA-C) methodology is used to structure a Performance Evaluation System specific to the manager's particularities, representing the Bidding Unit (BU), of the University Hospital. Thus, the research uses a qualitative approach, in the form of a case study, with primary data collection, based on interviews with the BU manager. The structuring of the System allows the development of a Hierarchical Value Structure and qualitative performance indicators. The creation of performance indicators makes it possible to effectively monitor the activities developed by the sector, leading to efficient management and better application of public resources. It also allows the visualization of aspects at compromising, market and excellence levels, highlighting the relevant factors for management. Thus, based on the built model, 14 indicators were identified in which the Bidding Unit, from the HU, can improve its performance. Thus, recommendations were proposed for BU. If all recommendations are made, the overall performance value of the HU's Bidding Unit will increase by 38% compared to the current status quo. Additionally, the study contributes to fill the gap evidenced with the analysis of the literature on the topic. It is considered that the System trains the manager - Chief of BU - with specific information for decision making and promotes a discussion, not yet found in the literature, regarding the use of Constructivist approaches for the bidding sector of a university hospital.
Keywords: Performance Evaluation. Public Procurement. Bidding Processes. Decision Aiding. Multicriteria Decision Aid-Constructivist (MCDA-C) Methodology.
LISTA DE FIGURAS
Figura 1 – Etapas do ProKnow-C ... 25
Figura 2 – Processo de seleção dos artigos... 26
Figura 3 – Processo de Coleta de Dados em Língua Portuguesa ... 29
Figura 4 – Etapas do MCDA-C ... 33
Figura 5 – Contextos empresariais ... 36
Figura 6 – Evolução da Avaliação de Desempenho ... 36
Figura 7 – Framework para o design do sistema de avaliação de desempenho ... 37
Figura 8 – Procedimentos de Contratação ... 50
Figura 9 – Evolução Temporal do Tema ... 53
Figura 10 – Distribuição das preocupações mais recorrentes ... 55
Figura 11 – Finalidades dos sistemas ... 56
Figura 12 – Stakeholders identificados no PB ... 57
Figura 13 – Objetivos ... 58
Figura 14 – Falhas encontradas ... 59
Figura 15 – Processo de Compras do HU-UFSC ... 62
Figura 16 – Organograma Ebserh ... 64
Figura 17 – Identificação das áreas de preocupação para o modelo e teste quanto à necessidade e suficiência dos pontos de vista... 69
Figura 18 – Processo de criação dos Mapas Cognitivos ... 70
Figura 19 – Criação do Mapa Cognitivo para o PVE "Resultado" ... 71
Figura 20 – Mapa Cognitivo do PVE “Resultados” ... 73
Figura 21 – Determinação dos clusters e subclusters com foco no PVE “Resultados” ... 74
Figura 22 – Estrutura Hierárquica de Valor do PVE “Resultados” ... 75
Figura 23 – Função de valor para o descritor do PVE “Digitalização” ... 78
Figura 24 – Alternativas do PVE “Objetivo” ... 79
Figura 25 – Matriz semântica de julgamento para determinação das taxas de compensação das alternativas para PVE “Objetivo” ... 80
Figura 26 – Statu Quo da Unidade de Licitações, do HU, frente aos PVFs do modelo ... 82
Figura 27 – Desempenho global da Unidade de Licitações, do HU, após realização das recomendações feitas ... 88
LISTA DE QUADROS
Quadro 1 – Artigos selecionados do PB em língua inglesa ... 27
Quadro 2 – Artigos selecionados em língua portuguesa ... 29
Quadro 3 – Gravações ... 31
Quadro 4 – Evolução das medidas de desempenho ... 35
Quadro 5 – Características das medidas de desempenhos ... 39
Quadro 6 – Taxonomia das falhas no nível métrico ... 41
Quadro 7 – Indicadores propostos pelo estudo de Srivastava & Agrahari (2017) ... 46
Quadro 8 – Indicadores propostos pelo estudo de Chomchaya & Esichaikul (2016) ... 46
Quadro 9 – Indicadores propostos pelo estudo de Gardenal (2013)... 47
Quadro 10 – Indicadores propostos pelo estudo de Patrucco et al. (2016) ... 47
Quadro 11 – Classificação dos artigos do PB em língua inglesa ... 54
Quadro 12 – Atores ... 65
Quadro 13 – Perguntas extraídas do checklist elaborado para identificar as percepções dos decisores/gestores (Chefe da UL e pregoeiros) ... 66
Quadro 14 – Amostra de Elementos Primários de Avaliação e Conceitos resultantes ... 67
Quadro 15 – Ordenação das alternativas com base na Matriz de Roberts (1979) para PVE “Objetivo” ... 80
Quadro 16 – Maior contribuição global dos indicadores em que a UL apresenta-se em desempenho com nível comprometedor ... 84
Quadro 17 – Recomendações para UL, do HU, melhorar seu desempenho no PVE “Suporte” ... 84
Quadro 18 – Recomendações para UL, do HU, melhorar seu desempenho no PVE “Planejamento Ebserh” ... 85
Quadro 19 – Recomendações para UL, do HU, melhorar seu desempenho no PVE “Digitalização” ... 85
Quadro 20 – Recomendações para UL, do HU, melhorar seu desempenho no PVE “Valor Estimado” ... 85
Quadro 21 – Maiores taxas diretas dos Pontos de Vista Elementares ... 86
Quadro 22 – Recomendações para UL, do HU, melhorar seu desempenho no PVE “Materiais” ... 86
Quadro 23 – Relação entre áreas encontradas na literatura e indicadores construídos no
LISTA DE ABREVIATURAS E SIGLAS AD – Avaliação de Desempenho
AF – Autorização de Funcionamento
CAPES – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior CPL – Coordenadoria de Processos Licitatórios
EBSERH – Empresa Brasileira de Serviços Hospitalares EPA – Elemento Primário de Avaliação
HU – Hospital Universitário Polydoro Ernani de São Thiago
MCDA-C – Metodologia Multicritério de Apoio à Decisão-Construtivista NPM – New Public Management
PB – Portfólio Bibliográfico PVE – Ponto de Vista Elementar PVF – Ponto de Vista Fundamental
ProKnow-C – Knowledge Development Process-Constructivist
RLCE – Regulamento de Licitações e Contratos da Ebserh SAD – Sistema de Avaliação de Desempenho
SEI! – Sistema Eletrônico de Informações TR – Termo de Referência
UFSC – Universidade Federal de Santa Catarina UL – Unidade de Licitações
SUMÁRIO 1 INTRODUÇÃO ... 17 1.1 PROBLEMA DE PESQUISA ... 19 1.2 OBJETIVOS ... 19 1.2.1 Objetivo Geral ... 19 1.2.2 Objetivo Específico ... 20 1.3 JUSTIFICATIVA DA PESQUISA ... 20 1.4 DELIMITAÇÕES DA PESQUISA... 21 1.5 ESTRUTURA DA PESQUISA ... 22 2 METODOLOGIA DA PESQUISA ... 23 2.1 ENQUADRAMENTO METODOLÓGICO ... 23
2.2 PROCEDIMENTO DE SELEÇÃO DE MATERIAL QUE IRÁ COMPOR A FUNDAMENTAÇÃO TEÓRICA ... 24
2.2.1 Instrumento de intervenção – ProKnow-C ... 24
2.2.2 Processo de seleção do Portfólio Bibliográfico referente à Avaliação de Desempenho de Compras Públicas ... 25
2.2.3 Processo de seleção do Portfólio Bibliográfico referente à Avaliação de Desempenho de Compras Públicas em língua portuguesa ... 28
2.3 PROCEDIMENTO PARA A COLETA E ANÁLISE DE DADOS ... 30
2.3.1 Parâmetro para pesquisa qualitativa ... 30
2.3.2 Passo a passo da entrevista ... 31
2.3.3 Análise Bibliométrica ... 32
2.3.4 Instrumento de Intervenção: Metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C) ... 33
2.3.4.1 Fase de Estruturação ... 34
2.3.4.2 Fase de Avaliação ... 34
2.3.4.3 Fase de Recomendações ... 34
2.3.4.4 Congruência entre os Instrumentos de Intervenção... 34
3.1 AVALIAÇÃO DE DESEMPENHO ... 35
3.2 AVALIAÇÃO DE DESEMPENHO DE COMPRAS PÚBLICAS ... 43
3.2.1 Indicadores, métricas ou medidas encontradas na literatura ... 45
3.3 AVALIAÇÃO DE DESEMPENHO DE COMPRAS PÚBLICAS NO BRASIL ... 48
3.3.1 Marco Normativo dos Processos Licitatórios ... 50
3.3.2 Estudos semelhantes a respeito da Avaliação de Desempenho de Compras Públicas ... 51
4 APRESENTAÇÃO E DISCUSSÃO DOS RESULTADOS ... 53
4.1 RESULTADOS DA ANÁLISE BIBLIOMÉTRICA ... 53
4.1.1 Análise bibliométrica das variáveis básicas ... 53
4.1.2 Análise bibliométrica das variáveis avançadas ... 55
5 CONSTRUÇÃO DO MODELO DE AVALIAÇÃO DE DESEMPENHO CONSTRUTIVISTA UTILIZANDO A METODOLOGIA MCDA-C ... 60
5.1 FASE DE ESTRUTURUÇÃO ... 60
5.1.1 Contextualização ... 60
5.1.1.1 Processo de Compras no Hospital Universitário... 61
5.1.1.2 Ebserh ... 63
5.1.1.3 Atores... 64
5.1.2 Famílias de Pontos de Vista ... 66
5.1.3 Construção dos descritores ... 70
5.2 FASE DE AVALIAÇÃO ... 76
5.2.1 Construção das funções de valores e identificação das taxas de compensação .. 77
5.2.2 Avaliação global e identificação do perfil de impacto das alternativas ... 81
5.3 FASE DE RECOMENDAÇÃO ... 83
5.3.1 Análise de sensibilidade ... 83
5.3.2 Elaboração das recomendações ... 83
5.4 DISCUSSÕES ENTRE A PERCEPÇÃO DA LITERATURA E O MODELO DESENVOLVIDO ... 89
6 CONCLUSÕES E RECOMENDAÇÕES ... 93
REFERÊNCIAS ... 100
APÊNDICE A – PERGUNTAS PARA ENTREVISTA ... 105
APÊNDICE B – ELEMENTOS PRIMÁRIOS DE AVALIAÇÃO ... 107
APÊNDICE C – CONCEITOS ... 110
APÊNDICE D – CONCEITOS CRIADOS DURANTE A CONSTRUÇÃO DOS MAPAS COGNITIVOS ... 115
APÊNDICE E – MAPAS COGNITIVOS ... 117
APÊNDICE F – IDENTIFICAÇÃO DE CLUSTERS E SUBCLUSTERS ... 127
APÊNDICE G – ESTRUTURA HIERÁRQUICA DE VALOR ... 137
APÊNDICE H – CONSTRUÇÃO DA FUNÇÃO DE VALOR ... 147
APÊNDICE I – ALTERNATIVAS DOS PONTOS DE VISTAS ELEMENTARES ... 226
1 INTRODUÇÃO
O Departamento de Compras de um órgão público é responsável por adquirir bens, obras e serviços para suprir suas necessidades (Srivastava & Agrahari, 2017) e, consequentemente, atender às necessidades dos cidadãos (Mardale, 2015; Patrucco, Luzzini & Ronchi, 2016; Tillema, Mimba & Van Helden, 2010).
No Brasil, as compras do governo federal, que utilizaram o sistema de compras governamentais – o Comprasnet – movimentaram mais de 47 bilhões de reais em pouco mais de cem mil processos de compras (Brasil, 2018).
O volume de recursos envolvidos, porém, não garante a satisfação do usuário. Uma pesquisa feita no Brasil aponta que 70% dos brasileiros estão insatisfeitos com os serviços públicos (Ipsos, 2017). É necessário, portanto, equacionar melhor o valor percebido pelos recursos gastos na aquisição de bens e serviços (Chomchaiya & Esichaikul, 2016; Schiele, 2005; Srivastava & Agrahari, 2017).
Presente tanto nas organizações públicas, quanto nas privadas, a função de compras busca suprir todos os insumos necessários para atender as necessidades com preço, prazo e qualidade adequados (Nishiyama, Lima, Ensslin, & Chaves, 2017). Todas as compras ou contratações feitas pela administração pública são precedidas de procedimento licitatório, salvo os casos especificados em lei (Freitas & Maldonado, 2013). A licitação, sendo o instrumento utilizado para suprir a necessidade da função administrativa de compras, se caracteriza por procedimentos administrativos que fazem a interação entre a necessidade do setor público e os interessados em fornecer as soluções adequadas (Nunes, Lucena, & Silva, 2007).
Por vezes, o departamento de compras acaba pagando um preço mais alto por produtos ou serviços cuja qualidade não se justifica (Rotchanakitumnuai, 2013). No entanto, é possível utilizar mecanismos legais para reduzir os custos e garantir a qualidade desejada (Patrucco et al., 2016), equacionando, assim, da melhor forma, o valor percebido da qualidade pelo recurso gasto quando da aquisição ou pagamento dos bens e serviços (Chomchaiya & Esichaikul, 2016; Schiele, 2005; Srivastava & Agrahari, 2017).
Tal atividade evidencia a importância do departamento de compras para a realização e prestação dos serviços do setor público (Patrucco et al., 2016; Rendon, 2008; Schiele, 2005). Por conta disso, surge a necessidade de avaliar o desempenho dos processos de aquisição (Gardenal, 2013; Patrucco et al., 2016; Rendon, 2008), permitindo melhor gestão e percepção da qualidade dos bens e serviços adquiridos pelo ente público.
Além disso, reformas legislativas, na década de 1990, estimularam a adoção da Avaliação de Desempenho (AD) nas organizações públicas, estimuladas pelo New Public
Management (NPM, Nova Gestão Pública, em português) em busca de eficiência e eficácia
organizacional (Brignall & Modell, 2000; Navarro-Galera, Rodríguez & López-Hernández, 2008; Patrucco et al., 2016; Rendon, 2008).
Segundo Mardale (2015), surge a necessidade de desenvolver um novo sistema gerencial de forma a atingir o desempenho nas compras públicas por conta das reformas recentes nos contratos públicos feitas pelo Parlamento Europeu. Por fim, Patrucco et al. (2016, p. 16) afirmam que “há a necessidade de construir um Sistema de Avaliação de Desempenho abrangente”.
É importante conceituar compras públicas nesta pesquisa cujo eixo principal consiste na aquisição e no fornecimento de bens e serviços para a administração pública (Fernandes, 2019). As compras públicas, em regra, são precedidas por processos licitatórios (Freitas & Maldonado, 2013), ou seja, é por meio do processo licitatório que as compras públicas são feitas, excetuando os casos estabelecidos na legislação, dos quais se destacam a dispensa, quando, apesar da possibilidade de licitar, o legislador aponta situações em que entende não ser necessário realizar um processo licitatório; e inexigibilidade, quando não é possível realizar um processo licitatório. Apesar de não precisar de processo licitatório, para todas as aquisições é necessária a abertura de processo administrativo, disciplinado pela Lei nº 9.784, de 29 de janeiro de 1999, que visa proteger os direitos dos cidadãos e atender aos objetivos da Administração.
A legislação brasileira introduz alguns outros conceitos que podem causar confusões. Dessa forma, para esclarecer, ressalta-se que o processo licitatório pode ser feito por algumas modalidades (concorrência, tomada de preços, convite concurso, leilão), além do pregão que foi criado para dar celeridade às compras públicas. Outras modalidades de compras podem ser desenvolvidas visando facilitar o processo de compras nas empresas estatais, por exemplo. Todavia, o objetivo permanece com a obtenção de melhores condições para a aquisição de bens e serviços para a Administração (Freitas & Maldonado, 2013).
Sendo a Avaliação de Desempenho definida por Neely, Gregory e Platts (1995, p. 80) “como o processo de quantificação da eficiência e eficácia da ação”, pretende-se pesquisar quais são as lacunas teóricas na área de compras públicas sob a perspectiva da Avaliação de Desempenho e com base nas análises bibliométricas, básicas e avançadas. É possível perceber ainda como a AD pode contribuir para a Avaliação de Desempenho de Compras Públicas.
A contribuição se caracteriza também pelo contexto complexo escolhido para a presente pesquisa: um ambiente hospitalar universitário. Para observar a dinâmica do processo de
compras nas universidades federais, é preciso considerar o ambiente complexo em que elas estão inseridas (Oliveira, 2015). Nesse sentido, Pollitt (2018) afirma que serviços públicos complexos, como os da área da saúde, ou os da área educacional, amplificam a multidimensionalidade do desempenho organizacional, considerando os inúmeros tipos de serviços prestados aos cidadãos pelos hospitais ou universidades.
Longaray et al. (2018, p. 134) afirmam que a “complexidade das atividades hospitalares diferencia hospitais de organizações de outros setores”. Os autores complementam ainda que “a crescente complexidade da gestão hospitalar indica uma maior necessidade de instrumentos científicos subjacentes às avaliações de desempenho dos processos organizacionais”.
Assim, a Avaliação de Desempenho da Unidade de Licitações do Hospital Universitário permitiria melhor gestão dos recursos disponíveis ao gestor em um ambiente complexo como o ambiente desses hospitais.
1.1 PROBLEMA DE PESQUISA
Nesse contexto, entende-se que uma gestão adequada das compras públicas, que possibilite a aquisição de bens, obras e serviços com mais qualidade por um preço adequado, é essencial para suprir as necessidades do órgão e, consequentemente, dos cidadãos. Assim, surge a questão que norteia o desenvolvimento da pesquisa: Quais critérios devem ser considerados para construir um instrumento de gestão que permita ao gestor público avaliar o desempenho de um departamento de licitações de uma organização pública?
1.2 OBJETIVOS
Para responder à pergunta de pesquisa este estudo apresenta os objetivos geral e específicos.
1.2.1 Objetivo Geral
O objetivo geral da pesquisa é construir um instrumento de gestão para avaliar a Unidade de Licitações (UL) no processo de compras do Hospital Universitário, da Universidade Federal de Santa Catarina, e apoiar as decisões de seu gestor.
1.2.2 Objetivo Específico
De modo a alcançar o objetivo principal da pesquisa, traçam-se objetivos específicos: a) Analisar o contexto decisório e os aspectos relevantes e inerentes ao gestor,
sobre os quais será construído o modelo.
b) Mensurar os aspectos identificados por meio de escalas ordinais e cardinais, de forma a permitir a visualização do desempenho atual, numérica e graficamente, atendendo às preferências do gestor.
c) Traçar ações de aperfeiçoamento para os critérios julgados suficientes, necessários e relevantes para o gestor.
d) Cotejar os indicadores identificados na literatura com os desenvolvidos no modelo construído.
1.3 JUSTIFICATIVA DA PESQUISA
Os seis critérios de Sampieri, Collado & Lucio (2013, como citado em Amaral, 2019) justificam a realização da pesquisa, sendo eles: (i) conveniência; (ii) relevância social; (iii) implicações práticas; (iv) valor teórico; (v) utilidade metodológica; e (vi) viabilidade em relação ao tempo, recursos e habilidades.
A pesquisa é conveniente por buscar desenvolver um modelo de apoio à gestão, considerando a necessidade de medir e melhorar os processos de compras (Chomchaiya & Esichaikul, 2016; Patrucco et al., 2016; Rendon, 2008; Srivastava & Agrahari, 2017).
A relevância social está na sua relação com o processo de compras públicas, em contribuir e propor uma ferramenta que permita ao gestor melhorar a gestão desse processo, considerando a importância que essa atividade tem para o setor público e sua relevância nos gastos governamentais. Cabe destacar ainda a relevância dos gastos hospitalares com aquisição de bens e suprimentos que, no Brasil, podem chegar a 50% dos custos anuais totais (Paschoal & Castillo, 2010, como citado em Longaray et al., 2018). Há ainda a relevância de implementar, na prática, o modelo no HU-UFSC, segundo Patrucco et al. (2016, p. 3), pois existe “uma lacuna entre as ações pretendidas e os resultados reais” quando a Avaliação de Desempenho é posta em prática.
O valor teórico está em contribuir com a carência de estudos que investiguem estes dois eixos em artigos internacionais: Compras Públicas e Avaliação de Desempenho, conforme apontado por Chomchaiya e Eschaikul (2016) e Patrucco et al. (2016). É importante destacar
que foram localizados dois artigos em língua portuguesa que tratam da Avaliação de Desempenho de compras públicas. Todavia, no trabalho de Nishiyama et al. (2017) é avaliado o desempenho das compras públicas sob a perspectiva de outro departamento (área demandante). Já o trabalho de Cunha, Dutra & Binotto (2016) investigou a esfera municipal e não desenvolveu a fase de Avaliação da metodologia o MCDA-C, tendo como decisor um pregoeiro, e não o Chefe do Setor e os pregoeiros, como é o caso do presente estudo.
A utilidade metodológica reside no fato de utilizar a abordagem Construtivista que permitiu considerar as preferências dos decisores na construção do modelo.
Por fim, é viável diante do interesse e disponibilidade do pesquisador, assim como dos decisores. Destaca-se, referente ao interesse do gestor, sua preocupação conforme trecho extraído da entrevista feita: “Hoje não possuímos uma ferramenta que classifique ou analise nossa produtividade” (Entrevista com o chefe da UL, em 26/06/2018), além da necessidade de construir essa ferramenta: “Precisamos de uma ferramenta para que possa fazer gestão” (Entrevista com o chefe da UL, em 26/06/2018).
1.4 DELIMITAÇÕES DA PESQUISA
A limitação do estudo consiste inicialmente na seleção do Portfólio Bibliográfico (PB), pois foram selecionados apenas artigos em língua inglesa e portuguesa, de 2000 a 2018. Os artigos em língua inglesa foram buscados em cinco bases de dados disponíveis no Portal de Periódicos, da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES):
Scopus, Web of Science, Science Direct, Proquest e Emerald. Enquanto os artigos em língua
portuguesa foram buscados em duas bases de dados disponíveis no Portal da CAPES: SciELO e Spell.
Além disso, há a limitação do contexto complexo de uma organização pública hospitalar, que acaba justificando a adoção da abordagem multicritério na pesquisa. Ressalta-se que o processo de compras, devido ao escopo adotado em virtude da análiRessalta-se do ambiente específico da Unidade de Licitações, também se apresenta como uma limitação desse estudo, considerando que não foi possível construir uma ferramenta para avaliar o desempenho de todo o processo de compras.
Por fim, ocorre uma limitação ainda pelo fato de o pesquisador atuar na unidade analisada em conjunto com os demais decisores, fazendo com que o modelo construído leve em consideração também o ponto de vista do pesquisador.
1.5 ESTRUTURA DA PESQUISA
O trabalho foi dividido em seis capítulos. No primeiro deles, é feita a Introdução que objetiva a caracterização do problema de pesquisa, além de apresentar as devidas justificativas e delimitações do trabalho. Na sequência, nos segundo e terceiro capítulos, apresentam-se os procedimentos metodológicos e a fundamentação teórica. No quarto capítulo, são colocados os resultados da pesquisa; e, no quinto, está a construção do modelo de gestão. Posteriormente são apresentadas as conclusões. Por fim, são listados as referências e apêndices.
2 METODOLOGIA DA PESQUISA
Para o alcance dos objetivos traçados, a metodologia adotada por esse trabalho utiliza dois instrumentos de intervenção. No primeiro momento, com o objetivo de construir conhecimento sobre o tema, utiliza-se o Knowledge Development Process-Constructivist (ProKnow-C) para conduzir o processo de seleção, reflexão e análise de um fragmento representativo da literatura. Após, para o desenvolvimento do modelo de gestão, faz-se uso da Metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C).
2.1 ENQUADRAMENTO METODOLÓGICO
Com o intuito de atender aos objetivos, esta pesquisa caracteriza-se por ser exploratória e descritiva. A pesquisa exploratória tem como objetivo “conhecer as características de um fenômeno para procurar, posteriormente, explicações das causas e consequências de dito fenômeno” (Richardson, 1999, p. 326). Isso ocorre neste trabalho ao buscar a compreensão do contexto de compras públicas e geração de conhecimento no gestor quanto aos aspectos que devem ser analisados para melhorar a Gestão da Unidade de Licitações. Segundo Richardson (1999, p. 326), a pesquisa descritiva pretende “descrever sistematicamente um fenômeno ou área de interesse” de forma detalhada e objetiva. Sendo assim, a pesquisa é descritiva na análise dos artigos identificados no Portfólio Bibliográfico, quando ocorre a seleção, reflexão e interpretação do significado das variáveis bibliométricas analisadas. Assim como no cotejamento dos indicadores identificados na literatura.
Em relação aos procedimentos técnicos, utilizou-se a pesquisa bibliográfica (Richardson, 1999), pois envolveu a análise dos dados extraídos dos artigos científicos e estudo de caso (Yin, 2015), pois visa construir um modelo de gestão para uma realidade exclusiva.
Quanto à coleta de dados, utilizaram-se dados primários e secundários. Na pesquisa bibliográfica, os dados primários foram utilizados em virtude das delimitações postas pelos pesquisadores para a seleção do PB e os dados secundários, em virtude de serem coletados nos artigos científicos que compõem o PB. Quanto à construção do modelo, os dados primários são referentes à coleta de dados por meio de entrevistas semiestruturada com os decisores, visando a percepção dos mesmos sobre o contexto a ser analisado.
Por fim, a abordagem do problema é qualitativa e quantitativa. Segundo Richardson (1999, p. 79), o uso da abordagem qualitativa se justifica “por ser uma forma adequada para entender a natureza de um fenômeno social”, uma vez que para construção do modelo, busca
se conhecer o contexto da Unidade de Licitações na fase de avaliação para identificar os aspectos considerados necessários e suficientes. É qualitativa também quanto ao conhecimento das características do fragmento da literatura de Avaliação de Desempenho das Compras Públicas, buscando interpretá-las de maneira a dar significado aos destaques identificados. É quantitativa pois visa mensurar matematicamente os critérios desenvolvidos no modelo, transformando escalas ordinais em cardinais, por meio do software estatístico Measuring
Attractiveness by a Categorical Based Evaluation Technique – Macbeth (Bana e Costa &
Vansnick, 1995).
São utilizados dois instrumentos de intervenção construtivistas: Knowledge
Development Process-Constructivist (ProKnow-C) para a seleção e análise do PB; e a
metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C) para a construção do modelo de avaliação que irá auxiliar o decisor.
2.2 PROCEDIMENTO DE SELEÇÃO DE MATERIAL QUE IRÁ COMPOR A FUNDAMENTAÇÃO TEÓRICA
Serão apresentadas nessa seção: (i) introdução ao instrumento de intervenção
ProKnow-C; (ii) Seleção do PB na literatura internacional; e (iii) seleção do PB na literatura em língua
portuguesa.
2.2.1 Instrumento de intervenção – ProKnow-C
O instrumento de intervenção ProKnow-C tem o objetivo de conduzir o pesquisador no caminho da geração de conhecimento sobre o fragmento da literatura científica de seu interesse por meio de um processo estruturado e sistematizado (Valmorbida, Ensslin, Ensslin, & Ripoll-Feliu, 2016). O processo é realizado por meio de quatro etapas: (i) seleção do Portfólio Bibliográfico (PB) que representa um fragmento da literatura; análises (ii) bibliométrica e (iii) sistêmica do PB; e (iv) identificação de lacunas e oportunidade que conduzem às propostas de perguntas de pesquisas futuras, conforme Figura 1 (Ensslin, Ensslin, Matos, Dutra, & Ripoll-Feliu, 2015; Kruger, Petri, Ensslin, & Matos, 2015; Thiel, Ensslin, & Ensslin, 2017; Valmorbida et al., 2016).
Figura 1 – Etapas do ProKnow-C
Fonte: Valmorbida et al. (2016, p. 12)
Para fins dessa pesquisa serão apresentadas as etapas de seleção do Portfólio Bibliográfico e Análise Bibliométrica, que permitirão a identificação de um mapeamento de um fragmento relevante relativo ao tema avaliação de compras públicas.
2.2.2 Processo de seleção do Portfólio Bibliográfico referente à Avaliação de Desempenho de Compras Públicas
Utilizando o instrumento de intervenção ProKnow-C, iniciou-se a seleção do Portfólio Bibliográfico. A consulta às bases de dados disponíveis no Portal de Periódicos da Capes, com base nos eixos de pesquisa selecionados, foi feita entre os dias 29 e 31 de março de 2018, conforme apresentado no estudo de Araújo, Matos & Ensslin (2020). Foram delimitados apenas artigos publicados em journals, em língua inglesa, a partir do ano 2000. Os procedimentos para a seleção do PB, bem como as bases consultadas e as palavras-chave utilizadas estão ilustrados na Figura 2.
Figura 2 – Processo de seleção dos artigos
Fonte: Elaborado pelo autor.
Foram localizados nas bases de dados 6.097 referências, que foram importadas para a ferramenta Endnote X7. Com o auxílio da ferramenta foram excluídas as referências duplicadas, que resultaram em 3.963 artigos. Examinou-se, então, o título desses artigos quanto ao alinhamento ao tema da presente pesquisa e foram excluídos os títulos claramente desalinhados, que, na percepção dos pesquisadores, não contribuiriam para o seu desenvolvimento. Referências duplicadas que não foram automaticamente excluídas pela ferramenta também foram eliminadas.
Para a seleção dos artigos mais representativos, determinou-se no Google Scholar o número de citações dos 99 artigos do banco de artigos com títulos alinhados. Em seguida, os artigos foram ordenados pelo número de citações e participação em relação ao total de citações. Fixou-se a representatividade desejada em 94,8% do total de citações, em que foram selecionados os 50 artigos com mais de 11 citações. Os 49 artigos remanescentes estão no Repositório P.
A partir da leitura do resumo dos 50 artigos, foram identificados 22 artigos com título e resumo alinhados ao tema de avaliação de desempenho de compras públicas e com
reconhecimento científico, que formaram o Repositório A. Foram identificados os 55 autores desses artigos.
Nos artigos do Repositório P foram identificados 31 artigos recentes, publicados nos três anos anteriores à pesquisa. Buscou-se nos artigos não recentes do Repositório P se havia algum artigo escrito pelos autores do Repositório A, e foi identificado 1 artigo. A partir da leitura do resumo dos 32 artigos selecionados, foram identificados 10 artigos com título e resumo alinhados ao tema de pesquisa e com reconhecimento científico em potencial, formando o Repositório B.
Após a leitura integral dos 32 artigos (Repositórios A e B) e com o desenvolvimento do processo mostrado na Figura 6, foram selecionados 16 artigos relacionados ao fragmento da literatura que trata da avaliação de desempenho de compras públicas. Buscou-se ainda, nas referências, novos artigos que pudessem ser incorporados ao PB. Porém, nenhum foi selecionado em virtude de os artigos das referências não se enquadrarem nas delimitações anteriormente utilizadas na seleção do PB original (alinhamento ao tema, palavras-chave e período).
O Quadro 1 apresenta os artigos selecionados para o Portfólio Bibliográfico em língua inglesa.
Quadro 1 – Artigos selecionados do PB em língua inglesa
Autor (ano) Artigo Revista
Brignall & Modell (2000)
An institutional perspective on performance measurement and management in the ‘new public sector’
Management Accounting Research
Schiele (2005)
A Tool for assessing the value contributed by public purchasing departments throughout various stages of competitive acquisition processes for consulting services
Journal of Public Procurement Schapper, Malta &
Gilbert (2006)
An analytical framework for the management and reform of public procurement
Journal of Public Procurement Navarro-Galera et al.
(2008) Identifying barriers to the application of standardized performance indicators in local government Public Management Review Rendon (2008) Procurement process maturity: key to performance measurement Journal of Public Procurement Tillema et al. (2010) Understanding the changing role of public sector performance measurement in less developed
countries
Public Administration and Development Ren, Kwaw & Yang
(2012)
Ghana's public procurement reform and the
continuous use of the traditional procurement system: The way forward
Built Environment Project and Asset Management Reuter, Goebel & Foerstl
(2012)
The impact of stakeholder orientation on sustainability and cost prevalence in supplier selection decisions
Journal of Purchasing and Supply Management Gardenal (2013) A model to measure e-procurement impacts on organizational performance Journal of Public Procurement
Autor (ano) Artigo Revista Rotchanakitumnuai
(2013) Assessment of e-procurement auction with a balanced scorecard
International Journal of Physical Distribution and Logistics Management Kim, Olivares &
Weintraub (2014)
Measuring the performance of large-scale combinatorial auctions: A structural estimation
approach Management Science
Goh, Elliott & Richards (2015)
Performance management in canadian public organizations: Findings of a multi-case study
International Journal of Productivity and Performance Management
Mardale (2015) Performance in Public Procurement Land Forces Academy Review Patrucco et al. (2016) Evaluating the Effectiveness of Public Procurement Performance Management Systems in Local
Governments
Local Government Studies
Chomchaiya & Esichaikul (2016)
Consolidated performance measurement framework for government e-procurement focusing on internal stakeholders
Information Technology and People
Srivastava & Agrahari
(2017) Benchmarking approach to improve the public procurement process Economic and Political Weekly Fonte: Elaborado pelo autor.
2.2.3 Processo de seleção do Portfólio Bibliográfico referente à Avaliação de Desempenho de Compras Públicas em língua portuguesa
Por conta da forte regulamentação (Chomchaiya & Esichaikul, 2016; Patrucco et al., 2016; Schapper et al., 2006; Srivastava & Agrahari, 2017), entende-se necessário avaliar o comportamento da avaliação de desempenho das compras públicas no Brasil.
Para isso, utilizando o instrumento de intervenção ProKnow-C, realizou-se uma seleção complementar do Portfólio Bibliográfico. A consulta às bases de dados disponíveis no Portal de Periódicos da Capes, com base nos eixos de pesquisa selecionados, foi feita entre os dias 31 de outubro e 01 de novembro de 2019. Foram delimitados apenas artigos publicados em revistas científicas, em língua portuguesa, a partir do ano 2000.
Em processo semelhante ao realizado para a seleção do Portfólio Bibliográfico citado anteriormente, foram realizadas as eliminações de 150 referências duplicadas e 1.269 artigos com títulos desalinhados. A partir da leitura do resumo, foram identificados 50 artigos com resumo alinhados e, por fim, foram selecionados 10 artigos integralmente alinhados. Os procedimentos para a seleção do Portfólio Bibliográfico, bem como as bases consultadas e as palavras-chave utilizadas estão ilustrados na Figura 3.
Figura 3 – Processo de Coleta de Dados em Língua Portuguesa
Fonte: Elaborada pelo autor.
Com o desenvolvimento do processo, foram incluídos 10 artigos em língua portuguesa relacionados ao fragmento da literatura que trata da Avaliação de Desempenho de Compras Públicas na língua portuguesa, conforme Quadro 2.
Quadro 2 – Artigos selecionados em língua portuguesa
Autor (ano) Artigo Revista
Batista & Maldonado (2008)
O papel do comprador no processo de compras em instituições públicas de ciência e tecnologia em saúde (C&T/S)
Revista de
Administração Pública - RAP
Cunha et al. (2016) Avaliação dos serviços de licitação para apoiar a gestão administrativa de órgão público municipal. Revista Brasileira de Gestão e Inovação C. C. C. Fernandes
(2005)
Abrangência, inserção e impacto transformador dos sistemas de compras eletrônicas na administração pública: análise do SIASG/Comprasnet.
Revista do Serviço Público - RSP C. C. C. Fernandes
(2019) Compras Públicas no Brasil: vertentes de inovação, avanços e dificuldades no período recente. Administração Pública e Gestão Social Ensslin, S. R., Ensslin,
L., Nishiyama, & Chaves (2014)
Compras governamentais sob a ótica da avaliação de desempenho: um mapeamento do tema conforme as delimitações postas pelos pesquisadores.
Gestão & Regionalidade Freitas & Maldonado
(2013) O pregão eletrônico e as contratações de serviços contínuos.
Revista de
Administração Pública - RAP
Nunes et al. (2007) Vantagens e desvantagens do pregão na gestão de compras no setor público: o caso da Funasa/PB. Revista do Serviço Público - RSP Oliveira (2015) Análise de correspondência aplicada a preposições sobre a eficiência e eficácia do processo de compras Revista Ciências Administrativas
Autor (ano) Artigo Revista públicas a partir da percepção de diferentes atores
envolvidos.
Nishiyama et al. (2017) Modelo Multicritério para Avaliação de Desempenho: um estudo de caso para gestão de compras no setor público.
Revista de Ciências da Administração Tridapalli, E. Fernandes
& Machado (2011)
Gestão da cadeia de suprimento do setor público: uma alternativa para controle de gastos correntes no Brasil.
Revista de
Administração Pública - RAP
Fonte: Elaborado pelo autor.
2.3 PROCEDIMENTO PARA A COLETA E ANÁLISE DE DADOS
Nesta seção, serão apresentados: (i) parâmetros para pesquisa qualitativa; (ii) passo a passo para pesquisa; (iii) Análise Bibliométrica; e (iv) Instrumento de Intervenção para construção do modelo.
2.3.1 Parâmetro para pesquisa qualitativa
Com base no trabalho de Amaral (2019), buscou-se definir os parâmetros necessários para preservar o rigor da metodologia da pesquisa qualitativa, embasados pelos seguintes elementos: (i) confiabilidade qualitativa; (ii) credibilidade; (iii) confirmação; e (iv) aplicabilidade dos resultados.
A apresentação detalhada dos procedimentos metodológicos assegura a confiabilidade da pesquisa, assim como a descrição e compreensão do contexto a ser estudado.
A credibilidade da pesquisa consiste na preocupação de “salvaguardar a capacidade do pesquisador de comunicar a linguagem do participante sem que suas tendências e preferências distorçam os eventos deste ambiente” (Sampieri et al., 2013 como citado em Amaral, 2019, p. 45).
A confirmação ocorreu por meio da validação das construções do modelo feita pelo pesquisador com os decisores, conforme preceitua a metodologia MCDA-C, de forma a “demonstrar que as tendências e preferências do pesquisador foram minimizadas” (Sampieri et al., 2013 como citado em Amaral, 2019, p. 45).
É preciso destacar, quanto à aplicabilidade dos resultados, que a pesquisa qualitativa não busca generalizar seus resultados, limitando dessa forma a possibilidade de aplicar os resultados desta pesquisa a outros contextos. Todavia, a descrição detalhada do contexto e do processo de construção do modelo procura mitigar essa questão, oferecendo a possibilidade de
desenvolver um novo modelo adaptado ao novo contexto (Sampieri et al., 2013 como citado em Amaral, 2019).
2.3.2 Passo a passo da entrevista
Os dados primários da pesquisa foram coletados por meio de entrevistas semiestruturadas com os decisores do modelo. Destaca-se que, inicialmente, a entrevista seria conduzida somente com o chefe da Unidade de Licitações, porém o decisor incluiu os demais pregoeiros, pois considerou que a percepção deles seria interessante para a construção do modelo.
Por meio do ProKnow-C, o processo de revisão de literatura permitiu ao pesquisador conhecer a área de Avaliação de Desempenho de Compras Públicas, além de fundamentar a pesquisa feita.
Inicialmente, foram definidas as perguntas que seriam utilizadas para a condução da pesquisa, conforme preceitua a metodologia MCDA-C e podem ser observadas no Apêndice A. As perguntas foram construídas de forma semelhante ao trabalho de Igarashi, Ensslin, Ensslin, e Paladini, (2008), com base nos trabalhos de Keeney (1992) e Ensslin, Montibeller e Noronha (2001), e no conhecimento prévio do pesquisador ao contexto, considerando que este atua como pregoeiro na Unidade de Licitações.
Dessa forma, ocorreu a preparação do ambiente e dos equipamentos que seriam utilizados para gravar as entrevistas, que foram então gravadas no celular e estão armazenadas em um dispositivo de memória externo. O Quadro 3 detalha as gravações feitas.
Quadro 3 – Gravações
Registro Participantes Data Tempo
1 Decisor 2 29/06/2018 00:25:56 2 Decisor 3 29/06/2018 00:30:35 3 Decisor 1 29/06/2018 00:18:01 4 Decisor 2 06/08/2018 00:25:09 5 Decisor 3 07/08/2018 00:19:45 6 Decisores 2 e 3 07/08/2018 00:36:06 7 Decisor 1 21/08/2018 00:18:30 8 Decisor 1 e 2 23/08/2018 00:32:08 9 Decisor 1 22/07/2019 00:14:40 10 e 11 Decisor 1 23/07/2019 00:08:12 e 00:05:45
Fonte: Elaborado pelo autor.
Há a transcrição de partes das falas dos decisores para exemplificar a interpretação das entrevistas pelo pesquisador. Todavia, as entrevistas não são integralmente transcritas a fim de
preservar a interação social entre o facilitador e os decisores, quando os decisores expuseram suas opiniões pessoais referentes ao contexto, tratamento semelhante foi dado às entrevistas na pesquisa de Amaral (2019). Após a preparação dos dados, estes são revisados e, então, minuciosamente analisados.
2.3.3 Análise Bibliométrica
Com base no Portfólio Bibliográfico (PB), é feita a análise bibliométrica, dividida em características básicas e avançadas (Thiel et al., 2017). As características básicas, delimitadas para investigação desse PB, são: (i) os autores prolíficos no tema e as redes de colaboração (coautores); (ii) o foco que tem merecido atenção dos pesquisadores; e (iii) a finalidade de como a Avaliação de Desempenho tem sido utilizada nos estudos.
As características avançadas, delimitadas para investigação desse PB, são: (i) os níveis como o Sistema de Avaliação de Desempenho está sendo abordado (Neely et al., 1995); (ii) os propósitos organizacionais para utilizar as medidas de desempenho (Behn, 2003); e (iii) as falhas encontradas nas medidas de desempenho (Van Camp & Braet, 2016). Assim, com as características definidas para a investigação, somente os artigos empíricos são analisados.
Com base no trabalho de Neely et al. (1995), observa-se o nível como o Sistema de Avaliação de Desempenho está sendo abordado no artigo, seja em termos de medidas de desempenho individuais; de um conjunto de medidas de desempenho; da existência de interação entre o SAD; seja o ambiente onde a instituição (por meio do SAD) está inserida (ilustrados na Figura 7, do capítulo que trata da Fundamentação Teórica).
No nível das medidas, são identificadas quais as medidas de desempenho utilizadas. Complementando o conhecimento, verifica-se se existe alinhamento das medidas com a estratégia e/ou com os objetivos da instituição. No nível de Sistema de Avaliação de Desempenho, é investigada qual a finalidade do SAD (mensurar, diagnosticar, comparar ou informar gestores). Finalmente, no nível da interação do Sistema com o ambiente, se ela ocorre apenas no contexto interno, no externo, ou em ambos.
Quanto à segunda variável avançada, Behn (2003) aponta que os gestores públicos podem usar medidas de desempenho para avaliar, controlar, orçar, motivar, promover, celebrar, aprender e melhorar a fim de atingir o propósito organizacional (detalhados no Quadro 5, do capítulo que trata da Fundamentação Teórica). Assim, pretende-se identificar quais são os propósitos mais recorrentes do uso das medidas de desempenho nos estudos.
A terceira variável avançada a ser investigada está relacionada à identificação das falhas das medidas de desempenho utilizadas nos artigos, com base na taxonomia criada por Van Camp e Braet (2016).
2.3.4 Instrumento de Intervenção: Metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C)
A MCDA-C auxilia os gestores em seus processos de administração, admitindo que os contextos envolvem inúmeros fatores, a princípio não bem entendidos pelos diversos atores envolvidos, cujos interesses podem ser conflitantes e abarcam múltiplos critérios ainda não definidos o bastante. Esses contextos têm encontrado nas metodologias Multicritério a base para a construção de entendimento do que é importante avaliar e gerenciar (Matos, Valmorbida, & Ensslin, 2018).
O desenvolvimento do modelo é constituído por três grandes fases: (i) fase de Estruturação, (ii) fase de Avaliação e (iii) fase de Recomendações (Ensslin, Dutra, & Ensslin, 2000; Ensslin, Ensslin, Rocha, Marafon, & Medaglia, 2013; Ensslin, Mussi, Dutra, Ensslin, & Demetrio, 2020), conforme apresentado na Figura 4.
Figura 4 – Etapas do MCDA-C
2.3.4.1 Fase de Estruturação
A primeira fase, de Estruturação, consiste na evidenciação dos aspectos julgados pelo gestor como necessários e relevantes para serem considerados no processo de monitoramento e aperfeiçoamento, com o objetivo de promover uma linguagem comum entre as partes do contexto (Ensslin et al., 2013; Ensslin et al., 2020). Ao final dessa fase, será possível evidenciar um modelo composto por métricas qualitativas de desempenho.
2.3.4.2 Fase de Avaliação
Durante a fase de Avaliação, a interação entre o pesquisador e o gestor permite que se desenvolva a transformação do modelo qualitativo para o modelo quantitativo, composto por indicadores cardinais de desempenho. Esse modelo permite identificar a diferença de atratividade entre níveis de referência dos indicadores de desempenho e taxas de compensação referentes aos diferentes pontos de vista existentes no modelo. Desse modo, é possível traçar a avaliação global do modelo (Ensslin et al., 2013).
2.3.4.3 Fase de Recomendações
A fase de Recomendações evidencia possíveis ações de aperfeiçoamento para apoiar o gestor ao alcançar níveis superiores de desempenho, principalmente em relação aos aspectos nos quais o desempenho se apresenta em nível comprometedor. Assim, permite-se ao gestor desenvolver estratégias para alcançar melhores resultados (Ensslin et al., 2013).
2.3.4.4 Congruência entre os Instrumentos de Intervenção
As metodologias Construtivistas, adotadas nesta pesquisa de forma integrada, favorecem a interação entre o facilitador e os decisores (Amaral, 2019). A adoção do
ProKnow-C permite ao facilitador ampliar seus conhecimentos referentes ao que é publicado sobre a
Avaliação de Desempenho de Compras Públicas. O conhecimento adquirido é fundamental na primeira fase da aplicação da metodologia MCDA-C, conforme já visto na pesquisa de Amaral (2019), proporcionando o desenvolvimento das perguntas feitas pelo facilitador na entrevista semiestruturada visando construir o conhecimento referente ao contexto. Há também, a possibilidade de identificar áreas de preocupação que não foram analisadas pelos decisores.
3 FUNDAMENTAÇÃO TEÓRICA
Neste capítulo serão apresentadas a fundamentação teórica da pesquisa, divididas em: (i) Avaliação de Desempenho; (ii) Avaliação de Desempenho de Compras Públicas; e (iii) Avaliação de Desempenho de Compras Públicas no Brasil.
3.1AVALIAÇÃO DE DESEMPENHO
Para melhor compreender o conceito de avaliação de desempenho, busca-se identificar como a avaliação de desempenho se desenvolveu ao longo do tempo, para depois definir os conceitos que serão utilizados na pesquisa. Inicialmente, cabe destacar que é possível observar uma falta de consenso nas definições de avaliação de desempenho, segundo autores seminais da área (Franco-Santos et al., 2007; Lebas, 1995; Neely et al., 1995; Van Camp & Braet, 2016).
Apesar da falta de definição, os autores concordam que na década de 1980 ocorreram as principais alterações na área de avaliação de desempenho (Bititci, Garengo, Dörfler, & Nudurupati, 2012; Bourne, Mills, Wilcox, Neely, & Platts, 2000; Carneiro-da-Cunha, Hourneaux Jr., & Corrêa, 2016; Choong, 2014; Franco-Santos et al., 2007; Ghalayini & Noble, 1996; Neely et al., 1995; Nudurupati, Bititci, Kumar, & Chan, 2011), por causa da insatisfação com as medidas de desempenho tradicionais (Bourne et al., 2000; Carneiro-da-Cunha, et al., 2016; Ghalayini & Noble, 1996; Melnyk, Bititci, Platts, Tobias, & Andersen, 2014; Neely, 1999; Neely et al., 1995; Nudurupati et al., 2011). A evolução dessas medidas é apresentada no Quadro 4.
Quadro 4 – Evolução das medidas de desempenho
Medidas de desempenho tradicionais Medidas de desempenho não-tradicionais Baseado no sistema de contabilidade Baseado na estratégia da empresa
Principalmente medidas financeiras Principalmente medidas não financeiras Destinado aos gerentes médios e altos Destinado a todos os funcionários Métricas desatualizadas (foco no passado) Métricas atuais (presente) Difícil, confuso e enganosas Simples, preciso e fácil de usar Leve a frustração dos funcionários Conduzir a satisfação dos funcionários Negligenciado no chão da fábrica Frequentemente usados no chão de fábrica
Fixo (Formato, locais e durante o tempo) Variável cfe. necessidade (Formato, locais e durante o tempo) Monitorar (controle) do desempenho Destinado a melhorar o desempenho (melhoria contínua)
Fonte: Adaptado de Ghalayini & Noble (1996)
A evolução das medidas de desempenho acompanharam as mudanças do ambiente dos negócios (Bititci et al., 2012; Bourne et al., 2000; Neely, 1999). Em seu estudo, Bititci et al. (2012) afirmam que essas evoluções ocorreram em resposta às tendências globais e é possível traçar um paralelo com a evolução dos contextos empresariais, conforme Figura 5.
Figura 5 – Contextos empresariais
Fonte: Adaptada de Bititci et al. (2012)
A partir dos contextos e das características específicas da organização pode-se determinar inclusive a fase na qual se encontra a avaliação de desempenho. Na Figura 6 estão as fases evolutivas da avaliação de desempenho conforme a concepção de Ghalayini & Noble (1996), Bititci et al. (2012) e Carneiro-da-Cunha et al. (2016).
Figura 6 – Evolução da Avaliação de Desempenho
Fonte: Extraída de Araújo et al. (2020, p. 103)
Ghalayini & Noble (1996) dividem a avaliação de desempenho em duas fases, a primeira com ênfase em medidas financeiras e a segunda com ênfase no desenvolvimento de sistemas de avaliação de desempenho. Bititci et al. (2012) aprofundam, afirmando que gestão da produtividade, controle orçamentário, avaliação de desempenho integrado e gestão de desempenho integrado são as fases evolutivas do campo da avaliação de desempenho.
A partir da evolução histórica é possível compreender o desenvolvimento do tema ao longo do tempo para então definir avaliação de desempenho como o “processo de quantificação da eficiência e eficácia da ação” (Neely et al., 1995, p. 80).
Fami
liar
Lento e incremental; Trabalho manual; Fatores dominados pelos custos; Autocracia; Poder Individual; Força mecânica; Contratual; Produção. Lento e incremental; Trabalho manual; Fatores dominados pelos custos; Autocracia; Poder Individual; Força mecânica; Contratual; Produção.Ges
tão F
ami
liar
Rápido e previsível;Trabalho manual com conhecimento; Foco e diferenciação; Burocracia; Estrutura organizacional; Recursos humanos; Cooperativo; Cliente. Rápido e previsível; Trabalho manual com conhecimento; Foco e diferenciação; Burocracia; Estrutura organizacional; Recursos humanos; Cooperativo; Cliente.Pr
ofi
ssi
onal
iz
aç
ão
Turbulento e descontínuo; Conhecimento com trabalho manual; Agregar valor; Adhocracia; Equipe de processos; Ativo da empresa; Colaborativo; Cliente fidelizado. Turbulento e descontínuo; Conhecimento com trabalho manual; Agregar valor; Adhocracia; Equipe de processos; Ativo da empresa; Colaborativo; Cliente fidelizado.Desc
on
ti
nui
dade
Disruptivo e transformacional; Conhecimento; Tornar-se único; Netocracia; Indíviduos e redes; Sem vínculo com trabalhadores; Comunidades; Cliente dinâmico. Disruptivo e transformacional; Conhecimento; Tornar-se único; Netocracia; Indíviduos e redes; Sem vínculo com trabalhadores; Comunidades; Cliente dinâmico.Segundo Neely et al. (1995), a eficiência é o quanto de recurso foi utilizado para atingir o resultado esperado e a eficácia é o quanto se atinge esse resultado. Já a mensuração é definida como o processo de quantificação e ação de condução da performance. Sendo a métrica utilizada para essa quantificação definida como medida de desempenho, enquanto o sistema de avaliação de desempenho é o conjunto dessas métricas (Neely et al., 1995).
Melnyk et al. (2014) aprofundam o conceito de medida de desempenho e a diferenciam de métrica, definindo medida como o instrumento utilizado para quantificar a eficiência e/ou eficácia da ação. Enquanto a métrica é definida pelos três elementos indispensáveis e necessários: a medida, um padrão de desempenho e as consequências relativas ao estar abaixo ou acima do alvo (Melnyk et al., 2014).
Nesse sentido, para Melnyk et al. (2014) a métrica é mais que uma unidade de medida, é o estabelecimento de um grau de referência (sinalizando um bom ou mau desempenho) das possíveis consequências de ocorrência. Behn (2003) ressalta que os gestores públicos precisam de uma medida e um padrão de desempenho para atingir os propósitos administrativos.
Além das medidas individuais, Neely et al. (1995) apontam que o conjunto dessas medidas formam um sistema de avaliação de desempenho que interagem com o ambiente, estruturados em níveis conforme a Figura 7.
Figura 7 – Framework para o design do sistema de avaliação de desempenho
Fonte: Traduzida de Neely et al. (1995, p. 81)
As medidas individuais podem ser categorizadas de várias maneiras e precisam considerar a estratégia organizacional, pois influenciam o comportamento das pessoas (Neely, 1999; Neely et al., 1995). Nesse nível, deve-se identificar inicialmente quais são as medidas, para que são usadas, seu custo e quais os benefícios de sua utilização (Neely et al., 1995).
No nível superior, o sistema de avaliação de desempenho deve ser analisado no sentido de envolver todos os elementos apropriados (internos, externos, financeiros e não-financeiros), relacionar as medidas com o grau de melhoria e aos objetivos de longo e curto prazos, integrar e verificar se existem conflitos entre as medidas (Neely et al., 1995).
No último nível, o sistema deverá interagir com o ambiente (interno e externo) e a análise visa identificar se as medidas reforçam as estratégias, correspondem à cultura organizacional, são consistentes com a estrutura de reconhecimento e recompensa, se concentram na satisfação do cliente e apontam o que a concorrência está fazendo (Neely et al., 1995).
Com relação à interação dos sistemas com o ambiente, Neely et al. (1995) dividem os ambientes em interno, que se refere à organização; e externo, que se refere ao mercado, divididos em clientes e concorrentes. Internamente, pode-se dizer que o SAD deve ser consistente com a cultura organizacional (Neely et al., 1995). Externamente, buscou-se por meio de pesquisas de opinião e pesquisas de mercado identificar os interesses dos clientes, com forte ponderação a sua satisfação (Neely et al., 1995).
Para avaliar o desempenho do concorrente, Neely et al. (1995) apontam que o
Benchmarking é a técnica que pode ser utilizada, ainda que não tenha sido criado para isso. O Benchmarking também pode apontar oportunidades de melhoria (Neely, 1999; Neely et al.,
1995) e facilitar o aprendizado (Behn, 2003).
Um sistema de avaliação de desempenho equilibrado deve proporcionar aos gerentes informações sobre todos stakeholders, sejam eles internos, externos ou ambos (Melnyk et al., 2014; Neely et al., 1995). Para Choong (2014) as partes interessadas não foram conceituadas nos sistemas de avaliação de desempenho, causando problemas em relação às metas e ao tipo de informação que será comunicada aos stakeholders.
Identificar corretamente as partes interessadas evitam esses problemas (Choong, 2014). O estudo de Behn (2003) define que as medidas de desempenho podem ser utilizadas para atingir oito propósitos organizacionais distintos (Behn, 2003; Choong, 2014). Os propósitos são: avaliar, controlar o comportamento, orçar, motivar, promover, celebrar, aprender e melhorar, sendo melhorar o desempenho o único objetivo real (Behn, 2003). O Quadro 5 ressalta quais as características que as medidas de desempenho devem ter para alcançar os objetivos organizacionais.
