LABORATÓRIO DE TECNOLOGIA, GESTÃO DE NEGÓCIOS E MEIO AMBIENTE MESTRADO PROFISSIONAL EM SISTEMAS DE GESTÃO
MARIA LUIZA GARCIA MONTEIRO
ANÁLISE DAS PRÁTICAS DE
AUDITORIA INTERNA DA MARINHA DO BRASIL
Dissertação apresentada ao Curso de Mestrado em Sistemas de Gestão da Universidade Federal Fluminense como requisito parcial para obtenção do Grau de Mestre em Sistemas de Gestão. Área de Concentração: Organizações e Estratégias. Linha de Pesquisa: Sistema de
Gestão pela Qualidade Total.
Orientadora:
Stella Regina dos Reis, D. Sc.
Niterói 2017
Ficha Catalográfica
M 775 Monteiro, Maria Luiza Garcia.
Análise das práticas de auditoria interna da Marinha do Brasil / Maria Luiza Garcia Monteiro. – Niterói, 2017.
119 f.
Dissertação (Mestrado em Sistemas de Gestão) – Universidade Federal Fluminense. Escola de Engenharia, 2017.
Orientadora: Stella Regina dos Reis.
1. Auditoria. 2. Controle administrativo. 3. Marinha do Brasi. I. Título. CDD 657.45
Em primeiro lugar, agradeço a Deus pela oportunidade de me proporcionar este desafio e por me dar forças para encarar e superar os obstáculos.
À minha orientadora, uma verdadeira incentivadora aos meus estudos, sempre presente, de forma prática, amiga e profissional, nas orientações deste trabalho. Sua ajuda forneceu inestimável suporte para a elaboração deste trabalho.
Aos professores e funcionários do Laboratório de Tecnologia, Gestão de Negócios e Meio Ambiente (LATEC), principalmente Bianca Feitosa, com os quais tive a oportunidade de conviver nos últimos dois anos.
Aos meus queridos familiares e principalmente ao meu irmão Cid da Silva Garcia Monteiro, pela presença marcante em minha vida, pelo apoio e incentivo mediante cada uma das dificuldades encontradas no decorrer desta trajetória.
À Marinha do Brasil, principalmente o Contra-Almirante (IM) Marcelo Barreto Rodrigues, Diretor do Centro de Controle Interno da Marinha, o Capitão de Fragata (T), Henrique Mansur Anache, Chefe do Departamento de Auditoria de Acompanhamento, que me apoiaram neste desafio.
Aos amigos, que estiveram presentes em minha vida antes e durante esta experiência, principalmente, Ana Luiza Leonel de Souza, Ana Cristina Lima Venâncio, Maria de Fátima Bandeira dos Santos, Cristiane Teixeira de Jesus e Caio Rodrigo Cunha Damasceno de Siqueira, Carlos Alexandre Nascimento Wanderley e Antonio Gonçalves da Silva Junior e todos os meus colaboradores que me apoiam na Divisão de Auditoria em Recursos Humanos do Centro de Controle Interno da Marinha e todos do Departamento de Auditoria de Acompanhamento.
Aos colegas do Mestrado que fizeram com que cada momento valesse a pena e por terem se transformado em referências pessoais e profissionais que carregarei comigo por onde quer que eu vá.
Dedico este trabalho ao meu Deus, rocha firme, fiel e inabalável, onde sempre pude encontrar força e refúgio ante as dificuldades desta caminhada.
Ao meu pai (in memoriam), à minha mãe e ao meu irmão, que sempre me apoiaram e incentivaram durante todo esse longo percurso.
Talvez não tenha conseguido fazer o melhor, mas lutei para que o melhor fosse feito. Não sou o que deveria ser, mas Graças a Deus, não sou o que era antes.
na esfera pública, vem passando por transformações constantes, tendo em vista o fortalecimento das relações de oferta-procura de bens e serviços para a sociedade, o combate à corrupção, a busca de melhores padrões de desempenho da área pública, em função do crescente controle social sobre a gestão do erário, desta forma há uma busca por controles administrativos mais eficientes e eficazes. Com isso, a atividade de auditoria interna pode ser utilizada como uma importante ferramenta para o controle administrativo. Principalmente porque a visão da atividade de auditoria vem se baseando nos riscos do negócio e nas práticas de governança corporativa. Esta pesquisa teve como objetivo analisar as praticas de auditoria interna e a as oportunidades de melhoria destas práticas na percepção dos auditores internos da Marinha do Brasil (MB), realizadas pelo Centro de Controle Interno da Marinha (CCIMAR). Para a consecução deste objetivo procurou-se identificar as práticas de auditoria interna na literatura; conhecer as quais são as práticas de auditoria realizadas na Marinha do Brasil, e sua proximidade com os elementos mandatórios da Estrutura Internacional de Práticas Profissionais do Instituto dos Auditores Internos (IIA), nos quais o órgão responsável por exercer a função de supervisão técnica do Sistema de Controle Interno do Poder Executivo Federal, o Ministério da Transparência e Controladoria-Geral da União (CGU) vem se baseando e as respectivas oportunidades de melhoria. O método utilizado para este estudo foi o estudo de caso, com a coleta das informações por meio de questionários e entrevistas semiestruturadas. Os resultados revelaram que os auditores apontaram a capacitação, a preparação para auditoria, o planejamento adequado para todas as fases da auditoria, a implementação de um programa de garantia da qualidade, a adequação de recursos matérias, humanos e de acesso a sistemas coorporativos assim como a possibilidade de agregar valor à atividade de auditoria como as maiores oportunidades de melhoria nas práticas da atividade de auditoria interna. Concluiu-se que as práticas de auditoria interna adotadas pela MB são satisfatórias, tendo em vista que o CCIMAR adota 72% das 18 práticas elencadas pelo IIA quanto aos requisitos dos atributos relacionados as Normas de Atributo e Desempenho. E os resultados do estudo revelaram que na percepção dos auditores internos há 24 oportunidades de melhorias nas práticas de auditoria interna que podem ser implementadas para a excelência da governança e gestão da atividade de auditoria interna.
Palavras-chave: Administração pública, controle interno, práticas de auditoria e Marinha do Brasil.
public sphere, have undergone constant transformations, with a view to the strengthening of supply-demand relations of goods and services for society, the fight against corruption , the search for better standards of performance of the public area, due to the growing social control over the management of the public sector, in this way there is a search for more efficient and effective administrative controls. With this, the internal audit activity can be used as an important tool for administrative control. Mainly because the audit activity's vision is based on business risks and corporate governance practices. This research had the objective of analyzing internal auditing practices and the opportunities for improvement of these practices in the perception of internal auditors of the Brazilian Navy (MB), carried out by the Center for Internal Control of the Navy (CCIMAR). In order to achieve this objective, we sought to identify internal audit practices in the literature; to know the audit practices performed in the Brazilian Navy, and its proximity to the mandatory elements of the International Professional Practices Framework of the Institute of Internal Auditors (IIA), in which the body responsible for exercising the technical supervision function of the System of Internal Control of the Federal Executive Branch, the Ministry of Transparency and Comptroller General's Office (CGU) has been relying on the respective opportunities for improvement. The method used for this study was the case study, with the collection of information through questionnaires and semi-structured interviews. The results revealed that the auditors pointed to training, audit preparation, adequate planning for all phases of the audit, implementation of a quality assurance program, material adequacy, human resources and access to corporate systems as well as the possibility of adding value to the audit activity as the greatest opportunities for improvement in the practices of the internal audit activity. It was concluded that the internal audit practices adopted by MB are satisfactory, since CCIMAR adopts 72% of the 18 practices listed by the IIA regarding the requirements of the attributes related to the Performance and Attribute Standards. And the results of the study revealed that in the perception of internal auditors there are 24 opportunities for improvements in internal audit practices that can be implemented for excellence in governance and management of the internal audit activity.
Quadro 2 – Abordagem da avaliação baseada na ênfase ... 26
Quadro 3 –Comparação dos principais modelos de controles internos ... 66
Quadro 4 – Diferenças entre auditoria externa e auditoria interna ... 72
Quadro 5 – Estrutura do questionário ... 86
Quadro 6 – Aderência dos requisitos quanto ao propósito, autoridade e responsabilidade, das Normas de Atributo ... 90
Quadro 7 – Aderência dos requisitos quanto a independência e objetividade das Normas de Atributo...91
Quadro 8 – Aderência dos requisitos quanto aos atributos relacionados as Normas de Desempenho...91
Quadro 9 – Nível de escolaridade dos auditores...92
Quadro 10 – Percepção dos auditores quanto às habilidades e competências para a função....93
Quadro 11 – Percepção dos auditores quanto às práticas de garantia da qualidade...95
Quadro 12– Percepção dos auditores em relação às etapas do processo de auditoria...96
Quadro 13 - Melhorias nas práticas de Auditoria Interna da MB...99
Figrua 2 – O CCIMAR na Estrutura Organizacional da Marinha………...….21
Figura 3 – Modelo de avaliação ... 35
Figura 4 – Processo de avaliação ... 36
Figura 5 – Fluxograma para estabelecimento de padrões... 42
Figura 6 – Característica dos três tipos de benchmarking ... 52
Figura 7– Evolução das escolas da Qualidade... 60
CCIMAR Centro de Controle Interno da Marinha CGU Controladoria Geral da União
EFS Entidades Fiscalizadoras Superiores
FA Forças Armadas
GAO Government Accountability Office IIA
IN INTOSAI
Institute of Internal Auditors Instrução Normativa
International Organization of Supreme Audit Institutions
MB Marinha do Brasil
MAG Manual de Auditoria Governamental
MD Ministério da Defesa
OCDE OM OPM
Organization for Economic Co-operation and Development Organização Militar
Oportunidade de Melhoria
1 INTRODUÇÃO ... 14 1.1 PROBLEMA DE PESQUISA ... 15 1.2 OBJETIVOS ... 16 1.2.1 Objetivo geral ... 16 1.2.2 Objetivos específicos ... 17 1.3 QUESTÕES DE PESQUISA ... 17 1.4 RELEVÂNCIA DA PESQUISA ... 17 1.5 DELIMITAÇÃO DO TEMA ... 21 1.6 ESTRUTURA DO TRABALHO ... 22 2 REVISÃO DE LITERATURA ... 24 2.1 AVALIAÇÃO ... 24
2.1.1 Fases históricas da atividade de avaliação na administração pública ... 28
2.1.2 A avaliação no contexto internacional ... 30
2.1.3 Avaliação no setor público do Brasil... 32
2.1.4 O processo de avaliação e indicadores ... 36
2.1.5 Críticas ao processo de avaliação ... 40
2.1.6 A avaliação e a auditoria ... 41
2.2 PADRONIZAÇÃO ... 42
2.2.1 Padronização de processos administrativos na Administração Pública ... 41
2.2.2 Garantia do cumprimento dos padrões ... 44
2.2.3 Resultados da padronização ... 45
2.3 BENCHMARKING ... 46
2.3.1 Princípios do benchmarking ... 48
2.3.2 Tipos de benchmarking ... 51
2.3.3 Implantação da metodologia do benchmarking ... 53
2.3.4 Limitações do benchmarking ... 54
2.4 QUALIDADE ... 55
2.5 CONTROLES INTERNOS ... 60
2.5.1 Objetivo e finalidade ... 62
2.5.2 Categorias de controles... 62
2.5.3 Natureza dos controles ... 62
2.6 AUDITORIA ... 68
2.6.1 Tipologia de auditoria ... 71
2.6.2 Auditoria governamental ... 72
2.6.3 Normas de atributos e desempenho de auditoria...78
3 METODOLOGIA ... 85
3.1 CLASSIFICAÇÃO, MÉTODO E ABORDAGEM DE PESQUISA ... 83
3.2 COLETA E TRATAMENTO DE DADOS ... 84
4 RESULTADOS E DISCUSSÃO...89
4.1RESULTADOSDAS PRÁTICAS DE AUDITORIA INTERNA ATUALMENTE IMPLEMENTADAS NA MB ...89
4.2 RESULTADOSDA PESQUISA REALIZADA COM OS AUDITORES...92
4.2.1 Perfil dos Auditores do CCIMAR...92
4.2.2 Percepção dos auditores sobre as oportunidades de melhoria nas boas práticas de auditoria interna...93
4.2.2.1 Proficiência e zelo...93
4.2.2.2 Programa de garantia da qualidade das auditorias...94
4.2.2.3 Processo de auditoria...96
5 CONCLUSÕES...102
5.1 CONCLUSÕES ...102
5.2 RECOMENDAÇÕES ...103
REFERÊNCIAS...104
APÊNDICE A – Roteiro para a condução da entrevista sobre as práticas de auditoria interna implementadas na Organização com o Chefe do Departamento de Auditoria de Acompanhamento ... 112
APÊNDICE B – Questionário de percepção dos auditores sobre os atributos das práticas de auditoria interna implementadas na Organização...116
1 INTRODUÇÃO
Com o crescente desenvolvimento das organizações, tornou-se comum a separação entre a propriedade e a administração dos negócios. O aparecimento das organizações e a expansão dos mercados geraram ainda a necessidade de estruturas empresariais internas mais fortes, com normas e procedimentos para gestão e operação dos processos corporativos e mecanismos eficazes de monitoramento, de modo a reduzir a dependência de supervisão direta do administrador. Houve a necessidade, então, de ferramentas internas e externas, de alinhamento entre os interesses de agentes e principais, na tentativa de alinhar os contratos que vigoram dentro da firma.
Para Lima e Lima (2008), uma importante ferramenta para o controle administrativo, tanto para o setor público quanto para o setor privado, é a auditoria interna. A ausência de adequados controles nessas organizações as expõe a inúmeros riscos, a frequentes erros e a desperdícios.
Desta forma, a atividade de auditoria passou a ter um importante papel no controle interno das organizações. Além disso, o aumento do mercado de capitais contribuiu para tornar as atividades de auditoria cada vez mais importantes como fator de apoio à tomada de decisão de administradores e investidores.
Para Lélis (2010), a eficácia, eficiência e efetividade da atividade de auditoria interna impactam na qualidade da governança corporativa. Isso ocorre porque o monitoramento de processos por meio de auditoria interna pode contribuir para o alinhamento dos contratos vigentes na firma, o que é um dos objetivos dos mecanismos de governança.
Para a autora, a capacidade da auditoria interna de melhorar o alinhamento organizacional dos processos também pode ser considerada um fator de qualidade da atividade de auditoria. A necessidade de um parâmetro de um rol de atributos de qualidade da atividade de auditoria, a partir da avaliação da presença desses atributos e da percepção de qualidade dos auditores, pode contribuir para ampliar o atual conhecimento acadêmico sobre o assunto.
Neste estudo, a qualidade da auditoria interna deve ser compreendida como o alcance dos objetivos da atividade de auditoria interna, definidos de acordo com padrões internacionais de referência, alinhados com as novas mudanças ocorridas nas normas internacionais de contabilidade e em novos paradigmas da atividade de auditoria.
Com as constantes mudanças ocorridas no mundo, um novo paradigma para atividade de auditoria surgiu, com uma visão dos processos baseada nos riscos do negócio e nas práticas
de governança corporativa, o que permitiu uma nova contribuição da atividade de auditoria interna para as empresas.
Os objetivos da atividade de auditoria interna, até pouco tempo atrás, eram associados a verificações, avaliações e apontamentos de falhas e fraudes em procedimentos. Porém, esses objetivos não mais atendem às necessidades organizacionais atuais, pois o impacto e os riscos aos quais as organizações estão expostas promovem um alinhamento entre os processos avaliados pela auditoria interna e os objetivos estratégicos das organizações.
De modo análogo, na esfera pública brasileira, a crescente implementação de mecanismos de controle social das ações governamentais acionou um maior desenvolvimento do controle interno. Um exemplo foi a publicação da Lei nº 12.527/2011 (Lei de Acesso à Informação) (BRASIL, 2011), que regulamentou a garantia constitucional do acesso às informações públicas pela sociedade, favorecendo as questões relacionadas à transparência. Mesmo precisando ser aperfeiçoadas as informações prestadas pelos órgãos públicos, o dispositivo legal representa um marco do desenvolvimento da governança no setor público brasileiro (SANTOS,2014).
Nesse sentido, cabe à Controladoria-Geral da União (CGU) exercer a função de supervisora técnica dos órgãos que compõem o Sistema de Controle Interno do Poder Executivo Federal, prestando a orientação normativa necessária como Órgão Central. ACGU passou a reavaliar seus processos de trabalho de controle interno em face das melhores práticas internacionais praticadas pela União Europeia, de países-membros do bloco e de órgãos brasileiros de controle interno e auditoria governamental, que adotam a Estrutura Internacional de Práticas Profissionais (IPPF) do Instituto dos Auditores Internos (IIA, 2016).
Essa aproximação com a União Europeia ocorreu devido às mudanças havidas, nos últimos anos, nas normas internacionais de contabilidade (International Financial Reporting Standard –IFRS), emanadas pelo International Accounting Standard Board (IASB), conselho independente inserido dentro do International Financial Reporting Standards Foundation (IFRS Foundation) e um alinhamento na adoção de novos padrões contábeis e de controle interno (KUTIANSKI,2015).
1.1 PROBLEMA DE PESQUISA
Tendo em vista o considerável crescimento experimentado pelo setor público e o consequente volume e complexidade das operações realizadas pela administração pública, assim como a atual crise social, econômica e financeira existente nos diferentes países do
mundo, que é responsável por desequilíbrios das estruturas sociais e econômicas e pela perda de confiança da sociedade nas instituições públicas e seus governantes, é de relevante importância uma gestão rigorosa dos recursos públicos, assim como a introdução de conceitos eficientes e mais eficazes de controle interno, tanto no setor público quanto no privado, de modo a estimular e fortalecer a relação oferta-procura de bens e serviços para a sociedade e o combate à corrupção.
Nesse diapasão, a auditoria interna pode ser utilizada como uma importante ferramenta para o controle administrativo. A ausência de controles adequados para as organizações públicas e privadas as expõe a inúmeros riscos, frequentes erros e desperdícios.
Desta forma, as Forças Armadas1têm procurado se ambientar da melhor maneira possível aos requisitos de excelência das atividades de auditoria, na busca de melhores padrões de desempenho na esfera pública, em função do crescente controle social sobre a gestão do erário.
Nesse contexto, este trabalho tem o propósito de analisar com o Centro de Controle Interno da Marinha vem procurando aderência nas técnicas de controle previstas pelo Manual do Sistema de Controle Interno do Poder Executivo Federal baseadas na metodologia de auditoria, expedidas pelo IIA Global (The Institute of Internal Auditors Global). Isso porque a atividade de auditoria interna pode ser utilizada como uma importante ferramenta para o controle administrativo.
1.2 OBJETIVOS
Para se resolver a questão de pesquisa, são propostos o objetivo geral e os objetivos específicos.
1.2.1 Objetivo geral
Esta pesquisa tem como objetivo geral analisar a auditoria governamental realizada pela Marinha do Brasil por meio da comparação estabelecida pelas Normas Internacionais de Auditoria, consubstanciadas nas Orientações Práticas expedidas pelo IIA Global (The Institute of Internal Auditors Global).
1As Forças Armadas são instituições nacionais permanentes e regulares, organizadas com base na hierarquia e na disciplina, sob a autoridade suprema do Presidente da República, e destinam-se à defesa da Pátria, à garantia dos poderes constitucionais e, por iniciativa de qualquer destes, da lei e da ordem (BRASIL, 1988).
1.2.2 Objetivos específicos
O estudo pretende também atingir os seguintes objetivos específicos: - Identificar conceitos e práticas de auditoria interna citadas na literatura;
- Evidenciar as práticas de auditoria interna atualmente implementadas no CCIMAR; e - Analisar, avaliar as práticas de auditoria interna e identificar oportunidades de
melhorias na percepção dos auditores internos do CCIMAR.
1.3 QUESTÕES DE PESQUISA
As questões que fomentaram o presente estudo são:
a) Quais são as práticas de auditoria interna citadas na literatura e pelo IIA Global (The Institute of Internal Auditors Global)?
b) Quais são as práticas de auditoria realizadas pelo Centro de Controle Interno da Marinha (CCIMAR) com base nas Normas Internacionais de Auditoria, consubstanciadas nas Orientações Práticas expedidas pelo IIA Global (The Institute of Internal Auditors Global)?
c) Quais as oportunidades de melhorias nas práticas de auditoria interna adotadas pela Marinha do Brasil na percepção dos auditores internos do CCIMAR?
1.4 RELEVÂNCIA DA PESQUISA
A atividade de auditoria interna passou por significativas transformações nos últimos anos, com sua expansão e maior importância nas organizações.
Para Lélis (2010) esse fato se deve muito à aprovação da Lei Sarbanes-Oxley(SOX)2 e ao aumento das exigências no mercado de capitais em relação à nova visão dada a estrutura de controles internos das organizações.
A importância da atividade de auditoria é reconhecida em todo cenário mundial. No setor público brasileiro, a adoção de melhores práticas de auditoria tem a finalidade de garantir que as os órgãos públicos atuem sempre em conformidade com o interesse público.
2A Lei Sarbanes-Oxley(SOX), promulgada nos Estados Unidos em 2002, foi elaborada por conta de sucessivos escândalos corporativos naquele país, envolvendo fraudes contábeis, evidenciando a fragilidade dos controles internos das organizações e das auditorias realizadas.
No caso do Centro de Controle Interno da Marinha do Brasil e para os demais Centros de Controle Interno das outras Forças Armadas os mesmos tiveram que rever seus normativos, para alinhamento aos conceitos definidos pelo Referencial Básico de Governança, publicado pelo Tribunal de Contas da União (TCU, 2000). Conforme se constata no Acórdão nº 1074/2009 do TCU– Plenário, foram esses conceitos que deram origem à sua criação:
Ministério da Defesa – Comando da Marinha; Ministério da Defesa – Comando do Exército; Ministério da Defesa – Comando da Aeronáutica); Ministério das Relações Exteriores (Ciset/MRE) entre outros avaliem a conveniência e oportunidade de reposicionar hierarquicamente seu órgão/unidade de controle interno de modo que esteja subordinada diretamente ao dirigente máximo da organização, vedada a delegação a outra autoridade, como já exigido dos órgãos do Poder Executivo (conforme Decreto 3591/2000). (TCU, 2009).
A partir das recomendações do Acórdão nº 1074/2009, houve a criação do Centro de Controle Interno da Marinha e, em 20 de setembro de 2012, editou-se o Decreto nº 7.809 (BRASIL, 2012), alterando o Decreto nº 6.834, de 30 de abril de 2009, que dispõe sobre a estrutura regimental do Comando da Marinha.
Para um melhor entendimento, segue um breve resumo sobre o sistema de controle interno e contextualização da Organização estudada.
Conforme define Monteiro (2015), o sistema de controle interno (SCI), é uma necessidade para a gestão, uma obrigatoriedade legal e deve estar presente em todo o segmento público.
Acordo com o Art. 8o do Decreto nº 3591/2007, o Sistema de Controle Interno do Poder Executivo Federal é integrado dos seguintes órgãos:
I - a Controladoria-Geral da União, como Órgão Central, incumbido da orientação normativa e da supervisão técnica dos órgãos que compõem o Sistema;
II - as Secretarias de Controle Interno (CISET) da Casa Civil, da Advocacia-Geral da União, do Ministério das Relações Exteriores e do Ministério da Defesa, como órgãos setoriais; III - as unidades de controle interno dos comandos militares, como unidades setoriais da
Secretaria de Controle Interno do Ministério da Defesa;
§ 1o A Secretaria Federal de Controle Interno desempenhará as funções operacionais de competência do Órgão Central do Sistema, na forma definida no regimento interno, além das atividades de controle interno de todos os órgãos e entidades do Poder Executivo Federal, excetuados aqueles jurisdicionados aos órgãos setoriais constantes do inciso II.
A figura 1 apresenta como o Sistema de Controle Interno do Poder Executivo Federal (SCIPEF) encontra-se estruturado.
Fonte: Elaborado pela autora, com base no Decreto nº 7.809, de 20 de setembro de 2012.
Para cumprir o previsto no Decreto nº 3591/2007, foi criado o Centro de Controle Interno da Marinha (CCIMAR) por meio Decreto nº 7.809/2012 e Portaria Ministerial nº 509, de 29 de outubro de 2012, atendendo à orientação formulada pelo TCU de que órgãos de controle interno das Forças Armadas ficassem diretamente subordinados aos respectivos Comandos Militares e que recebessem a mesma denominação (MARINHA DO BRASIL, 2012).
O CCIMAR sucedeu, por transferência de subordinação, a Diretoria de Contas da Marinha (DCoM), criada pela Portaria Ministerial nº 246, de 25 de setembro de 1998, que sucedeu, por transformação, o Serviço de Auditoria da Marinha (SAMA), criado pelo Decreto nº 74.044, de 10 de maio de 1974.
O CCIMAR é subordinado diretamente ao Comandante da Marinha.
A missão do CCIMAR é conduzir a execução das atividades de controle interno e assessorar o Alto Comando nos assuntos concernentes a estas atividades, a fim de contribuir
para o cumprimento da missão da Marinha do
Brasil. (https://www1.mar.mil.br/ccimar/missao, acesso em 23/07/2017). A figura 2 apresenta como o CCIMAR está inserido na estrutura da Marinha.
Fonte: Elaborado pela autora, com base na Portaria Ministerial nº 509, de 29 de outubro de 2012
Conforme descrito em seu Regulamento Interno, são tarefas do CCIMAR:
I - Planejar, dirigir, coordenar e executar as atividades de Controle Interno, por meio da realização de auditoria, análise e apresentação de contas no âmbito do Comando da Marinha;
II - Orientar as OM, em função das atividades de auditoria, análise e apresentação de contas, quanto às boas práticas de gestão, visando à utilização dos recursos financeiros e patrimoniais da MB com regularidade e efetividade;
III - orientar e apoiar tecnicamente as Unidades Jurisdicionadas (UJ) Apresentadoras de Contas ao longo do exercício e, em especial, por ocasião da preparação dos processos de contas anuais, a serem encaminhados ao Tribunal de Contas da União (TCU);
IV - Coordenar, analisar e encaminhar ao TCU os processos de contas das UJ ao Controle Interno da MB;
V - Analisar e homologar os processos e os atos relativos ao pessoal da MB, visando ao cumprimento das normas e procedimentos dos sistemas do TCU;
VI - Orientar tecnicamente e administrar as atividades inerentes à qualificação e aprimoramento do pessoal, relacionadas aos assuntos de Controle Interno e Externo na MB;
VII - coordenar e fiscalizar o cumprimento das diligências e demais solicitações de informações encaminhadas ao Controle Interno da MB;
VIII - promover os ajustes de contas e indenizações à Fazenda Nacional;
IX - Manter intercâmbios com os demais Órgãos de Controle Interno e Externo da Administração Federal;
X - Representar a MB no Conselho de Controle Interno do Ministério da Defesa (CCI-MD);
XI - apoiar, no que lhe for solicitado, o Controle Externo no exercício de sua Missão Institucional;
XII - controlar a situação de Quitação com a Fazenda Nacional (QFN) do pessoal da MB; e
XIII - assessorar o Conselho Financeiro e Administrativo da Marinha (COFAMAR) nos assuntos designados ao CCIMAR.
A partir da compreensão das atividades desenvolvidas pelo CCIMAR, considerando que o controle interno alcança todos os níveis organizacionais da MB, desde a alta administração naval até o menor nível de execução dentro de cada OM (SANTOS, 2014) optou-se em realizar um estudo de caso na organização responsável pelas atividades de auditoria na MB.
Dessa forma, estabeleceu-se um conjunto de componentes de controle que contribuem direta, ou indiretamente, para o alcance dos objetivos estabelecidos pela Alta Administração. Os componentes de controle são três: gestão de riscos e controle interno, auditoria interna e accountability e transparência.
Com fundamento nesses conceitos, verifica-se que o papel do Centro de Controle Interno da Marina é o de auditoria interna, com o objetivo de avaliar a eficácia dos controles internos implantados pelos gestores. Trata-se de uma atividade independente e objetiva de avaliação (assurance) e de consultoria, desenhada para adicionar valor e melhorar as operações de uma organização.
A auditoria interna visa auxiliar a organização a realizar seus objetivos a partir da aplicação de uma abordagem sistemática e disciplinada, para avaliar a eficácia dos processos de gestão de riscos, controle e governança.
Sendo um órgão público, os exames de auditoria e de fiscalização buscam aderência nas técnicas de controle previstas pelo Manual do Sistema de Controle Interno do Poder Executivo Federal. Essas técnicas são suportadas pela metodologia de auditoria estabelecida pelas Normas Internacionais de Auditoria, consubstanciadas nas Orientações Práticas expedidas pelo IIA Global (The Institute of InternalAuditors Global)(IIA, 2016)e nas boas práticas verificadas na literatura sobre o assunto.
O objetivo desta pesquisa não é a construção de uma nova teoria sobre a avaliação das práticas da auditoria interna. Contudo, um estudo das características da função de auditoria interna e de seus auditores pode contribuir para a ampliação do conhecimento nessa área.
Neste contexto, infere-se que este estudo será relevante, uma vez que contribuirá para o aprimoramento das práticas de auditoria interna da MB, permitindo conhecer as práticas adotadas nas outras Forças Armadas e na literatura, além de identificar as oportunidades de melhorias nessa área.
Este estudo delimita-se a conhecer as práticas de auditoria interna do órgão de Controle Interno da MB, e identificar oportunidades de melhoria nesta temática.
A pesquisa, realizada no mês de julho de 2017, teve como objeto de análise a percepção dos auditores do órgão de Centro de Controle Interno da Marinha (CCIMAR), de forma a buscar conhecer suas atuais práticas e estabelecer sugestões para o aprimoramento dos seus trabalhos. O CCIMAR é organização militar (OM) que, neste contexto, é a responsável ela execução das atividades de auditoria da MB, de forma centralizada e se localiza no Rio de Janeiro.
Desta forma, as oportunidades de melhorias apresentadas este estudo não necessariamente podem ser aplicadas a outras instituições, principalmente públicas, sem as devidas adaptações quanto ao nível de maturidade das práticas da instituição no assunto, como o processo de auditoria da instituição está estruturado e a percepção de seus auditores internos.
1.6 ESTRUTURA DO TRABALHO
Este trabalho de dissertação está organizado em cinco capítulos. O capítulo de introdução descreve as ideias que fomentaram o estudo, a questão norteadora da pesquisa, os objetivos a serem alcançados, a sua importância, a justificativa para o seu desenvolvimento e a delimitação da pesquisa.
O segundo capítulo apresenta a revisão de literatura relacionada aos principais pilares do tema da pesquisa, tais como: avaliação, padronização, benchmarking, qualidade, controle interno e auditoria interna.
No terceiro capítulo foram apresentados os aspectos metodológicos empregados na pesquisa.
O quarto capítulo foi elaborado em duas partes, de forma a possibilitar a identificação de proximidades e afastamentos em relação à literatura apresentada, assim como oportunidades de melhoria a partir de diferentes pontos de vistas sobre a atividade de auditoria: (i) identificar as boas práticas de auditoria interna atualmente implementadas na MB; (ii) investigar a percepção dos auditores em relação às práticas de auditoria interna e as Normas de Atributos e Desempenho de auditoria; e (iii) identificar oportunidades de melhoria nas práticas de auditoria interna da MB.
No quinto capítulo são apresentadas as conclusões do trabalho e as recomendações para estudos posteriores.
2 REVISÃO DE LITERATURA
O objetivo deste capítulo é apresentar o levantamento conceitual e teórico que fundamentará o trabalho a ser realizado. Desta forma, este capítulo trará informações acerca dos tópicos a serem utilizados na metodologia deste trabalho, tais como avaliação no serviço público, padronização e benchmarking, controle interno e auditoria interna.
A pesquisa foi realizada em bases de dados de artigos acadêmicos como Scielo, Web of Science e Scopus. Em paralelo, realizou-se uma pesquisa em sítios eletrônicos de organizações consideradas como referência na temática da pesquisa.
2.1 AVALIAÇÃO
“A avaliação não convence, persuade; não demonstra, argumenta; é razoável, não absoluta; é aceita por muitos, sem ser imposta a ninguém” (HOUSE, 1980).
“Se vislumbrar a possibilidade de realizar a avaliação da gestão apenas uma vez, desista. Será um esforço inútil e tanto mais prejudicial quanto maior for o grau de motivação das pessoas para realizá-la” (LIMA, 2007).
Segundo Ala-Harja e Helgason (2000), não há consenso quanto ao que seja avaliação. O conceito admite inúmeras definições, dependendo à qual disciplina está submetido, tais como: economia, formulação de políticas e procedimentos administrativos, estatística, sociologia, psicologia etc., instituições e executores, além da gama de questões, necessidades e clientes abrangidos no universo das avaliações.
De acordo com o Government Accountability Office (GAO)3, dos Estados Unidos, avaliações de programas são estudos sistemáticos, conduzidos periodicamente ou ad hoc, para analisar quão bem um programa está funcionando. As avaliações podem ser conduzidas por especialistas externos ou por gerentes de programas. Para o GAO, as avaliações examinam a performance dos programas quanto ao alcance de seus objetivos e o contexto em que isto ocorre (CUNHA, 2006).
Ainda na perspectiva de Cunha (2006), a Organização para a Cooperação e o Desenvolvimento Econômico, em seu Glossário de Termos em Avaliação e Gestão por
3Organismo que assiste o Congresso americano em suas funções de supervisão do Poder Executivo, visando maior
Desempenho (OCDE, 2004)4, utiliza as mesmas ideias-chave para a definição de avaliação, adicionando que a mesma deve prover informações com crédito e utilidade, permitindo o aprendizado no processo de tomada de decisões. O Glossário da OCDE (2004) ressalta, também, que a avaliações constituem determinar o valor ou significância de uma atividade, política ou programa. É um julgamento, tão sistemático e objetivo quanto possível, a respeito das intervenções governamentais.
Sob a ótica de Ala-Harja e Helgason (2000), o conceito de avaliação vem sendo compreendido de diferentes formas, tais como feedback e consulta. Em alguns casos, os termos revisão, acompanhamento, monitoramento e auditorias são utilizados como referência para atividades avaliativas. Esses autores se mostram preocupados com as possibilidades de que o conceito venha a perder sua significação por completo. Além disso, há outros mecanismos de feedback, além da avaliação, que também podem ser usados no processo de aperfeiçoamento de tomada de decisão.
Nem todo mecanismo de feedback se constitui em uma avaliação, de acordo com Ala-Harja e Helgason (2000), embora muitos desses conceitos dividam com o conceito de avaliação algumas características comuns. As diferenças entre a avaliação e outros mecanismos de feedback podem ser verificadas no quadro 1.
Quadro 1–Diferença entre avaliação e outros mecanismos de feedback Diferença entre avaliação e outros mecanismos de feedback
Estudos Científicos As avaliações se centram no uso prático da informação.
Auditoria As avaliações analisam os gastos públicos a partir de pontos de vista mais amplos, questionando, até mesmo, a propriedade dos objetivos do programa, bem como a eficácia e eficiência de sua satisfação (a distinção entre auditoria e avaliação geralmente não é clara).
Monitoramento As avaliações geralmente são conduzidas como parte de um esforço único e buscam reunir informações aprofundadas sobre o programa em questão, embora a existência de sistemas regulares e eficientes de monitoramento seja necessária como base para o desenvolvimento de avaliações bem-sucedidas.
Mensuração de desempenho
As avaliações procuram ir além: buscam encontrar explicações para os resultados observáveis e entender a lógica da intervenção pública (contudo, sistemas de mensuração de desempenho, se eficientes, podem caracterizar, sobretudo nos Estados Unidos, uma forma de avaliação).
4OCDE atua nos âmbitos internacional e intergovernamental e reúne os países mais industrializados do mundo e alguns países emergentes, de forma a efetuar o intercâmbio de informações e alinhamento de políticas, com o objetivo de potencializar seu crescimento econômico e colaborar com o desenvolvimento de todos os demais países membros.
Análise das políticas As avaliações estão centradas na análise após a sua execução. Essa análise das políticas às vezes é definida como uma avaliação prévia para o estudo de políticas possíveis no futuro.
Fonte: A autora, adaptado de Ala-Harja e Helgason (2000).
Ala-Harja e Helgason(2000) defendem que as diferentes abordagens estão associadas ao processo ou propósito especificado para a avaliação. Em geral, há uma relação entre abordagem e técnicas de avaliação aplicadas.
Ao enfatizar diferentes aspectos, as avaliações podem ser classificadas em vários tipos, como demonstrado no quadro 2.
Quadro 2– Abordagem da avaliação baseada na ênfase Abordagem da avaliação baseada na ênfase
Timing 1. Avaliação realizada com bseem suposição e prognóstico (ex ante),
concomitante/intermediária, com a avaliação realizada após a sua execução (ex post)ou uma combinação dessas opções.
Flexibilidade de estrutura
Análise em relação aos objetivos do programa ou que envolva também a propriedade dos objetivos. Avaliação de efeitos intencionais e, em alguns casos, não intencionais.
Julgamento ou apresentação
Julgamento do sucesso ou fracasso de um programa – até mesmo recomendando melhorias ou alternativas – ou mera apresentação das constatações, deixando as conclusões a cargo daqueles a quem incumbe as decisões.
Conhecimento ou negociação
Apreciação por especialistas em avaliação e mediante a aplicação de procedimentos técnico-científicos para garantir a objetividade dos resultados, ou mediante parceria, em que os objetivos e métodos – e até mesmo as constatações e as recomendações – sejam negociados com os interessados, a fim de maximizar o uso das constatações e garantir participação democrática.
Uso Como meio de adquirir mais conhecimento em relação a um programa ou para decidir quanto a seu valor. Mecanismo auxiliar para o refinamento de um programa ou o questionamento de sua lógica, podendo mesmo sugerir mudanças fundamentais.
Fonte: A autora, adaptado de Ala-Harja e Helgason (2000).
Na perspectiva de Cohen e Franco (2004) e Cotta (1998), as avaliações podem ser classificadas também quanto ao agente que as realiza. Dessa forma, elas podem ser classificadas como:
a) Avaliação externa – realizada por pessoas externas à instituição avaliada. Entre as vantagens de se utilizar esse tipo de avaliação está a isenção e objetividade dos avaliadores externos, que não estão diretamente envolvidos com o processo.
Entretanto, o acesso aos dados necessários torna-se mais difícil, assim como um possível comportamento defensivo do avaliado em fornecer todas as informações. b) Avaliação interna – realizada por pessoas da própria instituição. Entre as vantagens
de se utilizar este modelo estão: a eliminação da resistência natural a um avaliador externo, a possibilidade de reflexão e aprendizagem e compreensão sobre a atividade realizada dentro da instituição. Porém, pode-se perder a objetividade, já que os que julgam estão, também, envolvidos, tendo formulado e executado o processo avaliado. c) Avaliação mista – neste modelo procura-se combinar os tipos de avaliação citados anteriormente, fazendo com que os avaliadores externos tenham contato estreito com os participantes do programa a ser avaliado, na tentativa de manter as vantagens e superar as desvantagens de ambos os modelos de avaliação.
d) Avaliação participativa – utilizada em pequenos projetos, prevê a participação dos beneficiários das ações no planejamento, na programação, execução e avaliação de projetos.
De acordo com Cunha (2006), as avaliações podem ser classificadas quanto à natureza e o momento da sua realização. Quanto à natureza, podem ser formativas ou somativas. As avaliações formativas estão relacionadas à formação do programa. Utilizadas durante a sua implementação, são voltadas para a análise e produção de informação sobre as etapas de implementação. As avaliações somativas estão relacionadas à análise e produção de informações sobre etapas posteriores. São realizadas quando o programa está sendo implementado há algum tempo ou após a sua implementação, para verificar a sua efetividade e fazer o julgamento do seu valor geral.
Quanto ao momento de sua realização, podem ser identificadas como avaliação ex-ante e ex-post.A avaliação ex-ante é realizada no início de um programa, com o objetivo de dar suporte à decisão de implementá-lo ou não, e ordenar os vários projetos segundo sua eficiência, para alcançar os objetivos determinados. O elemento central da avaliação ex-ante é o diagnóstico, que auxilia na alocação dos recursos disponíveis de acordo com os objetivos propostos. Para esta avaliação podem ser utilizadas as técnicas de Análise Custo-Benefício e Análise Custo-Efetividade, mais afeitas aos programas sociais.
A avaliação ex-post é realizada durante a execução de um programa ou ao seu final, quando as decisões são baseadas nos resultados alcançados. Neste tipo de avaliação, julga-se, quando um programa está em execução, se ele deve continuar ou não, com base nos resultados obtidos até o momento e, se a resposta for positiva, se ele deve manter a formulação original ou sofrer modificações. Quando o programa já foi concluído, julga-se a pertinência do uso
futuro da experiência, ou seja, se o mesmo tipo de programa deve ser implementado novamente ou não. A avaliação ex-posté a mais desenvolvida metodologicamente e a que tem tido maior aplicação.
Cohen e Franco (2004) e Cotta (1998) chamam a atenção para o fato de que as avaliações respondem a um determinado tipo de problemas ou perguntas, classificando esses tipos como avaliação de processos e avaliação de impactos ou resultados.
A avaliação de processos é realizada durante a implementação do programa e tenta compreender a dimensão da gestão. É uma avaliação periódica, que procura detectar as dificuldades que ocorrem durante o processo, para efetuar correções ou adequações. Serve de suporte para melhorar a eficiência operativa.
A avaliação de impactos ou resultados tem objetivos mais ambiciosos, respondendo se o programa funcionou ou não. Procura verificar em que medida o programa alcança seus objetivos e quais são os seus efeitos, indagando se houve modificações na situação-problema que originou a formulação do programa, após sua implementação.
2.1.1 Fases históricas da atividade de avaliação na administração pública
Ala-Harja e Helgason(2000) propõem que as atividades de avaliação em administrações nacionais se desenvolveram em diversas fases, sendo a maturidade caracterizada pela extensão da experiência, a regularidade das atividades e o grau de institucionalização.
Derlien (2001) identificou três estágios de desenvolvimento da avalição. A primeira etapa de avaliações ocorreu nos anos 1960 e 1970 e estava ligada aos governos sócio liberais engajados em programas, visando a solução de problemas sociais. Nessa fase, processos de planejamento e programação foram introduzidos para melhorar a formulação de políticas. Condições fiscais favoráveis e melhor condição e oferta de conhecimento de ciências sociais contribuíram nesse esforço. O foco esteve direcionado à melhoria dos programas, e os gerentes de programas tinham interesse em usar a avaliação como mecanismo de feedback.
A segunda etapa, nos anos 1980, foi estimulada por governos predominantemente conservadores, na tentativa de lidar com programas públicos em face de limitações fiscais. A avaliação era encarada como ferramenta útil na reconsideração da justificativa de políticas e na racionalização da alocação de recursos orçamentários. O Ministério da Fazenda e os órgãos de auditoria se empenhavam no desenvolvimento das avaliações.
Nos anos 1990, a avaliação tornou-se alvo da preocupação dos órgãos legislativos. Questões relacionadas à legitimidade do setor público e à necessidade de fortalecer a
responsabilidade do governo pediam novos e sofisticados mecanismos de controle, como por exemplo, a avaliação.
Os avanços para uma nova administração pública têm muitas implicações sobre a função e a prática da avaliação, pois esta é substituída (novos mercados internos surgem como avaliadores intrínsecos), complementada (a regulamentação de monopólios privatizados está criando uma enorme demanda por avaliações)e aplicada a novas questões (novas ferramentas de avaliação, como, por exemplo, os controles internos).
Segundo Ala-Harja e Helgason(2000), a tradicional avaliação firmemente estabelecida se inclina, agora, a encarar a necessidade de “avaliar as avaliações”. Esse esforço de meta-avaliação encontra-se mais avançado nos Estados Unidos, onde a quantidade de avaliações torna possível chegar a algumas conclusões gerais. Contudo, as meta-avaliações ainda são relativamente raras, e muito ainda se desconhece, por exemplo, a respeito do uso da avaliação.
2.1.2 A avaliação no contexto internacional
Na Europa: para Derlien (2001), o processo de avaliação em países como a Suécia e a
Alemanha esteve ligado ao planejamento e à programação de políticas, durante os anos 1960 e 1970. Nos anos 1980, em países como o Reino Unido, Países Baixos, Noruega e Suécia, a avaliação passou a se ocupar das questões de resultado e distribuição de recursos orçamentários. Nesse período, a avaliação passou a ser um assunto de interesse nos Parlamentos daqueles países. Cabe ressaltar que, em cada deles, a avaliação assumiu características próprias e a obrigação legal de o Executivo informar ao Legislativo a independência ou autonomia dos avaliadores, bem como o grau de centralização ou regionalização dos governos.
De acordo com Cunha (2006), na Suécia as primeiras avaliações foram realizadas na década de 1950, por comissões encarregadas da formulação de políticas e tomada de decisões. Na década de 1960, órgãos de pesquisa e outras agências passaram a ser fundados tendo a avaliação como atividade principal.
A partir dos anos 1980, as atividades avaliativas foram sistematizadas e ligadas mais firmemente ao processo orçamentário. Um dos objetivos era fazer das avaliações um componente formal para a tomada de decisões. Os órgãos públicos apresentavam um relatório anual com os resultados e realizavam revisões aprofundadas a cada três anos. Com o passar dos anos, as revisões mais aprofundadas passaram a ser conduzidas mediante solicitação formal dos ministérios. Os órgãos são solicitados a avaliar e apresentar um relatório de desempenho e resultados, que são utilizados principalmente para ajustes de políticas.
Ainda sob a perspectiva de Cunha (2006), nos Países Baixos o governo estabeleceu, no início da década de 1990, que as avaliações seriam feitas a nível ministerial, sendo externas, internas, ex-ante, em nível intermediário e ex-post. O Ministério da Fazenda e as diretorias orçamentárias passaram a ser responsáveis pelas orientações e pela coordenação das avaliações, bem como pela popularização de seu uso. O Tribunal de Contas assumiu as tarefas de exame da eficiência da gestão, organização das avaliações e divulgação periódica dos resultados.
Segundo Derlien (2001), nos anos 1990, alguns sistemas de avaliação nacionais europeus estiveram fortemente influenciados pelas normas da União Europeia, especialmente nos países que recebem grandes quantidades de recursos.
A União Europeia preconizava práticas institucionalizadas de avaliação em áreas como ações de desenvolvimento, pesquisa e política tecnológica e programas financiados pelos Structural Funds5. Os serviços operacionais são responsáveis pela avaliação de seus próprios programas, traçando seu plano anual de avaliação. A recomendação é que as ações financiadas por recursos orçamentários sejam avaliadas a cada seis anos. A integração entre orçamento e avaliação ocorre através da exigência de que as propostas de programas sejam acompanhadas de um demonstrativo financeiro e de um plano avaliativo. Além disso, as propostas de novos programas devem estar fundamentadas em avaliações ex-ante, e as de renovação de programas também devem estar apoiadas em avaliações. Sem avaliação, não há alocação de recursos. Treinamento para avaliadores, documentos normativos e seminários foram organizados para dar suporte à cultura de avaliação (ALA-HARJA; HELGASON, 2000).
Na Grã-Bretanha, durante o governo de Margareth Thatcher, no final dos anos 1970, houve uma reforma administrativa profunda e bem-sucedida. Essa reforma, segundo Bresser Pereira (1996), foi composta por uma série de programas, tais como o programa das “Unidades de Eficiência” (Efficiency Units), que envolvia a avaliação dos custos de cada órgão do Estado; o programa “Próximos Passos” (Next Steps), que introduziu as agências executivas; e o programa “Garantia do Cidadão” (Citizens Chart). Todos esses programas contribuíram para tornar o serviço público mais flexível, descentralizado, eficiente e orientado para o cidadão.
O serviço público britânico tradicional passou por uma transformação profunda, perdeu os traços burocráticos e adquiriu características gerenciais. A reforma da administração pública na Grã-Bretanha teve três fases principais. Na primeira, o poder do serviço público civil foi
5StructuralFundssão os instrumentos financeiros da União Europeia que visam apoiar, através de programas plurianuais, as intervenções nacionais, regionais e locais que contribuem para executar a estratégia da União para um crescimento inteligente, sustentável e inclusivo, incluindo a realização da coesão econômica, social e territorial, e tomando também em conta as orientações europeias relevantes da Estratégia Europa 2020. Disponível em: <http://ec.europa.eu/regional_policy/sources/docgener/guides/blue_book/blueguide_pt.pdf>.
reduzido, para fazer o aparato de Estado responder mais prontamente às decisões políticas. Na segunda fase foram introduzidas práticas de gerência do setor privado, para promover a economia e a eficiência no governo. Na terceira fase, os cidadãos puderam ter uma maior participação na escolha dos projetos públicos a serem entregues à sociedade (CUNHA,2006).
Foi na segunda fase da reforma que emergiram as maiores mudanças de prática gerencial, tendo por resultado o que veio a ser chamado de Nova Administração Pública ou New Public Management (NPN).
Nos Estados Unidos: de acordo com Cunha (2006), os Estados Unidos possuem um
grande tradição em avaliação, que é praticada em nível federal, estadual e municipal. Os órgãos responsáveis pela implementação dos programas já realizam suas avaliações, e o Congresso frequentemente legisla sobre a realização de avaliações em larga escala. O Congresso americano se utiliza dos serviços do GAO para auxiliá-lo nas atividades de supervisão do Poder Executivo e realizar auditorias de desempenho e avaliações de programas.
Mas, segundo Derlien (2001), as avaliações experimentaram um declínio no Executivo americano, bem como no Congresso (com o GAO), porque muito do que é denominado de avaliação de programas pelos governos estaduais e locais nos Estados Unidos é mais similar à mensuração de desempenho do que à avaliação em profundidade. Isso se deve ao fato de que a avaliação dos programas tende a ser mais cara e a requerer capacidades específicas, que um pequeno número de Estados e de municipalidades possuem. Em muitos casos, no Estado e no nível local, as avaliações são feitas por avaliadores ou auditores da esfera legislativa, e não pela do Executivo.
Em 1993, o governo federal americano promulgou o Government Performance and Results Act (GPRA), que versava sobre o planejamento estratégico e mensuração de desempenho nas agências do governo federal americano. Por essa lei, as agências deveriam desenvolver planos estratégicos plurianuais e planos anuais de desempenho, com relatórios referentes a cada programa (CUNHA,2006).
Ainda sob a perspectiva de Cunha (2006), concomitantemente ao GPRA, o Executivo americano realizava o National Performance Review (NPR), objetivando o melhor funcionamento do governo federal a um custo menor. Assim, por um lado, o NPR procurou diminuir a burocracia, modernizou os processos e reduziu as agências. Entretanto, o GPRA, do Congresso, centrou-se na mensuração de desempenho e melhoria dos programas, requerendo a incorporação da avaliação de resultados no estabelecimento dos planos anuais e plurianuais das agências.
O grande legado do GPRA e do NPR foi o fato de que eles criaram um ambiente de forte pressão por mudanças, alimentadas por maiores demandas de serviços governamentais mais eficientes e efetivos, num ambiente de recursos mais escassos (CAVALCANTI; OTERO, 1997).
2.1.3 Avaliação no setor público do Brasil
Sob a perspectiva de Suzuki e Gabbi (2009), a avaliação serve para melhorar a gestão do programa dos serviços públicos e das políticas públicas. A avaliação também possui uma fase anterior, que é a de monitoramento ou de medição de resultados. Para Heinrich (2003), a avaliação desempenho deve servir ao propósito de ajudar os gestores a entender como suas ações e decisões estão ligadas aos resultados obtidos e quais fatores contextuais ou externos podem limitar ou aumentar sua efetividade como gestores.
No conceito disponibilizado pela OCDE (2004), a qualidade do serviço público, em tempos passados, era sinônimo de cumprimento estrito de regras procedimentais. Priorizava-se uma organização centralizada, com ênfase em procedimentos e em insumos. Entretanto, transformações sociais e a conjuntura econômica levaram o setor público a passar por reformas que priorizaram não mais uma lógica procedimental, mas uma lógica de resultados.
Para Suzuki e Gabbi (2009), a questão do controle e do desempenho sempre foi presente nas reformas administrativas que ocorreram no Brasil. Em 1938, a criação do Departamento Administrativo do Serviço Público (DASP) foi uma forma de submeter as administrações estaduais ao controle central. Nessa época também foram criados institutos, autarquias e grupos técnicos, objetivando aprimorar a performance do Estado brasileiro, para viabilizar o desenvolvimento nacional a partir de uma economia agroexportadora baseada no café, transformando-a em uma economia industrializada, voltada para o mercado interno.
A segunda reforma administrativa no Brasil é incorporada pelo Decreto-lei n° 200/67 (BRASIL, 1967), no governo militar. A diretriz da reforma foi tornar mais claro o desenho organizacional da Administração Pública Federal, de modo a possibilitar a organização da produção pública de bens e serviços em larga escala O rápido e descontrolado crescimento das empresas estatais acabou sendo um reflexo indesejável da tentativa de melhorar o desempenho da administração pública, tendo por base um modelo de Estado intervencionista (SUZUKI; GABBI 2009).
Favero (2010) relata que, no início dos anos 1990, vários países começaram a reduzir a participação do Estado na economia e a diminuir os gastos públicos. A certeza do esgotamento
do modelo burocrático weberiano6 deu origem à introdução de novos padrões gerenciais na Administração Pública, especialmente no Reino Unido e nos Estados Unidos, e depois, gradualmente em outros países europeus e no Canadá.
Em 1995, o Plano Diretor da Reforma do Aparelho do Estado foi implementado no Brasil, em uma tentativa de reforma gerencial com a utilização de novas técnicas na Administração Pública brasileira. O objetivo dessa reforma, nas dimensões cultural e de gestão, foi ampliar a governança, em uma tentativa de aumentar a capacidade técnica, administrativa e financeira para implementar as ações necessárias ao menor custo para a sociedade. Era urgente montar uma Administração do Estado, não apenas profissional, mas também eficiente e orientada para o atendimento das demandas dos cidadãos (BRESSER PEREIRA, 2006).
Segundo Favero, (2010), o Plano Diretor introduziu alguns elementos necessários para uma gestão de maior qualidade, buscando definir objetivos com clareza, recrutar os melhores elementos, por meio de concursos e processos seletivos públicos, treinar permanentemente os funcionários, além de desenvolver sistemas de motivação não apenas de caráter material, mas também de caráter psicossocial. Dessa forma, o Plano introduziu técnicas inovadoras para a Administração Pública, como maior autonomia dos executores, medição de processos e avaliação de resultados, em uma tentativa de aumentar a qualidade dos serviços públicos.
Em um contexto onde se buscava um modelo para melhora da qualidade no setor público, introduzindo-se conceitos da administração de negócios da área privada, surge a Nova Gestão Pública (NPG) ou new public management em vários países, conforme citado anteriormente. O NPG originou-se no final dos 1970, no governo de Margareth Thatcher, devido à insatisfação da opinião pública inglesa com a qualidade dos serviços públicos. Como mencionado anteriormente, esse modelo de administração pressupõe o uso de práticas no setor público, com origens no setor privado. Dessa maneira, busca-se criar instrumentos que tenham por objetivo a melhoria do desempenho dos organismos públicos, a fim de se obter melhores resultados e a satisfação dos cidadãos, denominados clientes (BRESSER PEREIRA, 2006).
Bresser Pereira (2009) argumenta que a NGP teve mais impacto nos países de políticas anglo-saxônicas do que em outros países. Isso porque, quanto mais avançado fosse o modelo burocrático de um país, mais difícil se tornaria realizar a reforma na gestão pública. Isso aconteceu, conforme o autor, não só porque a resistência burocrática era maior, mas também porque, onde o serviço público é razoavelmente eficiente, menos prioritária é a necessidade de mudança.
6Modelo no qual o Estado deveria manter a impessoalidade, a neutralidade e a racionalidade do aparato governamental (ABRUCIO, 1997).
Bresser Pereira (2006) descreve que, na NGP, o sistema de avaliação e de medição do desempenho reflete o modo de gerenciamento das organizações. O objetivo da NGP era construir um Estado que respondesse às necessidades de seus cidadãos.
Segundo Matias-Pereira (2008), a expressão nova Administração Pública foi instituída por Hood (1991) e incorporada no Brasil como Administração Pública Gerencial. Esse modelo representa um conjunto de argumentos e filosofias administrativas proposto como um novo paradigma de gestão pública a partir do surgimento de temas como crise e reforma do Estado.
Para Bresser Pereira (2009), o processo de reforma gerencial não deve ser visto como um rompimento radical com a administração burocrática. O autor afirma que a Administração Pública gerencial deve ser construída sobre a Administração Pública burocrática, baseada na existência de um serviço público profissional e competente, com a combinação de princípios gerenciais e burocráticos variados, de acordo com as necessidades de cada setor.
Outro ponto destacado pelo autor é o fato de que, apesar de o patrimonialismo ainda representar uma ameaça no Brasil, a reforma gerencial do setor público manteve e aperfeiçoou as instituições burocráticas, como, por exemplo, a institucionalização de concursos públicos de admissão e o fortalecimento das carreiras formalmente estruturadas. Entretanto, o autor acredita que as instituições deveriam ser mais flexíveis, para não conflitar com os princípios da administração Pública gerencial, para não impedir que se recompense o mérito pessoal e para que não se limite a iniciativa e a criatividade dos servidores públicos.
Segundo Favero (2010), a prática de monitoramento e avaliação surgiu com as transformações no papel do Estado, após a Segunda Guerra Mundial, com sua crescente atuação no âmbito das políticas sociais e a consequente necessidade de analisar as vantagens e os custos de suas intervenções.
A instituição Estado passou. então, a ser considerada funcional somente se as organizações que a compõem operarem corretamente e ainda tiverem desempenho satisfatório. Esse fato trouxe a necessidade de se pensar em Gestão para Resultados, na responsabilização dos agentes públicos (accountability) e, em consequência, em formas de se garantir, acompanhar e medir se os resultados foram atendidos ou não (GUBERMAN; KNOPP, 2009).
Para Mokate (2002), a criação do Programa Brasileiro da Qualidade e Produtividade, levantou questões importantes sobre o desempenho e o sucesso das administrações dos países frente aos desafios impostos pelo livre mercado e pela globalização. Surgiram novas iniciativas para desenhar e buscar novos processos de avaliação, pois, ao se criar incentivos à eficiência, também devem ser criados meios para avaliar diferentes alternativas, aferir resultados e adotar critérios de avaliação condizentes que orientem as decisões de políticas públicas.
De acordo com Favero (2010), avaliar a gestão de uma organização pública pode ser entendido como verificar o grau de aderência das suas práticas de gestão em relação ao referencial de excelência, em definição utilizada pelo Ministério do Planejamento, Orçamento e Gestão (MPOG).
Já para Slomski (2003),cabe ao Estado, por meio de seus controles internos e externos, mensurar e demonstrar a eficácia do serviço público, como forma de justificar a cobrança de impostos.
Para Costa e Castanhar (2003), mesmo com o consenso estabelecido entre governos e a Academia, no Brasil, sobre a importância da prática de avaliação para as políticas públicas, poucas são as práticas de avaliação sistemáticas e consistentes, apesar de sua crescente adoção ao longo dos últimos anos. Isso ocorre porque há uma dificuldade no estabelecimento de processo de sistemáticas de avaliação na Administração Pública Brasileira, fato que encontra explicações nos traços culturais consolidados historicamente no país. Ainda na visão dos autores, o Brasil é um país cuja sociedade, além de possuir relações baseadas no clientelismo, personalismo e patrimonialismo, tem por hábito atribuir os problemas e fracassos a fatores externos e a terceiros, inexistindo, assim, uma cultura de responsabilização.
Na perspectiva de Guberman e Knopp (2009), a utilização de sistemas de avaliação, criados para diminuir os problemas de natureza técnica, esbarra em problemas de natureza institucional, pois vai de encontro aos interesses pessoais de alguns gestores e políticos brasileiros.
Na figura1, Teixeira e Santana (1995) sugerem um modelo de avaliação que se adapta à avaliação de programas públicos, em um processo contínuo, que envolve os principais conceitos do processo e avaliação.
Figura 1– Modelo de avaliação
2.1.4 O processo de avaliação e indicadores
Segundo Favero (2010), o processo de avaliação consiste em verificar o grau em que se consegue alcançar as finalidades do programa, do projeto, das metas, dos processos, dos resultados, da eficácia, da eficiência, da efetividade ou impacto. Esse processo precisa de um dimensionamento do objetivo geral em objetivos específicos, que, por sua vez terão metas, as quais serão medidas através de indicadores. A questão básica consiste em encontrar os melhores indicadores para aquelas dimensões que, em princípio, só foram definidas teoricamente e que devem constituir o objeto de medição e avaliação.
Para Teixeira e Santana (1995), os objetivos são influenciados diretamente na escolha das linhas de ação a serem desenvolvidas no período, de maneira que fazem parte de um processo complexo, pois a escolha deve corresponder, por princípio, às políticas públicas definidas para cada conjuntura da área pública.
As metas e indicadores são instrumentos de orientação mais imediatos na concretização das linhas de ação, pois devem traduzir os objetivos de governo em metas quantitativas e qualitativas de serviço, utilização de meios, avanços tecnológicos e organizacionais. Dessa forma, o projeto ou programa deve ter suas metas suficientemente bem articuladas, para que seja possível identificar medidas de sucesso.
Resumidamente, para Teixeira e Santana (1995), a avaliação deve medir os progressos alcançados mediante a utilização de indicadores e compará-los a padrões de referência (benchmarks), os quais servirão para indicar se os resultados obtidos são satisfatórios ou não. Os autores também sugerem um modelo avaliativo que possibilite estabelecer um padrão (figura 2), em que estejam presentes conceitos fundamentais, como o estabelecimento de objetivos, a comparação entre o real e o ideal, e o processo de avaliação com melhoria contínua.
Fonte: A autora, adaptado de Teixeira e Santana (1995).
Tamakiet al. (2012) definem medidas de avaliação e monitoramento de processos de gestão como uma tarefa complexa, no entanto, sua operacionalização requer, muitas vezes, indicadores que, apesar de simplificarem os processos, permitem sua incorporação ao apoio à gestão e viabilizam sua adoção como instrumento de trabalho da gestão.
Para Favero (2010), os indicadores de um processo de avaliação definem o alcance de um programa/projeto (avaliação ex-ante) e medem o sucesso do objetivo em cada uma de suas etapas (avaliação ex-post). Dessa forma, eles devem ser confiáveis, válidos, claros e precisos, pois funcionam como um termômetro do progresso dos planos, programas e projetos, sinalizando os avanços alcançados em relação aos objetivos previamente traçados.
Conforme Maximiano (1997), os indicadores representam uma das ferramentas mais eficazes para o exercício da avaliação e do controle das ações e buscam atingir metas e objetivos organizacionais. Lima (2007) mostra que o monitoramento e a avaliação dependem principalmente de indicadores e metas, sendo os indicadores a base para examinar os processos organizacionais quanto à eficiência, eficácia e efetividade.
A avaliação, para Schmidt (2009), deve ter como propósito verificar se a missão da organização foi atingida, quem contribuiu para que o objetivo fosse alcançado, quando aconteceu o atingimento das metas, quais as principais dificuldades, quais as falhas que ocorreram no processo decisório, entre outras avaliações na gestão estratégica. Para estabelecer a forma de medir esses objetivos, é necessário definir o conjunto de indicadores que irão operacionalizar a avaliação de desempenho. Dessa forma, serão estabelecidas as medidas a serem usadas no sistema de diagnóstico do processo decisório organizacional.
Harrington (1993) classifica os indicadores de desempenho em dois grupos principais: os qualitativos, ou de atributos, e os quantitativos, ou de variáveis. O indicador qualitativo
