O Estado da Arte é um estudo bibliográfico de caráter inventariante que pode servir de fomento para a realização de pesquisas acadêmicas as quais objetivam preencher lacunas detectadas no campo de conhecimento em questão (SOARES; MACIEL, 2000). Romanowski e Ens (2006) entendem que a pesquisa do tipo Estado da Arte tem por finalidade sistematizar a produção acadêmica em uma determinada área do conhecimento, a qual é imprescindível para se compreender amplitude do produto científico.
A fim de se apresentar o Estado da arte referente ao assunto atinente a esta pesquisa, inicialmente, a fim de apresentar se a orientação da auditoria governamental dos EFS dos países selecionados na amostra é voltada a avaliações de conformidade ou de desempenho, o quadro 1 traz a literatura utilizada na análise de resultados. Ressalta-se que a escolha dos países está descrita na metodologia, parte 4 deste trabalho:
Quadro 1 – Pesquisas anteriores sobre auditoria em diversos países
Fonte: autor
País Autores/Ano
França (MORIN, 2010, 2011)
Espanha (BASTIDA; GUILLAMÓN, 2009; BIOSCA, 2010; GARCÍA, 2007; ROSA; MOROTE; PROWLE, 2014; TORRES; PINA; YETANO, 2011) Grécia (KONTOGEORGA, 2019; MONTESINOS, 2005; SARMAS, 2012)
Estônia (RAUDLA et al., 2016)
Reino Unido (DEMIRAG; KHADAROO, 2011; MORIN; HAZGUI, 2016; NAO - NATIONAL AUDIT OFFICE, 2019; PUT, 2011) Austrália (ANAO, 2010; FUNNELL; WADE, 2012; MORIN, 2003; WEST; BLACKMAN, 2015)
Estados Unidos da América (FUNKHOUSER, 2000, 2002; FUNKHOUSER; BUTCHER, 2002; FUNKHOUSER; YANJUN, 2016; GAO, 2001; MALAN, 1984) China (FENG, 2002; FUNKHOUSER; YANJUN, 2016; LIU, 2001)
Indonésia (IRAWAN; MCINTYRE-MILLS, 2016)
Malásia (JONES; PENDLEBURY, 2000; LOKE; ISMAIL; HAMID, 2016; NAD, NATIONAL AUDIT DEPARTMENT, 2012; NAD, 2008)
Noruega (CHRISTENSEN et al., 2010; LÆGREID; RONESS; RUBECKSEN, 2006, 2011; REICHBORN-KJENNERUD, KRISTIN, 2015; REICHBORN-KJENNERUD, KRISTIN; JOHNSEN, 2015)
Itália (BORGONOVI, 2002; CAPANO, 2003; DE ROBERTIS, 1992; MARCUCCIO; STECCOLINI, 2005; MONFARDINI; VON MARAVIC, 2012) Alemanha (BEKEMANN, 2006; BIRKHOLZ, 2008; KUHLMANN, 2008; MARAVIC, 2007; MONFARDINI; VON MARAVIC, 2012; MOORE;
JACOBY, 2009)
Canadá (ADI; DUTIL, 2018; ARENS et al., 2007; BROWN; GODBOUT, 1989; FLESHER; ZARESKI, 2002; FREE; RADCLIFFE; WHITE, 2013; GENDRON, YVES; COOPER; TOWNLEY, 2007; MORIN, 2000, 2014; SUTHERLAND, S.L., 1999)
Dinamarca (SKÆRBÆK, 2009)
Bélgica (BELGIAN COURT OF AUDIT, 2010; DESMEDT et al., 2017)
Posteriormente, com o objetivo de apresentar a literatura brasileira que trata de auditoria pública, principalmente no que tange a auditorias de desempenho (operacionais), no quadro 2, a qual consta o tema, periódico/congresso/trabalho e os autores, são apresentadas as pesquisas mais relevantes utilizadas:
Quadro 2 – Pesquisas anteriores sobre auditoria pública no Brasil
Tema Publicação/Trabalho Autores/Ano
A auditoria operacional e contábil no controle e transparência da administração pública na percepção de auditores e gestores públicos
Revista Controle - Doutrina e Artigos
(SOUZA; OLIVEIRA; COLARES, 2018)
Antecedentes da aceitação e adoção da auditoria contínua no setor público brasileiro: o caso do Tribunal de Contas do Estado de São Paulo
Tese (Doutorado em Ciências) USP
(MIRANDA, 2018)
Características da literatura internacional sobre auditoria governamental Revista Eletrônica Gestão & Sociedade
(MAFRA et al., 2016)
Governança e accountability no setor público : auditoria operacional como instrumento de controle das ações públicas a cargo do TCEMG
Revista do Tribunal de Contas de Minas Gerais
(BRITTO, 2014)
Práticas de auditoria de desempenho em órgãos estaduais brasileiros de controle interno – elementos para configuração de um modelo
Dissertação (Mestrado em Controladoria) UFC
(NUNES, 2013)
Indicadores de desempenho em Entidades Fiscalizadoras Superiores: o caso brasileiro Revista Contabilidade Vista & Revista (UFMG)
(CASTALDELLI JÚNIOR; AQUINO, 2011)
A auditoria governamental como instrumento de promoção da transparência Jornal de Políticas Educacionais (BRAGA, 2011)
Recomendações em auditoria operacional: uma prospecção de fragilidades, com base na inteligência competitiva
Revista de Administração (UFSM)
(FRANCISCO et al., 2010)
Meta-avaliação de auditorias de natureza operacional do Tribunal de Contas da União RAC - ANPAD (HEDLER; TORRES, 2009) Auditoria operacional no Tribunal de Contas do Estado de Pernambuco: caminhos para
sua institucionalização
Dissertação (mestrado em Gestão Pública) UFPE
(MATOS, 2006)
A auditoria operacional e seus desafios: um estudo a partir da experiência do Tribunal de Contas da União
Dissertação (Mestrado em Administração) UFBA
(ALBUQUERQUE, 2006)
Por fim, apresenta-se o estado da arte no que se refere às pesquisas acadêmicas sobre eficiência das Universidades Federais Brasileiras, baseada em indicadores de desempenho, nos últimos 10 anos, as quais constam: o tema, periódico/congresso/trabalho, o modelo para análise dos dados, as variáveis utilizadas e os autores, no Quadro 3:
Quadro 3 - Pesquisas anteriores sobre eficiência das IFES
Tema Publicação/Trabalho Análise de
dados
Variáveis Autor
Eficiência Operacional das Instituições Federais de Ensino Superior Brasileiras: proposição de manual para auxiliar a gestão das instituições menos eficientes.
Dissertação (Mestrado em Administração Pública) UFG
DEA Indicadores TCU e Ranking Universitário Folha de São Paulo
(SILVA, JEAN BARROS E, 2019)
Análise de Eficiência das IFES no Uso de Recursos Financeiros 2010-2015 Dissertação (Mestrado Profissional em Economia) UnB DEA e índice de Malmquist
Indicadores TCU (MELONIO, 2017)
O Orçamento e o Desempenho nas Universidades Federais entre 2005 a 2014
Revista FSA Correlação orçamento executado no exercício e Indicadores TCU
(SANTOS; MOURA, 2017)
Eficiência da aplicação de recursos públicos nas Universidades Federais
Anais do XXI Congresso Brasileiro de Custos
DEA Indicadores TCU, Ranking Universitário Folha de São Paulo e Ranking Internacional QS
(NUINTIN et al., 2014)
Auditoria e gestão: um estudo de caso dos trabalhos Auditoriais realizados no IFES
Dissertação
(Mestrado em Gestão Pública) UFES
Estudo de caso (NETO, 2014)
Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ Estatística descritiva Indicadores TCU e Índice de diferença entre os desempenhos estimado e observado (IDD-INEP)
(FEREIRA; SANTOS; PESSANHA, 2013)
Tema Publicação/Trabalho Análise de dados
Variáveis Autor
Correlação entre indicadores selecionados de gestão e qualidade das instituições federais de ensino superior brasileiras, período de 2009-2016 Dissertação (Mestrado em Administração) UFRGS Estatísticas descritivas, correlação e regressão linear múltipla Indicadores TCU e indicadores do INEP (ENADE, Conceito Preliminar de Curso e Índice Geral de Cursos)
(SOARES, JAILSON RIBEIRO, 2013)
Indicadores de gestão do TCU e o desempenho dos cursos no ENADE: um estudo de cursos de graduação
Tese (Doutorado em Educação Brasileira) UFC Regressão linear múltipla Indicadores TCU e ENADE (CORRÊA, 2013)
Programa REUNI nas Instituições de Ensino Superior Federal [IFES] brasileiras: um estudo da eficiência operacional por meio da análise envoltória de dados [DEA] no período de 2006 à 2012
Dissertação (Mestrado em Contabilidade) UFPR
DEA Indicadores TCU (OLIVEIRA, 2013)
Análise dos indicadores de gestão das IFES e o desempenho discente no ENADE Revista da Avaliação da Educação Superior Regressão linear Indicadores TCU e ENADE (BARBOSA; FREIRE; CRISÓSTOMO, 2011) Indicadores de desempenho das IFES da região nordeste: uma
análise comparativa Anais do XI Colóquio Internacional sobre Gestão Universitária na América do Sul Estatística descritiva
Indicadores TCU (SANTOS; CASTANEDA; BARBOSA, 2011)
Indicadores para a avaliação da gestão das Universidades Federais Brasileiras: um estudo da influência dos gastos sobre a qualidade das atividades acadêmicas do período 1998-2006
Dissertação (Mestrado em Ciências Contábeis) UnB-UFPB-UFRN Estatística descritiva e multivariada Indicadores TCU e Indicadores INEP (FERNANDES, 2009) Fonte: Autor
Observa-se nas pesquisas anteriores que diversos estudos versam sobre a eficiência operacional das Universidades Federais, contudo, a perspectiva sob a abordagem da auditoria interna das IFES foi evidenciado apenas no trabalho de Neto (2014), que traz essa visão, apenas de auditorias realizadas ns UFES. O estudo realizado nesta dissertação é inovador pois observará a trajetória das auditorias de gestão realizadas pela CGU nas IFES, no período de 2008 a 2016, relacionando a natureza das auditorias com a eficiência das IFES. Além disso, será verificado se em países que já atingiram um elevado grau desenvolvimento, com base no IDH, ou seja, alocando seus recursos eficientemente, há predominância de auditorias de desempenho em detrimento a auditorias de conformidade, algo ainda não pesquisado no Brasil e em âmbito internacional.
A pesquisa que mais se assemelha a este trabalho foi realizada por Costa, Lins e Souza (2019). Nesse estudo, buscou-se verificar se há relação estatística entre a natureza da auditoria, localização geográfica e tamanho (quantidade de alunos) das Universidades Federais.
As demais pesquisas trazidas no quadro 3, de uma forma geral, focam a eficiência das IFES por si só, utilizando-se diversas variáveis e modelos estatísticos diferentes. Os indicadores do TCU são as únicas variáveis unânimes nas pesquisas, demonstrando, assim, a sua relevância.
Destaco o trabalho de Barbosa et al (2011), que buscou analisar possíveis relações entre indicadores de gestão e desempenho dos discentes. Para tanto, pesquisou- se uma amostra de 52 IFES no período de 2006 a 2008. Os resultados indicaram que, de fato, alguns indicadores de gestão parecem ser capazes de influenciar o desempenho discente.
Já a dissertação de Melônio (2017) buscou avaliar a eficiência das IFES em relação aos gastos de recursos públicos no período do REUNI (2010 a 2012) e no pós- REUNI (2013 a 2015). Os indicadores de desempenho dos Relatórios de Gestão do TCU foram utilizados para analisar a qualidade dos gastos nas IFES. A metodologia empregada para medir essa eficiência das IFES foi a Data Envelopment Analysis (DEA) e o índice de Malmquist. O cálculo da análise de eficiência para os anos de 2010 e 2015 mostrou que em 2010 as IFES consideradas eficientes eram 58% da amostra, e no ano de 2015 apresentou uma redução, passando para 40% da amostra. Com os resultados apresentados na pesquisa, não é possível afirmar que o fim do projeto REUNI tenha impactado diretamente na eficiência das IFES, mas se pode verificar indícios de que houve mudanças perceptíveis.
A pesquisa de Santos e Moura (2017) teve por objetivo analisar a relação entre o orçamento executado e o desempenho alcançado pelas Instituições Federais de Ensino Superior (IFES) do Nordeste, onde foram pesquisados os indicadores de gestão entre os anos de 2005 a 2014. A análise dos resultados mostrou que a relação entre o orçamento e o desempenho está mais ligada aos indicadores operacionais e de eficiência, apontando para a existência de relação entre o orçamento e os resultados atingidos.