No questionário de avaliação dos programas do PPA do exercício de 2007, foi incluída uma nova categoria avaliativa, que tratou da avaliação do processo, conforme apresentado na seção anterior, onde também foi inserido um tópico sobre a autoavaliação da participação do Gerente de Programa no processo. A pergunta formulada solicitava ao respondente que indicasse o grau de evolução, segundo a seguinte escala: 1(muito pior a cada ano); 2 (pior a cada ano), 3 (igual em todos os anos); 4 (um pouco melhor a cada ano) e 5 (melhor a cada ano), justificando sua resposta, nos seguintes termos
1. Avalie sua participação no processo de avaliação do programa. Justifique sua resposta, considerando aspectos tais como motivação, adequação da metodologia e utilidade da avaliação (Base de Dados_Avaliação_PPA_2004-2007).
147 Das respostas analisadas para os 26 programas examinados, constatou-se que para 13 respondentes a sua participação está um pouco melhor a cada ano (grau de evolução 4), para 10, melhor a cada ano (grau de evolução 5) e para 3, igual em todos os anos (grau de evolução 3).
As justificativas apresentadas para esta questão demonstraram a importância da avaliação para a gestão, propiciando um momento de reflexão sobre o programa, seus resultados, deficiências e oportunidades de melhoria, contribuindo para o aprendizado organizacional, permitindo acompanhar com maior clareza a realização e o andamento das atividades necessárias para o desenvolvimento das ações.
Observou-se também, que à medida que o PPA se consolida como uma ferramenta gerencial, os conceitos e práticas de avaliação estão sendo internalizados fatores importantes para o aperfeiçoamento da gestão.
Além disso, a participação tem propiciado o progressivo entendimento do processo e, com a evolução das atividades dos programas, aperfeiçoa-se a compreensão do contexto em que estão inseridas.
Segundo um dos respondentes, “na autoavaliação é possível inferir que há necessidade de maior interação entre os entes envolvidos no processo de adequação da metodologia. É inegável a imensa utilidade desta avaliação para a implementação de melhorias no processo de acompanhamento e gestão das ações.” (BASE de DADOS, AVALIAÇÃO_PPA_2004-2007, SPI/MPOG).
Essas constatações ganham maior relevo na medida em que se observa que as avaliações dos programas do PPA foram as únicas avaliações realizadas em 23, dos 26 programas examinados. Pode-se depreender que, para os programas examinados, a cultura avaliativa está cada vez mais disseminada, podendo-se inferir que há indícios de utilização conceitual e instrumental das avaliações.
No que diz respeito aos 343 programas que ofereceram respostas para a questão 3, observou-se que, para apenas 2 programas, a participação dos respondentes foi considerada muito pior a cada ano (grau de evolução 1), para 3 respondentes foi considerada pior a cada ano (grau de evolução 2), para 66, igual em todos os anos (grau de evolução 3), para 112, um pouco melhor a cada ano (grau de evolução 4) e para 160 respondentes foi considerada melhor a cada ano.
Esses dados revelam que, para quase 80% dos programas que responderam à questão, a participação dos gerentes no processo de avaliação tem sido aperfeiçoada. Já na amostra examinada (26 programas) esse percentual sobe para 88% e quando analisada em
148 conjunto com as justificativas para o item 8 da questão 1, pode inferir que contribuíram para o aprendizado organizacional e para a melhoria do gerenciamento dos programas. Essa constatação evidencia, ainda, que a participação dos stakeholders é o fator determinante para a utilização das avaliações e, em decorrência, para o alcance dos propósitos que deram origem aos trabalhos, conforme demonstra a revisão da literatura apresentada.
149
6 ANÁLISE DAS AVALIAÇÕES DE PROGRAMAS REALIZADAS PELO TRIBUNAL DE CONTAS DA UNIÃO NO PERÍODO 2004-2007
As avaliações de programas realizadas pelo Tribunal de Contas da União, sob a denominação de auditorias de natureza operacional – ANOp, –, têm por objetivo examinar a eficiência, a eficácia, a efetividade e a economicidade dos programas governamentais, com vistas a contribuir para o aperfeiçoamento da administração pública, por intermédio da formulação de recomendações para promoção de melhorias na gestão e nos programas.
Essas avaliações atendem ao propósito da accountability, na medida em que objetivam examinar se os programas estão sendo implementados adequadamente, se as metas e os objetivos estão sendo atingidos, se os recursos estão sendo empregados de forma eficiente, se os problemas estão sendo controlados e tratados e se os resultados são efetivos (PATTON, 2008).
Mark, Henry e Julnes (2000) classificam os propósitos desse tipo de avaliação como de conformidade e identificação de falhas, na medida em que buscam estimar em que extensão o programa está alcançando determinadas expectativas, como, por exemplo, as diretrizes estatutárias, os regulamentos ou outras exigências, inclusive os níveis de desempenho especificados.
As avaliações de conformidade e identificação de falhas tendem a examinar a fidelidade com que o programa é implementado. A Fidelidade, nesse caso, é geralmente entendida como aderência a mandatos específicos do programa e procedimentos estabelecidos externamente, como as práticas geralmente aceitas de contabilidade ou normas que estabelecem igualdade de oportunidade nas decisões sobre pessoal. Desta forma, esse propósito em geral é uma importante função para o Legislativo, Tribunais e altos níveis da administração, que, em tese, devem assegurar que as políticas sejam executadas adequadamente e em complemento, que os resultados estão nos níveis esperados (MARK; HENRY; JULNES, 2000). As avaliações de programas realizadas pelo TCU foram impulsionadas com as mudanças introduzidas pelo Plano Diretor de Reforma do Estado de 1995, cujas alterações no desenho e nas atribuições do Estado passaram a exigir uma reestruturação dos processos internos de atuação do controle a cargo do Tribunal de Contas da União (SERPA, 2004).
Essas mudanças foram objeto de análise interna pelo TCU, por intermédio de estudo realizado pelo Grupo de Pesquisa Tendências do Controle da Gestão Pública, (Brasil, 1999), que constatou que as alterações promovidas no âmbito da Administração Pública Federal tinham reflexos nas atividades desenvolvidas pelo Tribunal, podendo ser estruturadas em dois segmentos. O primeiro trata da reorganização do modo de funcionamento da máquina
150 governamental, com foco nos resultados da ação do poder público e envolve a mudança no paradigma de accountability, o contratualismo, a ampliação da utilização da tecnologia da informação, a reformulação do processo orçamentário e do controle interno. O segundo diz respeito à redução do tamanho do Estado com maior presença da sociedade nas atividades governamentais.
Em decorrência dos resultados apresentados pelo Grupo de Pesquisa, promoveu-se a reestruturação organizacional, com a criação de secretarias especializadas (2000), buscando- se uma atuação matricial. Assim, foram mantidas as secretarias temáticas na sede e nos estados, organizadas de acordo com as funções dos órgãos jurisdicionados ao TCU e sua localização (Saúde, Educação, Trabalho, Justiça, Transportes, etc) e criadas as secretarias especializadas, que passaram a atuar em temas específicos, como avaliação de programas (Secretaria de Fiscalização e Avaliação de Programas - Seprog), fiscalização de obras (Secretaria de Fiscalização de Obras e Patrimônio da União - Secob), fiscalização da desestatização e controle da regulação (Secretaria de Fiscalização de Desestatização - Sefid), fiscalização de pessoal (Secretaria de Fiscalização de Pessoal - Sefip), macroavaliação governamental (Secretaria de Macroavaliação Governamental – Semag) e, de recursos (Secretaria de Recursos – Serur). Em 2006 foi criada a Secretaria de Fiscalização de Tecnologia da Informação (Sefti).
Para o exercício das atividades dessas novas secretarias, os processos de trabalho foram aperfeiçoados, plasmando-se as necessidades do Controle no novo contexto da administração pública, com vistas a assegurar a efetiva e regular gestão dos recursos públicos em benefício da sociedade.
Desta forma, no que diz respeito à avaliação de programas, o Tribunal, seguindo o movimento internacional dos órgãos de controle, – conforme descrito por Barzelay (1997) e com base nas diretrizes estabelecidas pela Organização Internacional das Entidades de Fiscalização Superior (Intosai, 2003) e o apoio do Departamento para o Desenvolvimento Internacional do Reino Unido (DFID) – buscou o desenvolvimento metodológico adequado à prática avaliativa, por intermédio de dois projetos complementares.
O primeiro projeto, implementado entre 1998 e 2001, denominado Projeto Desenvolvimento de Técnicas de Auditoria Operacional, teve por objetivo o desenvolvimento da metodologia de auditoria operacional. O Segundo, intitulado Projeto Aperfeiçoamento do Controle Externo com Foco na Redução da Desigualdade Social (CERDS), vigente no período de 2002 a 2006, objetivou ampliar o escopo da metodologia desenvolvida para as
151 auditorias operacionais, por intermédio da inclusão de técnicas de avaliação focadas na redução da pobreza, na equidade, no fortalecimento do controle social e na aproximação com a sociedade civil (DFID, 2006).
De fato, o projeto buscou contribuir para uma maior transparência na prestação de contas do gasto público (accountability) ao avaliar programas governamentais e modelos regulatórios de serviços públicos com foco na redução da desigualdade social. (DFID, 2006).
6.1 ANÁLISE DA ADEQUAÇÃO DAS AVALIAÇÕES DE PROGRAMAS REALIZADAS PELO TCU AOS