ATA DA 8ª REUNIÃO DO COMITÊ DE NORMAS DE AUDITORIA DO SETOR PÚBLICO, REALIZADA NO DIA 3 DE SETEMBRO DE 2020.

(1)

1

ATA DA 8ª REUNIÃO DO COMITÊ

DE NORMAS DE AUDITORIA DO

SETOR PÚBLICO, REALIZADA NO

DIA 3 DE SETEMBRO DE 2020.

1. ABERTURA: Aos 3 de setembro de 2020, das 16:00 às 18:00,

reuniram-se na plataforma google meets (

https://meet.google.com/zbf-rtpq-dak

) os

membros do Comitê de Normas de Auditoria do Setor Público relacionados no

anexo I desta ata.

2.

RETOMADA DA REUNIÃO ANTERIOR (7‘): Denise Gomel retomou os

pontos discutidos, os termos que geraram debates. A ata será finalizada e

(2)

2

alterada a planilha, na seção 6. O Nelson irá reagrupar o texto num documento

word a ser disponibilizado no grupo de whatsapp. E, na próxima reunião

(17/09/20) será referendado o texto final da norma e eventuais discussões feitas

no grupo de whatsapp.

3.

REVISÃO DE TRADUÇÃO DO TERMO EFFECTIVENESS NA NBASP

NÍVEL 2 E REFLEXOS NA INTERPRETAÇÃO DA TRADUÇÃO DA GUID 9020

: Dagomar apresentou um histórico dos normativos (CF, leis e manuais) sobre o uso dos termos efetividade e eficácia (acesse a apresentação aqui). O Brasil começou a ser treinado pelo GAO, no início da década de 90. Lá nos EUA, o chefe é doutor na área de avaliação de programas. Lá nos EUA há uma diferença entre o pessoal que avaliava impacto e o pessoal que olhava a parte operacional, ou interna. E, por isto, após os treinamentos, os Manuais do TCU dividiam avaliação de programa e auditoria operacional. E, isto foi abolido em 2010. O Manual de 1998 definia eficácia e efetividade sem definir as metas. Efetividade: relação entre os resultados (impactos observados) e os objetivos (impactos esperados).

Quando se olha o diagrama do Manual, há uma diferença naquilo que pode ser avaliado internamente do que pode ser avaliado externamente no programa. Existem fatores externos que afetam o alcance da realidade social e que não estão no controle de alcance do programa. O Manual do TCU, portanto, dá algumas pistas sobre a interpretação de efectiviness.

Já, no Manual de 2010, foi colocada uma figura adaptada da ISSAI 3000. E, a definição de eficácia utilizada pelo TCU veio do livro de COHEN; FRANCO, 1993: “a eficácia é definida como grau de alcance das metas programadas em um determinado período de tempo, independentemente dos custos implicados”.

A diferença entre a escola americana de avaliação e a escola europeia é: para a escola europeia, tudo é avaliação de programa. Enquanto que para a escola americana, eles chamam a avaliação anterior de ex ante. Na academia, o que importa numa

(3)

3 avaliação de políticas públicas é ver o resultado dos programas, ao invés de se ater a um aspecto (efetividade, eficácia, economicidade, etc).

Na revisão de legislação, verificou-se que o legislador, em várias normas, tirou a parte da “economicidade” e focou em eficiência, eficácia e efetividade: Decreto Federal n. 9.739/19; etc.

Levantando outras fontes, foram vistos textos publicados no scielo que traduziram o efectiviness como efetividade. Na área de educação, alguns textos também foram traduzidos como efetividade.

A proposta, portanto, é que o Comitê não defina eficácia ou efetividade porque a literatura geralmente fala que eficácia é alcance de meta, não falando se é meta de perto ou a longo prazo. É melhor que os conceitos sejam exclusivos. Se colocarmos os resultados de curto prazo na efetividade, iremos excluir o conceito.

Quando se define auditoria operacional como economia, eficiência e efetividade e se fala que avaliação de políticas públicas fala de eficácia, em verdade, não se cria distinção entre auditoria operacional e avaliação de políticas públicas. Nos textos produzidos internacionalmente sobre avaliação de programas, não se discute as dimensões.

A efetividade em inglês claramente se refere a dois aspectos. E isto está na ISSAI 3000. Na ISSAI 3000, com orientação pela GUID 3920/37, definiu-se:

Na literatura econômica existe a palavra utilidade. Na literatura de avaliação de políticas públicas se fala de efetividade, e output e outcome. Não se fala em impactos de longo prazo.

Existe autor para várias teses, o mais comum é separar impactos de curto prazo e longo prazo. Quando debateram atualização dos Manuais, o TCU olhou várias fontes, como UNICEF, OCDE, etc. E em todas estas fontes há uma forte tendência para dividir os resultados em curto e longo prazo.

(4)

4 Como em português, diversos normativos falam das quatro palavras, inclusive eficácia e efetividade, na GUID 3920/37 ela fala em duas dimensões de efectiviness (cost efectiveness e efectiviness).

Sugestão: não definir o conceito em nota de tradução, não citaria autor nenhum, mas apenas se refere aos conceitos das normas.

3.1. Aberta a palavra: Gleison- acha importante definir os conceitos para que fique claro ao leitor. Também sugere não diferenciar output ser curto prazo e outcome ser de longo prazo. Mas acha basilar que a eficiência está relacionada à produtividade, aos meios. E eficácia está relacionada aos resultados e aos fins. E efetividade está relacionado a ser efetivo e eficaz. Dagomar – a sugestão para não definirmos é definir em nota de tradução, mas em outro documento. A norma não define o conceito. A posição do TCU é tradicionalmente separar efetividade da eficácia. Mas na literatura não é bem assim. Se tivermos vinculados a literatura de avaliação, aceita que se faça o conceito. Verifica que na economia, por exemplo, tem vários conceitos de eficiência. Um dos exemplos: você pode ter um programa que gera os efeitos na população e ser muito caro. Assim, pode ter um programa que é eficaz, mas não efetivo. Por isto se separam os conceitos. O programa pode ser eficiente porque entregou bens e produtos baratos e não gerar efeitos, mas pode gerar efeitos a preços. Economicidade é custo do insumo. E efetividade é custo do preço unitário. Ex: programa que entregava leite e óleo para famílias que tinham problema com desnutrição. O programa entregava o produto, mas não diminuía a desnutrição. Se tinha uma família com sete crianças, duas desnutridas, entregava-se o leite e óleo para a família, mas a família dava para todas as crianças e as duas continuavam desnutridas. Era efetivo, mas não eficaz. Nelson – sugere que a última proposta, tirando o parêntesis, fica bom. Não entra no mérito dos conceitos, mas tem que tirar a nota de rodapé da NBASP 300. Sobre a junção dos conceitos, vê-se que em administração se fala, mas não tem na literatura outros conceitos em avaliação de políticas públicas e economia. Dagomar – o fato de estarmos discutindo é que estamos no comitê de normas. O auditor não fica fazendo as discussões metodológicas porque

(5)

5 a atividade dele é outra. Temos que ser flexíveis para aceitarmos conceitos de outras áreas (avaliação, direito, economia, administração). Denise- deixamos a tradução como efetividade? Dagomar – sugestão usar efetividade porque como mostrou, em educação e em saúde, se usa a palavara efetividade (tanto efectiviness como incluindo em normativos quando não tinham esta palavra). Agora no Manual de Auditoria, provavelmente se usará efetividade e eficácia. Na nossa cabeça isto é diferente, mas não entra na cabeça do pessoal lá de fora. No português usamos quatro palavras: efetividade, eficácia, economicidade, eficiência. Na literatura estrangeira, só tem três normas. Nelson- a dúvida é a questão da utilidade que lembra muito o conceito de efetividade. Ryan – diz que a forma explicada pelo Dagomar é a mesma forma que o TCEMG trabalha. Nas auditorias operacionais já viu situações em não ser eficiente e não ser efetivo. Nelson -a confusão toda é que temos referenciais teóricos diferentes e, por isto, nos Tribunais tudo mistura, se traz o conceito das escolas da administração, da economia, do direito, misturando conceitos e dificultando a compreensão. Cleyton – o questionamento é de efeitos práticos. Já temos nota em outra norma dizendo que efectiviness engloba dois aspectos. Dagomar – traduzir por efectiviness e tirar a nota de tradução. Na nota técnica optou-se traduzir por eficácia ou efetividade. Denise- se não traduzimos accountability porque não deixamos efectiviness? E na nota de rodapé dizemos que poderíamos traduzir pelas duas? Cleyton – não conseguiu ver a diferença da nota proposta com a nota anterior. Denise – esta nova proposta não faz diferença. Dagomar – sugere também não colocar nota de tradução e traduzir por efetividade. O impacto de manter o termo em inglês é que tudo que já foi feito desde 2014 foi traduzido por efetividade. E se formos olhar, todos traduzem effectiviness por efetividade. Nelson – na área de saúde às vezes não traduz como efetividade. Dagomar – nos textos em inglês sempre fala que efetividade como alcance das metas de longo prazo e curto prazo. Denise – encontrou um documento do IDI que está em consulta pública o termo EFFICACY. Neste documento está separado: eficácia – produto e eficiência – resultado – médio e longo prazo. Nelson – quando pega o esquema da 9020, effectivitiness seria eficácia e utility seria efetividade. Dagomar – definição da guid 3910 – effectiveness diz quais as dimensões. Em espanhol se traduz tudo, até os nomes próprios e eles traduziram accountability como responsabilização. O Tribunal Europeu traduz tudo em todas as línguas e, em Portugal se traduz como eficácia. José Raimundo – concorda que a tradução da 300 está boa. Acha que não deveria mexer nem que fique diferente. Termos uma norma impressa. Temos dificuldade de fazer disseminação da norma. Nelson – sugere compilarmos as sugestões e votarmos na próxima reunião. Dagomar – sugestão de nota de rodapé “Effectiveness foi traduzida por efetividade. Em inglês, diz respeito a dois aspectos: primeiro, em que medida os objetivos são atingidos e, segundo, se os efeitos podem ser atribuídos à intervenção (GUID 3910). Portanto, abrange tanto efetividade quanto eficácia.” Nelson- propôs acrescentar uma frase referindo a outra dimensão trazida pela 9020.

3.2. Decisão final: traduzir effectiviness como efetividade com a seguinte nota de rodapé: “Effectiveness foi traduzida por efetividade. Em inglês, diz respeito a dois aspectos: primeiro, em que medida os objetivos são atingidos e, segundo, se os efeitos podem ser atribuídos à intervenção (GUID 3910). Portanto, abrange tanto

(6)

6 efetividade quanto eficácia. Para a NBASP 9020, a avaliação de impactos sociais (resultados de médio e longo prazo) é uma dimensão de análise distinta – a utilidade”. 4. ENCERRAMENTO E ENCAMINHAMENTOS:

4.1. Fica agendada a reunião para o dia 17/09/20, quinta-feira, as 16:00, na

plataforma google meet;

4.2.

Fica aprovada a tradução do termo effectiveness como produtividade com

nota de rodapé:

“Effectiveness foi traduzida por efetividade. Em inglês, diz respeito a dois aspectos: primeiro, em que medida os objetivos são atingidos e, segundo, se os efeitos podem ser atribuídos à intervenção (GUID 3910). Portanto, abrange tanto efetividade quanto eficácia. Para a NBASP 9020, a avaliação de impactos sociais (resultados de médio e longo prazo) é uma dimensão de análise distinta – a utilidade.”

ATA DA 8ª REUNIÃO DO COMITÊ DE NORMAS DE AUDITORIA DO SETOR PÚBLICO, REALIZADA NO DIA 3 DE SETEMBRO DE 2020.