IX Seminário Nacional
Educação: Avaliação da Qualidade dos Gastos
e Criação de Indicadores de Desempenho
Período: 08 a 10 de Agosto de 2007
Dia: 08/08/2007
Palestrante: Marcus Vinicius Pinto da Silva
Tema: Programa de Visita às Escolas Municipais do Rio de Janeiro.
O Sr. Mestre-de-Cerimônias – Nosso
último painel terá a participação do palestrante Marcus Vinicius Pinto da Silva. Ele possui bacharelado e licenciatura em História pela Universidade Gama Filho do Rio de Janeiro, pós-graduação “latu sensu” e MBA em Controle Externo pela Fundação Getúlio Vargas do Rio de Janeiro. É Técnico de Controle Externo do Tribunal de Contas do Município do Rio de Janeiro desde 1985 e Inspetor Setorial da 3ª Inspetoria Geral de Controle Externo desde 1997.
O Sr. Marcus Vinicius Pinto da Silva – Dando
prosseguimento, eu vou falar, agora, um pouquinho do que fazemos na fiscalização da merenda escolar. Quero só ressaltar que, além do que o Jeverson falou, além do controle que nós fazemos dos pagamentos da merenda escolar, nós, também, a verificamos “in loco”. O orçamento executado da merenda escolar, no Município do Rio de Janeiro, no ano passado, foi de 56 milhões, aproximadamente. São servidas 21 milhões e 559 mil refeições por mês.
Bem, aí, nós temos um gráfico em que nós temos os tipos de refeições que eram servidas em 2002, nós chamamos, no Rio de Janeiro, de cardápio completo aquelas refeições que têm todos os alimentos que são descritos no cardápio que é feito por um sistema de nutricionistas, e chamamos de cardápio simples aquelas refeições a que, por acaso, falta algum tipo de gêneros alimentícios. No ano
de 2002, um ano antes de iniciarmos o programa, nós tínhamos, no Rio de Janeiro, 67% das escolas oferecendo cardápio completo, e, apenas 32% oferecendo cardápio simples. Tentamos entrar em contato com a Secretaria de Educação para que ela nos informasse porque essas 32,98% das escolas não ofereciam cardápio completo. A Secretaria não tinha esse dado, não sabia a razão. Então, nós começamos a fazer uma fiscalização, através desses programas, e descobrimos que, a carência para que esse cardápio não fosse completo, era a falta de merendeiras, nós tínhamos falta de merendeiras no Rio de Janeiro, o que impossibilitava de se realizar o cardápio completo. Descobrimos, também, que, apesar de a Secretaria ter feito um concurso para merendeira, esse concurso tinha muitas desistências, primeiro, pelo baixo salário e, segundo, porque como o Jeverson já mostrou, naqueles bairros, naquelas Coordenadorias, às vezes, uma merendeira que morava na Coordenadoria Um, passava em um concurso para a Coordenadoria Dez, então, ela desistia pela distância. Após o Tribunal fazer esse relatório, a Secretaria resolveu fazer um concurso setorizado por região, então, nós passamos a fiscalizar e, já após o programa, esse número tinha saltado para 97,67%, ou seja, após o programa, praticamente, quase 100% das escolas do Município do Rio de Janeiro, oferecem cardápio completo. Aqueles 2,33%, também, chamaram a atenção, e nós voltamos na fiscalização e verificamos que aquelas escolas estavam em obras, ou seja, em obra na escola toda, em obras na cozinha, o que impossibilitava de se fazer a merenda. Quanto à merenda escolar, nós fazemos os seguintes pontos de acompanhamento: o recebimento da merenda escolar, como a firma que vence a licitação entrega essa merenda escolar? Se ela entrega com pontualidade, se ela respeita a merendeira que está recebendo a entrega, a qualidade dos alimentos, a quantidade dos alimentos que entrega, se o cardápio está sendo seguido, o percentual de refeições servidas. Ou seja, antes de nós sairmos, existe um mapa, que nós chamamos no Rio de mapa de consumo de merenda, cada colégio elabora o seu mapa e manda para a Secretaria, nós pegamos cópia desse mapa e verificamos se, na verdade, aquele mapa que aponta um percentual, se aquele percentual é verdadeiro. Como nós fazemos
isso? Nós calculamos a relação do espaço do refeitório pelo número de alunos da escola e o tempo que se tem de merenda, então, nós verificamos se aquele percentual estabelecido é verdadeiro ou não. Verificamos, também, a aceitação dos alunos ao cardápio. No Rio de Janeiro, foi introduzido, no ano de 2003, o coração de boi na merenda escolar, então, nós fizemos, também, uma verificação da aceitação desses alunos quanto a esse novo tipo de cardápio e mostramos que ele não tinha uma aceitação muito boa. Verificamos, também, as campanhas que são feitas em cada unidade escolar para incentivar o consumo de merenda escolar. Verificamos as condições de armazenamento dessa merenda, a manipulação, ou seja, se a merendeira usa luva, avental, touca. O tamanho das cozinhas, se o tamanho da cozinha é um tamanho ideal, se o tamanho dos refeitórios, também, é ideal, é para o número de alunos que a escola tem. É preciso ressaltar que, no Rio de Janeiro, por ter sido a Capital do Império, nós temos, ainda, muitas escolas que são tombadas pelo patrimônio histórico, então, às vezes, é muito complicado você fazer uma obra em uma escola que é tombada pelo patrimônio histórico.
No último levantamento que nós fizemos nas escolas que nós visitamos, então, esse percentual que está aí é relacionado apenas às escolas que foram visitadas até o momento, nós verificamos que, apenas, quase 9% dos alunos comem a merenda escolar todos os dias, que 46% comem às vezes e que 44% não fazem uso da merenda escolar. Mais uma vez, nós perguntamos à Secretaria se ela tinha alguma indicação desse nível de rejeição, e ela não tinha. Então, o Tribunal foi atrás para saber por que as crianças rejeitavam tanto a merenda escolar. Através dos questionários que são aplicados aos alunos e a checagem de tudo o que o aluno responde no questionário, ele é checado “in loco” por um técnico do Tribunal. Nós verificamos que o principal motivo dessa rejeição seria o refeitório muito pequeno, eu peço que... Se vocês somarem todos os percentuais, não darão 100% e por quê? Porque a criança, ela pode optar por mais de uma razão de ela não comer a merenda escolar, ela pode indicar o motivo preferencial e o motivo secundário. Então, em primeiro lugar, com 49%, era o refeitório
muito pequeno, o que nós checamos que, realmente, é realidade dentro da Cidade do Rio de Janeiro, os refeitórios são muito pequenos, a criança enfrenta fila, então, ela desiste de comer a merenda escolar. Depois, eu prefiro trazer alimentos de casa, o que está, mais ou menos, relacionado com o primeiro item. E, verificamos, sobre a qualidade dos alimentos, apenas 21% dizia que não gostava dos alimentos, não gostava da merenda escolar. Isso para nós, também, foi de grande satisfação, porque podemos observar que a qualidade dos alimentos, que é entregue nas escolas, é muito boa.
Mecanismos de controle. Após a visita à escola, feito o relatório, encaminhado para a Secretaria, o Tribunal continua verificando se aquela escola, se todas as impropriedades destacadas foram consertadas ou não. Então, o Tribunal tem um programa que se chama Programa de Monitoramento e passa a monitorar essa escola. Então, o programa tem como objetivo acompanhar as ações formuladas pela SME, dentro das suas possibilidades orçamentárias e discricionárias, visando à correção das imperfeições detectadas nas visitas. Hoje, estão sendo monitoradas 53 unidades, que representa mais de 55% das unidades visitadas até o momento.
Bem, aí, nós temos um exemplo de monitoramento. Em 2004, na Escola Municipal Pedro Moacir, assim que os técnicos visitaram a escola, perceberam... As condições, na foto de 2004, de como estava a escola, voltamos após um relatório descrevendo isso e a Secretaria tomou algumas providencias emergenciais, fazendo alguns escoramentos, mas não era o suficiente, o Tribunal continuou emitindo relatórios e, em 2007, está sendo realizada uma obra de restauração e recuperação dessa escola. Podemos ver, também, da escola, ali, na primeira foto de 2004, era um estacionamento que estava em péssimas condições, em 2005, esse estacionamento foi demolido e, agora, em 2007, na obra, está sendo construída uma quadra no local. Mesma coisa, na rampa e fachada de acesso das escolas, essa é a rampa que foi encontrada, em 2004, pelo Tribunal e, agora, que nós retornamos, a rampa já está toda reconstruída.
Aí, nós temos o refeitório, a pia onde era feita a merenda escolar, em 2004, quando nós lá estivemos, e, agora, o
refeitório, em 2007. O custo total da obra dessa escola foi de 2 milhões e seiscentos e cinqüenta mil reais.
Só para ressaltar, o interessante dessa escola e a importância do Tribunal, quando nós retornamos à escola, ficamos muito felizes porque fomos convidados para a inauguração dessa escola, pela própria direção e comunidade. Então, nós fomos, agora, em setembro, participar da inauguração dessa escola pelo convite, tanto da escola, quanto da comunidade.
Bem, o programa que vai ser feito, agora, em 2008. Como o Lívio falou, nós sempre queremos mais e mais. Então, agora em 2007, nós fomos realizar um teste de efetividade do nosso programa, será que o nosso programa estava funcionando ou não? E, para a nossa felicidade, verificamos que 72% de todos os itens que o Tribunal aponta como imperfeição são resolvidos pela Secretaria. Então, é um programa que tem, hoje, 70% de efetividade. Mas, como queríamos mais, em 2007 nós fizemos um convênio com a Universidade Federal do Rio de Janeiro, onde foi feita a contratação de uma consultoria estatística, para elaborar um plano amostral para visitas em 2008, para fazer crítica a todos os nossos papéis de trabalho. Nós disponibilizamos à UFRJ todos os papéis, todo o nosso sistema, para que ela verificasse onde teria erros, onde poderia ser acertado, para que nós pudéssemos entrar em 2008 com um programa melhor ainda. Para o exercício de 2008, seguindo o plano amostral da UFRJ, nós teremos que visitar 243 escolas em dez meses, teremos que entrevistar 2.391 alunos, 2.054 professores, para que possamos, ao final de 2008, ter uma amostragem que vai representar 100% das escolas do Município do Rio de Janeiro. A margem de erro estabelecida para este trabalho pela UFRJ foi de 4% para as visitas e 2% para entrevista, com um nível de confiança de 95%. O Sistema Estatístico de Dados é o programa que nós desenvolvemos junto com a nossa assessoria de informática, que está aqui, hoje, representada pelo Ricardo, e é um programa que permite que nós criemos um banco de dados com informações da escola, dos professores e dos alunos. Permite o cruzamento de dados para avaliar o desempenho das unidades escolares por Coordenadoria, por bairro, por região, seja individualmente, ou através de estudos comparativos, nós podemos
pegar as escolas que têm resultados mais positivos e comparar com aquelas escolas que têm resultados mais negativos, para verificar quais são os pontos positivos e passar para as outras escolas. Ele produz, também, indicativos que sinalizam oportunidade de melhoria para a Secretaria Municipal de Educação.
Eu vou, agora, apresentar um pouquinho do sistema.
Eu peço desculpas, porque nós trouxemos só uma amostra, uma pequena amostra desse sistema, porque seria muito pesado para trazer o nosso, aqui no lap top.
No primeiro item, como foi apresentado, nós temos o “checklist”, que é um documento de que nós fazemos uma vistoria na escola, temos o questionário e temos o relatório. Quando o técnico chega ao Tribunal, ele faz a inserção no “checklist”: primeiro ele seleciona a escola que ele visitou, o programa busca no banco de dados da Secretaria Municipal de Educação a relação de todas as escolas, com seus endereços, com seus telefones, e, então, nós escolhemos a escola que nós visitamos, damos ok, e, aí, vamos fazendo o preenchimento de tudo aquilo que está no “checklist”. O exemplo que eu vou dar aqui é sobre a questão das condições da escola. Bem, nós temos aqui todos os problemas que nós encontramos nas escolas quando nós visitamos. Essa relação, ela foi instituída com a reunião que nós tivemos com alguns engenheiros de dentro do Tribunal, em que eles definiram quais eram os problemas que poderiam ocorrer tanto na parte estrutural, quanto na parte hidráulica ou elétrica de uma escola. Esses engenheiros, que são mais capacitados, definiram pequenas notas para cada problema, então, o sistema armazena essa nota; o técnico, que vai fazer a vistoria, ele não sabe o percentual que tem em cada um desses problemas. Então, ele chega e vai inserindo os dados. Quando ele vai inserindo, o sistema vai somando os resultados, ele já concluiu que a escola está em estado razoável. Bem, depois que ele passa a relação, ele verifica que o sistema considerou a escola em estado precário, então, se o sistema considerou a escola em estado precário, essa escola precisa ser, automaticamente, monitorada. Então, no próprio sistema, o técnico, na máquina fotográfica, ele dá um “click”, aparecendo essa máquina fotográfica ao lado, o
sistema está monitorado. Quando ele for fazer a pesquisa de monitoramento, o próprio sistema vai dar uma ficha de acompanhamento, automático, de todas as questões dessa escola que tem a máquina fotográfica.
Bem, o sistema, também, permite que nós possamos realizar, ali, vários filtros de consultas e pesquisas, então, nós temos aqui, quando nós clicamos em estatísticas do “checklist”, ele fornece toda a estatística de todas as questões que estavam no “checklist”. Eu vou apresentar, então, aquela questão sobre a precariedade da escola. Bem, nesse pequeno lançamento ele já me diz que existem duas escolas em estado precário e uma escola em estado bom, são apenas exemplos que nós colocamos. Na confecção do relatório, o sistema permite que isto seja colocado em gráficos, diretamente no relatório que está sendo elaborado. Ele permite, também, a visualização dos problemas que foram destacados na escola. Então, nós sabemos ali a relação que, de todas as escolas visitadas, 100% apresentavam problemas no seu telhado. Mesma coisa em relação à estatística que é feita do questionário dos alunos. Então, o interessante, eu vou apresentar aqui uma questão que foi da nossa auditoria em um projeto de educação física. Nós apresentamos um questionário aos alunos onde fizemos uma pergunta: Você realiza algum tipo de atividade física, ou algum esporte fora da escola? Enumeramos várias questões, é preciso ressaltar que todos os questionários que são aplicados tanto aos alunos, quanto aos professores, eles passam por uma fase de teste, durante seis meses são aplicados em forma de questionário em aberto, ou seja, existe a pergunta e o aluno responde da forma que ele quiser. Após seis meses, nós condensamos todas essas respostas e criamos um questionário fechado, que facilita ao aluno responder e em tempo mais rápido. Através do sistema, além de nós fazermos essa pergunta, nós podemos filtrar a resposta dos alunos por série. Então, se nós colocarmos ali 5º série, só vai aparecer no sistema a resposta dos alunos que eram da 5º série, e, sobre a questão da educação física, se ele faz algum tipo de atividade física ou esporte fora da escola, nós verificamos que 35% dos alunos entrevistados, não fazem qualquer tipo de atividade física fora da
escola. Então, nós, também, queríamos saber se esse número aumentava de acordo com a idade do aluno e, através desse sistema, ele permite que nós possamos ver isso e nós verificamos e mostramos para a Secretaria que, de acordo com o aumento da idade do aluno, mais esse aluno deixa de fazer atividade física fora da escola, mais necessária é a educação física e, também, vislumbramos um problema: que muitos desses alunos moram em comunidades carentes, então, há ausência de equipamentos esportivos dentro das comunidades. Como eu falei, eu posso clicar primeiro aqui, as séries pesquisadas; aqui a estatística do questionário; aqui, foram 3.813 alunos entrevistados, se você faz algum tipo de esporte ou atividade física fora da escola. Sei usar o filtro e o sistema busca automaticamente o percentual dos alunos apenas de 5º série. Então, esse sistema favorece muito as pesquisas que nós podemos fazer e faz com que o nosso programa avance cada vez mais porque cria, realmente, números sólidos que são repassados para a Secretaria da Educação.
