O Sistema de Avaliação Institucional das Escolas Técnicas Estaduais (SAI-ETE) do Centro Paula Souza: concepções, etapas e proposições

A avaliação institucional na gestão pública revela-se como importante instrumento, que propicia subsídios teórico-metodológicos para se estabelecerem diretrizes no processo de elaboração, execução e implementação da política educacional, bem como para refletir sobre as condições operantes do próprio sistema de ensino. Disto depreende-se que as funções da avaliação “ têm que ser [...] compreendidas no contexto das mudanças educacionais e das mudanças econômicas e políticas mais amplas” (AFONSO, 2002, p.19).

Entretanto, cabe destacar que há necessidade de estudos sobre Avaliação Institucional seguida da devida contextualização das políticas no campo educacional, que identifiquem sua natureza, explicitando as diversas modalidades e fins/funções nos diferentes níveis do sistema (nível micro/pedagógico; meso/organizacional; macro/nacional e

mega/internacional, visto que a avaliação configura-se como um importante “instrumento de controle e de legitimação organizacional”( AFONSO, 2002, p.19).

Há também que se problematizar a dicotomia entre os enfoques de regulação/punição versus avaliação como emancipação, visto ser a avaliação “ uma atividade que é afetada por forças políticas e que tem efeitos políticos” (HOUSE, 1994, p.19).

Por tal razão o presente tópico busca analisar o contexto e etapas da elaboração e implementação do Sistema de Avaliação Institucional (SAI) das Escolas Técnicas Estaduais (das áreas primária, secundária e terciária) do Centro Paula Souza denominado SAI-ETE.

Como já mencionado, ocorre no ano de 1993 a transferência por via do Decreto Estadual nº 37.735/93, de 27/10/1993, das Escolas Técnicas Estaduais (Agrícolas e Industriais), até então pertencentes à Secretaria Estadual de Educação, para o Centro Estadual de Educação Tecnológica “Paula Souza” (CEETEPS), vinculado à Universidade Estadual Paulista “Júlio de Mesquita Filho” (UNESP) e jurisdicionado à Secretaria de Secretaria da Ciência e Tecnologia e Desenvolvimento Econômico.

O Centro Estadual de Educação Tecnológica Paula Souza, sendo autarquia estadual, de regime especial, responsável pelo oferecimento da educação profissional pública no Estado de São Paulo, assume significativa importância na gestão da educação pública, o que lhe impõe grandes responsabilidades quanto à avaliação institucional.

A LDB 9394/96 reconfigura o cenário educacional brasileiro, com profundas mudanças na sistemática de organização, estruturação e funcionamento da educação profissional em todos os seus níveis (básico, técnico e tencológico) que impactuam na forma de gestão do Ensino Técnico e das Escolas Técnicas Estaduais no Estado de São Paulo.

No bojo das demandas dos cenários econômico-produtivo e sociopolíticos, das determinações contidas na LDB, e da relevância da educação profissional nas políticas públicas, o Centro Paula Souza, através da Coordenadoria de Ensino Técnico é instigado a desenvolver no ano de 1997, experimentalmente, um Projeto Piloto de Avaliação Institucional para as Escolas Técnicas Estaduais, então denominado TUIUIÚ – ESCOLA NOTA 1000.

Esse projeto buscava propiciar a implantação de um sistema de avaliação institucional, fortalecer a cultura de avaliação e definir parâmetros e indicadores que viabilizassem a análise do desempenho global da instituição. O Projeto Tuiuiú dá origem ao atual Sistema de Avaliação Institucional das Escolas Técnicas Estaduais (SAI-ETE), que é composto também pelo Sistema de Acompanhamento de Egressos (SAIE) com o objetivo de avaliar a qualidade da formação profissional oferecida pelas ETEs e acompanhar a inserção de seus alunos no mercado de trabalho.

Conforme explicitou a Coordenadora da Assessoria de Avaliação Institucional do Centro Paula Souza em entrevista realizada no ano de 2006, esse Sistema de Avaliação Institucional foi moldado de forma pioneira, pois não havia até então (1997) nenhum modelo ou projeto de avaliação institucional direcionado para a educação profissional que contemplasse seus diversos níveis, e prioritariamente o ensino técnico. Ressalte-se o imenso desafio que se configurou ao receber como incumbência do então Diretor Superintendente do Centro Paula Souza a determinação para a elaboração de um projeto de avaliação institucional para as Escolas Técnicas Estaduais. Este fato demandou estudos e reflexões sobre as práticas da avaliação institucional na educação superior, também emergentes.

Nessa perspectiva, ainda conforme salienta a Coordenadora da AAI nessa mesma entrevista, o referencial teórico apreciado para a elaboração do SAI-ETE originou-se predominantemente dos modelos de avaliação das instituições de ensino superior, tanto de universidades estrangeiras como de experiências nacionais, com maior atenção para o modelo de avaliação institucional da UNICAMP. Dentre os autores referenciados figuram aqueles que participaram do Fórum de Avaliação Institucional desenvolvido pelo Centro Paula Souza, no ano de 2002, a saber: José Dias Sobrinho, Marinilzes Moradillo Mello, Isaura Belloni, Bernadeti Gatti, entre outros.

Isso confirma a ação de vanguarda tomada pelo Centro Paula Souza, visto ser um projeto único no que tange à avaliação institucional de Escolas Técnicas Estaduais da rede pública.

O Sistema de Avaliação Institucional do Centro Paula Souza é fundamentado no pressuposto de que o produto das Escolas Técnicas Estaduais deve atender às aspirações do aluno, pais, funcionários, professores e da comunidade externa constituída por representantes dos diversos segmentos sociais (entre esses os empresários), que indicarão os níveis de eficiência e eficácia da Instituição, determinando Padrões de Desempenho Ideal. O termo aspirações busca expressar as necessidades e expectativas de alunos, pais, funcionários, professores e empresários estabelecidos conforme premissa do SAI-ETE a partir da leitura das novas exigências do mundo atual ( Projeto Tuiuiú-Escola Nota 1000).

Na proposta do Projeto Tuiuiú, atualmente denominado Sistema de Avaliação Institucional-ETEs, o avaliado, ou seja, o produto das Escolas Técnicas Estaduais deve atender às aspirações da sociedade indicando os padrões de desempenho ideal a serem estabelecidos, partindo-se das exigências do mundo contemporâneo.

A título de objetivo geral visa-se, mediante a criação deste projeto, à “implementação de uma cultura de avaliação permanente, de forma a propiciar a contínua

retroalimentação do sistema e o aprimoramento dos seus padrões de qualidade”.(Projeto Tuiuiú, 1997, p.2).

Assim, o Projeto Tuiuiú- Escola Nota 1000 contemplava inicialmente como objetivos: 1º) definir padrões de desempenho ideal das Escolas Técnicas Estaduais (ETEs) pertencentes ao Centro Paula Souza; 2º) identificar o nível de desempenho real de cada ETE e de cada Habilitação Profissional oferecida; 3º) propiciar uma visão global do desempenho do Centro Paula Souza, promover a reflexão nas ETEs e no Centro da melhoria da qualidade da formação profissional e de aproximação sistemática do desempenho real do ideal.

Note-se que prevalece a terminologia garantia de um padrão de qualidade, circunscrito e definido ao âmbito de cada sistema de ensino (e de suas redes). Todavia não é esclarecido no âmbito dos pressupostos teórico-metodológicos do SAI-ETE o que se entende por qualidade na educação profissional, como também não se identifica detalhadamente qual é esse padrão e ou medida de referência no âmbito desta rede de ensino.

Conforme análise do texto institucional do Projeto Tuiuiú-Escola Nota 1000, os indicadores utilizados no SAI são de caráter quantitativo e qualitativo, que buscam retratar o desenvolvimento do processo e a análise do produto.

Os Indicadores do processo foram constituídos por dados obtidos mediante os índices de movimentação escolar (desempenho pedagógico) e dados referentes às aspirações de infraestrutura e de gestão escolar (esses últimos denominados endoavaliação).

Foram concebidos como indicadores do produto os dados obtidos mediante estudo dos egressos, relação escola e comunidade e mercado de trabalho.

O Projeto Tuiuiú comportou quatro momentos: 1º) projeto piloto; 2º) revalidação do projeto piloto; 3º) implantação do SAI e implementação do Processo. Inicialmente contou com reduzida equipe24 sob a Coordenação Geral da Professora Responsável pela Assessoria de Avaliação Institucional, na época realocada da equipe de supervisores da Coordenadoria de Ensino Técnico (CETEC).Os recursos financeiros dispendidos foram no valor de onze mil cento e setenta e quatro reais e setenta e quatro centavos (R$ 11.174,74).

A metodologia utilizada no Projeto Tuiuiú buscou contemplar: 1º) a avaliação do Processo; 2º) a avaliação do produto; 3º) o universo da amostragem.

24 _{Coordenação Geral da Professora Roberta Froncillo e do Prof José Celso Prado Pozzobon.No setor administrativo da CETEC contou com} a participação do Luís Carlos Zanirato Maia, Gláucia Regina Manzano, José Edielson Barbosa, Nivaldo da Silva Martello.Para aplicação dos instrumentos de pesquisa contou com os Supervisores do Núcleos Regionais ( Toshie Mori-São Paulo; José Vitório Sacilotto-Campinas, Luiz Alberto Agasi-Sorocaba, Merli Maria Garcia Diniz-São José do Rio Preto, Diogo Ávila Martins-Marília e de Isabel Cápua Maia-Ribeirão Preto) e de Aplicadores Externos.

A Avaliação do Processo contemplou a análise de dados institucionais obtidos nas próprias ETEs, tais como: índices de evasão, retenção, assiduidade de docentes e discentes, dependências etc; e para a obtenção dos dados referentes às aspirações foi realizada pesquisas através de questionários específicos com pais, alunos e professores das ETES para uma amostragem inicial.

Quanto à avaliação do Produto foram usados dados sobre egressos e dados sobre satisfação obtidos através da pesquisa junto a pais, alunos e entrevistas com empresários.Para a obtenção dos dados especificamente sobre a situação dos egressos foi realizada pesquisa no final do referido ano letivo intitulada Estudos de Egressos.

Para a determinação do universo da amostragem para o Projeto Piloto foram escolhidas 20% do total das ETEs e ETAEs tendo por critérios: a manutenção de habilitações que atendem maior número de alunos, manutenção dos cursos com todas as séries/módulos funcionando e representação de todas as regiões do Estado.

Para a amostra do corpo docente foram selecionados aleatoriamente 30% do total de professores da escola; e a amostra de pais foi constituída por 30% de pais presentes à reunião marcada pela escola.Já para a determinação da Amostra de Alunos foram selecionadas as 1ª, 3ª e 4ª séries dos períodos diurno e noturno, de cada curso técnico, para comporem a amostra dos alunos escolhidos aleatoriamente.Conforme consta no documento do Projeto foi conferido tratamento estatístico de 33% de fração amostral.

O projeto considerou como instrumentos de pesquisa os dados institucionais, os questionários específicos para cada segmento (discentes, docentes, funcionários), pais e as entrevistas com empresários. Para a tabulação de dados foram usadas tabelas para diferentes cruzamentos dos dados pesquisados, o que permitiu a realização de uma análise comparativa, com atribuição de pontos ao desempenho real da cada ETE. No espírito do Projeto a tabulação dos dados ofereceriam os índices de competência de cada ETE ou ETAE.

Ainda dentro da Proposta do Projeto Tuiuiú, a classificação das ETEs deveria promover em cada escola a reflexão e o estímulo para atingir o desempenho Ideal. Vale destacar que conforme texto institucional do Projeto Tuiuiú, o Centro Paula Souza determinaria os padrões de qualidade, classificando cada Unidade Escolar e o próprio Centro Paula Souza num determinado patamar, ou seja, para essa classificação o Centro Paula Souza determinaria padrões de qualidade que por sua vez refletiriam o Desempenho Ideal, que confrontado com o Desempenho Real, resultariam na classificação de cada unidade escolar. O SAI-ETE, para sua permanência necessita ser alimentado coletiva e continuamente junto à comunidade escolar.

Nessa perspectiva fica evidente a ênfase conferida à Avaliação de Resultados, bem como uma concepção da avaliação institucional situada na racionalidade de mensuração de índices e na comparabilidade entre Unidades de Ensino.

Neste sentido, a metodologia usada no Projeto Piloto, posteriormente convertido no atual SAI-ETE, é controversa e contrária aos princípios da avaliação institucional referendados no extinto Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) como também no SINAES direcionados à educação superior, em especial no que se refere aos princípios de não premiação e não punição.

Assim, tem-se a elaboração e a implantação do Sistema de Avaliação Institucional do Centro Paula Souza, conforme ordem cronológica, em quatro etapas: 1ª) Projeto TUIUIÚ, em setembro de 1997, aplicado para uma amostra de 20% de escolas e cursos de diferentes regiões do Estado a fim de mapear variáveis e definir instrumentos; 2ª) Validação do Projeto de 1997, que constituiu uma avaliação qualitativa dos dados obtidos a fim de implantar o SAI-ETE nas demais Escolas Técnicas Estaduais do Centro Paula Souza; 3ª) Aplicação do SAI-ETE, em 1998, em vinte escolas técnicas estaduais; 4ª) Implantação do SAI-ETE em 108 Unidades Escolares.

No ano de 1997 o SAI-ETE foi realizado em vinte Escolas Técnicas Estaduais, e em 1998 foram escolhidas outras Escolas, sendo mantido o total de apenas vinte Escolas para a aplicação do questionário. A partir de 1998 o Projeto Piloto Tuiuiú sofre reorganizações e passa a ser denominado Sistema de Avaliação Institucional das Escolas Técnicas Estaduais (SAI-ETE).

O SAI-ETE busca fundamentação nos dados institucionais, nos questionários e resultados da pesquisa de egressos. O questionário é o principal instrumento da pesquisa. Em 1998, foi aplicado a uma amostra de 33 avos de fração de alunos e pais, e de professores e funcionários presentes no dia da aplicação da pesquisa.Vale lembrar que não é obrigatória a participação na Pesquisa SAI-ETE.

O Relatório SAI-ETE 1998 expressa as concepções de avaliação, objetivos gerais e específicos, metodologia, construção e identificação dos indicadores, justificativas de implementação do sistema de avaliação institucional para ETEs e CEETEPS. Nele são definidos os indicadores como “características de processos ou produtos passíveis de mensuração e análise.” (SÃO PAULO. SAI-ETE, 1998, p.3/1).

Os Indicadores de Processo visam caracterizar internamente a instituição e os Indicadores de Produto buscam caracterizar externamente a escola e a extensão de seus

resultados, enquanto que os Indicadores de Benefício caracterizam a extensão, o atendimento e a satisfação oferecidos pelo produto à comunidade.

Os indicadores de desempenho foram estabelecidos em função dos objetivos e Metas do CEETEPS e receberam pontuação de modo a alcançar o desempenho de excelência expresso pelo valor máximo 1000 (mil) pontos, distribuídos da seguinte forma: 450 pontos para Processo; 350 pontos para Produto; 200 pontos para Benefício, conforme Quadro 2, abaixo. DESEMPENHO IDEAL ESCOLA NOTA 1000 PROCESSO 450 PRODUTO 350 BENEFÍCIO 200 TOTAL DE PONTOS 1000

Quadro 2 – Desempenho ideal - Escola Nota 1000

Fonte: SÃO PAULO (Estado). Centro Estadual de Educação Tecnológica Paula Souza. Assessoria de Avaliação Institucional. Sistema de Avaliação Institucional: Relatório do SAI-ETE 98. São Paulo, 1998.

A pontuação e a classificação estabelecidas pelo CEETEPS para os diferentes indicadores de desempenho atingem o valor máximo de 1000 pontos e expressam a concepção de Padrões de Excelência (expressão usada no campo empresarial oriunda da Teoria da Qualidade Total). A pontuação real de cada ETE era então confrontada com a ideal. Assim, foi instituído um Sistema de Classificação das Escolas Técnicas Estaduais e do próprio CEETEPS, subdividido em quatro níveis, Alfa, Beta, Gama e Delta, com a pontuação específica para cada nível. Abaixo segue o Quadro 3 com a classificação das ETEs no ano de 1998: