RELAÇÃO ENTRE INDICADORES DE GESTÃO TCU E IGC

Para verificar a relação entre os indicadores de gestão do TCU e o IGC foram aplicados dois procedimentos estatísticos distintos. O primeiro foi a análise de correlação, com o intuito de verificar a relação dos indicadores do TCU com o IGC e o segundo foi uma análise de regressão múltipla, cuja finalidade é verificar o poder preditivo dos indicadores do TCU para o IGC. Neste estudo foi realizada a análise de correlação cruzada pooled, visto que o número de observações e a quantidade de anos não permitiria uma análise defasada dos dados.

A Tabela 5, apresenta a matriz de correlação entre as variáveis. Nela é possível observar que há correlação estatisticamente significante entre diversas variáveis, a um nível de 1% e 5%.

Tabela 2 - Matriz de Correlação

RADTI RCV RCA IEAC RIA IRFE GCA PGI PGOC PGP IGC C ITCD

RADTI 1 RCV -,053 1 RCA ,051 -,303** ₁ IEAC ,326** -,233* ,555** 1 RIA -,209 -,123 ,224* -,087 1 IRFE ,390** ,088 -,070 ,109 -,401** 1 GCA -,591** ,056 ,137 -,211 ,304** -,231* 1 PGI -,107 ,082 -,250* -,071 -,026 ,010 ,163 1 PGOC ,066 -,216 -,062 ,132 -,011 -,103 -,151 ,193 1 PGP -,054 ,161 ,212 ,080 ,079 -,074 -,038 -,730** -,108 1 IGC C -,084 ,152 ,076 -,061 ,288** ,062 ,265* ,057 ,055 ,214 1 ITCD ,019 -,110 ,005 ,038 -,174 -,087 ,072 ,316** ,464** -,093 ,102 1

**. A correlação é significativa no nível 0,01 (2 extremidades). *. A correlação é significativa no nível 0,05 (2 extremidades).

Entretanto, quando é analisada a correlação entre os indicadores de gestão TCU e o IGCC, percebe-se que, somente as variáveis RIA e GCA apresentaram relação positiva e significativa com o IGC.

A matriz de correlação demonstra uma relação positiva das variáveis RIA e GCA com o IGC. Entretanto, de acordo com a escala de Cohen6 estas relações podem ser consideradas de efeito pequeno, explicando menos de 9% da variância total da relação.

A correlação entre o GCA e o IGC, cujo coeficiente de correlação de Pearson (r) foi 0,265, era esperada, visto que instituições de ensino com mais recursos orçamentários para os gastos correntes, necessários à manutenção das atividades, tendem a oferecer uma melhor qualidade de ensino. Estudos, como os de Barbosa (2011); Barbosa, Freire e Crisóstomo (2011) e Boynard (2013), comungam com esta teoria. Outros estudos, entretanto, como os de Freire, Crisóstomo e Castro (2007); Fernandes (2009); Costa (2012) e Ferreira, Pessanha e Santos (2013), no entanto, conflitam com este achado, para estes não há relação.

A correlação positiva entre o RIA e o IGC, com (r) igual a 0,288 também era esperada. Apesar de não terem sido encontrados estudos sobre esta relação e este indicador estar relacionado a oferta de vagas, supõe-se que o alto índice de renovação do corpo discente é reflexo também da eficiência acadêmica e portanto, está relacionado com a qualidade do ensino da instituição.

Para o RCV não havia expectativa de relação entre o IGC, e portanto, a matriz de correlação confirma tal hipótese. Entretanto, os achados contrariam as demais hipóteses, em especial aquelas relacionadas a eficiência e eficácia educacional e a força de trabalho. Para as variáveis RCA, IEAC, ITCD e RADTI eram esperadas uma relação positiva, enquanto para a variável IRFE uma relação negativa. Estudos como os de Barbosa, Freire e Crisóstomo (2011), Corrêa (2013) e Boynard (2013), todos relacionados as universidades federais, encontraram relação entre as variáveis de eficiência e eficácia acadêmica e força de trabalho docente e as variáveis de qualidade do ensino superior.

6

"Tamanhos de efeito são úteis porque eles dão uma medida objetiva da importância de um efeito. Assim, não importa qual o efeito que você está procurando, quais as variáveis que foram medidas: sabemos que um coeficiente de correlação 0 significa que não existe efeito e um de valor 1 significa que existe um efeito perfeito. Cohen (1988, 1922) estipulou o que é um efeito pequeno ou grande: r = 0,10 (efeito pequeno): neste caso, o efeito explica 1% da variância total; r = 0,30 (efeito médio): o efeito é responsável por 9% da variância total; r = 0,50 (efeito grande): o efeito é responsável por 25% da variância total." (FIELD, 2009, p. 57)

Após a análise de correlação foi realizada então, a análise de regressão múltipla. Este método estatístico representa um passo além do método da correlação, pois prevê o resultado (saída) de uma variável em função de outras, chamadas previsoras ou preditoras, não verificando apenas se há relação entre estas. Field (2009), entretanto, destaca que, assim como na análise de correlação, na análise de regressão múltipla, também não é possível falar de influência de variáveis independentes sobre a dependente, posto que neste tipo de pesquisa correlacional raramente há controle sobre as variáveis independentes, o que há é a medição simultânea das variáveis.

Na regressão múltipla desta pesquisa, também pooled, foram estimados cinco modelos. Em todos estes a variável dependente é o IGCC. A diferença entre estes modelos está na composição das variáveis preditoras, que foram ajustadas conforme os achados teóricos encontrados. Assim, o modelo 1 incluiu todos os indicadores do TCU sem distinguir os objetivos de cada um; o modelo 2 manteve as variáveis relacionadas a força de trabalho (RADTI e ITCD); o GCA e as variáveis relacionadas a disponibilidade financeira (PGP, PGI e PGOC); o modelo 3 manteve somente as variáveis de disponibilidade financeira; o modelo 4 apenas as variáveis de eficiência e eficácia acadêmica (GCA, IEAC, IRFE e RCA) e o modelo 5 somente as variáveis relativas a força de trabalho. As equações dos modelos são descritas a seguir:

(1) IGCC = (β0 + β1RCV + β2RIA + β3RCA + β4IEAC + β5IRFE + β6GCA + β7RADTI + β8ITCD + β9PGP + β10PGOC + β11PGI) + ɛ

(2) IGCC = (β0 + β1GCA + β2RADTI + β3ITCD + β4PGP + β5PGOC + β6PGI) + ɛ (3) IGCC = (β0 + β1PGP + β2PGOC + β3PGI) + ɛ

(4) IGCC = (β0 + β1RCA + β2IEAC + β3IRFE + β4GCA) + ɛ (5) IGCC = (β0 + β1RADTI + β2ITCD) + ɛ

Onde:

β0: representa a constante, o intercepto, ponto onde a reta corta o eixo x βn: coeficiente de regressão, associado a cada variável previsora

IGCC: Índice Geral de Cursos Contínuo do IFi RCV: A relação candidato por vaga do IFi

RCA: A relação concluintes por alunos matriculado do IFi IEAC: O índice de eficiência acadêmica do IFi

IRFE: O índice de retenção do fluxo escolar do IFi GCA: O gasto corrente por aluno do IFi

RADTI: A relação aluno por professor em tempo integral do IFi ITCD: O índice de titulação do corpo docente do IFi

PGP: O percentual de gasto com pessoal do IFi

PGOC: O percentual do gasto com outros custeios do IFi PGI: O percentual do gasto com investimentos do IFi ɛ: Erro previsto

Dos cinco modelos analisados (Tabela 3), o que apresentou maior coeficiente de regressão (R2) foi o modelo 1, onde todas as variáveis previsoras, foram inseridas no pacote estatístico sem critério de ordem. Assim, a análise de relação entre as variáveis preditoras e de saída foi realizada somente sobre este modelo. O Apêndice C apresenta os dados da regressão múltipla para demais modelos.

Tabela 3 - Resumo dos Modelos

Modelo R R 2 R 2 ajustado Erro padrão Estimativa 1 ,577a ,333 ,199 ,43727 2 ,368a ,135 ,056 ,46244 3 ,436a ,190 ,146 ,45702 4 ,345a ,119 ,068 ,48702 5 ,070a ,005 -,023 ,47464 Fonte: Elaboração Própria.

No modelo 1, o R2, que representa a quantidade de variação de saída que pode ser creditada ao modelo, foi de 0,333, indicando que somente 33,3% do IGC é explicado pelo conjunto de indicadores do TCU. A medida de precisão verificada no erro padrão de estimativa foi de 0,43, representando o desvio-padrão em torno da reta de regressão.

A maioria dos estudos analisados apresenta um percentual de explicação maior. No modelo de Costa (2012), que também analisou a relação entre os indicadores de gestão do TCU e o IGC, só que para universidades federais e, portanto, há diferenças nos indicadores do TCU, o percentual de explicação do IGC por estes foi de 69,96%; 78,70% e 82,77% para os anos de 2008, 2009 e 2010, respectivamente.

Por meio da análise de variância (Tabela 4), constatou-se que o modelo apresenta F igual a 2,492, a um nível de significação menor que α = 0,05, indicando que o Modelo 1, apesar de explicar pouco o IGC, é significativo existindo influência das variáveis independentes na variável dependente.

Tabela 4 - Análise de Variância Modelo 1

Modelo Soma dos

Quadrados Df Média dos Quadrados F Sig. 1 Regressão 5,241 11 ,476 2,492 ,013b Residual 10,516 55 ,191 Total 15,757 66

a. Variável dependente: IGC (Contínuo) Fonte: Elaboração Própria.

Analisando os parâmetros do modelo 1, conforme Tabela 5, é possível observar que somente os previsores RIA, IRFE, PGI e PGP são significantes para explicar o IGC, segundo critério de sig. menor que o estabelecido (0,05). Todos estes possuem valores b positivos, indicando relacionamento positivo com o IGC.

Tabela 5 - Coeficientes de Regressão para o Modelo 1

Modelo Coeficientes não padronizados

Coeficientes padronizados

T Sig.

B Erro padrão Beta

(Constante) -1,059 1,024 -1,034 ,306 RADTI ,008 ,012 ,105 ,681 ,499 RCV ,017 ,021 ,109 ,825 ,413 RCA ,018 ,015 ,240 1,233 ,223 IEAC -,007 ,005 -,276 -1,505 ,138 RIA ,014 ,005 ,389 2,888 ,006 IRFE ,010 ,004 ,307 2,397 ,020 GCA 1,492E-005 ,000 ,086 ,583 ,562 PGI ,033 ,016 ,405 1,995 ,051 PGOC ,003 ,004 ,091 ,677 ,501 PGP ,029 ,011 ,485 2,528 ,014 ITCD ,068 ,151 ,065 ,451 ,654

Fonte: Elaboração Própria.

O coeficiente do modelo de regressão nos dá a confirmação da significância de cada um dos coeficientes isoladamente e nos permite escrever o modelo de regressão estimado. Assim, a equação de regressão pode ser sumariamente descrita da seguinte forma:

IGC = - 1,059 + 0,014 x (RIA) + 0,010 x (IRFE) + 0,033 x (PGI) + 0,029 (PGP)

Assim, a partir da análise de regressão, verifica-se que o modelo estimado explica pouco, como dito anteriormente, em torno de 33% das variações que ocorrem com o IGCC em decorrência das variações nos indicadores definidos pelo TCU, sendo relevantes apenas as variações determinadas pelos indicadores: RIA, IRFE, PGI e PGP.

A explicação para a influência do PGP e PGI, que confirmam as hipóteses 9 e 11 pode estar na forma de cálculo do IGC, que usa informações da graduação, por meio do CPC. Este possui em sua composição notas referentes ao número de doutores e mestre, 27%. Instituições com maior titulação docente tendem a ter um maior percentual de gastos com pessoal, e isso explicaria o PGP. O CPC também tem em sua composição uma nota referente a Infraestrutura (7,5%), o que poderia ser uma explicação para o PGI.

A explicação para o RIA, que confirma a hipótese 2, é intuitiva. O RIA, que representa a renovação do corpo discente pode ser reflexo tanto do aumento do número de novos

discentes como também de uma melhor eficiência e eficácia acadêmica, que, portanto, refletiria num melhor desempenho dos alunos no ENADE, que compõe 55% da nota do CPC, e que por sua vez, compõe o IGC.

O achado relativo ao IRFE, entretanto, contraria a hipótese 7, posto que a medida que o IRFE aumenta o IGC também aumenta, quando esperava-se exatamente o contrário, quanto menor o IRFE, maior o IGC.

O GCA, que aparece na matriz de correlação, confirmando a hipótese 8 da pesquisa, não se apresenta significante na tabela de coeficientes. Talvez isto ocorra por conta de interferência do PGP, maior componente do GCA, visto que as despesas correntes com mão de obra (docentes e técnicos administrativos) representam o maior montante das despesas correntes.

Novamente, assim como na análise de correlação os indicadores de eficácia educacional e condições da força de trabalho, RCA; IEAC; ITCD e RADTI, não foram significantes na análise de regressão. Estudos como os de Barbosa, Freire e Crisóstomo (2011), Corrêa (2013) e Boynard (2013), todos relacionados a universidades federais, apresentam a existência de relação entre estas variáveis e a variável de qualidade do ensino superior.

Para verificar o quão acurado é o Modelo 1 foram realizados testes de diagnóstico. Estes testes permitem avaliar se o modelo representa bem os dados analisados e se ele pode ser generalizado para outras amostras. Foram realizadas então as análises de resíduos (Teste Durbin-Watson) e de colinearidade entre as variáveis da amostra. Os resultados destas análises encontram-se no Apêndice D e revelaram que, conforme padrões estabelecidos7, não há presença de colinearidade, bem como resíduos significantes no modelo.

Diferentemente dos estudos analisados, as análises demonstraram que, no caso dos IFs, os indicadores de gestão do TCU apresentam pouca relação com a qualidade do ensino superior, aqui representado pelo IGC.