CAPÍTULO V. EXPERIMENTOS
5.3. AVALIAÇÃO DOS RESULTADOS! !128!
5.3.2. COMPLEXIDADE E COMPREENSIBILIDADE DOS MODELOS AJUSTADOS
ser ajustados por cada modelo. Para tal, manteve-se o número de atributos de entrada igual para todos os modelos. A Tabela 33 resume o número de parâmetros ajustados em cada modelo.
Tabela 33 - Número de parâmetros ajustados por modelos
Modelo Número de Parâmetros para Ajustar
LDA 4
ANFIS tradicional 34
Sistema proposto com variáveis contínuas 18 (24)* Sistema proposto com variáveis híbridas 12 (16)* * ajustando também os pesos das regras
De longe, o modelo ADL é mais parcimonioso. Contudo, seu ajuste obteve menor acurácia, e sua compreensibilidade sobre o sistema modelado é discutível se o usuário não tem bastante habilidade na área.
O modelo obtido pelo sistema ANFIS tradicional é o que precisou ajustar mais parâmetros. Os números entre parênteses significam o número de parâmetros a ajustar, caso seja permitido pelo usuário o ajuste de um peso diferente para cada regra do sistema fuzzy ajustado.
A utilização de uma variável categórica na modelagem fuzzy proposta faz com que o número de parâmetros a ajustar diminua. Isso porque as suas funções de pertinência não têm parâmetros para ajustar. Em termos de parcimônia, na escolha de variáveis, se a acurácia é semelhante, é melhor que as variáveis categóricas sejam escolhidas.
As medidas de compreensibilidade são difíceis de serem definidas, e a escolha de medidas adequadas de compreensibilidade ainda é um problema em aberto. As influências das variáveis de entrada sempre são levadas em consideração para se construírem modelos transparentes e interpretáveis; neste trabalho, tal fator – o número de variáveis de entrada – foi projetado para ser igual para todos os modelos. Portanto, a comparação entre os modelos, no que diz
respeito à compreensibilidade, será feita somente entre os dois tipos de modelagem: ANFIS tradicional e a modelagem proposta que compreende dois modelos.
Os experimentos realizados mantiveram dois fatores que influenciam na interpretabilidade dos sistemas fuzzy invariantes em todos os modelos fuzzy: o número de atributos de entrada e o número de funções de pertinência para cada variável. Para avaliar a compreensibilidade, os seguintes critérios foram escolhidos: distinguibilidade das funções de pertinência, o número de regras dos sistemas e a legibilidade das regras.
A distinguibilidade é um critério básico e essencial, pois, na partição do espaço de entrada para modelagem fuzzy interpretável, os conjuntos fuzzy devem definir claramente as faixas distintas do universo do discurso de uma variável, e cada função de pertinência deve ser distinta das outras o suficiente, de maneira que represente cada termo linguístico (por exemplo, alto, baixo) com um significado semântico claro.
O modelo de maior acurácia gerado pelo sistema ANFIS tradicional foi o obtido a partir da geração do sistema inicial por clustering subtrativo. Suas funções de pertinência das variáveis de entrada estão mostradas nas Figuras 48,49 e 50. Há uma clara perda da distinguibilidade, sendo difícil de atribuir rótulos linguísticos distintos, tais como alto e baixo, bem como significado semântico a esses conjuntos fuzzy. Estes conjuntos fuzzy quase indistinguíveis podem ser benéficos para o desempenho no treinamento, mas geralmente deterioram a qualidade de interpretabilidade do sistema fuzzy.
Figura 48 - Funções de pertinência relativas ao atributo endividamento do sistema ANFIS com
clustering subtrativo
Figura 49 - Funções de pertinência relativas ao atributo liquidez do sistema ANFIS com clustering
subtrativo 0.5 1 1.5 2 2.5 0 0.2 0.4 0.6 0.8 1 endividamento Gr a u d e P e rt in ê n c ia 2 4 6 8 10 12 14 0 0.2 0.4 0.6 0.8 1 liquidez Gr a u d e P e rt in ê n c ia
Figura 50 - Funções de pertinência relativas ao atributo ativo do sistema ANFIS com clustering
subtrativo
De acordo com uma regra de ouro conhecida na psicologia cognitiva, o número de diferentes entidades eficientemente armazenadas na memória de curto prazo não deve exceder o limite de 7 ± 2, Kennedy (1975). Esta observação sobre as limitações no processamento de informação dos humanos tem orientado a maioria das estratégias para problemas de segmentação, fatoração ou na Ciência da Computação e outros campos da ciência.
A falta de simplicidade da base de regras fuzzy pode dificultar o entendimento deste. Portanto, é recomendável que tanto o número regras quanto o número de antecedentes de cada regra seja o menor possível. Para melhora a legibilidade de uma regra o número de condições na parte da premissa da regra (antecedentes) não deveria exceder o limite de 7 ± 2 condições distintas.
Os sistemas gerados pela modelagem ANFIS tradicional ou tiveram funções de pertinência pouco distintas ou um número de regras que foi o dobro do sistema proposto, onde cada uma destas tinha três antecedentes em oposição às regras do sistema proposto que tem somente dois antecedentes para cada regra.
9 10 11 12 13 14 15 16 17 18 0 0.2 0.4 0.6 0.8 1 ativo Gr a u d e P e rt in ê n c ia
CAPÍTULO VI
CONCLUSÕES E RECOMENDAÇÕES!
PREVISÃO DE INSOLVÊNCIA
CAPÍTULO VI. CONCLUSÕES E RECOMENDAÇÕES
O objetivo deste trabalho foi encontrar um modelo de previsão de insolvência de empresas brasileiras, tendo em vista não apenas o desempenho do resultado da previsão, mas também a sua compreensibilidade, e assim contribuir com o avanço do conhecimento científico.
O trabalho permitiu concluir a relevância deste tipo de pesquisa empírica. Primeiro motivo, a viabilidade verificada de encontrarem-se modelos de previsão de insolvência equilibrados com as duas qualidades destacadas, acurácia e compreensibilidade. Segundo, a elevação do entendimento do fenômeno insolvência, através da incorporação de técnicas e ferramentas de alta tecnologia na sua análise. Terceiro, a possibilidade de estimular a intensificação do manuseio de modelos equilibrados, tanto na área acadêmica como no desenvolvimento de instrumentos capazes de contribuírem nas tomadas de decisão empresarial.
Para a adequada compreensão do trabalho, faz-se necessário explicitar as principais limitações encontradas ao longo da pesquisa.
Uma das limitações está relacionada ao macroambiente dos registros contábeis utilizados como fontes de dados da pesquisa. Decorrente da abertura econômica, iniciada nos anos 90, a legislação e o sistema financeiro encontravam- se, e ainda se encontram, em fase de adaptação às regras do mercado internacional. A busca de padrão internacional provocou mudanças constantes nas leis e regulamentos da contabilidade das empresas listadas na bolsa de valores brasileira, o que causou problemas na geração dos indicadores financeiros selecionados como base de dados.
Outra limitação está relacionada à forma de financiamento dos investimentos privados no Brasil. A política de ter-se um investimento fortemente financiado pelo Estado, através dos bancos federais de desenvolvimentos, principalmente do BNDES (Banco Nacional de Desenvolvimento), inibe o desenvolvimento da bolsa de valores brasileira, acarretando no reduzido universo de seiscentas e trinta e oito empresas listadas na bolsa. Em consequência das limitações, houve reduzida geração de dados, formada por dezesseis indicadores financeiros. Depois da
necessária limpeza, optou-se por uma amostra desbalanceada de duzentas e cinquenta e quatro firmas, quarenta e três classificadas como insolventes e duzentas e onze como solventes, pertencentes a treze indústrias diferentes.
O tamanho da amostra e o seu desbalanceamento impuseram cuidados que conduziram a pesquisa. Como exemplo, as diferenças significativas entre as dimensões das empresas estavam realçadas pelo tamanho da amostra. Empresas pertencentes a dezesseis diferentes indústrias e suas características peculiares de mercado, como nível de concentração, mais ou menos monopolista, controle acionário, com maior ou menor participação do estado. As soluções estão expostas ao longo da pesquisa:
• Com objetivo de homogeneizar a amostra, foram expurgadas empresas do setor financeiro, assim como as empresas muito grandes e monopolistas, como a Petrobras e a Vale do Rio Doce.
• Para o controle das diferenças naturais das dimensões das empresas, foi incluída, na base de dados, uma variável, log (total do ativo), com o rótulo “TAM”.
• A importância do tipo de indústria foi testada através da inclusão de uma variável categórica, com o rótulo “SETOR”.
• Para a questão específica do desbalanceamento da amostra, foi utilizada a técnica de superamostragem.
Para adequar-se a complexidade dos modelos com o tamanho e a qualidade da amostra disponível, o número de atributos, ou variáveis de entrada, restringiu-se à seleção dos mais significativos. Para isso, empregou-se uma metodologia para o modelo de Análise Discriminante Linear e outra para as modelagens de sistemas Fuzzy, não lineares. A variável categórica SETOR, citada acima, foi utilizada em uma das modelagens baseadas em árvore, para gerar um sistema fuzzy híbrido.
A seleção de variáveis foi efetuada de acordo com o tipo de modelagem: linear ou não linear, e experimentos com os dados balanceados e não balanceados. No que diz respeito à seleção das variáveis, os resultados foram iguais.
Para o modelo linear, a melhor seleção foi efetuada através do T-teste: CAP.VENDA, LIQSEC e TAM. A metodologia tree bagging, utilizada para a seleção
dos atributos fuzzy, apresentou os resultados ENDIV, LIQSEC E TAM, modelos de variáveis contínuas, e ENDIV, LIQSEC e SETOR, modelo de variáveis híbridas.
O resultado da seleção dos atributos mais significativos confirmou a importância de controlar na pesquisa o tamanho das empresas e a indústria que a empresas se situam, como preditores de insolvência. Verificou-se a seleção do atributo que representa a dimensão da empresa, tanto no modelo linear como nos modelos não lineares, quando a amostra é formada exclusivamente de variáveis contínuas. Quando é incluído o atributo qualitativo que representa a indústria este substitui a dimensão da empresa na importância. Conforme a literatura e os resultados aqui dimensionados, o destaque do atributo que mede a liquidez participou da seleção dos mais significativos em todos os modelos; no modelo linear, é apresentado de duas formas: uma absoluta, pelo atributo LIQSEQ, e a forma relativa, pela CAP.VENDA. Realçou-se a importância de a empresa possuir capacidade de saldar dívidas no curto prazo. Nos modelos não lineares, além da liquidez, foi destacado, conforme a literatura também, o nível de endividamento como preditor. Nível de endividamento e liquidez são assuntos centrais na literatura que trata de saúde financeira empresarial.
Dos atributos selecionados foram desenvolvidos quatro modelos: o modelo linear ADL e três tipos de sistemas fuzzy – o modelo baseado em árvore de decisão, somente com variáveis contínuas de entrada; o proposto com variáveis contínuas e uma variável categórica; e o sistema ANFIS tradicional. Para todos os tipos foram gerados modelos com os dados balanceados e com os dados originais.
No modelo ADL, o melhor ajuste foi o realizado com os dados balanceados, em todos os aspectos, e pode ser descrito pela equação: 7,2523 (CAP.VENDA) + 0,1988 (LIQSEC) + 0,9201 (TAM) -11,6634 > 0. O resultado do ajuste da ADL evidencia a importância relativa do volume do capital de giro dado o nível de vendas na previsão de insolvência, isto é, a capacidade de pagamento das dívidas no curto prazo, a cada nível de venda.
Para os modelos fuzzy foram também gerados modelos com os dados balanceados e com os dados originais. Contudo, quando testados os modelos com os dados originais, foram encontrados os mesmos resultados em relação à acurácia
para os modelos gerados a partir dos dados balanceados e a partir dos dados originais.
O sistema neurofuzzy tradicional, tipo Sugeno, apresentou como saída um conjunto de funções constantes, três variáveis de entrada (endividamento, liquidez e dimensão da empresa) e oito regras geradas automaticamente, por meio da combinação de todas as entradas. As regras repetiram a importância combinada da liquidez, da dimensão da empresa e do nível de endividamento.
As quatro regras extraídas no sistema baseado em árvore fuzzy com atributos contínuos, através da função de pertinência, na forma bell-shaped, ressaltaram o risco de insolvência para as empresas de baixa liquidez, mesmo em condições de endividamento baixo, e ressaltaram também a importância da dimensão da empresa. As regras geradas automaticamente mostraram que o risco de insolvência é diferenciado para empresas alavancadas por dívidas. Empresas com dimensões elevadas suportam melhor os efeitos da dívida do que as menores.
No modelo híbrido, o atributo que representa a dimensão da empresa foi substituído pelo atributo qualitativo setor. Neste modelo, as regras geradas automaticamente mantiveram a importância da capacidade de pagamento das dívidas de curto prazo, representado pela liquidez.
As regras demonstraram também a interessante característica das empresas brasileiras de capital aberto, no período da pesquisa. A variável categórica Setor foi modelada em dois grupos: o primeiro grupo englobou os setores Eletroeletrônicos, Energia Elétrica, Química e Telecomunicações, e o outro grupo, os setores restantes: Alimentos e Bebidas, Comércio, Construção, Máquinas Industriais, Siderurgia e Metalurgia, Têxtil, Transporte e Serviços, Veículos e Peças. O modelo identificou que as empresas do primeiro grupo oferecem menor risco de insolvência, mesmo quando alavancadas por dívidas. Interessante porque, exceto o setor de Eletroeletrônicos, mesmo assim fortemente cartelizado, os demais setores são formados por empresas privatizadas e que ainda possuem, em seu corpo de acionistas, grande participação dos fundos de pensão das estatais e fundos do governo.
Foram utilizados critérios para avaliarem-se os modelos gerados neste trabalho: a acurácia, a parcimônia e a compreensibilidade. A acurácia, o critério de
avaliação mais utilizado, pode ser avaliada pelos erros gerados pelos modelos. A parcimônia diz respeito à complexidade do modelo e pode ser avaliada através do número de parâmetros do modelo que devem ser ajustados. Como o número de entradas foi o mesmo, a compreensibilidade dos sistemas fuzzy foi avaliada pelo número de regras do sistema e o número de antecedentes de cada regra.
A Tabela 34 resume os resultados alcançados para as duas qualidades. Como o modelo com variáveis híbridas teve resultados muito semelhantes em acurácia ao do modelo proposto com variáveis contínuas. Serão analisadas as versões com e sem balanceamento dos diversos modelos.
Tabela 34 - Resumo dos resultados alcançados na pesquisa
Modelo Acurácia total Balanceados Acurácia total Desbalanceados Interpretabilidade Nº Regras Nº Antecedentes por regra ADL 87,4% 87% - - ANFIS 89% 92% 8 3 Árvore Fuzzy 93% 93% 4 2
Para avaliar a acurácia, foram comparados os resultados do sistema proposto com o resultado do modelo tradicional ADL. Foi verificado, pela Tabela 34, a superioridade da acurácia do sistema proposto de 93%, enquanto a acurácia do modelo ADL, 87,4%.
Para avaliar-se a compreensibilidade, foram comparados o sistema proposto com o modelo neurofuzzy tradicional ANFIS; para tanto, destacaram-se os critérios da distinguibilidade das funções de pertinência, o número de regras dos sistemas e a legibilidade das regras.
Os sistemas gerados pela modelagem ANFIS tradicional tiveram funções de pertinência pouco distintas e, conforme Tabela 34, o número de regras foi o dobro do sistema proposto, onde cada uma delas apresentaram três antecedentes, em oposição às regras do sistema proposto com somente dois antecedentes para cada regra. Pode-se, por esses critérios, verificar a superioridade do sistema proposto em relação ao sistema ANFIS.
Portanto, com o auxilio dos recursos computacionais, pode-se concluir por: • a elevada acurácia dos modelos de previsão não lineares fuzzy, pois
todos os três modelos fuzzzy se apresentaram superiores ao tradicional modelo linear ADL;
• a elevação da interpretabilidade, pois o modelo proposto mostrou-se superior ao modelo tradicional ANFIS, ao verificar o resultado apresentado na geração de regras automáticas;
• a importância, na pesquisa acadêmica, da utilização de modelos de previsão construídos através do aproveitamento em conjunto da técnica árvore de decisão tradicional e das que utilizam a lógica fuzzy. As sugestões propostas para futuras pesquisas decorrem dos resultados alcançados neste trabalho. Considera-se que as sugestões podem trazer novas evidências para o estudo de previsão em insolvência. O aprofundamento de estudos que gerem regras automáticas por modelos baseados na lógica fuzzy é um caminho natural para encontrar o maior equilíbrio entre acurácia e interpretabilidade dos futuros modelos, principalmente quando são utilizadas em conjunto com outras técnicas, assim como identificar atributos qualitativos que, ao serem incorporados à base numérica, elevem a compreensão do fenômeno, como, por exemplo, a composição do corpo acionário das empresas em estudo.
REFERÊNCIAS
!
PREVISÃO DE INSOLVÊNCIA
REFERÊNCIAS
AGARWAL, V.; TAFFLER, R. (2008). Comparing the performance of market-based
and accounting-based bankruptcy prediction models. Journal of Banking &
Finance, Vol. 32, 8, 1541-1551.
ALEXANDER, S.; PERLICH, R.; PERLICH, C. (2007). A market-based framework for
bankruptcy prediction. Journal of Financial Stability, Vol.3, 2, 85-131.
ALTMAN, E.I. (1968). Financial ratios discriminant: analysis and the prediction of
corporate bankruptcy. Journal of Finance, 23, 589-609.
ALTMAN, E.I.; RESTI, A.; SIRONI, A. (2005). The link between default and recovery
rates: theory, empirical evidence, and implications. Journal of Business, vol.
78, 6.
ARLOT, Sylvain; CELISSE, Alain. (2010). A survey of cross-validation procedures for
model selection. Statistics Surveys, Vol. 4, 40-79.
BALDWIN, J.F. (1979). A new approach to approximate reasoning using a fuzzy
logic. Fuzzy Sets and Systems, Vol 2:309-325.
BANDYOPADHYAY, A. (2006). Predicting probability of default of Indian corporate
bonds: logistic and Z-score model approaches. The Journal of Risk Finance,
Vol.7 Issue: 3, 255 – 272.
BARBALHO, V.M. de S. (2001). Sistemas baseados em conhecimento e lógica
difusa para simulação do processo chuva-vazão. Tese (Doutorado em
Engenharia Civil). Faculdade de Engenharia Civil, Universidade Federal do Rio de Janeiro, Rio de Janeiro, Brasil.
BATISTA, G.E.A.P.A.; PRATI, R. C.; MONARD, M.C. (2004). A study of the behavior of several methods for balancing machine learning training data. SIGKDD Explorations, 6(1).
BAXTER, R.A.; GAWLER, M.; RUSSEL, A. (2007). Predictive model of insolvency
risk for Australian corporations. ACM International Conference Proceeding
BEAVER, W.H. (1966). Financial ratios as predictors of failure. Journal of Accounting Research 4 (supplement), 71-111.
BELMANN, R.E. & ZADEH, L.A. (1970). Decision making in a fuzzy environment. Management Science, Vol. 17: 141-164.
BLUM, M. (1974). Failing company discriminant analysis. Journal of Accounting Research, Vol. 12, 1-25.
BOX, G.E.P. (1953). Non-normality and tests on variances. Biometrika (Biometrika
Trust) 40 (3/4): 318–335.
BRASIL. Consolidação da Lei das Sociedades por Ações. Decreto-lei no. 6.404, de 15 de dezembro de 1976. Rege contabilmente as Sociedades AnônimasBREIMAN, L. (1996).
BREIMAN, L. (1996). Bagging predictors. Mach Learn 24:123–40.
BRIGHAM, J.E.; NESTON, J. F. Fundamentos da administração financeira. Ed. 10. São Paulo: Pearson, 2000.
CANNONE, R.; CASTIELLO, C.; MENCAR, C.; FANELLI, A.M. (2009). A study on interpretability conditions for fuzzy rule-based classifiers. Ninth International
Conference on Intelligent Systems Design and Applications. 438-443.
CHAKRABORTY, S.; SHARMA, S.K. (2007). Prediction of corporate financial health
by Artificial Neural Network. International Journal of Electronic Finance, Vol
1,4, 442-459.
CHAWLA, N.V. (2003). C4.5 and imbalanced data sets: investigating the effect of
sampling method, probabilistic estimate, and decision tree structure. ICML
Workshop on Learning from Imbalanced Data sets, Washington, DC.
CHAWLA, N.V.; BOWYER, K.W.; HALL, L.O.; KEGELMEYER, W.P. (2002). SMOTE:
synthetic minority oversampling technique. Journal of Artificial Intelligence
Research, 16:321–357.
CHEN, H.; HUAND, S. Y.; LIN, C. S.(2009). Alternative diagnosis of corporate
bankruptcy: A neuro fuzzy approach. Expert Systems with Applications, v. 36,
CLARK, T. A.; WEINSTEIN, M. I. (1983). The behavior of the common stock of
bankrupt firms. Journal of Finance, 38, 489-504.
DEAKIN, E. B. (1972). A discriminant analysis of: predictors of business failure. Journal of Accounting Research, 10, 167-179.
DIETTERICH, T. (2000). An empirical comparison of three methods for constructing
ensembles of decision trees: bagging, boosting and randomization. Machine Learning, 40(2): 139-157.
DRUMMOND, C.; HOLTE, R. (2003). C4.5, class imbalance, and cost sensitivity:
why undersampling beats over-sampling. Proceedings of the ICML’03
Workshop on Learning from Imbalanced Data Sets.
EDMISTER, R.O. (1972). An empirical test of financial ratio: analysis for small
business failure prediction. Journal of Financial and Quantitative Analysis, 7,
1477-1493.
EISENBEIS, R. A. (1977). Pitfalls in the application of discriminant analysis: in
business finance and economics. Journal of Finance, 32, 875-900.
FALAVIGNA, G. (2008). New contents and perspectives in the risk analysis of
enterprises. International Journal of Business Performance Management. Vol.
10,2,136-173
FANTAZZINI, D.; FIGINI, S.B. (2009). Default forecasting for small-medium
enterprises: does heterogeneity matter? International Journal of Risk
Assessment and Management. Vol.11, 1, 138-163.
FLECHER, D.; GOSS, E. (1993). Forecasting with neural networks-an application
using bankruptcy data, information and management, International Journal of
Risk Assessment and Management. Vol. 24, 159-167.
FORTUNA, E. Mercado financeiro: produtos e serviços. Ed. 11. Rio de Janeiro: Qualitymank, 2010
GITMAN, L.J. Princípios de Administração Financeira. Ed. 12. São Paulo: Pearson, 2010
GUO, H.; VIKTOR, H. L. (2004). Learning from imbalanced data sets with boosting
HAIR, J.F.; BLACK, W.; TATHAM, R.L.; ANDERSON, R. R. Multivariate Data
Analysis. Ed. 5. New York: Prentice Hall PTR,1998.
HART, P. E. (1968). The condensed nearest neighbor rule. IEEE Transactions on Information Theory, 14:515–516.
HE, Y.; KAMATH, R. (2005). Bankruptcy prediction of small firms: in individual
industries with the help of mixed industry models. Asia-Pacific Journal of Accounting & Economics, 12 (1), 19-36.
HENSHER, D.A.; STWART, J. (2007). Forecasting corporate bankruptcy: optimizing
the performance of the mixed logit model. Abacus, Vol. 43, 3, 241-364.
HSIAO, S.; WHANG, T. (2009). A study of financial insolvency prediction model for
life insurers. Expert Systems with Applications, Vol.36, 3, 6100-6107.
HUA, Z.; WANG, Y.; XU, X.; ZHANG, B.; LIANG, L. (2007). Predicting corporate