Medidas de Qualidade de Predição

Nesta secção pretende-se analisar o nível global de adequação do Modelo, comparando os valores estimados pelo Modelo com as observações reais de rating.

Para analisar a adequação do Modelo, realizam-se testes não só ao nível da amostra de construção, mas também ao nível da amostra de teste. A utilização das duas amostras permite aferir se o Modelo não está excessivamente ajustado à construção e ao mesmo tempo pouco ajustado às IF’s excluídas da amostra de construção.

Classificaram-se cada um dos registos das amostras de construção e teste utilizando a probabilidade de pertença P(1) como referido na secção anterior. Considerando os intervalos de classificação definidos, associa-se uma categoria de rating estimada a cada registo das

49 amostras. Comparam-se posteriormente as estimativas com os ratings efectivamente observados, calculando as percentagens de acerto, conforme se apresenta nas tabelas que se seguem:

Figura 17: Análise de acertos (amostra C)

17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 17 18 2 5 6 9 2 0 0 0 0 0 0 0 0 0 0 0 16 2 2 5 3 8 1 0 0 0 0 0 0 0 0 0 0 0 15 5 1 13 34 20 7 3 2 0 0 0 2 2 4 2 0 0 14 10 7 37 62 51 36 9 4 4 4 1 2 0 0 0 0 0 13 3 6 21 59 44 49 34 4 5 3 0 0 0 0 0 0 0 12 1 1 10 41 41 46 43 39 10 15 4 0 0 0 0 0 0 11 1 0 1 11 28 65 55 46 29 7 7 4 0 0 0 0 0 10 1 0 0 2 14 23 64 53 26 14 3 10 0 0 0 0 0 9 0 2 2 6 4 5 28 32 29 22 9 5 1 0 0 0 0 8 0 0 1 3 4 8 12 16 19 18 7 11 1 1 0 0 0 7 0 0 0 0 1 2 4 8 11 5 8 2 3 1 5 0 0 6 0 0 0 0 3 5 2 5 10 12 8 12 6 4 3 2 2 5 0 0 0 0 0 1 0 0 1 0 2 10 5 1 13 5 1 4 0 0 0 0 0 1 0 0 0 1 1 5 6 1 3 0 1 3 0 0 0 0 0 0 0 1 0 0 0 7 8 4 6 3 8 2 0 0 0 0 0 0 0 0 1 0 0 1 3 3 1 0 1 1 0 0 0 0 1 0 0 0 0 0 0 3 4 0 4 0 2 ESTIMADO -4 -3 -2 -1 0 1 2 3 4 1.9% 5.3% 11.8% 19.5% 20.6% 16.6% 12.5% 3.9% 3.5% Análise de Acertos 0 notch 20.58% <=1 notch 56.63% <=2 notch 80.96% <=3 notch 90.15% <=4 notch 95.60% Análise de Acertos

50 Figura 18: Análise de acertos (amostra T)

17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 17 9 1 0 1 3 0 0 0 0 0 0 0 0 0 0 0 0 16 3 0 0 6 5 0 0 0 0 0 0 0 0 0 0 0 0 15 2 0 1 14 7 3 3 1 1 0 0 1 0 0 0 0 0 14 3 4 15 24 15 8 5 3 2 3 1 0 0 0 0 0 0 13 3 6 9 25 10 20 10 6 1 1 1 0 0 0 0 0 0 12 3 1 6 18 17 26 12 9 7 7 2 2 0 0 0 0 0 11 1 0 1 9 8 26 26 20 7 6 0 3 0 0 0 0 0 10 1 0 0 1 6 9 16 22 10 6 2 4 0 0 0 0 0 9 0 0 1 2 2 5 17 14 15 11 2 2 1 1 0 0 0 8 0 0 0 0 0 3 8 8 7 4 4 6 1 0 0 0 0 7 0 0 0 0 1 2 4 0 6 2 1 4 1 0 2 0 0 6 0 0 0 0 0 0 2 1 1 7 2 8 4 1 3 1 2 5 0 0 0 0 0 0 0 0 0 1 2 4 1 4 5 2 1 4 0 0 0 0 0 0 0 0 0 0 3 6 1 0 3 1 2 3 0 0 0 0 0 0 0 0 0 0 0 0 2 1 2 1 1 2 0 0 0 0 0 0 0 0 0 0 0 0 1 2 0 0 0 1 1 0 0 0 0 0 0 0 0 0 1 1 4 1 1 0 0 ESTIMADO -4 -3 -2 -1 0 1 2 3 4 2.7% 6.6% 13.4% 17.6% 19.8% 16.3% 9.3% 6.0% 3.4% Análise de Acertos 0 notch 19.76% <=1 notch 53.71% <=2 notch 76.39% <=3 notch 88.99% <=4 notch 95.09% Análise de Acertos

O nível de acertos 1 é semelhante para ambas as amostras, o que indica que o Modelo não se encontra demasiado ajustado à amostra de estimação, e que é suficientemente adaptável à classificação de IF’s externas à construção do próprio Modelo.

O resultado do ajustamento é bastante satisfatório, sobretudo assumindo que o desfasamento de 3 ratings implica um nível de acerto de aproximadamente 90%, o que representa um grau de confiança aceitável para as estimativas realizadas, considerando a granularidade da estimativa.

51 Adicionalmente, toma-se como ponto de referência para a qualidade dos resultados a análise efectuada pela Fitch com base no seu modelo de classificação de rating – denominado

Equity Implied Rating and Probability of Default Model ou EIR. Nesse modelo, a Fitch utiliza

o valor de capital de entidades e informação financeira disponível sobre as mesmas, para criar um modelo de predição do rating, recorrendo a uma matriz de Hit-Miss-Match (HMM) para apresentar os resultados [17]. No relatório publicado pela Fitch sobre o EIR, é apresentado um teste à performance do Modelo [17, pág.17] com base na matriz HMM, cujos resultados se apresentam na figura seguinte:

Figura 19: Análise de acertos (Modelo Fitch EIR)

0 notch 19.40%

<=1 notch 51.30% <=2 notch 73.70%

Análise de Acertos Fitch - EIR model

Apesar da amostra utilizada pela Fitch ser significativamente diferente (foi considerado um universo mais abrangente de 20 indústrias, não apenas as Instituições Financeiras) e das diferenças nas especificações dos modelos, é interessante observar-se uma semelhança elevada entre os resultados. Em [17] refere-se ainda que não são expectáveis acertos a 100% e que, inclusivamente deverão existir diferenças entre o rating observado e o esperado. Apenas numa situação de mercado com perfeita informação seria expectável que o

rating estimado e observado coincidissem [17, pág.18]. Esta mesma conclusão é apontada em

[21] ao referir que as agências não têm capacidade de estimar o “verdadeiro score” devido à existência de assimetria de informação entre os responsáveis pelas entidades e as agências, quer por acesso limitado/restrito à informação existente (como seja informação contabilística incompleta [21]), quer por atrasos na observação dos factores de risco [22].

Para além deste exemplo com ratings da S&P, realizaram-se ainda outros que se apresentam no Apêndice, sobre os ratings das agências Moody’s e Fitch, e que demonstram um nível de qualidade da predição semelhante ao que se apresenta neste capítulo, como se pode observar na Figura 20:

52 Figura 20: Análise de acertos (Modelo Fitch EIR)

Acertos S&P Moodies Fitch S&P Moodies Fitch

0 notch 20.58% 20.25% 24.43% 19.76% 22.34% 21.75% <=1 notch 56.63% 55.95% 62.12% 53.71% 56.37% 58.85% <=2 notch 80.96% 79.47% 82.98% 76.39% 79.33% 79.74% <=3 notch 90.15% 89.19% 91.86% 88.99% 89.35% 89.77% <=4 notch 95.60% 94.28% 96.34% 95.09% 93.74% 94.67% Teste Construção

A motivação para a apresentação dos resultados utilizando as três agências é referida em [18, pág. 5], e relacionada com o facto de ser inadequado apresentar apenas o rating considerado como o mais conservador/pessimista (que seria a S&P de acordo com [18, pág. 12]) porque, não só descartaria a informação contida nas restantes fontes, como também a qualidade do crédito não se reflecte necessariamente no rating mais pessimista (caso contrário bastaria considerar esse mesmo rating [23, pág.46-53]).

Os resultados apresentados na figura anterior pressupõem a possibilidade de ajustar diferentes variáveis e coeficientes consoante o rating, que poderão ser distintos dependendo da agência de rating utilizada como base para definir o score. Esta heterogeneidade é abordada em [18], através da comparação de scores das três agências de rating (S&P, Ficth e Moody’s), com um modelo consensual que incorpora informação (o score) das três fontes de forma a obter um “rating mais informativo” [18, pág.2], e cuja base consiste numa média dos

ratings das três agências num determinado momento do tempo (denominado latent consensus score). Os resultados são bastante interessantes e mostram que o score obtido pela média das

observações é razoavelmente semelhante ao resultado obtido pelo consensus model [18, pág. 10, fig.1], exceptuando os casos de possível distorção por falta de classificação de algumas das três agências [18, pág. 6]. Uma vez que nesta Tese se ajustam as classificações das três agências na previsão do rating, uma simplificação que decorre directamente é a possibilidade de utilizar a média da predição obtida pelos três modelos (ou seja, a classificação resultante do ajustamento do rating para as três agências, cujos resultados se apresentam na Figura 20).

Note-se ainda que o trabalho apresentado em [18] assume o pressuposto de que os

ratings se encontram disponíveis em determinados momentos do tempo para possibilitar a

derivação de um rating consensual. Ora, este é precisamente o ponto de partida da presente Tese, em que se pretende classificar a qualidade creditícia de IF’s que não se encontram classificadas pelas agências de rating.

53 Por conseguinte, é pertinente observar que, os resultados apresentados nesta Tese, considerando as classificações obtidas para as três agências, poderiam constituir o ponto de partida para a posterior derivação de um rating consensual, com base no modelo apresentado em [18].