1 Adequação das Técnicas de Validação dos Modelos de Probabilidade de Default em
Carteiras Simuladas
Fábio Yasuhiro Tsukahara – Mestrando em Administração de Empresas Universidade Presbiteriana Mackenzie
fabioyat@gmail.com
Herbert Kimura – Doutor em Administração de Empresas Universidade Presbiteriana Mackenzie
herbert.kimura@mackenzie.com
Resumo
O acordo de Basiléia II exige que as instituições financeiras realizem a validação dos modelos desenvolvidos internamente, antes de utilizá-las para mensuração de risco, gestão e alocação de capital. Com isso o desenvolvimento de técnicas para validação de modelos de riscos tem ganhado importância nos últimos anos tanto no âmbito acadêmico quanto no mercado financeiro. Este estudo tem como finalidade avaliar algumas das principais técnicas utilizadas para mensuração da capacidade discriminante dos modelos de probabilidade de default, ou seja, avaliar as técnicas que mensuram se os modelos discriminam de forma eficiente, bons e maus pagadores. Foram avaliadas desde técnicas mais tradicionais como Kolmogorov-Smirnov, Accuracy Ratio e área sobre a curva ROC, até técnicas mais recentes como Conditional Information Entropy Ratio e Information Value. Para realização da avaliação foram utilizadas carteiras simuladas com distribuição normal de bons e maus pagadores e carteiras simuladas com distribuição normal de bons pagadores e bimodal para maus pagadores. A vantagem em se utilizar este tipo de carteira é que elas permitem simular um grande número de situações distintas, o que seria muito complexo utilizando carteiras reais. A partir deste estudo será possível entender as limitações das metodologias de validação dos modelos de probabilidade de default que foram analisadas e identificar as melhores técnicas a serem utilizadas para os diferentes tipos de carteira.
Palavras-Chave: Validação de modelos, Probabilidade de default e Modelos de Crédito Área Temática: Finanças corporativas e Mercado Financeiro
1. Introdução
A atividade de crédito no Brasil obteve uma grande evolução nos últimos anos. Desde 2006 as operações de crédito passaram de pouco mais de 500 bilhões (cerca de 28% do PIB) para 2,03 trilhões de reais no final de 2011 (cerca de 59% do PIB), segundo dados do BACEN. No entanto, esse percentual ainda é baixo quando comparado a outros países como Estados Unidos, Chile ou outros países da Europa, e mostra a possibilidade de um crescimento contínuo nos próximos anos.
aumento dos riscos, podendo, em casos extremos, comprometer a estabilidade do sistema financeiro. Crises econômicas, como a de 2008, por exemplo, geram a necessidade de uma maior controle das instituições financeiras, maior regulamentação do setor bancário por parte dos supervisores e o desenvolvimento de modelos para gestão de riscos. O acordo de Basiléia II é um exemplo da preocupação de entidades reguladoras em se manter a solidez do sistema financeiro internacional, gerada por inúmeras crises vivenciadas.
Basiléia II permitirá aos bancos o desenvolvimento de modelos internos para mensuração de riscos. No entanto, o acordo também exige a criação de uma área que realize a validação dos modelos de riscos para verificar, de forma qualitativa e quantitativa, a performance destes e sua aderência com a instituição. Stein (2007) afirma que o processo de validação é de grande importância, pois possibilita que os benefícios gerados pela utilização de modelos de riscos sejam obtidos em sua totalidade. Porém, validar de forma efetiva os modelos de risco ainda é um grande desafio, pois se trata de um aspecto recente para a regulamentação bancária e as metodologias estão em fase de desenvolvimento.
Com relação a metodologia para estimação dos parâmetros de risco de crédito, os modelos de probabilidade de default (PD) são, segundo BSBC (2005), os que possuem uma metodologia de validação mais desenvolvida. Tasche (2006) separa o processo de validação de performance desses modelos em duas partes, capacidade discriminante e calibração. Na primeira delas, é feita a avaliação o desempenho do modelo em separar bons e maus pagadores ao longo das faixas de risco e na segunda delas, é avaliada a acurácia das probabilidades estimadas pelo modelo.
Para elaboração deste trabalho foi realizado um levantamento dos testes utilizados para avaliação da capacidade discriminante do modelo através de diversos estudos sobre este assunto. As metodologias levantadas variam desde testes mais clássicos como Kolmogorov-Smirnov e Accuracy Ratio até alguns mais recentes como CIER e Information Value.
O objetivo do trabalho é avaliar a adequação dos testes levantados em diferentes situações para verificar a existência de casos em que alguns testes avaliam melhor o desempenho do modelo do que outros.
Essa avaliação será feita a partir da aplicação dos testes em amostras simuladas e não em dados de mercado, pois tais amostras possibilitam que suas características sejam alteradas e consequentemente, a criação de diferentes situações. As amostras serão criadas através da técnica de simulação de Monte Carlo. Serão simuladas carteiras onde a distribuições de bons e maus pagadores possuí comportamento normal ao longo de uma régua de score e carteiras onde a distribuição de bons pagadores é normal mas a distribuição de maus pagadores possuí comportamento bimodal.
2. Fundamentação
Nos últimos anos houve um avanço expressivo no desenvolvimento de metodologias para mensuração da capacidade discriminante dos modelos de probabilidade de default.
Nesta seção, serão apresentados algumas dessas metodologias que foram obtidas através dos trabalhos de Soberhart et al (2000), Engelmann et al (2003), Tasche (2006), Keenan e Sobehart (1999), Ostrowski e Reichling (2011) e Joseph (2005). Os testes apresentados serão:
Curva CAP e Accuracy Ratio
Curva ROC, Área sob a curva ROC e Pietra Index
Conditional Information Entropy Ratio (CIER) e a distância de Kullback Liebler Kolmogorov-Smirnov
3 2.1. Curva CAP e Accuracy Ratio
Segundo Soberhart et al (2001), para construção da curva CAP, as contrapartes devem estar ordenadas a partir do score estimado pelo modelo. Segundo os autores, essa ordenação deve ser feita do score com mais risco para o score com menos risco. Uma vez ordenado é possível estabelecer para uma dada fração de companhias, a fração de defaults correspondentes. Calculando-se essas frações para todas as contrapartes, a curva CAP é obtida através de um gráfico de fração das contrapartes em default versus fração de contrapartes.
Na figura 1 temos uma ilustração da curva CAP para um modelo real, um modelo randômico e um modelo perfeito.
Considerando aR a área entre a curva do modelo real e a curva do modelo randômico e
aP a área entre a curva do modelo perfeito e a curva do modelo randômico, Engelmann et al
(2003) determina o accuracy ratio como sendo:
(1) Quanto mais perto de um for o accuracy ratio maior é a capacidade discriminante do modelo.
2.2. Curva ROC, Área sob a curva ROC e PietraÍndex
A construção da curva ROC está relacionada com a distribuição das frequências dos eventos de default e não default. A figura abaixo ilustra a distribuição dos eventos de inadimplência e adimplência para os scores de um determinado modelo.
O score C destacado na figura 2 é um score arbitrário que separa as contrapartes com scores menores do que C como inadimplentes potenciais e scores maiores do que C como adimplentes.
Tasche (2006) define a função hit rate, HR(C), sendo,
(2)
onde H(C) é o número de inadimplentes com score menor do que C e ND é o número total de
inadimplentes. A função false alarm rate, FAR(C), é definida como,
(3)
onde F(C) é o número de adimplentes com score menor do que C e NND é o número total de
adimplentes.
Uma vez estabelecidas as funções FAR(C) e HR(C) para todos os possíveis valores de C, a curva ROC é o gráfico de HR(C) versus FAR(C). A Figura abaixo ilustra a curva ROC para um modelo real, um modelo perfeito e um modelo randômico.
Segundo Engelmann et al (2003) quanto maior for a área sobre a curva ROC do modelo melhor é o desempenho do modelo, um modelo perfeito tem área sobre a curva ROC igual a um. A área pode ser calculada como:
(4)
5
Outro índice bastante utilizado é Pietra Index cuja interpretação geométrica dada por Tasche (2006) é a metade da menor distância entre a curva ROC e a diagonal (ROC para um modelo randômico). Matematicamente, o Pietra Index é dado por:
(5)
2.3. Conditional Information Entropy Ratio (CIER) e a distância KL
Seja x uma variável que pode assumir os valores discretos (x1,x2,...,xn-1,xn) com as
respectivas probabilidades (p1,p2,...pn-1,pn). Com o intuito de encontrar uma função que
representasse a incerteza de uma distribuição de probabilidade, Jaynes (1957) propõe uma
função de entropia da informação H(p1,p2,...pn-1,pn) que satisfaz as seguintes condições de
consistência:
1. H é função continua em pi.
2. Se todos os pi forem iguais, a quantidade A(n) =H(1/n, 1/n,..., 1/n, 1/n) é função monotônica crescente de n.
3. Lei da composição. Seja (p1,...pj,pj+1,...pj+k,...) o vetor formado pelas probabilidades
pi correspondente aos valores xi. É possível agrupar as j primeiras probabilidades
em v1, tal que v1 = p1 +p2 + ... pj. Posteriormente, pode-se agrupar as próximas k
probabilidades em v2 e assim sucessivamente de modo a se ter um novo vetor de
probabilidades (v1, v2,.... vr). Definindo-se as probabilidades condicionais dos
eventos (x1,x2,...,xj-1,xj) como (p1|v1, p2|v1,..., pj|v1), a lei da composição afirma que: (6
)
Jaynes (1957), mostra que a solução para essas condições é dada por:
(7)
Onde K é uma constante positiva.
Keenan e Sobehart (1999) definem a medida H0(p) como sendo a entropia para um
evento binário onde p é a taxa de default da amostra. Matematicamente, H0(p) é dado por:
(8)
A partir do modelo, é possível estabelecer proporções de default (p1,p2,...,pn) para os n
ratings do modelo. A entropia da informação condicionada ao i-ésimo rating é dado por: (9) A média ponderada das entropias condicionadas aos ratings é dada por:
Onde P(Ri) é a proporção do i-ésimo rating.
Sobehart et al. (2000) definem a medida de CIER como sendo:
(11) O numerador da expressão é definido como distância de Kullback Leibler Tasche (2006).
(12)
2.4. Kolmogorov-Smirnov
Lilliefors (1967) descreve o procedimento para testar, através da utilização do KS, se um conjunto de N observações deriva de uma distribuição normal. O autor apresenta um teste de hipótese para a medida D que é calculada através da equação:
(13)
Onde é a função distribuição acumulada da amostra e é a função
distribuição acumulada normal com média e variância igual a da amostra.
Para validação dos modelos de risco de crédito, o objetivo não é analisar a normalidade de uma distribuição e sim verificar se o modelo consegue discriminar defaults e não defaults. Para isso pode-se utilizar, conforme descrito em Joseph (2005), o KS como sendo a maior distância entre a distribuição acumulada de defaults e não defaults. Nesse caso o KS será dado por:
(14)
Onde é a função distribuição acumulada dos casos de default, a função
distribuição acumulada dos casos de não default e é o score do i-ésimo rating.
2.5. Information Value
Segundo Tasche (2006), o information value(IV) mensura o quanto os eventos de default e não defaults estão distribuídos de forma diferente ao logo dos ratings. Sendo o
score do i-ésimo rating, a proporção de defaults do i-ésimo rating e a
proporção de não defaults do i-ésimo rating, Joseph (2005) apresenta o IV como sendo:
(15) Segundo Tasche (WP 14), valores altos de Information Value indicam alta capacidade discriminante.
2.6. Estudos e testes sobre a validação dos modelos de PD
Embora o processo de validação dos modelos de risco de crédito exigido por Basiléia II seja algo relativamente recente para o mercado financeiro global, alguns estudos sobre as técnicas de mensuração de performance de modelos já haviam sido publicados anteriormente.
7
Cumulative Accuracy Profile (CAP) Accuracy Ratio (AR)
Conditional Information Entropy Ratio (CIER) Mutual Information Entropy (MIE)
Utilizando dados de 9.000 empresas públicas no período de 1989-1999 que continham 530 eventos de default, os autores aplicaram os seguintes modelos preditivos de default:
Modelo univariável baseado no retorno sobre os ativos. Z-Score proposto por Altman (1968)
Hazard Model Bankruptcy proposto por Shumway (1998). Modelo baseado no modelo de Merton (1974)
Modelo de regressão não linear baseado em informações de mercado e financeiras, Sobehart et al (2000).
Aplicando os testes de desempenho nos modelos acima, os autores puderam concluir que os testes são eficazes e mensuram aspectos distintos do modelo. A curva CAP e o accuracy ratio, medem a capacidade discriminante na previsão de default. CIER e MIE avaliam se modelos distintos interagem adicionando informações ou são redundantes.
Com base no estudo de radiologia diagnóstica de Hanley e McNeil (1982), Engelmann et al (2003) apresentam a técnica Receiver Operator Characteristic (ROC) explicando sua utilização no contexto de validação dos modelos de rating. A curva ROC possui conceito bastante similar a curva CAP e o artigo mostra a existência de uma relação simples entre o accuracy ratio, extraído da curva CAP, e a área sobre a curva ROC (AUROC), esta relação é dada por:
(16) Os autores, baseados em Bamber (1975),também apresentam uma metodologia que possibilita estimar os intervalos de confiança para o valor da área sobre a curva ROC.
Como forma de ilustrar a aplicação prática da técnica proposta, Engelmann et al (2003) calculam a AUROC nos resultados obtidos a partir dos modelos Z-Score e Logit-Score. Para essa aplicação, foi utilizada uma base contendo dados de 325.000 balanços e 3000 eventos de defaults entre os anos de 1987 e 1999. Todos os dados eram de empresas de pequeno e médio porte. Para calibração do modelo, foram utilizados os dados de 1987 a 1993 (125.000 balanços e 2175 defaults), sendo que o restante dos dados foi utilizado para a construção das curvas ROC. Dessa forma pode-se obter uma amostra fora do tempo (out of time) que segundo Soberhart et al (2001), possibilita a identificação de dependências temporais.
Karakoulas (2004) também utiliza a área sobre a curva ROC para apresentar uma metodologia de validação dos modelos de Credit Scoring e PD para o segmento de varejo e pequenas empresas. O autor também argumenta que a estatística KS possuí a limitação de não fazer referência de onde ocorre o ponto de máxima distância e que o AUROC é mais genérico com relação a esse ponto e, portanto, melhor.
Segundo Ostrowski e Reichling (2011) as medidas de AR e AUROC podem, em determinadas situações, conduzir a conclusões errôneas e fazendo com que modelos de baixa performance tenham medidas boas para esses indicadores. Essa observação está de acordo com Engelmann (2006) onde o autor afirma que se a distribuição dos eventos de default for bimodal, um modelo perfeito pode ter uma AUROC igual a de um modelo randômico (figura 2,8 e 2.9).
3. Metodologia
Foram utilizadas duas metodologias para aplicação dos testes de validação. A primeira delas assume que as populações de bons e maus possuem distribuições normais ao longo do score. A segunda assume que a distribuição dos maus pagadores é bimodal. Nesta última foram utilizadas duas distribuições normais para compor a distribuição de maus pagadores, sendo que uma dela possuía score médio menor do que a população de bons e a outra possuía score médio maior do que a população de bons pagadores.
Em ambas as metodologias foi utilizada uma régua de score com valores entre 0 e 10 e carteiras contendo 30.000 indivíduos. Para aplicação dos testes de CIER, Kullback Liebler e Information Value, os scores foram ordenados e foram construídos 10 grupos com mesma
Figura 2.8: Exemplo de distribuição bimodal. Baseado em Engelmann (2006)
9
quantidade de indivíduos, sendo assim, o primeiro grupo possuía os indivíduos com scores mais baixos e o último grupo possuía os indivíduos com scores mais altos.
3.1. Distribuições normais de bons e maus pagadores
Nesta metodologia, foi utilizado o pressuposto que tanto a distribuição dos maus pagadores quanto a distribuição dos bons pagadores possuem distribuições normais. Neste estudo foram utilizados diferentes valores para as médias de score dos bons e maus pagadores e desvio padrão das distribuições em cada uma das carteiras simuladas.
O procedimento utilizado para construção da carteira foi:
1. Classificação aleatória dos indivíduos da carteira em bons e maus pagadores. Neste estudo a probabilidade de um indivíduo ser classificado como mau pagador foi 10%.
2. Determinação do score médio da distribuição de bons pagadores, score médio da distribuição de maus pagadores e desvio padrão de ambas as distribuições.
3. Atribuição de um score para cada indivíduo utilizando a técnica de simulação de Monte Carlo.
Finalmente foram aplicadas a cada uma das carteiras as técnicas de validação de modelos KS, AR, AUROC, Pietra_Index, CIER, KL e Information Value.
3.2. Distribuições bimodal de maus pagadores
Assim como a metodologia anterior, esta também assume que a distribuição dos bons pagadores possuí distribuição normal, no entanto a distribuição dos maus pagadores possuí comportamento bimodal. Para simulação do comportamento bimodal, a distribuição de maus pagadores foi composta de uma mistura de duas distribuições normais, sendo que uma delas (distribuição M1) possui média de score menor que a média de bons pagadores e a outra (distribuição M2) possuí média de score maior que a de bons pagadores.
Para todas as carteiras simuladas a distribuição de bons pagadores possuía média de score 5 e o desvio de todas as distribuições tinha valor igual a 1.
O procedimento utilizado para construção da carteira foi:
1. Classificação aleatória dos indivíduos da carteira em bons e maus pagadores. Neste estudo a probabilidade de um indivíduo ser classificado como mau pagador foi 10%. Nos casos em que o indivíduo foi classificado como mal pagador uma segunda classificação aleatória foi realizada para decidir se este pertenceria a distribuição M1 ou a distribuição M2.
2. Determinação do score médio das distribuições M1 e M2.
3. Atribuição de um score para cada indivíduo utilizando a técnica de simulação de Monte Carlo.
Finalmente foram aplicadas a cada uma das carteiras as técnicas de validação de modelos KS, AR, AUROC, Pietra_Index, CIER, KL e Information Value.
Para a metodologia que utiliza distribuições normais para bons e maus pagadores, foram simuladas 15 carteiras com 30.000 indivíduos cada. Os parâmetros que variavam entre as carteiras eram os desvios e as médias das distribuições. A tabela 1 trás os parâmetros das diferentes carteiras e os valores de cada uma das metodologias utilizadas.
N Desvios das Distribuições de Bons e Maus
Média da Distribuição de Bons
Média da
Distribuição de Maus KS AUROC AR Pietra CIER KL IV
1 7,5 2,5 0,766 0,952 0,904 0,271 0,500 0,161 4,690 2 7 3 0,660 0,911 0,822 0,233 0,370 0,119 3,281 3 6,5 3,5 0,524 0,842 0,683 0,185 0,231 0,075 1,834 4 6 4 0,369 0,746 0,492 0,130 0,108 0,034 0,821 5 5,5 4,5 0,205 0,641 0,282 0,072 0,035 0,011 0,254 6 7,5 2,5 0,616 0,888 0,777 0,218 0,315 0,101 2,626 7 7 3 0,533 0,843 0,686 0,188 0,233 0,076 1,899 8 6,5 3,5 0,399 0,764 0,528 0,141 0,129 0,041 0,972 9 6 4 0,292 0,695 0,389 0,103 0,066 0,022 0,493 10 5,5 4,5 0,153 0,601 0,202 0,054 0,018 0,006 0,130 11 7,5 2,5 0,508 0,823 0,646 0,180 0,204 0,067 1,558 12 7 3 0,420 0,774 0,548 0,148 0,139 0,046 1,043 13 6,5 3,5 0,308 0,705 0,410 0,109 0,075 0,025 0,541 14 6 4 0,209 0,644 0,288 0,074 0,036 0,012 0,262 15 5,5 4,5 0,116 0,577 0,153 0,041 0,010 0,003 0,071 2 2,5 3
Para a metodologia que utiliza distribuições normais para bons pagadores e distribuição bimodal para maus pagadores, foram simuladas 25 carteiras com 30.000 indivíduos cada. Os parâmetros que variavam entre as carteiras eram as proporções e as médias de score das distribuições M1 e M2. Na tabela 2 estão os parâmetros utilizados em cada carteira e os valores mensurados pelas técnicas utilizadas.
N Proporção de maus na distribuição M1
Proporção de maus na distribuição M2
Média da distribuição de maus com maior score
Média da distribuição de
maus com menor score KS AUROC AR Pietra CIER KL IV
1 7,5 2,5 0,708 0,875 0,750 0,250 0,467 0,152 3,901 2 7 3 0,594 0,838 0,676 0,210 0,315 0,104 2,396 3 6,5 3,5 0,460 0,773 0,546 0,163 0,173 0,057 1,229 4 6 4 0,323 0,710 0,419 0,114 0,086 0,028 0,601 5 5.5 4.5 0,165 0,611 0,222 0,058 0,021 0,007 0,151 6 7,5 2,5 0,616 0,780 0,561 0,218 0,413 0,136 3,363 7 7 3 0,523 0,754 0,507 0,185 0,277 0,089 2,092 8 6,5 3,5 0,416 0,720 0,440 0,147 0,161 0,053 1,141 9 6 4 0,273 0,666 0,331 0,097 0,063 0,020 0,438 10 5.5 4.5 0,123 0,580 0,160 0,043 0,012 0,004 0,085 11 7,5 2,5 0,524 0,684 0,369 0,185 0,366 0,118 3,011 12 7 3 0,436 0,668 0,335 0,154 0,247 0,079 1,889 13 6,5 3,5 0,322 0,638 0,276 0,114 0,128 0,042 0,902 14 6 4 0,225 0,612 0,224 0,079 0,049 0,016 0,343 15 5.5 4.5 0,102 0,561 0,123 0,036 0,008 0,003 0,057 16 7,5 2,5 0,446 0,607 0,215 0,158 0,344 0,112 2,770 17 7 3 0,365 0,586 0,172 0,129 0,246 0,081 1,826 18 6,5 3,5 0,250 0,560 0,120 0,088 0,115 0,038 0,812 19 6 4 0,154 0,550 0,100 0,054 0,035 0,011 0,245 20 5.5 4.5 0,063 0,523 0,047 0,022 0,005 0,002 0,034 21 7,5 2,5 0,369 0,507 0,013 0,130 0,368 0,120 3,123 22 7 3 0,294 0,509 0,018 0,104 0,233 0,075 1,762 23 6,5 3,5 0,205 0,505 0,009 0,073 0,112 0,036 0,798 24 6 4 0,111 0,493 -0,013 0,039 0,033 0,011 0,230 25 5.5 4.5 0,041 0,497 -0,005 0,015 0,004 0,001 0,029 10% 20% 30% 40% 50% 90% 80% 70% 60% 50% 5. Análise
Para as carteiras com distribuição normal de bons e maus pagadores, espera-se que os indicadores mostrem uma diminuição da capacidade discriminante com a aproximação das médias ou com o aumento dos desvios das distribuições. A partir da análise da tabela 1,
pode-Tabela 1: Resultado das técnicas para carteiras com distribuições normais de bons e maus pagadores
11
se observar que todos os indicadores apontam nesta direção, ou seja, conforme as médias das distribuições se aproximam ou conforme a o desvio das distribuições aumentam pode-se observar uma diminuição de todos os indicadores.
Com relação às carteiras contendo distribuição bimodal de maus pagadores, as distribuições foram construídas de forma simétrica, ou seja, a distância entre a média de score das distribuições M1 e M2 e a média da distribuição de bons pagadores eram iguais.
Quando os indicadores de performance são analisados dentro de uma proporção fixa de maus para M1 e M2, ou seja, variando-se apenas as médias das distribuição de maus pagadores, pode-se observar uma diminuição de performance para todos os indicadores, conforme as distribuições de maus se aproximam da distribuição de bons pagadores. Essa ocorrência era esperada uma vez que a aproximação da distribuição significa uma menor capacidade discriminante do modelo. Por outro lado, quando observa-se o efeito causado pelo aumento da característica bimodal (equalização da proporção entre M1 e M2), pode-se constatar que indicadores como AUROC, AR, KS e Pietra mostram uma queda significativa de performance, o que não faz sentido uma vez que as distribuições M1 e M2 possuem mesma variância e médias equidistantes do valor médio da distribuição de bons pagadores. Essa diminuição de performance também pode ser observada nos indicadores CIER, KL e IV, no entanto de forma muito menos intensa. Analisando as carteiras de número 1 e 21, as métricas de KS, AUROC, AR e Pietra classificam o modelo 1 como sendo um bom modelo e o modelo 21 como sendo um modelo bastante ruim, no entanto, CIER, KL e IV avaliam ambos sendo bons modelos.
Através da análise dos resultados das carteiras pode-se concluir que para modelos cuja distribuição de bons e maus pagadores são normais ao longo de uma determinada régua de score, todas as métricas utilizadas avaliam de forma satisfatória a performance dos modelos. Com relação aos modelos cuja distribuição de maus possui comportamento bimodal pode-se concluir que as métricas KS, AR, AUROC e Pietra não avaliam de forma satisfatória a capacidade discriminante do modelo e as métricas KL, CIER e IV apresentaram resultados mais coerentes sendo, portanto, mais adequados a esses modelos.
Referências Bibliográficas
ALTMAN, E. I. Financial Ratios, Discriminant Analysis and The Prediction of Corporate Bankruptcy. The Journal of Finance, v. 23, n. 4, p. 589-609, 1968.
BAMBER, D. The Area above the Ordinal Dominance Graph and the Area Below the Receiver Operating Characteristic Graph. Journal of Mathematical Psychology, v.12, n. 4, p. 387-415, 1975.
BASEL COMMITTEE ON BANKING SUPERVISION – BSBC. Working Paper No. 14
Studies on the Validation of Internal Rating Systems. Basel: Bank for International
Settlements, 2005.
ENGELMANN, S. Measures of a Rating’s Discriminative Power – Applications and Limitations. In: Engelmann B.; Rauhmeier, R. The Basel II Risk Parameters. Berlim: Springer, 2006. p. 263-287.
ENGELMANN, B. Testing rating accuracy. Credit Risk, p. 82-86, 2003.
HAGEDOORN, J. Innovation and Entrepreneurship: Schumpeter Revised. Industrial and
HANLEY, J. A.; MCNEIL, B. J. The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC). Radiology, v. 143, p. 29-36, 1982.
JAYNES, E. T. Information Theory and Statistical Mechanics. The Physical Review, v.106, n.4, p. 620-630, 1957.
JOSEPH, M. P. A PD Validation Framework for Basel II Internal Rating-Based Systems.
Credit Scoring and Credit Control IX, Set/2005.
KARAKOULAS, G. Empirical Validation of Retail Credit-Scoring Models. The RMA
Journal, p. 56-60, set/2007.
KEENAN, S.; SOBEHART, J. Performance Measures for Credit Risk Models. Moody’s Risk
Management Services, 1999.
LILLIEFORS, H. W.On the Kolmogorov-Smirnov test for normality with mean and variance unknown. Journal of the American Statistical Association, v. 62, n. 318, p. 399-402, 1967. MERTON, R. C. On The Pricing of Corporate Debt: The Risk Structure of Interest Rates.
The Journal of Finance, v. 29, n. 2, p. 449-470, 1974.
OSTROWSKI, S.; REICHLING, P. Measures of Predictive Success for Rating Functions.
The Journal of Risk Model Validation, v. 5, n. 2, p. 61-78, 2011.
SHUMWAY, T. Forecasting Bankruptcy More Accurately: A Simple Hazard Model. The
Journal of Business, v. 74, n. 1, p. 101-124, 2001.
SOBEHART, J. et al.Benchmarking Quantitative Default Risk Models: A Validation Methodology.Algo Research Quarterly,v.4, n.1/2, p. 57-82, 2001.
SOBEHART, J. et al.Moody’s Public Firm Risk Model. Moody’s Investors Service Special
Comment, mar/2000.
SOBEHART, J. et al. Validation Methodologies for Default Risk Models. Credit, p. 51-56, Mai/2000.
STEIN, R. M. Benchmarking Default Prediction Models: Pitfalls and Remedies im Model Validation. The Journal of Risk Model Validation, v. 1, n. 1, p. 77-113, 2007.
TASCHE, D. Rating and probability of default validation. In: Working Paper No. 14 Studies on the Validation of Internal Rating Systems. Basel: Bank for International
