Medidas de Eficiência para o modelo Co

No estudo realizado por Hosmer e Lemeshow sobre análise de sobrevivência é abordada uma metodologia de goodness fit por eles elaborada. O procedimento é bastante similar ao aplicado no modelo de regressão logística, com algumas pequenas diferenças:

• 1º passo: inicialmente deve-se fixar um horizonte de tempo para o qual o teste será aplicado;

• 2º passo: de forma semelhante ao teste de Hosmer-Lemeshow na regressão logística, a amostra é segregada em dez centis de tamanhos aproximados de acordo com o risco de falha;

• 3º passo: computa-se a diferença entre a quantidade de operações inadimplentes observadas e estimadas;

• 4º passo: o resultado desta diferença é então dividido pela raiz quadrada da quantidade de operações inadimplentes estimadas naquele horizonte de tempo, obtendo-se o valor crítico “z” e o p-value de cada centil.

A hipótese nula do teste é a de que os valores observados e esperados são iguais. Desta forma, para que o modelo seja considerado eficiente, espera-se não rejeitar a hipótese nula em cada centil.

A tabela 20 resume os resultados obtidos para este teste:

TABELA 20 -Teste de Hosmer-Lemeshow para o modelo Cox para t = 12 meses

Inadimplentes grupo

Observado Estimado Total z p-value

1 3.625 3.115 7.927 -9,14 0,000 2 2.802 2.973 7.928 3,13 0,002 3 2.894 2.790 7.928 -1,97 0,049 4 3.026 2.940 7.928 -1,59 0,112 5 3.149 2.739 7.928 -7,84 0,000 6 1.320 2.261 7.928 19,80 0,000 7 3.431 2.890 7.928 -10,07 0,000 8 1.934 2.465 7.928 10,69 0,000 9 2.293 2.381 7.928 1,80 0,072 10 1.848 1.974 7.936 2,84 0,005 Total 26.322 26.526 79.287 - -

Com p-values iguais a 0,112 e 0,072 somente o quarto e nono decis indicam a aceitação da hipótese nula a 5% de significância. Implica dizer que, em sua maioria, há diferenças significantes entre as quantidades observadas e estimadas, sinalizando que o modelo Cox não possui bom ajuste. Contudo, como já identificado no teste de Hosmer- Lemeshow da regressão logística, esta metodologia sofre de um potencial problema ao lidar

com amostras grandes. Com efeito, esta situação pôde ser novamente constatada na aplicação desta técnica numa base com um número excessivo de observações.

Diante do exposto, decidiu-se aplicar um novo teste de goodness-fit, desta vez baseado na minimização dos erros tipo I e tipo II, realizado por Martins (2003). De acordo com o autor, um bom modelo deve exibir percentuais baixos de erro tipo I (aprovar crédito para indivíduos inadimplentes), pois erros de classificação redundam em altos custos às instituições financeiras. Por outro lado, um modelo razoavelmente preciso também deverá minimizar o erro tipo II (negar créditos a bons pagadores). Contudo, o erro tipo II deve ser criteriosamente analisado, pois pode representar um contrato que, efetivamente, venha a falhar no futuro. Nessa situação, o erro tipo II representa um sucesso, pois indica que o modelo sinalizava, antecipadamente, uma falha futura.

O teste aplicado baseia-se na comparação das probabilidades de sobrevivência previstas pelo modelo para os horizontes de 12 e 24 meses com valores de corte específicos para cada horizonte de tempo. Estes foram obtidos a partir do percentual de contratos bons existentes na amostra, de acordo o horizonte de tempo, obtendo-se os seguintes resultados: 0,668 para 12 meses e 0,50 para 24 meses. Assim, sempre que a probabilidade de sobrevivência for inferior ao valor de corte, a mesma é classificada como uma possível inadimplência (ruim). Caso contrário, o contrato é classificado como adimplente (bom).

A tabela 21 apresenta a classificação dos contratos de toda base de dados segundo o Modelo Cox para 12 e 24 meses:

TABELA 21 - Classificação do Modelo Cox Meses Bem classificados Erro tipo I Erro tipo II TOTAL 12 116.364 (68%) 6.950 (4%) 48.147 (28%) 171.461 (100%) 24 120.984 (71%) 9.262 (5%) 41.215 (24%) 171.461 (100%)

Os resultados demonstram que o modelo classificou corretamente 68% dos contratos bons e ruins no horizonte de 12 meses. O percentual de erro tipo I foi de apenas 4%, enquanto que para o erro tipo II foi de 28%. No horizonte de tempo de 24 meses há uma sensível melhoria na eficiência do modelo, onde 71% dos contratos foram corretamente classificados.

Entretanto, considerando os erros de classificação associados a contratos que efetivamente falharam em determinado momento no futuro, tem-se que o erro tipo II reduz para 7%, elevando o percentual de acerto do modelo para 89% no horizonte de 12 meses. A tabela 22 sumariza os resultados:

TABELA 22 - Nível de acerto global para o Modelo Cox Meses Bem classificados Erro tipo I Erro tipo II TOTAL 12 152.965 (89%) 6.950 (4%) 11.546 (7%) 171461 (100%) 24 120.984 (71%) 9.262 (5%) 41.215 (24%) 171461 (100%)

Note que não foram observadas variações nos percentuais de acerto e erro para o horizonte de tempo de 24 meses, visto que o período de observação do estudo limita-se a este horizonte de tempo. Assim, não foi possível identificar se as operações censuradas incorreram em inadimplência em determinado momento futuro.

A conclusão que pode ser feita a partir da análise dos resultados observados é que os modelos gerados por meio da regressão logística e modelo Cox para a linha de crédito em estudo são válidos estatisticamente, com coeficientes considerados significantes individual e conjuntamente, e que o poder de classificação resultante indica que a aplicação dos modelos poderá ser capaz de classificar corretamente e estimar o tempo esperado de inadimplência de uma porção considerável de todas as operações de crédito submetidas às análises.

4.3 Exemplo

Uma vez verificada a significância estatística dos modelos e seu grau de eficiência, é interessante aplicar um exemplo prático de mensuração do score e do tempo esperado até a inadimplência, clarificando a forma de como os cálculos são realizados. Cumpre lembrar que o score do indivíduo é representado pelo valor arredondado da seguinte função:

Score = 100 * exponencial (equação) / 1 + exponencial (equação)

em que “equação” é o valor resultante da soma dos coeficientes estimados aplicáveis à operação de crédito. A função de sobrevivência no horizonte de tempo t pode ser calculada da seguinte forma:

Função de sobrevivência = (função de sobrevivência baseline para o tempo t)exponencial(equação)

O tempo esperado até a inadimplência do contrato é, então, calculado somando-se as funções de sobrevivência de cada horizonte de tempo.

EXEMPLO 1 - Cálculo do Score e Função de Sobrevivência da Operação de Crédito