Seleção de modelos

A construção de um classificador envolve várias escolhas e variáveis, dentre as quais se enquadram as já citadas, pré-processamento, parâmetros do classificador, etc. Se con- siderada as várias combinações entre essas variáveis, nota-se que cada combinação resulta em uma instância de um classificador, ou um modelo. Indiscutivelmente, cada um desses modelos têm características próprias e até mesmo diferentes concepções sobre o problema em questão. Por essa razão, cada classificador terá um erro de generalização diferente, o que, inevitavelmente, leva a um problema de seleção de modelo.

Como mencionado o erro de generalização é de importância fundamental no processo de escolha de um classificador. Entretanto, obter uma medida confiável do erro de general- ização não é tarefa trivial, especialmente quando não há dados suficientes. Em problemas

onde a quantidade de dados rotulados é grande (da ordem de milhares ou mais), é possível selecionar uma parte do conjunto suficientemente grande para treinar o classificador e uti- lizar o restante dos dados para testar e validar o classificador. Ainda assim, é necessário testar os modelos em diversos conjuntos de treino com diferentes tamanhos para definir um classificador adequado. No entanto, muitos dos problemas de classificação não dispõem de grande quantidade de dados rotulados, e utilizar o conjunto de treino para estimar o erro de generalização é uma estimativa otimista que não reflete o erro real. Neste tipo de problema, onde os dados rotulados são escassos (da ordem de centenas ou menos), é necessário algum método para estimar o erro real de generalização (Hastie et al., 2009).

No que segue serão descritos dois dos métodos mais usados para estimar o erro de generalização, Bootstrap e validação cruzada. É importante discernir dois objetivos na es- timativa do erro de generalização, seleção de modelos e avaliação do modelo. No primeiro o objetivo é estimar o desempenho de vários classificadores para escolher um deles. Uma vez escolhido o modelo, o objetivo no segundo caso, é determinar seu desempenho esper- ado. Os métodos discutidos nesta seção são baseados em amostragens. Métodos analíticos tais como AIC (Blatt et al., 1973), MDL (Rissanen, 1983) e seleção de modelos Bayeisiana (Madigan e Raftery, 1994) e BIC (Schwarz, 1978) para obter o erro de generalização estão fora do escopo deste trabalho.

2.3.2.1 Bootstrap

Bootstrap é um método estatístico de reamostragem que pode ser usado para deter-

minar o erro de generalização de um classificador. Um conjunto bootstrap é formado a partir do conjunto original e possui o mesmo número de elementos. No entanto, para a formação de cada conjunto bootstrap os exemplos de dados são selecionados aleatoria- mente do conjunto original, podendo ocorrer repetições. Uma das maneiras para estimar o erro de generalização utilizando o método Bootstrap, consiste em treinar o classificador em B conjuntos bootstrap diferentes e estimar o erro utilizando o conjunto original como conjunto de teste. A estimativa do erro de generalização é dada segundo a média do desempenho dos B classificadores, como mostrado na Equação (2.12).

Errobootstrap = 1 B 1 N B ∑ b=1 N ∑ i=1 ξ(yi, ϕ(xi)) (2.12)

Na qual, Errobootstrapcorresponde ao erro de generalização estimado, N é o número de

instâncias no conjunto de treinamento, ξ é uma função de erro e yi e ϕ(xi), correspondem

à classe real e à classe estimada para a instância xi, respectivamente. Uma alternativa

no conjunto usado para teste é considerar outro conjunto bootstrap, diferente do usado para o treinamento do modelo. No entanto, nos dois casos, é fácil verificar que o erro

Errobootstrap não é uma boa estimativa para o erro real, devido à existência de instâncias

de dados comuns aos conjuntos de treino B e o conjunto original (ou outro conjunto

estimativa otimista do erro, o que torna a estimativa não confiável.

Outra maneira para estimar o erro de generalização utilizando o método Bootstrap considera a probabilidade de reamostragem como peso na estimativa do erro. Uma vez que cada amostragem de um conjunto bootstrap de tamanho N tem em média 0, 632N instâncias sem repetição, Efron (1983) propôs obter o peso ponderando entre o erro no conjunto usado no treino e no conjunto original, usado no teste, como mostra a Equação (2.13).

Erro632 = 0, 368ET r+ 0, 632ET e (2.13)

Na equação, Erro632 denota a estimativa ponderada para o erro de generalização, ET r

denota o erro no conjunto de treino e ET e corresponde ao erro de teste, podendo este

ser simplesmente a média do erro no conjunto original, em outros conjuntos bootstrap ou ainda a média do erro considerando outras variações, como por exemplo deixar de fora uma instância de treinamento a cada vez (leave-one-out bootstrap), como na Equação (2.14). ET e = 1 N N ∑ i=1 1 |C−i_| ∑ b∈C−i ξ(yi, ϕ(xi)) (2.14)

Na equação C−i _{é o conjunto de índices dos conjuntos bootstrap b que não possuem}

a instância xi e, novamente ξ é uma função de erro, yi a classe da instância xi e ϕ(xi)

a classe estimada pelo classificador. No entanto, apesar de resolver o problema de es- timativa otimista do método Boostrap convencional, o Boostrap 632 apresenta falha na estimativa de erro quando ocorre superadaptação (Efron e Tibshirani, 1997). O problema fica claro no exemplo citado por Breiman et al. (1984), no qual considera-se um problema de classificação com duas classes de tamanhos iguais e que o classificador 1NN seja usado, dessa forma, o erro no treinamento será ET r = 0, ao passo que o erro no conjunto de testes

será ET e = 0, 5. Consequentemente o erro de generalização dado pelo método Bootstrap 632, Erro632 = 0, 368× 0 + 0, 632 × 0, 5 = 0, 316, o que é uma estimativa ruim dado

que o erro real é 0, 5. Em vista deste problema, Efron e Tibshirani (1997) propuseram o método Bootstrap 632+, que consiste em uma extensão do Bootstrap 632 que considera a “quantidade” de superadaptação para estimar o erro. Esta correção corresponde à taxa de superadaptação relativa dada pela Equação (2.15).

ˆ

R = (ET e− ET r)/(ˆγ− ET r) (2.15)

Na equação, ˆR representa a taxa de superadaptação relativa que varia no intervalo

[0, 1] indicando o nível de superadaptação do classificador. Os erros ET e e ET r são os erros

obtidos nos conjuntos de teste e de treino, respectivamente. Dessa forma, ˆR = 0 implica

que não existe superadaptação e ˆR = 1 significa que o classificador superadaptou-se

completamente ao problema, o que equivale ao valor do erro de desinformação (ˆγ − ET r).

Esta taxa corresponde à predição de um determinado classificador se os atributos e as classes forem independentes, podendo ser estimada, para o caso multiclasse, com mostra a Equação (2.16). ˆ γ =∑ ωl ˆ pl(1− ˆql) (2.16)

Na qual, ˆpl é a proporção observada de classes ωl, e ˆql é a proporção observada de

classificações que resultaram na classe ωl. Dessa forma, incorporando informações sobre

o nível de superadaptação do classificador na Equação (2.13), é obtida a extensão, mais robusta à superadaptação, nomeada Bootstrap 632+ e mostrada na Equação (2.17).

Erro632+= (1− ˆw)ET r+ ˆwET e (2.17)

Na qual ˆw = 0, 632/(1−0, 368R), e ˆwvaria entre 0, 632 a 1, fazendo com que Erro632+

varie entre Erro632 e ET e. Em conjuntos pequenos onde classificadores pouco adaptativos

foram usados, o método de estimativa bootstrap 632+ é considerado a melhor escolha (Kim, 2009).

2.3.2.2 Validação cruzada

Um dos métodos mais usados para estimar o erro de generalização é a validação cruzada. Na validação cruzada o conjunto de treinamento é dividido aleatoriamente em dois, onde uma parte será usada para treinar o classificador e o restante para estimar o erro de generalização. No entanto, esta abordagem requer isolar um conjunto de validação, o que pressupõe disponibilidade de dados. Na maioria das vezes, entretanto, os dados rotulados são escassos para utilizar todo o conjunto de dados no processo de derivação do erro. Uma alternativa é usar a validação cruzada de k-conjuntos. Neste caso o conjunto de treinamento é dividido em k subconjuntos com tamanhos iguais (ou aproximados)

N/k, no qual N é o número de elementos no conjunto de treinamento. Cada modelo é

treinado k vezes, cada vez com um conjunto diferente, formado por (k − 1) conjuntos, e deixando um conjunto diferente a cada vez, para validação. Considere a divisão em conjuntos, mostrado na Figura 2.5, cada conjunto é dividido em k conjuntos, sendo que um é deixado para teste, mostrado em destaque (vermelho) na figura.

O erro para cada modelo é calculado como a média do erro nos k conjuntos de vali- dação. No geral, k pode ser escolhido no intervalo 1 ≤ k ≤ N, sendo que quando k = N, o método é chamado de leave-one-out, valores comumente usados e que resultam em bons resultados são k = 5 e k = 10 (Hastie et al., 2009). A estimativa do erro de classificação é dada pela Equação (2.18).

ErroCV = 1 N N ∑ i=1 ξ(yi, ϕ(xi)) (2.18)

1 2 3 4 k

.

.

.

.

.

.

.

.

.

. . .

Figura 2.5: Exemplo de divisão de conjuntos para validação cruzada de k-conjuntos. nada função de erro e, yie ϕ(xi) referem-se à classe real e à classe inferida pelo classificador

para a instância xi, respectivamente. Com o conjunto de treinamento fixo, a validação

cruzada de k-conjuntos apresenta uma variação nos resultados devido à aleatoriedade das partições nos k conjuntos. Na literatura, esta variação é chamada de variância interna (ver (Efron e Tibshirani, 1997), (Braga-Neto e Dougherty, 2004). Manter as porcentagens das classes nos k conjuntos similar à apresentada no conjunto original, i.e. estratificar, diminui a variância interna. Outra forma, que pode ser aliada à estratificação, é repetir todo o processo de validação cruzada algumas vezes e considerar a média como estimativa final. Outras variações, como validação cruzada dupla com repetição, na qual são considerados dois níveis de repetição, uma validação dentro de outra, também são estudados na liter- atura para seleção de modelos (Filzmoser et al., 2009). Kim (2009) verificou que, exceto para conjuntos de dados pequenos aplicados a classificadores pouco adaptativos, onde o

Bootstrap 632+ é a melhor escolha, a melhor estimativa para o erro de generalização é

obtida pela validação cruzada com repetição. Portanto, é o método de estimativa mais recomendado para uso geral - o que motivou o uso neste trabalho.