Medidas de diversidade, acurácia e margem

A literatura é farta no tocante ao estudo da relação e da relevância das medidas de acurácia, margem e diversidade dos membros que compõem um comitê na sua capacidade de generalização. Numa sequência cronológica pode-se destacar as seguintes publicações. Em (ZHOU et al., 2001) analisa-se a relação entre a capacidade de generalização do comitê e a correlação dos agentes (redes neurais no caso). O estudo revela que em alguns casos um subconjunto de classicadores neurais obtém desempenho melhor do que um comitê formado por todos os candidatos. Com isso propõem o emprego de uma aborda- gem baseada em um algoritmo genético denominado GASEN (Genetic Algorithm based Selective Ensemble) para treinar diversas redes neurais e, em seguida, selecionar um sub- conjunto que forme o comitê ideal.

(KUNCHEVA; WHITAKER, 2003) apresentam, em seu estudo, diferentes medidas de

diversidade. Também estudam a relação entre o desempenho dos comitês e medidas de diversidade e a relação entre as próprias medidas de diversidade em comitês que fazem o uso do voto majoritário como método de combinação das saídas dos agentes. Realiza- ram estudos experimentais com dez medidas de diversidade e concluíram que otimizar qualquer uma dessas medidas em vez de minimizar o erro não origina comitês com bom desempenho. Finalizam, armando que até aquele momento não existia nenhuma medida que desempenhe tal função com eciência, e que ainda há a necessidade de denir medi-

das de diversidade que possam ser usadas para construir Comitês de Classicadores mais ecientes.

Seguindo a mesma linha, (TANG; SUGANTHAN; YAO, 2006) apresentam uma análise em

profundidade sobre seis medidas de diversidade:double fault measure, KW variance, inter- rate agreement, generaized diversity, measure of diculty, namely disagreemente measure e suas relações subjacentes com a margem. Nos experimentos conduzidos, os comitês são construídos selecionando o subconjunto de agentes candidatos que maximizassem a diversidade e minimizassem o erro através de um procedimento guloso. Concluem que tais medidas de diversidade são inecientes para a construção de comitês com boa capacidade de generalização.

Em (COELHO, 2006) é proposta uma metodologia de criação de comitês para pro-

blemas de classicação, onde os componentes são redes neurais do tipo MLP. O autor explora mecanismos de manutenção de diversidade, apresentados pelos sistemas imuno- lógicos articiais, na geração de um conjunto de redes neurais, que apresentem um bom desempenho individual e ao mesmo tempo diversidade entre os erros, para que possam estar aptos a serem candidatos à constituição de comitês. Na seleção dos agentes can- didatos que irão compor o comitê, foram utilizadas seis técnicas distintas (Sem seleção, Construtiva com Exploração, Construtiva sem Exploração, Poda sem exploração, Poda com Exploração, Algoritmo de Agrupamento  ARIA) e, para combinação, foram adota- dos cinco métodos (Média Simples, Média Ponderada sem Bias, Média Ponderada com Bias, Voto Majoritário, Winner-takes-all). Nos experimentos, a metodologia foi aplicada a quatro problemas de classicação de padrões, os resultados obtidos foram compatíveis com os apresentados na literatura e vericou-se que o desempenho das técnicas de seleção e combinação adotadas no seu trabalho apresentaram uma dependência em relação ao conjunto de classicadores disponíveis.

(KAPP; SABOURIN; MAUPIN, 2007) investigaram, através de um estudo empírico, a

possível relação entre diversidade e margem e, em particular, como elas inuenciam a precisão global do comitê. Com base nos resultados, concluem que a relação entre algumas medidas de diversidade e a acurácia não é tão forte, consequentemente não será também com a margem, e que somente o aumento da margem sobre um conjunto de dados pode não ser uma boa opção para a formação de comitês de classicadores com bom desempenho

Em (OLIVEIRA, 2008) apresenta-se um estudo detalhado sobre o dilema diversidade-

acurácia em comitês heterogêneos. Para a seleção dos componentes do comitê e, ao mesmo tempo, mantendo a diversidade entre eles, o autor utilizou duas versões diferentes de al-

goritmos genéticos: uma versão mono-objetivo e outra multiobjetivo. A primeira versão tem como base a acurácia ou somente a diversidade como objetivo para a seleção dos classicadores bases. A segunda, utiliza a acurácia e a diversidade simultaneamente como critérios. Os resultados dos experimentos mostraram que combinar diversidade com acu- rácia tende a resultar na composição de comitês mais acurados do que os gerados tomando essas medidas isoladamente.

O trabalho de (BROWN; KUNCHEVA, 2010) introduz duas novas medidas de diversi-

dade, a boa e a má diversidade (good e bad diversidade). Nos experimentos, utilizaram uma base de dados articial, comitês homogêneos formados por diferentes quantidades de classicadores e zeram uso do voto majoritário como método de combinação. Para os autores, os resultados alcançados mostraram que um valor alto de boa diversidade reduz o erro do comitê, enquanto que um valor alto de má diversidade aumenta o erro e indicaram a possibilidade de construção de algoritmos direcionados utilizando essas medidas.

Em (NETO, 2012) analisa-se experimentalmente a eciência das medidas de boa e má diversidade aplicadas diretamente na construção de Comitês de Classicadores. Metaheu- risticas mono e multiobjetivo foram utilizados na construção dos comitês variando os atributos da base de dados e a quantidade de classicadores que o compõe. Os resultados mostraram que ao se utilizar as medidas de boa e má diversidade para guiar o processo de otimização, os desempenhos são melhores que comitês gerados utilizando-se somente a acurácia.

(DIEGUEZ, 2012) sugere dois algoritmos de otimização com vistas a buscar o equilíbrio

ótimo das medidas de acurácia e diversidade na construção de Comitês de Classicadores usando modelos do tipo MLP e SVM, tanto em arquiteturas homogêneas quanto hetero- gêneas. No seu trabalho ele analisa e sugere estratégias para serem usadas em 2 etapas a construção do comitê: 1) na separação de um conjunto de dados para treinar os classi- cadores e 2) na construção do módulo de decisão do comitê.

Em resumo, observa-se que ha consenso quanto a inuência e a necessidade de um equilíbrio destes três parâmetros para se obter os melhores resultados de generalização, porém permanece ainda em aberto o desao de identicar e estabelecer (quanticar), de forma clara, a dinâmica do equilíbrio ótimo.