Figura 2.4: Divisão dos dados de uma base em quatro folds
2.5
Combinação de Classificadores
O desempenho dos classificadores gerados no processo de aprendizagem depende de alguns fatores, como o domínio no qual está sendo aplicado o indutor, a quantidade de exemplos de treinamento e a relevância das características, atributos, desses exemplos. Esses fatores afetam de maneira diversa as hipóteses geradas por algoritmos de classifi- cação diferentes. Ou seja, as diferenças existentes entre os classificadores, diferenças nos algoritmos utilizados em sua construção, fazem com que estes classificadores apresentem desempenhos diferentes de acordo com alguns fatores, como quantidade de exemplos e relevância das características que compõem esses exemplos. Desta forma, alguns classifica- dores possuem bons desempenhos com poucos exemplos, enquanto outros precisam de um número maior de exemplos para conseguir fazer com que o sistema adquira conhecimento de forma adequada. Assim como, alguns classificadores trabalham bem com redundância de informação, enquanto outros não. Ou seja, em geral, todos os algoritmos de classificação possuem seus pontos fortes e fracos.
Essas particularidades dos algoritmos de classificação fazem com que nenhum algoritmo tenha um desempenho superior aos outros em todas as situações, seu desempenho está condicionado aos fatores que contextualizam o problema. Devido a isso, alguns estudos (LEMIEUX; PARIZEAU, 2003; ZHOU, 2000; BEN-YACOUB; ABDELJAOUED; MAYORAZ, 2001)
mostraram que é possível fazer uso de vários classificadores ao mesmo tempo, superando limitações e combinando vantagens dos algoritmos utilizados.
2.5 Combinação de Classificadores 23 Dessa forma, sistemas multiclassificadores (SMC), são sistemas para classificação de padrões baseados na combinação das saídas de um conjunto de diferentes classificadores, chamados nesse contexto de classificadores base. Essa combinação tem como objetivo conseguir uma classificação mais exata, com menos erros. O aumento de desempenho tende a ocorrer se forem respeitados critérios de diversidade entre os classificadores componentes do sistema, nesse caso, a diversidade é percebida se os erros dos classificadores base não coincidem, isto é, se não cometem sempre os mesmos erros. Para ilustrar isso, Dietterich (1997) apresenta o seguinte exemplo: Dado um SMC com três classificadores h1, h2e h3
e um novo exemplo a ser classificado, x. Se os três classificadores são idênticos, então quando h1(x) está errado, h2(x) e h3(x) também estarão errados. Entretanto se os erros
dos classificadores não são coincidentes, então quando h1(x) está errado, h2(x) e h3(x)
podem estar certos e a combinação de suas respostas pode classificar x corretamente.
Figura 2.5: Diversidade entre classificadores em um domínio H
A Figura 2.5 ilustra a questão da diversidade entre classificadores. Nesta figura estão representados três classificadores em um domínio H, sendo f a função que se deseja aproxi- mar. A diversidade está representada pela posição dos classificadores no espaço de busca. Por exemplo, a Figura 2.5(a) ilustra classificadores distantes uns dos outros, significando que eles possuem uma diversidade significativa, facilitando a aproximação da função f, enquanto a Figura 2.5(b) ilustra a situação inversa, na qual os classificadores se encontram bem próximos uns dos outros, indicando que eles são pouco diversos entre si. Neste caso, a combinação dos classificadores será realizada em uma pequena região do espaço de busca, aumentando a dificuldade de se obter uma boa aproximação de f, já que as decisões dos classificadores h1, h2e h3 serão similares. Dessa forma, quanto mais os classificadores forem
2.5 Combinação de Classificadores 24 diversos entre si, maior o espaço de busca coberto, aumentando a probabilidade de obter uma boa aproximação a partir da combinação das saídas dos classificadores base.
Um sistema multiclassificador é, portanto, formado por um conjunto de classificadores base e uma função para combinação das saídas desses classificadores. A escolha dessa função, ou mecanismo, nem sempre é trivial e influencia diretamente o desempenho final do sistema (ABREU, 2006).
De acordo com sua arquitetura interna, um sistema multiclassificador pode ser mo- dular ou paralelo. Os primeiros dividem a tarefa final do sistema em subtarefas, criando especialistas. Cada especialista executa uma subtarefa e o módulo combinador utiliza as soluções dessas subtarefas para determinar a saída final do sistema. A Figura 2.6 ilustra um sistema multiclassificador modular, onde S1, S2, ..., Sn são as soluções encontradas por
cada classificador.
Figura 2.6: Sistemas multiclassificador modular
Os sistemas multiclassificadores paralelos, também conhecidos como ensembles ou co- mitês, utilizam uma combinação redundante, pois todos os classificadores base executam a mesma tarefa. Essa forma de combinação explora a ideia de que a diferença existente entre os classificadores base pode extrair informações complementares sobre os exemplos a serem classificados. Este foi o tipo de sistema multiclassificador utilizado neste traba- lho. A Figura 2.7 apresenta a ideia de um sistema multiclassificador paralelo, comitê de classificadores.
Existem duas estratégias principais de combinação de classificadores: Fusão e Seleção. Na primeira, a função de combinação, combinador, utiliza a resposta de todos os classifica-
2.5 Combinação de Classificadores 25
Figura 2.7: Sistemas multiclassificador paralelo
dores componentes do sistema na construção da resposta final, ou seja, a classificação final resulta da opinião coletiva dos classificadores participantes. Pode-se citar como exemplos os seguintes métodos:
• Soma (KITTLER; ALKOOT, 2003): O método Soma é um método de combinação
linear das saídas dos classificadores componentes do sistema. Funciona de maneira que quando apresentado um padrão de entrada para os classificadores, os valores das saídas correspondentes a cada classe de cada classificador são somados e a classe vencedora é aquela que possuir o maior valor absoluto. A Figura 2.8 apresenta um exemplo para este método.
Figura 2.8: Exemplo do método soma em um sistema com dois classificadores trabalhando com uma base que possui duas classes possíveis
2.5 Combinação de Classificadores 26 • Soma Ponderada: O método da soma ponderada funciona da mesma forma que o método da soma, acrescentando, porém, um peso para a saída de cada classificador. Dessa forma, classificadores com maiores desempenhos segundo algum critério são mais considerados do que outros. Esse critério pode ser a taxa de classificação correta sobre o conjunto de treinamento ou sobre um conjunto de avaliação.
• Voto (KUNCHEVA, 2004): O método do Voto é um método de combinação não-linear
das saídas dos classificadores componentes do sistema. Neste método, quando um padrão de entrada é apresentado para os classificadores, cada um deles vota na classe que ele achar que é a correta. A classe vencedora é aquela que possuir o maior número de votos, como pode ser visto na Figura 2.9.
Figura 2.9: Exemplo do método voto em um sistema com três classificadores em uma base que possui duas classes possíveis
Os algoritmos de indução utilizados para a construção de classificadores base também podem ser utilizados como função de combinação das saídas dos classificadores, nesse con- texto eles são chamados combinadores treináveis. Esses combinadores são assim denomi- nados pois necessitam de treinamento para aprender sobre os classificadores componentes do sistema e assim realizar a combinação de suas saídas de forma satisfatória. Uma forma de realizar o treinamento e teste dos combinadores pode ser dada como segue: A base de dados é dividida em (k + 1) folds, sendo (k − 1) folds utilizados para a construção dos
2.6 Diversidade em Comitês de Classificadores 27