Nos m´etodos de construc¸˜ao de ensembles descritos anteriormente (bagging e boosting), para que sejam obtidas melhores taxas de erro de classificac¸˜ao, s˜ao necess ´arios muitos classificadores para compor o ensemble final, o que di- ficulta bastante a tarefa de interpretac¸˜ao humana do conhecimento embutido nos ensembles de classificadores finais. Entretanto, o m´etodo de combinac¸˜ao utilizado por boosting ´e considerado bastante interessante, por atribuir pesos aos classificadores que comp˜oem o ensemble conforme o comportamento des- ses classificadores; e o m´etodo de construc¸˜ao de ensembles utilizado por bag- ging ´e considerado bastante interessante por ser simples. Assim, baseando-se nas teorias de construc¸˜ao de ensembles descritas anteriormente, e utilizando os m´etodos de construc¸˜ao de ensembles bagging e boosting como inspirac¸˜ao para realizar combinac¸˜ao de classificadores, propomos neste trabalho m´etodos de construc¸˜ao de ensembles simb ´olicos que consistem de uma combinac¸˜ao de m´etodos de combinac¸˜ao de classificadores e de crit´erios de classificac¸˜ao de novos exemplos por um classificador. A Figura 4.6 ilustra a maneira proposta nesta sec¸˜ao para construc¸˜ao de ensembles simb ´olicos. Nessa figura, deve ser observado que os L algoritmos de aprendizado utilizados para induzir os clas- sificadores podem ser todos distintos ou at´e o mesmo algoritmo. Ainda, como os L classificadores s˜ao convertidos para o formato padr˜ao de regras PBM — Cap´ıtulo 3 —, a tarefa de combinar classificadores provenientes de diferentes algoritmos de aprendizado simb ´olico ´e facilitada.
Assim, dados L classificadores simb ´olicos, os quais podem ser induzidos utilizando o mesmo algoritmo de aprendizado ou algoritmos diferentes, e um exemplo x a ser classificado, os m´etodos de combinac¸˜ao de classificadores que podem ser utilizados s˜ao:
Votac¸˜ao sem peso (Unweighted Voting — UV): Cada classificador classifica o exemplo dado. A classificac¸˜ao do ensemble para o exemplo x ´e dada
4.3 M ´etodos de Construc¸ ˜ao de Ensembles Propostos
Figura 4.6: Um esquema dos m´etodos de construc¸˜ao de ensembles propostos
pela classe que mais recebeu votos dos L classificadores.
Votac¸˜ao com peso (Weighted by Mean Voting — WMV e Weighted by Mean and Standard Error Voting — WMSV): O voto de cada classificador ´e ponderado por algum peso associado a ele. Uma poss´ıvel t´ecnica de votac¸˜ao com peso ´e a adaptada da t´ecnica de boosting para construc¸˜ao de ensembles (Freund and Schapire, 1997), a qual classifica um exemplo segundo o seguinte algoritmo:
1. Para cada hip ´otese hl, l = 1, ..., L:
(a) Classificar o exemplo x;
(b) O novo valor total de voto (vt) da classe Cv, v = 1, ..., NCl `a qual o
exemplo x pertence ´e dado por
vt(Cv) = L X l=1 f (hl(x), Cv) com f (hl(x), Cv) = lg((1 − m err(hl))/m err(hl)) se hl(x) = Cv,
0 caso contr ´ario.
`a hip ´otese que classifica o exemplo na classe Cv — Equac¸˜ao 2.10;
2. Associar ao exemplo x a classe com maior valor total de voto.
Neste trabalho, a taxa de erro associada `a hip ´otese consiste de uma es- timativa da m´edia da taxa de erro verdadeiro, utilizando o m´etodo k-fold cross-validation estratificado, descritos na Sec¸˜ao 2.3. Esse m´etodo ´e no- meado Weighted by Mean Voting — WMV. Tamb´em, j ´a que a t´ecnica for- nece mais uma informac¸˜ao al´em da estimativa da m´edia da taxa de erro verdadeiro das hip ´oteses — a estimativa do erro padr˜ao (se) — , al´em de utilizar o crit´erio acima descrito, tamb´em utilizamos outro crit´erio, o qual atribui o seguinte peso `a decis˜ao da hip ´otese: o novo valor total de voto (vt) da classe Cv, v = 1, ..., NCl `a qual o exemplo x pertence ´e dado por
vt(Cv) = L X l=1 g(hl(x), Cv) com g(hl(x), Cv) = lg((1 − m err(hl))/m err(hl))
+ lg((1 − se err(hl))/se err(hl))
se hl(x) = Cv,
0 caso contr ´ario.
onde m err(hl) ´e a estimativa da m´edia da taxa de erro e se err(hl) ´e a
estimativa do erro padr˜ao da taxa de erro — Equac¸˜ao 2.11 — , associados `a hip ´otese que classifica o exemplo na classe Cv. Esse m´etodo ´e nomeado
Weighted by Mean and Standard Error Voting – WMSV.
Pode-se pensar que em ambas situac¸˜oes, votac¸˜ao com e sem peso, o resultado da classificac¸˜ao de um novo exemplo x ´e o mesmo. O seguinte exemplo mostra que isso n˜ao ´e necessariamente verdade: dadas 3(trˆes) hip ´oteses h1, h2 e h3, um exemplo x a ser classificado e as taxas de erro
das hip ´oteses α1 = 0, 10, α2 = 0, 30e α3 = 0, 30. Supondo que a classificac¸˜ao
para o exemplo x seja C1 segundo a hip ´otese h1 e C2 segundo as hip ´oteses
h2 e h3, caso for utilizado o m´etodo de votac¸˜ao sem peso, a classificac¸˜ao
do ensemble para o exemplo x ´e a classe C2; entretanto, se for utilizado o
4.3 M ´etodos de Construc¸ ˜ao de Ensembles Propostos
valor total de votos para a classe C1:
vt(C1) = lg((1 − m err(h1))/m err(h1)) + 0 + 0
= lg((1 − 0, 1)/0, 1) = 0, 95
valor total de votos para a classe C2:
vt(C2) = 0 + lg 1 − m err(h1) m err(h1) + lg1 − m err(h2) m err(h2) = lg((1 − 0, 3)/0, 3) + lg((1 − 0, 3)/0, 3) = 0, 74
e a classificac¸˜ao do ensemble ´e a classe C1.
J ´a em relac¸˜ao ao crit´erio de classificac¸˜ao, dado um exemplo x a ser clas- sificado e um classificador h, podem ser considerados dois crit´erios para se classificar esse exemplo:
Decis˜ao do pr ´oprio classificador: O m´etodo implementado no algoritmo de aprendizado que induziu o classificador ´e o respons ´avel pela classificac¸˜ao do exemplo;
Decis˜ao pela melhor regra do classificador: A “melhor” regra do classifica- dor que cobre o exemplo, segundo alguma medida de avaliac¸˜ao de re- gra de conhecimento (Apˆendice A na p ´agina 155), ´e respons ´avel pela classificac¸˜ao do exemplo.
Existem diversas medidas de avaliac¸˜ao de regras, como pode ser obser- vado no Apˆendice A, que podem ser utilizadas, o que aumenta o n ´umero de m´etodos de construc¸˜ao de ensembles simb ´olicos. Para melhor compreender essa afirmac¸˜ao, ´e necess ´ario explicitar a maneira que se pretende construir os ensembles simb ´olicos. Dados L conjuntos de exemplos S1, ..., SL ⊂ S, pode-se
induzir L classificadores h1, ..., hL. O crit´erio de classificac¸˜ao utilizado por cada
classificador hl para classificar novos exemplos, juntamente com o m´etodo de
combinac¸˜ao para combinar as decis˜oes realizadas pelas hip ´oteses para for- necer a classificac¸˜ao final desses novos exemplos, caracterizam um ensem- ble simb ´olico h∗. Assim, o n ´umero de m´etodos de construc¸˜ao de ensembles
de combinac¸˜ao de classificadores com o n ´umero de crit´erios de classificac¸˜ao considerados.
Como sa´ıda, os m´etodos aqui propostos fornecem a classificac¸˜ao de um exemplo dado e um conjunto de regras que cobrem esse exemplo. Entretanto, em muitos casos esse conjunto de regras cont´em regras que s˜ao especiali- zac¸˜oes de outras regras. Para facilitar a explicac¸˜ao ao usu ´ario, foi decidido fornecer como explicac¸˜ao ao usu ´ario somente as regras mais gerais, por ser essa a explicac¸˜ao sintaticamente mais simples. Assim, na pr ´oxima sec¸˜ao, ´e proposto um m´etodo para resumir esse conjunto de regras, baseado nas definic¸˜oes descritas na Sec¸˜ao 2.5, relacionadas `a especificac¸˜ao e generalizac¸˜ao de regras.