Baseados nas teorias de ensembles e nos m´etodos de construc¸˜ao de en- sembles descritos anteriormente, neste trabalho s˜ao propostos m´etodos de construc¸˜ao de ensembles simb ´olicos que consistem de uma combinac¸˜ao de m´etodos de combinac¸˜ao de classificadores e de crit´erios de classificac¸˜ao de novos exemplos por um classificador. A Figura 4.6 ilustra a maneira proposta nesta sec¸˜ao para construc¸˜ao de ensembles simb ´olicos. Nessa figura, deve ser observado que os L algoritmos de aprendizado utilizados para induzir os clas- sificadores podem ser todos distintos ou at´e o mesmo algoritmo.
Figura 4.6: Um esquema dos m´etodos de construc¸˜ao de ensembles propostos
Assim, dados L classificadores simb ´olicos, os quais podem ser induzidos utilizando o mesmo algoritmo de aprendizado ou algoritmos diferentes, e um exemplo x a ser classificado, os m´etodos de combinac¸˜ao de classificadores que podem ser utilizados s˜ao:
4.3 M ´etodos de Construc¸ ˜ao de Ensembles Propostos
o exemplo dado. A classificac¸˜ao do ensemble para o exemplo x ´e dada pela classe que mais recebeu votos dos L classificadores.
Votac¸˜ao com peso (Weighted by Mean Voting — WMV e Weighted by Mean and Standard Error Voting — WMSV): O voto de cada classificador
´e ponderado por algum peso associado a ele. Uma poss´ıvel t´ecnica de votac¸˜ao com peso ´e a adaptada da t´ecnica de boosting para construc¸˜ao de ensembles (Freund and Schapire, 1997), a qual classifica um exemplo segundo o seguinte algoritmo:
1. Para cada hip ´otese hl, l = 1, ..., L:
(a) Classificar o exemplo x;
(b) O novo valor total de voto (vt) da classe Cv, v = 1, ..., NCl `a qual o
exemplo x pertence ´e dado por
vt(Cv) = L X l=1 f (hl(x), Cv) com f (hl(x), Cv) = lg((1− m err(hl))/m err(hl)) se hl(x) = Cv,
0 caso contr ´ario.
onde m err(hl) ´e a estimativa da m´edia da taxa de erro associada
`a hip ´otese que classifica o exemplo na classeCv — Equac¸˜ao 2.10;
2. Associar ao exemplo x a classe com maior valor total de voto.
Neste trabalho, a taxa de erro associada `a hip ´otese consiste de uma es- timativa da m´edia da taxa de erro verdadeiro, utilizando o m´etodo k- fold cross-validation estratificado, descritos na Sec¸˜ao 2.3. Esse m´etodo ´e nomeado Weighted by Mean Voting — WMV. Tamb´em, j ´a que a t´ecnica fornece mais uma informac¸˜ao al´em da estimativa da m´edia da taxa de erro verdadeiro das hip ´oteses — a estimativa do erro padr˜ao (se) — , al´em de utilizar o crit´erio acima descrito, tamb´em utilizamos outro crit´erio, o qual atribui o seguinte peso `a decis˜ao da hip ´otese: o novo valor total de voto (vt) da classe Cv,v = 1, ..., NCl `a qual o exemplo x pertence ´e dado por
vt(Cv) = L X l=1 g(hl(x), Cv) com g(hl(x), Cv) = lg((1− m err(hl))/m err(hl))
+ lg((1− se err(hl))/se err(hl))
se hl(x) = Cv,
0 caso contr ´ario.
onde m err(hl) ´e a estimativa da m´edia da taxa de erro e se err(hl) ´e a
estimativa do erro padr˜ao da taxa de erro — Equac¸˜ao 2.11 — , associados `a hip ´otese que classifica o exemplo na classeCv. Esse m´etodo ´e nomeado Weighted by Mean and Standard Error Voting – WMSV.
Pode-se pensar que em ambas situac¸˜oes, votac¸˜ao com e sem peso, o resultado da classificac¸˜ao de um novo exemplo x ´e o mesmo. O seguinte exemplo mostra que isso n˜ao ´e necessariamente verdade: dadas 3(trˆes) hip ´oteses h1, h2 e h3, um exemplo x a ser classificado e as taxas de erro
das hip ´otesesα1 = 0, 10, α2 = 0, 30 e α3 = 0, 30. Supondo que a classificac¸˜ao
para o exemplo x sejaC1 segundo a hip ´otese h1 eC2 segundo as hip ´oteses
h2 e h3, caso for utilizado o m´etodo de votac¸˜ao sem peso, a classificac¸˜ao do ensemble para o exemplo x ´e a classeC2; entretanto, se for utilizado o
m´etodo de votac¸˜ao com peso, ent˜ao: valor total de votos para a classe C1:
vt(C1) = lg((1− m err(h1))/m err(h1)) + 0 + 0
= lg((1− 0, 1)/0, 1) = 0, 95 valor total de votos para a classe C2:
vt(C2) = 0 + lg 1− m err(h1) m err(h1) + lg 1− m err(h2) m err(h2) = lg((1− 0, 3)/0, 3) + lg((1 − 0, 3)/0, 3) = 0, 74 e a classificac¸˜ao do ensemble ´e a classe C1.
J ´a em relac¸˜ao ao crit´erio de classificac¸˜ao, dado um exemplo x a ser clas- sificado e um classificador h, podem ser considerados dois crit´erios para se
4.3 M ´etodos de Construc¸ ˜ao de Ensembles Propostos
classificar esse exemplo:
Decis˜ao do pr ´oprio classificador: O m´etodo implementado no algoritmo de
aprendizado que induziu o classificador ´e o respons ´avel pela classificac¸˜ao do exemplo;
Decis˜ao pela melhor regra do classificador: A “melhor” regra do classifica-
dor que cobre o exemplo, segundo alguma medida de avaliac¸˜ao de re- gra de conhecimento (Apˆendice A na p ´agina 155), ´e respons ´avel pela classificac¸˜ao do exemplo.
Existem diversas medidas de avaliac¸˜ao de regras, como pode ser obser- vado no Apˆendice A, que podem ser utilizadas, o que aumenta o n ´umero de m´etodos de construc¸˜ao de ensembles simb ´olicos. Para melhor compreender essa afirmac¸˜ao, ´e necess ´ario explicitar a maneira que se pretende construir os ensembles simb ´olicos. Dados L conjuntos de exemplos S1, ..., SL ⊂ S, pode-se
induzirL classificadores h1, ..., hL. O crit´erio de classificac¸˜ao utilizado por cada
classificador hl para classificar novos exemplos, juntamente com o m´etodo de
combinac¸˜ao para combinar as decis˜oes realizadas pelas hip ´oteses para for- necer a classificac¸˜ao final desses novos exemplos, caracterizam um ensem- ble simb ´olico h∗. Assim, o n ´umero de m´etodos de construc¸˜ao de ensembles
simb ´olicos que podem ser testados ´e uma combinac¸˜ao do n ´umero de m´etodos de combinac¸˜ao de classificadores com o n ´umero de crit´erios de classificac¸˜ao considerados.
Como sa´ıda, os m´etodos aqui propostos fornecem a classificac¸˜ao de um exemplo dado e um conjunto de regras que cobrem esse exemplo. Entretanto, em muitos casos esse conjunto de regras cont´em regras que s˜ao especiali- zac¸˜oes de outras regras. Para facilitar a explicac¸˜ao ao usu ´ario, foi decidido fornecer como explicac¸˜ao ao usu ´ario somente as regras mais gerais. Assim, na pr ´oxima sec¸˜ao, ´e proposto um m´etodo para resumir esse conjunto de regras, baseado nas definic¸˜oes descritas na Sec¸˜ao 2.5, relacionadas `a especificac¸˜ao e generalizac¸˜ao de regras.