Árvore de decisão

A árvore de decisão é definida como um procedimento de classificação que divide recursivamente um dado conjunto de dados em subdivisões menores com base em um conjunto de testes definido em cada ramo da árvore. Portanto a árvore é composta de um nós raiz(formado a partir de todos os dados) e um conjunto de nós internos(nós folhas). Cada nó em uma árvore de decisão tem apenas um nó pai e dois ou mais nós descendentes. As árvores de decisão são não paramétricas e não requerem suposições sobre as distribuições dos dados de entrada. Além disso, elas manipulam dados categóricos e numéricos, desde que sofram pré-processamento (FRIEDL; BRODLEY,1997).

Conforme (WITTEN; FRANK, 2016), a construção de uma árvore de decisão pode ser definido pelo seguinte modo recursivo:

∙ seleciona-se um atributo para ser o nó raiz e a partir dele cria-se nós filhos com os possíveis valores de atributos;

∙ repete-se o procedimento anterior para cada nó criado, usando somente as instâncias selecionadas pelo valor correspondente de aresta;

∙ caso as instâncias de um nó sejam homogêneas em relação ao valor do atributo, determina-se o nó folha de classe igual a maioria das classes das instâncias presentes.

3.1.5 Máquina de vetor de suporte

A máquina de vetor de suporte é uma técnica proposta em (VAPNIK,1995) e que é fundamentada na teoria de aprendizado estatístico que visa a maximização da capacidade de generalização e a minimização do risco estrutural. Dadas duas classes e um conjunto de pontos rotulados com essas duas classes, o classificador SVM traça um hiperplano que

separa, de maneira a colocar o máximo possível de pontos de mesmo rótulo em um mesmo lado e ao mesmo tempo maximiza a distância de cada classe ao plano. No entanto existem situações onde o problema não é linearmente separável e uma solução foi proposta em (WITTEN; FRANK,2016), onde tanto os vetores de suporte e o hiperplano são concebidos através de um problema de otimização com restrições. A grande vantagem por trás do SVM frente à outros métodos de classificação na literatura está no fato de utilizar um hiperplano ótimo que consegue obter uma máxima margem de separação entre as classes.

3.2 Comitês de classificadores

Comitês de classificadores tem sido amplamente utilizados em sistemas de classifi- cação em virtude de produzirem melhores taxas de acurácia se comparado à sistemas que utilizam apenas um classificador. A ideia principal por trás de comitês de classificadores está em combinar classificadores fracos de tal forma a suprir eventuais deficiências des- tes. Diversos trabalhos pioneiros foram realizados como em (WOODS; KEGELMEYER; BOWYER,1997;DIDACI et al.,2005;SANTOS; SABOURIN; MAUPIN,2008).

Os comitês de classificadores podem ser categorizados de acordo com o processo de seleção dos classificadores base: estáticos ou dinâmicos. Em comitês baseados em seleção estática, a seleção dos classificadores base é feita no momento de treino dos classificadores, de tal forma que para todas amostras de teste, um mesmo conjunto de classificadores é utilizado para classificar as amostras, ou seja, a definição dos classificadores base é feita durante o treino. Diferentemente os comitês que utilizam seleção dinâmica, o processo de escolha dos classificadores base é feita em tempo de classificação, de tal forma que o processo de escolha dos classificadores base se repete para cada nova amostra de teste.

3.2.1 Tipos e organização comitês classificadores

Comitês de classificadores são necessariamente baseados em conjuntos de classifica- dores e também podem ser categorizados de acordo com a organização dos componentes do sistema e da combinação (VRIESMANN,2012).

3.2.1.1 A organização dos componentes

Conforme (LU, 1996), a organização dos classificadores pode ser dividida em: cascata, paralelo ou hierárquica. Na configuração em cascata os classificadores são alocados de tal forma que a saída de um classificador é a entrada do seguinte, até chegar ao último classificador. O problema dessa forma de organização é que os erros cometidos pelos classificadores são acumulados, levando à concepção de comitês propensos à baixas taxas de acurácia. Já na organização em paralelo, todos os classificadores são treinados para lidar com o mesmo problema de tal forma que os treinamentos são independentes e não

há acúmulo de erro (VRIESMANN, 2012). Por essa peculiaridade e pela ampla adoção em trabalhos científicos, a abordagem paralela foi utilizada nessa tese de doutorado.

3.2.1.2 Os componentes do sistema

O conjunto de classificadores candidatos pode ser classificado em: homogêneo ou heterogêneo. Comitês de classificadores homogêneos são gerados a partir de um mesma técnica de classificação, fazendo-se variar seus parâmetros de configuração. Já comitês de classificadores heterogêneos são concebidos a partir de diferentes algoritmos de aprendizado.

Diversas outras técnicas para gerar diversidade entre os classificadores candidatos são exploradas na literatura, como:

∙ Bagging: Proposto em (BREIMAN, 1996) onde a partir de um conjunto inicial de dados são gerados novos conjuntos de dados contendo a mesma quantidade de instâncias do conjunto inicial mas com repetição entre instâncias no novo conjunto. ∙ Boosting: Inicialmente proposta em (SCHAPIRE,1990), esse método utiliza estraté- gia similar à de Bagging, porém a geração dos subsequentes subconjuntos leva em consideração os erros dos classificadores gerados anteriormente visando aprimorar o desempenho de cada novo classificador.

∙ Random subspace: Proposta em (HO, 1998), essa técnica gera classificadores a partir de subamostras aleatórias do espaço de características (atributos).

Apesar das técnicas de geração de diversidade(implícita e explícita) elencadas anteriormente, os experimentos conduzidos na presente tese de doutorado não faz uso de nenhuma delas, em virtude de os experimentos terem sido conduzidos em um ambi- ente heterogêneo de classificadores candidatos, constituído de diferentes algoritmos de aprendizado de máquina e diferentes parâmetros de configuração durante a concepção dos classificadores, o que por si só garante diversidade entre os classificadores candidatos 3.2.1.3 Combinação

As técnicas de combinação dos votos dos classificadores base podem ser classificadas em: seleção ou fusão. A técnica de combinação baseada em fusão dos votos assume que todos os classificadores possuem conhecimento acerca de todo o espaço de características, enquanto que a técnica de seleção os classificadores possuem conhecimento limitado do espaço de características. Todos os experimentos realizados nessa tese de doutorado utilizam a técnicas de fusão, haja visto que o estudo requer que todos classificadores candidatos tenham sido treinados com a mesma quantidade de atributos para cada base de dados. O voto majoritário foi amplamente adotado nos métodos explorados.