Abordagem Semi-supervisionada para Rotulac¸˜ao de
Dados
Bruno Vicente Alves de Lima
Universidade Federal do Piaui Departamento de Computac¸˜ao Email: brunovicente@ufpi.edu.brVinicius Ponte Machado
Universidade Federal do Piau´ı Departamento de Computac¸˜aoEmail: vinicius@ufpi.edu.br
Rodrigo de Melo Souza Veras
Universidade Federal do Piau´ı Departamento de Computac¸˜aoEmail: rveras@ufpi.edu.br
Resumo—Este artigo apresenta uma abordagem
semi-supervisionada para rotulac¸˜ao de dados a partir de uma pequena parte com r´otulo. No aprendizado semi-supervisionado tˆem-se um conjunto de dados n˜ao-rotulados que adquirem r´otulos baseados em uma parte menor previamente rotulada. O m´etodo proposto utiliza um classificador auxiliado por um m´etodo de agrupa-mento, neste caso algoritmos k-m´edias. Realizou-se experimentos utilizando trˆes classificadores diferentes: M´aquina de Vetor de Suporte, Naive Bayes e Randon Florest. Para verificar a validade da rotulac¸˜ao utilizou-se trˆes bases de dados e executou-se todos os m´etodos de classificac¸˜ao descritos e comparou-se os resultados com um algoritmo semi-supervisionado encontrado na literatura, o algoritmo K-meanski.
I. INTRODUC¸ ˜AO
Em um problema de classificac¸˜ao de padr˜oes ´e admitida a existˆencia de um conjunto de dados rotulados (dados de treinamento) que s˜ao utilizados para induzir um classificador. Entretanto, na maioria dos casos este conjunto de treinamento pode n˜ao conter uma quantidade suficiente de dados rotulados para treinar o classificador.
Um nova abordagem de aprendizado chamada semi-supervisionada parte do pressuposto que o conjunto dos dados dispon´ıveis para treinamento s˜ao formados por uma parte rotulada, em menor n´umero, e outra n˜ao rotulada, em maior n´umero. A ideia ´e rotular o conjunto de dados n˜ao-rotulados a partir daqueles que j´a possuem r´otulos. Desta forma obter dados suficiente para induzir um classificador de forma efici-ente.
Os padr˜oes n˜ao-rotulados podem ser utilizados de v´arias maneiras. Neste trabalho ´e realizado um treinamento onde durante o processo ocorre a rotulac¸˜ao de dados n˜ao-rotulados atrav´es da combinac¸˜ao de um m´etodo de classificac¸˜ao com o algoritmo K-m´edias. Basicamente o classificador tem seu treinamento auxiliado por um algoritmo n˜ao-supervisionado, neste caso K-m´edias, e ao final obt´em-se todos os dados rotulados e prontos para serem utilizados no treinamento de um outro classificador.
II. APRENDIZADO DEM ´AQUINA
Aprendizado de M´aquina (AM) ´e uma sub´area da Inte-ligˆencia Artificial que pode ser descrito como o desenvolvi-mento de t´ecnicas computacionais sobre o aprendizado bem como a construc¸˜ao de sistemas capazes de adquirir conheci-mento de forma autom´atica [1].
O AM permite o desenvolvimento de m´aquinas capazes de trabalhar melhorando a eficiˆencia e precis˜ao a medida que vai sendo utilizada. O aprendizado pode ser de trˆes tipos consi-derando o tipo de treinamento: Aprendizado Supervisionado, Aprendizado n˜ao-supervisionado e o Semi-Supervisionado [1]. A. Aprendizado Supervisionado
Neste trabalho utilizamos uma t´ecnica que utiliza o apren-dizado supervisionado (Redes Neurais). Neste tipo de aprendi-zado, durante o treinamento, s˜ao fornecidas ao classificador as entradas e suas sa´ıdas. Os dados de treinamento s˜ao rotulados com o objetivo de induzir um classificador para torn´a-lo capaz de generalizar o problema [2].
1) M´aquina de Vetor de Suporte (MVS): Para o desenvolvi-mento do algoritmo proposto utilizou-se M´aquina de Vetor de Suporte(MVS). As MVS’s foram introduzidas na literatura por [3] onde faz um mapeamento do espac¸o de entrada para um espac¸o de maior dimensionalidade [4]. Ap´os isso, ´e calculado um hiperplano de separac¸˜ao ´otimo.
O hiperplano ´e selecionado de modo que seja maximizada a distˆancia de separac¸˜ao entre as classes do problema [5]. A MSV ´e uma t´ecnica supervisionada que possui fase de treinamento e teste. No treinamento s˜ao projetados vetores de suporte a partir dos vetores de atributos e sa´ıdas desejadas. Estes vetores de suporte s˜ao utilizados para obter um classifi-cador.
2) Naive Bayes (NB): O algoritmo Naive Bayes (NB) ´e baseado no Teorema de Bayes (modelo probabil´ıstico), onde ´e calculada a probabilidade de um determinado objeto ser de uma determinada classe. Baseado nesta probabilidade ´e criado um ranking das classes e o Naive Bayes classifica o objeto para a classe que ocupa a primeira posic¸˜ao do ranking [6].
Um classificador bayesieno tamb´em ´e chamado classifi-cador estat´ıstico, pois pode prever a probabilidade de uma dada amostra pertencer a uma classe. O classificador presume que o valor de um atributo de uma classe ´e independente dos valores dos outros atributos, isso ´e chamado de independˆencia condicional de classe.
B. Aprendizado N˜ao-supervisionado
Diferente do supervisionado o Aprendizado n˜ao-supervisionado n˜ao tem acesso as sa´ıdas dos dados. Neste caso sup˜oe-se que o conjunto de exemplos n˜ao est´a rotulado, com isto o sistema tenta classificar estes conjuntos agrupando
os semelhantes em determinados grupos de acordo com uma medida de similaridade.
O agrupamento baseia-se na similaridade dos objetos agru-pados para criar os grupos separando assim os itens com menos similaridade e aproximando os mais similares. Algu-mas t´ecnicas n˜ao supervisionadas utilizada neste trabalho s˜ao baseadas no Algoritmo K-m´edias.
O K-m´edias ´e uma t´ecnica de aprendizado de m´aquina, n˜ao-supervisionada apresentada por [7] e tem o objetivo de criar partic¸˜oes de uma populac¸˜ao n-dimensional em k grupos em uma dada base de dados.
O algoritmo K-m´edias utiliza um parˆametro de entrada k, que determina a quantidade de grupos, sendo que tais grupos possuem n elementos. Ap´os a execuc¸˜ao pretende-se obter uma alta similaridade dos elementos de um grupo e baixar similaridade entres os grupos criados pelo algoritmo [8].
O algoritmo K-m´edias pode ser resumido da seguinte maneira:
1) E escolhido aleatoriamente k objetos da base de dados´ como centros iniciais dos grupos;
2) Atribui-se cada objeto ao grupo ao qual o objeto ´e mais similar, de acordo com o valor m´edio dos objetos no grupos;
3) Atualiza-se os centroides dos grupos, ou seja, calcula-se a m´edia dos objetos para cada grupo;
4) Testa o crit´erio de parada, e finaliza ou retorna ao item 2.
Como dito anteriormente, os grupos s˜ao gerados consi-derando uma medida de similaridade, que faz com que os padr˜oes mais similares entre si pertenc¸am ao mesmo grupo. Nesta abordagem, esta medida torna-se importante, pois esta influencia na rotulac¸˜ao, pois indica quais elementos s˜ao da mesma classe.
A similaridade entre padr˜oes de exemplos neste trabalho ´e calculada atrav´es da distˆancia euclidiana, que pode ser definida pela equac¸˜ao 1. D(x, y) = v u u t m X i=1 (xi− yi)2 (1)
Onde D ´e a distˆancia euclidiana, m ´e a dimens˜ao no problema, x e y os valores das coordenadas de dois eixos em que os elementos, representados por i, est˜ao inseridos. C. Aprendizado Semi-Supervisionado
O Aprendizado Semi-Supervisionado consiste em utilizar t´ecnicas que aprendam a partir de dados rotulados e n˜ao-rotulados. O objetivo ´e utilizar os exemplos rotulados para se obter informac¸˜oes sobre o problema e utiliz´a-las para guiar o aprendizado a partir dos dados n˜ao-rotulados [9].
Pode ser utilizado tanto para classificac¸˜ao quanto para agrupamento. No caso da classificac¸˜ao a ideia ´e rotular corre-tamente os dados n˜ao-rotulados, os quais s˜ao posteriormente utilizados na fase de treinamento de um classificador [10].
J´a no processo de agrupamento os exemplos rotulados s˜ao utilizados para a formac¸˜ao dos grupos. Geralmente esta formac¸˜ao ´e baseada nos dados rotulados e com isso obter melhores resultados.
1) Algoritmo K-meanski: O Algoritmo K-meanski (ki) ´e
uma abordagem semi-supervisionada baseada no algoritmo k-m´edias proposta em [11]. Esse m´etodo parte da premissa de que os exemplos de mesma classe tendem a se agrupar nos mesmos grupos.
A diferenc¸a dessa abordagem com o algoritmo k-m´edias ´e na fase de selec¸˜ao dos centr´oides. Enquanto o k-m´edias seleciona aleatoriamente, o k-meanski define como centr´oide
inicial de um grupo um dos exemplos j´a rotulados previamente. Assim garante-se que os exemplos rotulados com classes diferentes n˜ao ser˜ao colocados no mesmo grupo [11].
III. BASES DEDADOSUTILIZADAS
Para a realizac¸˜ao dos experimentos foram utilizadas duas bases de dados difundidas na literatura: Iris e Sementes. Estas bases podem ser encontradas no Reposit´orio de Aprendizado de M´aquina UCI1.
A Iris corresponde a uma classe de plantas com flor que pode ser em trˆes tipos: Setosa, Versicoulor e virg´ınica. A base possui 4 atributos, s˜ao eles: comprimento e largura da s´epala e comprimento e largura da p´etala. Sendo que estes atributos est˜ao em cent´ımetros. O n´umero de exemplos contidos nesta base de dados ´e de 150 elementos.
A Base de Sementes ´e composta por trˆes tipos diferentes de trigo. S˜ao eles: Kama, Rosa e Canadense. A base possui 7 atributos geom´etricos que caracterizam os gr˜aos de trigos: ´area, per´ımetro, compacidade, altura, largura, coeficiente de assimetria, do gr˜ao. Essa base cont´em um total de 210 amos-tras.
A outra base utilizada, tamb´em encontrada no UCI, ´e a base de Cˆancer de Mama. Este conjunto de dados caracteriza indiv´ıduos que possui ou n˜ao cˆancer de mama. ´E formada por 9 atributos, s˜ao eles: idade, menopausa, tamanho do tumor, invas˜ao dos nodos, node-caps, grau de maligno, mama direita ou esquerda e quadrante do tumor. Essa base cont´em um total de 699 exemplos.
IV. ABORDAGEMSEMI-SUPERVISIONADAPROPOSTA
Como os grupos encontrados por algoritmos n˜ao-supervisionados apresentam descric¸˜ao conceitual dif´ıcil de ser encontrada, torna-se preferencial o uso de algoritmos supervi-sionados. Entretanto, como dito na Sec¸˜ao I, na grande maioria dos casos, o n´umero de exemplos rotulados ´e insuficiente para treinar um algoritmo supervisionado. Situac¸˜oes deste tipo incentivam o uso de algoritmo de aprendizado semi-supervisionado.
Neste trabalho prop˜oe-se uma abordagem de aprendizado semi-supervisionado para as tarefas de rotulac¸˜ao de exemplos de um conjunto de treinamentos a partir de outro conjunto rotulado, considerando que exemplos que pertencem `a mesma classe apresentam uma tendˆencia a se agrupar de acordo com uma medida de similaridade.
O algoritmo proposto, consiste em ampliar o conjunto de dados rotulados durante o treinamento do classificador. Para expandir os dados rotulados utiliza-se o algoritmo K-m´edias para auxiliar no aprendizado do m´etodo de classificac¸˜ao ob-tendo assim um conjunto maior de dados rotulados e um classificador capaz de generalizar o problema.
O m´etodo pode ser definido em quatro fases principais: treinamento, classificac¸˜ao, agrupamento e teste de erro.
• Treinamento - consiste em treinar o classificador utilizando apenas os dados rotulados;
• Classificac¸˜ao - ´e a fase em que classifica-se os dados n˜ao-rotulados com o classificador treinado;
• Agrupamento - nesta etapa os dados s˜ao agrupados levando em considerac¸˜ao uma medida de similaridade; • Teste de Erro - fase em que analisa-se e detecta os padr˜oes inseridos em grupos erroneamente, isto ´e, n˜ao seguem o padr˜ao do grupo ao qual est˜ao inseridos. Estas estapas s˜ao executadas at´e se obter uma rotulac¸˜ao satisfat´oria para o treinamento de um classificador.
A. Selec¸˜ao de Centr´oides
Como visto na literatura, o algoritmo k-m´edias seleciona de forma aleat´oria os centr´oides iniciais [7], entretanto, neste trabalho, ´e necess´ario que os elementos previamente rotulados com a mesma classe estejam sempre nos mesmos grupos e que elementos de classes distintas estejam em grupos distintos. Ent˜ao foi utilizada uma forma diferente de selecionar os centr´oides iniciais para o algoritmo k-m´edias.
Para garantir essa condic¸˜ao, os centr´oides neste artigo, s˜ao calculados a partir dos dados j´a rotulados. Isto ´e, os centr´oides s˜ao calculados a partir dos exemplos de uma determinada classe sem envolver os das outras, e assim ´e feito com todas as classes do conjunto inicialmente rotulados.
Com isso garante-se que os elementos rotulados correta-mente n˜ao sejam agrupados posteriorcorreta-mente em grupos refe-rentes `a outras classes.
B. Algoritmo Proposto
Para definir o algoritmo considerou-se L como o conjunto dos dados rotulados e U o conjunto n˜ao rotulado. A proposta pode ser descrita no Algoritmo 1.
Como pode-se observar no Algoritmo 1, o treinamento ´e feito at´e que os n˜ao exista mais dados n˜ao-rotulados na base de dados.
Inicialmente, tˆem um conjunto com poucos dados rotulados e muitos n˜ao-rotulados, como mostra a Figura 1. Com esse estado da base, divide-se os dados rotulados (L) dos n˜ao-rotulados (U) e assim identifica-se quais e quantas s˜ao as classes do problema em quest˜ao.
Posteriormente, na fase de treinamento, o conjunto de dados L ´e utilizado para treinar o classificador. Como o conjunto L ´e menor que o conjunto U e n˜ao possui padr˜oes suficiente para induzir o algoritmo, dizemos que a classificador foi fracamente treinado, pois a capacidade de generalizac¸˜ao
Algoritmo 1: Abordagem Proposta
Entrada: Base de Dados com dados rotulados e n˜ao-rotulados.
Sa´ıda: Base de Dados rotulada.
1: para tamanho U > 0 fac¸a
2: Separar L e U;
3: Treinar o Classificador;
4: Classificar o conjunto U com a RNM e adicionar em L;
5: Agrupar os dados de L com K-m´edias;
6: Adicionar padr˜oes agrupados erroneamente em U’;
7: Adicionar padr˜oes agrupados corretamente em L’;
8: L’ torna-se L; 9: U’ torna-se U; 10: fim para Dados Classe 1 Dados Classe 3 Dados Classe 2 Não Rotulados
Figura 1. Conjunto com poucos dados rotulados.
inicialmente n˜ao ´e satisfat´oria. Ap´os treinar, procede com a fase de classificac¸˜ao, onde os dados do conjunto U s˜ao submetidos ao classificador fraco e adicionados no conjunto L, pois estes agora possuem um r´otulo tempor´ario (Figura 2). Como o classificador foi treinado com dados escassos, n˜ao existe garantia de que todos os padr˜oes do conjunto U tenham sido classificados corretamente, entretanto mesmo fracamente treinando o classificador ´e capaz de predizer a classe de uma quantidade pequena dos padr˜oes do conjunto U.
Para auxiliar no treinamento, submeteu-se os dados do conjunto L ao Algoritmo K-m´edias, partindo da premissa de que os dados com a mesma classe ser˜ao agrupados no mesmo grupo, seguindo a medida de similaridade descrita na Sec¸˜ao II e a selec¸˜ao de centr´oides como dito na Subsec¸˜ao IV-A.
Dados Classe 1 Dados Classe 3
Dados Classe 2 Não Rotulados
Como o classificador foi fracamente treinado espera-se que haja dados colocados em grupos onde a maioria dos elementos pertencem a classes diferentes, como mostra na Figura 3.
Dados Classe 1 Dados Classe 3
Dados Classe 2 Não Rotulados
Figura 3. Conjunto de dados agrupados.
Com o agrupamento, pode-se detectar quais s˜ao os padr˜oes existente em cada grupo e assim verificar quais n˜ao foram corretamente classificados, como mostra na Figura 4. Isto ´e feito observando o grupo em que o elemento foi inserido, se o grupo em que ele foi colocado ´e formado por elementos da classe em que foi classificado, ent˜ao houve uma classificac¸˜ao correta, se isso n˜ao ocorre ent˜ao considera-se a classificac¸˜ao incorreta. Ap´os o processo de gerac¸˜ao dos grupos, os padr˜oes inseridos nos grupos de forma errada s˜ao removidos e coloca-dos novamente no conjunto U.
Dados Classe 1 Dados Classe 3
Dados Classe 2 Não Rotulados
Figura 4. Detecc¸˜ao dos dados agrupados em grupos errados.
O processo ´e realizado at´e que o agrupamento seja con-dizente com a classificac¸˜ao obtida com o classificador, isto ´e, todos os dados classificados na mesma classe forem inseridos no mesmo grupo.
V. EXPERIMENTOREALIZADO
Com o objetivo de verificar a validade do m´etodo proposto, realizou-se um experimento visando rotular um conjunto de dados a partir de uma pequena parte rotulada, utilizando as trˆes bases de dados citadas na Sec¸˜ao III. Al´em disso, comparou-se os resultados com os do outro m´etodo comparou-semi-supervisionado citado na Subsec¸˜ao II-C1.
Para o experimento utilizou-se os trˆes m´etodos descritos anteriormente (MVS, NB e RF) e o algorimo K-meanski. Para
a execuc¸˜ao de cada classificador, o algoritmo k-m´edias possu´ıa um total de grupos de acordo com a quantidade de classes de cada base de dados fornecidas pelos autores.
Cada base de dados foi dividida em dois subgrupos: U sendo os exemplos n˜ao-rotulados totalizando 75% do total e L os exemplos rotulados sendo 25% do conjunto total, com o objetivo de rotular os exemplos de U, sendo estes valores escolhidos de forma emp´ırica e de acordo com a literatura.
O algoritmo proposto foi executado 100 vezes com a MVS, mais 100 vezes com o NB e da mesma forma com o RF. Sendo que em cada execuc¸˜ao os exemplos dos conjuntos U e L eram escolhidos de forma aleat´oria, para verificar a sensibilidade da t´ecnica em relac¸˜ao aos dados iniciais. O mesmo procedimento foi realizado para o algoritmo K-meanski.
E ao final de cada execuc¸˜ao, comparou-se os exemplos da base de dados rotulada com a base de dados original para saber quais exemplos foram rotulados corretamente de acordo com o inicial, determinando assim a taxa de acerto de cada algoritmo.
VI. RESULTADOS
Esta sec¸˜ao analisa os resultados obtidos com a execuc¸˜ao do m´etodo proposto e o algoritmo K-meanski. Como foi
dito, a abordagem proposta utiliza um classificador auxiliado por um m´etodo de agrupamento, sendo que esse m´etodo de classificac¸˜ao pode variar. O gr´afico da Figura 5, mostra a m´edia das taxas de acertos da abordagem proposta com os trˆes classificadores utilizados em tempos distintos: MSV, NB e RF. E tamb´em, os resultados do algoritmo K-meanski. Sendo
as m´edias de 100 execuc¸˜oes.
O gr´afico da Figura 5 mostra que a abordagem proposta, utilizando os classificadores apresentados, obteve melhor de-sempenho em relac¸˜ao o algoritmo K-meanski, pois em todas
as base de dados obteve melhor taxa de acerto com todos os classificadores.
Para a base Iris a menor taxa de acerto do algoritmo proposto foi de 95,13% utilizando a MVS. Obteve-se uma m´edia de 96,22% com a abordagem utilizando os outros dois classificadores (NB e RF). O algoritmo K-means obteve taxa m´edia de 93,67 % de acerto.
Com a base de Sementes o k-meanski obteve uma taxa
m´edia de 89,95% de acerto enquanto o m´etodo proposto obteve a menor taxa de 93,03 % utilizando o classificador RF. Com a MVS obteve uma taxa de 94,16% e com NB 94,05%.
E por fim, com a base Cˆancer, o m´etodo obteve a menor taxa de acerto de 96,85% com o NB. Para os classificadores MVS e RF obteve taxas de acerto de 97,31% e 97,05% respectivamente. O Ki obteve uma taxa de 92,45%.
Pode se observar que mesmo as menores taxas de acertos obtidas pela abordagem proposta neste trabalho foram melho-res em relac¸˜ao o algoritmo Ki (encontrado na literatura).
VII. CONCLUSAO˜
Neste trabalho foi mostrado um m´etodo semi-supervisionado que combina um classificador com um algoritmo de agrupamento, neste caso o k-m´edias para a rotulac¸˜ao de dados a partir de outros previamente com r´otulos. Al´em disso, comparou-se os resultados com um m´etodo semi-supervisionado encontrado na literatura, o algoritmo K-meanski.
95,13 94,16 97,31 96,22 94,05 96,85 96,22 93,03 97,05 90,25 89,95 92,45 50 60 70 80 90 100
Iris Sementes Câncer
Ta xa de Ac ert o ( %) Base de Dados Resultados da Rotulação MVS NB RF Ki
Figura 5. Resultados das Execuc¸˜oes dos Algoritmos.
A abordagem proposta obteve desempenho melhor em relac¸˜ao o algoritmo k-meanski com as trˆes base de dados
utilizadas. Com isso, pode-se afirmar que abordagem consegue realizar a tarefa ao qual foi proposta.
Percebe-se pelo gr´afico da Figura 5, que a execuc¸˜ao com a base Iris Naive Bayes e Random Florest obteve-se a maior taxa de acerto, sendo igual para ambos. Com a base de dados de Sementes e Cˆancer a M´aquina de Vetor de Suporte foi o classificador com o qual a abordagem obteve melhor taxa de acerto.
Nota-se tamb´em, que a base de dados deve seguir a premissa de que, os elementos de uma mesma classe pode ser naturalmente agrupados no mesmo grupo seguindo uma m´etrica de similaridade.
Como trabalhos futuros, pretende-se comparar os resulta-dos com outros m´etoresulta-dos de aprendizado semi-supervisionaresulta-dos encontrados na literatura, utilizando outras bases de dados. Al´em disso, verificar a influˆencia das medidas de similaridades no m´etodo de agrupamento k-m´edias para a abordagem.
REFERENCIASˆ [1] T. M. Mitchell, “Machine learning,” 1997.
[2] S. Russell and P. Norving, Artificial Intelligence: A Modern Approach, Second, Ed., 2004.
[3] C. Cortes and V. Vapnix, “Support-vector networks,” pp. 237–297, 1995. [4] T. M. COVER, “Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition,” IEEE Transactions on Electronic Computers, 1965.
[5] S. Haykin, Neural Networks: A Comprehensive Foundation, 2nd ed., Bookman, Ed. Porto Alegre, 2001.
[6] C. D. Manning, P. Raghavan, and H. Schutze, “Introduction to infor-mation retrieval,” Cambrige University PressThi, 2008.
[7] J. MacQueen, Some methods for classfication and analysis of multiva-riate observations. University of California Press, 1967, vol. 1. [8] G. H. A. Sousa and A. A. A. Esmin, Algoritmo de Enxame de Particulas
Hibrido APlicado a Clusterizacao de Dados, 2011.
[9] R. Bruce, “A bayesian approach to semi-supervised learning,” Procee-dings of the Sixth Natural Language Processing Pacific Rim Symposium - NLPRS-2001, 2001.
[10] S. Basu, A. Banergee, and R. Mooney, “Semi-supervised clustering by seeding,” Proceedings of the 19th International Conference on Machine Learning, 2002.
[11] M. K. Sanches, “Aprendizado de maquina semi-supervisionado: pro-posta de um algortimo para rotular exemplso a partir de poucos exemplos rotulados,” Master’s thesis, Universidade de Sao Paulo, 2003.
