Extensões do Self-Training

Conforme explicado anteriormente, é possível encontrar na literatura diferentes tra- balhos que realizam alterações na estrutura do algoritmo self-training com o objetivo de criar novos algoritmos ou extensões (TAO et al., 2016; WU et al., 2017; WANG et al., 2017;

GAN et al., 2013; RODRIGUES; SANTOS; CANUTO, 2013). No trabalho de Tao et al. (2016) foi desenvolvido um novo algoritmo no estilo do self-training que explora uma hipótese múltipla para otimizar o processo de autorrotulagem. Esse processo utiliza um método transdutivo baseado em grafos para gerar predições confiáveis. Ao contrário do padrão self-training, o algoritmo proposto utiliza dados rotulados e não rotulados como um todo para rotular e selecionar instâncias não rotuladas para o aumento do conjunto de trei- namento. Segundo o autor, o algoritmo proposto tem várias propriedades interessantes, entre elas: pode gerar rótulos mais confiáveis em dados não rotulados; e tem uma forte tolerância ao ruído no conjunto de treinamento.

Seguindo o contexto anterior, na pesquisa de Wu et al. (2017), foi proposto um fra- mework para classificação semissupervisionada de autotreinamento, cuja estrutura de distribuição do espaço de dados (esférica ou não esférica) foi integrada ao processo do self-training. Este framework consiste de duas partes principais, uma está descobrindo a estrutura real de todo o espaço de dados, pesquisando e localizando picos de densidade de dados; a outra é integrar a estrutura real de todo o espaço de dados no processo de autotreinamento para treinar iterativamente um classificador.

Já Wang et al. (2017), propuseram um framework baseado no self-training para classi- fição de imagens estimando-se a entropia de evidência de fusão de amostras não-rotuladas.

Para tanto, foi usada a avaliação mínima de confiança e máxima incerteza. O objetivo do presente estudo foi estabelecer as principais tecnologias necessárias para uma nova estrutura de modelo de aprendizagem semissupervisionada de autotreinamento para me- lhorar a precisão final e resolver o problema de seleção de amostras de treinamento de alta qualidade.

Outra abordagem foi proposta em Gan et al. (2013), cuja intenção é que os dados não rotulados possam ser extremamente valiosos para revelar a estrutura do espaço de dados e modelar os relacionamentos entre os dados rotulados e não rotulados antes do treinamento de um classificador. Para isso, foi proposto um framework semissupervisio- nado que combina agrupamento (clustering) e classificação. Neste framework um processo de agrupamento semissupervisionado é integrado ao processo do self-training para ajudar a treinar um classificador melhor. Sua principal vantagem é o uso de dados rotulados e não rotulados para revelar a estrutura do espaço de dados real por meio da análise de clustering.

Dando continuidade ao grupo de trabalhos que alteram a estrutura do algoritmo self-training, em Rodrigues, Santos e Canuto (2013) são propostos quatro métodos se- missupervisionados, baseados no self-training, que podem ser aplicados a problemas de classificação multirrótulo. A ideia principal destes métodos é minimizar a aleatoriedade com que as instâncias são escolhidas no processo de rotulagem. Desta forma, o objetivo principal do trabalho é utilizar um parâmetro de confiança no processo de rotulagem automática dos dados, visando minimizar a inclusão de ruídos melhorando, de maneira geral, a acurácia da classificação. Assim sendo, apenas instâncias cujos rótulos de saída do classificador possuem valores de confiança acima de um limite de confiança são le- vados em consideração. Nesse sentido, este limite de confiança (valor entre 0 e 1), foi usado para controlar a atribuição automática de rótulos no processo de aprendizagem semissupervisionada.

3.2

Aprendizado Semissupervisionado com

Co-Training

Na literatura, é possível encontrar diversos trabalhos de aprendizado semissupervisi- onado que utilizam o algoritmo co-training, tanto para resolução de problemas (SAMIAP- PAN; MOORHEAD, 2015; ARYOYUDANTA; ADJI; HIDAYAH, 2016; HOANG; CHAU; PHUNG, 2016), quanto para alterar sua estrutura criando extensões ou novos algoritmos (QIAO et

al., 2018; KIM et al., 2019;Chen; Pan; Chen, 2017; BAI et al., 2012).

Inicialmente serão explicados os trabalhos cuja utilização do co-training tem como objetivo a resolução de problemas. No trabalho de Samiappan e Moorhead (2015) foi proposta uma abordagem semissupervisionada que adapta o aprendizado ativo (do in- glês, active learning) ao algoritmo co-training para classificar imagens hiperespectrais, selecionando automaticamente novas amostras de treinamento de pixels não rotulados. A eficácia da abordagem proposta é validada usando um classificador de máquina de vetores de suporte probabilístico.

A pesquisa de Aryoyudanta, Adji e Hidayah (2016) tem como objetivo projetar um modelo de aprendizagem semi-supervisionado para o sistema NER (do inglês, Indonesian Named Entity Recognition). O NER visa identificar e classificar uma entidade com base em seu contexto, no entanto poucas instâncias possuem rótulo. Sendo assim, o modelo de aprendizado semi-supervisionado co-training foi usado para lidar com dados não rotu- lados no processo de aprendizado NER e produzir novos dados rotulados que podem ser aplicados para aprimorar um novo sistema de classificação NER. O trabalho de Hoang, Chau e Phung (2016) propõe uma nova abordagem para classificação de alunos em um sistema de crédito acadêmico, combinando transferência de aprendizagem e co-training. Um modelo resultante pode prever um status de estudo de um aluno matriculado em um programa educacional efetivamente, usando um modelo de classificação aprimorado por técnicas de aprendizagem de transferência e co-training em dados educacionais de outro programa. Além disso, esta abordagem pode lidar com a escassez de conjuntos de dados educacionais para a previsão precoce de alunos com problemas.

A partir deste ponto serão apresentados os trabalhos que utilizam o co-training para criar novos algoritmos ou extensões deste algoritmo. Na pesquisa de Qiao et al. (2018) foi criado o Deep Co-training, um método baseado em aprendizado profundo (do inglês, deep learning) inspirado na estrutura do co-training. O Deep Co-training treina várias redes neurais profundas para serem utilizadas com as diferentes visões necessárias ao funcio- namento do co-training e explora exemplos contraditórios para incentivar as diferenças entre as visões, a fim de evitar que as redes entrem em colapso umas com as outras. Em Kim et al. (2019) foi proposto um método, denominado multi-co-training, cujo objetivo é melhorar o desempenho da classificação de documentos. Os documentos são transforma- dos usando três métodos de representação de documentos a fim de aumentar a variedade de conjuntos de atributos para classificação.

supervisionado combinando co-training com algoritmo de classificação de máquina de vetores de suporte ( SVM ). Por meio de um procedimento de aprendizado interativo, o novo conjunto de dados rotulado final pode ser determinado com base em conjuntos de dados não rotulados, treinando dois classificadores de SVM. No trabalho de Bai et al. (2012) foi proposto um novo algoritmo de recuperação de objetos baseado no co-training, denominado co-transduction. O objetivo do referido trabalho foi o desenvolvimento de um algoritmo para fundir diferentes medidas de similaridade para recuperação robusta de objetos através de uma estrutura de aprendizado semissupervisionado. Dadas duas medidas de similaridade e um formato de consulta, o algoritmo recupera iterativamente as formas mais semelhantes usando uma medida e os atribui a um pool para a outra medida para fazer uma nova classificação e vice-versa.

3.3

Comitês de Classificadores com Aprendizado Se-

missupervisionado

Na literatura há diversos estudos que relacionam comitês de classificadores com apren- dizado semissupervisionado, seja para criar frameworks (WANG, 2016;LIU; ZHAO; WANG,

2018), propor comitês de classificadores que utilizam aprendizado semissupervisionados (HOSSEINI; GHOLIPOUR; BEIGY, 2016;HUMAYUN et al., 2018) ou resolver problemas (ZHANG et al., 2018). No trabalho de Wang (2016) foi proposto um novo framework para classifi- cação de dígitos manuscritos que cria um novo método para aprendizado semissupervi- sionado utilizando comitês de classificadores. Liu, Zhao e Wang (2018) desenvolveu um framework para a extração de relações de eventos adversos a medicamentos, utilizando conteúdo gerado pelo paciente nas mídias sociais. O framework explorou vários recursos lexicais, semânticos e sintáticos e integrou o aprendizado semissupervisionado com comitês de classificadores.

No trabalho de Hosseini, Gholipour e Beigy (2016), os autores propuseram um comitê de classificadores para classificar instâncias de fluxo de dados não estacionário em um am- biente semissupervisionado. Em Humayun et al. (2018), foi proposto um comitê de clas- sificadores para distinguir entre vários graus de anormalidades do coração usando sinais de fonocardiograma adquiridos usando estetoscópios digitais em um ambiente clínico. Por fim, em Zhang et al. (2018) foi apresentado um método que lida com distribuição desco- nhecida pelo aprendizado de comitês de classificadores. O método proposto pode resolver problemas de classificação semissupervisionados, incluindo distribuição desconhecida ou dados desbalanceados.