Validação Empírica do Erro de Generalização

Em redes convolucionals rápidas, trabalhos que validam modelos teóricos do erro de generalização contra dados empíricos são escassos. Em especial, o erro de generalização

conjuntamente em função do número de exemplos e do número de neurônios escondidos

permanece pouco estudado. Os trabalhos analisam o erro de generalização somente em função do número de neurônios (DING; GUO; HOU, 2017;MCDONNELL; VLADUSICH, 2015; YOUSEFI-AZAR; MCDONNELL, 2017), ou do número de exemplos (HUANG et al., 2017a; PANG; YANG, 2016).

O teorema de Rahimi e Recht estabelece um limite superior para o erro de teste em função do número de exemplos de treinamento e do número de neurônios escondidos (RAHIMI; RECHT, 2009). As condições do teorema de Rahimi-Retch definem uma rede com uma camada escondida de pesos aleatórios e uma camada de saída com pesos por mínimos quadrados, sendo compatível com o estágio de classificação de redes convolucionais rápidas tais como as que foram propostas em (DING; GUO; HOU, 2017; MCDONNELL; VLADUSICH,

2015; YOUSEFI-AZAR; MCDONNELL, 2017).

Dois aspectos apontados por Krizhevsky, Sutskever e Hinton (2012) como possíveis fatores para o baixo erro de generalização obtido com redes neurais profundas são abor- dados no teorema de Rahimi-Retch: o tamanho do conjunto de dados e a capacidade de representação do modelo. Este último aspecto é representado no teorema Rahimi-Retch pelo número de neurônios escondidos, o que determina o número de parâmetros (pesos) ajustáveis na camada oculta. Uma possível interpretação do teorema de Rahimi-Retch é que o erro de generalização tende a decrescer conforme crescem, ao mesmo tempo, o tamanho do conjunto de treinamento e número de pesos ocultos.

Na formulação do teorema de Rahimi-Retch, os autores apresentaram o algoritmo de treinamento chamado pias de cozinha aleatórias (Random Kitchen Sinks, (RKS)) repre- sentando uma classe de redes neurais de treinamento rápido anteriores para as quais este teorema é adequado (RAHIMI; RECHT, 2009). RKS e ELM são intimamente relacionados. O RKS pode usar bases de Fourier como função ativação (ou característica) na camada oculta (RAHIMI; RECHT, 2007), assim como pode ocorrer na ELM (HAN; HUANG, 2006). No entanto, o teorema de Rahimi-Reich não requer bases de Fourier e assume apenas que

a função de ativação deve ser limitada. Outros limites de generalização para redes com camada oculta aleatória foram fornecidos em estudos anteriores (LIU et al., 2015; BACH, 2017; RUDI; ROSASCO, 2017). Nesta tese, empregamos o modelo de Rahimi-Retch devido à sua aplicação simples e direta, além da capacidade de explicar os dados observados.

3.2.3.1 O conjunto de dados EMNIST

O estudo empírico do erro de generalização assintótico requer um grande número de exemplos. No lado experimental, o conjunto de dados extended MNIST (EMNIST) prove um número maior de dígitos que o típico MNIST (COHEN et al., 2017). Ambos EMNIST e MNIST são derivados do NIST Special Database 19. O EMNIST é conveniente porque es- tende o MNIST usando o mesmo formato de dados. No entanto, o MNIST é um benchmark tradicional e amplamente adotado. As redes convolucionais rápidas são frequentemente avaliadas no reconhecimento de dígitos com o conjunto de dados MNIST (HUANG et al., 2017a; PANG; YANG, 2016; DING; GUO; HOU, 2017;MCDONNELL; VLADUSICH, 2015).

4 OBJETIVOS DA PESQUISA

O presente capítulo parte das limitações apontadas na revisão da literatura, passando pelas questões (Seção 4.1) e hipóteses de pesquisa (Seção 4.2). Por fim, concluímos o capítulo definindo os objetivos (Seção 4.3).

4.1 QUESTÕES

A fim de tentar superar as limitações apontadas pela revisão da literatura derivamos questões de pesquisa. No Capítulo 3, nossa revisão da literatura identificou limitações relacionadas às funções objetivo em métodos de segmentação de EM e às máquinas de aprendizado extremo convolucionais. As Questões 1 e 2 tratam de métricas de segmentação como função objetivo específica no MLP-PSO para segmentação de lesões de EM. Ambas as questões que seguem lidam com CELM, comparando bancos de filtros (Questão 3), ou buscando um modelo do erro de generalização de uso prático (Questão 4). As questões de pesquisa são listadas a seguir.

1. Métricas de segmentação de EM como função objetivo específica no MLP-

PSO melhoram o desempenho de segmentação de EM observado?

2. O algoritmo de segmentação de EM usando MLP-PSO com métricas de

segmentação na função objetivo compara-se ao estado-da-arte?

3. Qual banco de filtros convolucionais resulta em menor error da CELM

para reconhecimento de dígitos?

4. Qual modelo de erro de generalização explica o erro empírico da CELM

para reconhecimento de dígitos?

4.2 HIPÓTESES

Nesta seção, cada hipótese fornecem uma resposta provisória, a ser averiguada, para uma questão de pesquisa. Seguimos a definição de hipótese de pesquisa como sendo uma afirmação, simples e testável. As hipóteses testadas nesta tese são declaradas a seguir.

1. Métricas de segmentação de EM como função objetivo específica resulta

em desempenho de segmentação melhor do que a função objetivo ines- pecífica.

Métricas de segmentação por fatia, como função objetivo específica, podem resultar em melhor desempenho de segmentação do que com uma função objetivo inespecífica

representada pelo MSE. Para verificar essa hipótese, empregamos o conjunto de dados MICCAI2008.

2. O algoritmo de segmentação usando MLP-PSO com métricas de seg-

mentação na função objetivo resulta em desempenho de segmentação equivalente ao estado-da-arte.

O algoritmo de segmentação usando MLP-PSO com métricas de segmentação na função objetivo pode resultar em desempenho de segmentação equivalente a ou- tros métodos de segmentação de EM do estado-da-arte. Para testar essa hipótese, consideramos os conjuntos de dados MICCAI2008 e MICCAI2016 como referências. 3. Filtros combinados resultam em menor erro do que filtros puros na CELM

para reconhecimento de dígitos

A combinação de filtros convolucionais de diferentes tipos, em estágios de extração de características, pode resultar em maior poder discriminativo da CELM para reconhecimento de dígitos.

4. O modelo de erro de generalização baseado no teorema de Rahimi-Retch

concorda e prediz o erro empírico na CELM para reconhecimento de dígitos

O erro empírico é ajustado contra um modelo do erro de generalização. Então, o modelo ajustado pode ser avaliado quanto a concordância e capacidade de predição do erro de teste da CELM em reconhecimento de dígitos.

4.3 OBJETIVOS

Nesta seção definimos as ações para testar as hipóteses levantadas na seção anterior. A seguir, definimos estas ações, de modo amplo em Objetivo Geral e de modo pontual em Objetivos Específicos.

4.3.1 Objetivo Geral

O objetivo geral desta tese é investigar classificadores baseados em redes neurais, tendo idealmente correção equivalente ao humano e treinamento rápido, para aplicação em segmentação de lesões de EM, bem como em reconhecimento de dígitos.

4.3.2 Objetivos Específicos

Os objetivos específicos estão declarados abaixo.

1. Desenvolver funções objetivo específica e inespecífica, algoritmo de trei-

2. Comparar o uso da função objetivo específica com o uso da função ob-

jetivo inespecífica, e também com o estado-da-arte em segmentação de EM, empregando as bases de dados MICCAI2008 e MICCAI2016 como referência.

3. Desenvolver bancos de filtros convolucionais, modelo de erro generaliza-

ção e arquitetura de CELM para reconhecimento de dígitos.

4. Avaliar a CELM, comparando bancos de filtros combinados e puros na

CELM, ajustando e predizendo o erro empírico com o modelo de erro de generalização, empregando o conjunto de dados de reconhecimento de dígitos EMNIST.

5 METODOLOGIA

Este capítulo detalha os métodos desenvolvidos em redes neurais artificiais e aplicados em tarefas de classificação de padrões de imagens. A Seção 5.1 aborda os métodos rela- cionados à função objetivo específica para a tarefa de segmentação de lesões de esclerose múltipla. Enquanto, a Seção 5.2 descreve os métodos que dizem respeito à máquina de aprendizado extremo convolucional para a tarefa de reconhecimento de dígitos.

5.1 FUNÇÃO OBJETIVO PARA SEGMENTAÇÃO DE ESCLEROSE MÚLTIPLA

Nesta seção descrevemos o método de segmentação de EM desenvolvido com ênfase na função objetivo específica proposta. Iniciamos por uma descrição de alto nível das prin- cipais etapas de processamento, na Seção 5.1.2. Em seguida, as Seções 5.1.3 e 5.1.4 des- crevem as bases de dados empregadas. Depois, a Seção 5.1.5 trata do pré-processamento, enquanto a Seção 5.1.6 lida com a amostragem. Então, a Seção 5.1.7 contém o deta- lhamento do classificador, enfatizando a função objetivo específica para segmentação de esclerose múltipla. A Seção 5.1.8 descreve as etapas de pós-processamento, encerrando o capítulo.

5.1.1 Ambiente de Hardware e Software

Os experimentos foram executados em uma máquina com dois processadores Intel

Xeon de 2,4 GHz de 6 núcleos cada e 16 GB de memória RAM. As rotinas do MLP-

PSO foram implementadas no software MATLAB. Os scripts de pré-processamento foram codificados em GNU bash. O sistema operacional empregado foi OS X 10.10 (Yosemite).