Estudo com as redes neuronais

Neste subcapítulo aborda-se o planeamento dos estudos que irão ser feitos com as redes neuronais. O programa a ser utilizado para estes estudos será o MATLAB. Os estudos com as redes neuronais serão divididos em três fases, normalização dos dados, seleção da melhor arquitetura de rede e por fim a aplicação da rede.

A primeira fase do estudo será a normalização no intercalo [-1;1], dos dados recolhidos, referentes ao passo, diâmetro, número de pás, carga da semirrígida, posição do acelerador, altura da maré, estado da maré, tempo e consumo, ao longo dos testes com a semirrígida. Após se ter os dados todos normalizados, tem-se a segunda fase do estudo, seleção da arquitetura de rede que melhor se adapta à resolução deste problema, esta rede será selecionada por apresentar o menor erro com o conjunto dos dados de teste. Este erro corresponde ao somatório do erro médio quadrático das duas variáveis de saída e é calculado através da seguinte equação (Monteiro, 2001),

= ∑�= ̂ −_N� �

Equação 15 - Calculo do erro médio quadrático47

47_{Monteiro, J. F. (2001). Estimadores de máxima verosimilhança para combinação captura - recaptura e}

Na qual:

 mse corresponde ao erro médio quadrático (mean square error);

 ̂ é o valor de saída da rede;  é o valor real obtido;

 N é o número de dados de teste.

Nesta procura de rede mais eficiente, é necessário ter-se em consideração que existem muitos parâmetros que podem ser alterados, ao longo dos vários testes, e que através da sua alteração pode-se obter resultados nos quais se vai obtendo um erro menor e noutros um erro maior. Quanto mais parâmetros se pretender alterar, maior será o tempo de computação por parte do computador. Assim, para a escolha da rede que melhor se adapta a este problema, é necessário restringir e definir quais serão os algoritmos de treino, funções de transferência, número de camadas, quantidade de neurónios por camada e parâmetros de divisão dos dados. Na escolha dos diferentes parâmetros que se pretendem alterar houve uma colaboração com o camarada Cardoso da Silva, de modo a reduzir-se o tempo despendido na análise de todos os parâmetros. Alguns dos parâmetros usados pelo camarada Cardoso da Silva são idênticos aos que foram utilizados nos testes realizados nesta dissertação de mestrado, de modo a verificar se os parâmetros que são diferentes são mais proveitosos. Os algoritmos de treino a serem testados são três (Tabela 4):

Função em MATLAB Descrição

trainlm Backprogation Levenberg-Marquardt trainrp Resilient Backpropagation

traingd Gradient Descent Backpropagation

Tabela 4 - Algoritmos de treino utilizados para a seleção da rede

Estes algoritmos de treino foram selecionados, pois são os que são mais utilizados no treino de redes neuronais e são os que apresentam um tempo de treino mais reduzido (Demuth, Beale, & Hagan, 2009).

Dentro das funções de treino, segundo a bibliografia estudada (Demuth, Beale, & Hagan, 2009), na camada de saída normalmente será utilizada uma das seguintes funções:

Função em MATLAB Descrição

logsig Sigmoide

purelin Linear

No caso da(s) camada(s) intermédia(s), as funções de transferência mais utilizadas são:

Função em MATLAB Descrição

Tansig Sigmoide tangente hiperbólica

Radbas Base radial

Hardlims Limite simétrico Tabela 6 - Funções de transferência da(s) camada(s) intermédia(s)

Os dados normalizados serão divididos aleatoriamente, no início de cada treino, em três grupos, grupo de treino, grupo de validação e grupo de teste (o objetivo desta divisão encontra-se explicado no capítulo Divisão dos dados). Os dados são divididos aleatoriamente pois esta divisão apresenta melhores resultados, num menor período de tempo de computação, do que se os fôssemos dividir manualmente (Bergstra & Bengio, 2012). O grupo de validação corresponderá a uma percentagem dos dados totais de 75%, o grupo de validação, bem como o grupo de teste, corresponderão a uma percentagem dos restantes dados de 15% cada.

Primeiramente, para se descobrir qual é a melhor arquitetura de rede, ir-se-á fazer cinco experiências com as várias funções de treino e funções de transferência. Nestas experiências só se considera a rede composta por uma camada de neurónios intermédia, esta camada pode ser composta por um número de neurónios que varia entre um neurónio e vinte neurónios. Com os resultados das cinco experiências, seleciona-se as três arquiteturas que em cada experiência apresentam o menor erro de teste, posteriormente compara-se com as outras experiências, e as três arquiteturas que mais se repetirem, ao apresentarem o menor erro de teste, são consideradas como arquiteturas vencedoras.

O próximo passo, para se descobrir qual a função de treino e funções de transferência que obtém o menor erro de teste, será treinar dez redes para cada uma das arquiteturas vencedoras, com um número de neurónios a variar entre um e dez, e verificar- se em qual das arquiteturas se obtém o menor erro de teste. Selecionando qual será a arquitetura vencedora, verificar na análise anteriormente feita, com quantos neurónios a rede obtém os menores valores de erro de teste, nos dez testes feitos. Por sua vez, treinar de novo várias redes, com um número de neurónios igual aos selecionados, mas desta vez, de forma que o erro de teste obtido pela rede treinada, seja inferior ao maior erro obtido entre os menores erros de teste dos dez testes. Deste modo obtém-se a arquitetura

de rede que atinge os menores erros de teste e que por sua vez obtém melhores resultados, tendo sempre em conta ao longo da análise, a possibilidade de overfitting.

Por último e para se verificar que esta rede é a que obtém melhores resultados, fazer os testes para as mesmas funções transferência e função de treino, mas numa rede com duas camadas, em que em cada camada o número de neurónios varie entre um e dez e comparar os resultados obtidos com os testes da rede com uma camada e com duas. Caso se verifique que a rede com duas camadas obtém menor erro de teste, identificar qual é a arquitetura vencedora.

A terceira fase do estudo das redes neuronais, será a aplicação da arquitetura vencedora e verificar qual será o hélice mais económico, variando as várias características de entrada. Nesta fase ir-se-á usar as características dos quatro hélices testados, para os estados de maré a encher e a vazar, bem como para as alturas de maré máxima, média e mínima. Através da análise dos resultados, poder-se-á dizer se a rede terá capacidade de produzir resultados fidedignos.