Breve Histórico das Redes Neurais Artificiais

Os trabalhos sobre Redes Neurais Artificiais tiveram início por volta de 1940, na Universidade de Illinois, com o neurofisiologista McCulloch e o matemático Walter Pitts, cujas ideias foram publicadas no artigo “A Logical Calculus of the Ideas Immanent in Nervous Activity” (MCCULLOCH e PITTS, 1943). MCCULLOCH e PITTS (1943) estabeleceram uma analogia entre o processo de comunicação das células nervosas vivas e o processo de comunicação por transmissão elétrica, propondo o primeiro modelo formal de um neurônio artificial, o neurônio MCP. Em 1947 eles conseguiram demonstrar que era possível conectar os neurônios formais e formar uma rede capaz de executar funções complexas.

93 O psicólogo Donald Hebb64 deu uma importante contribuição ao estudo das RNAs ao elaborar uma teoria baseada no processo de aprendizagem que ocorre no cérebro humano. Hebb mostrou como a plasticidade da aprendizagem das redes neurais é obtida através da variação dos pesos de entrada dos neurônios (HEBB, 1949). A teoria de Hebb65 serviu de base para a aprendizagem das RNAs.

Figura 54: Donald Hebb (1904-1985) - Psicólogo Canadense.

Criada pelo psicólogo Frank Rosenblatt, a Rede Perceptron foi a rede que se tornou mais popular. ROSENBLATT (1958) demonstrou que seu modelo com neurônios MCP, acrescido de sinapses ajustáveis, poderia ser treinado de forma a classificar certos tipos de padrões. Além da topologia e das ligações entre os neurônios, Rosenblatt propôs um algoritmo para treinar a rede neural para que esta executasse determinados tipos de funções.

64 _{Donald Olding Hebb, psicólogo canadense, fez seu doutorado na Universidade de Harvard nos Estados}

Unidos em 1936, nasceu em 1904 em Chester – Canadá, e faleceu em 1985 em Nova Escócia – Canadá.

65

Hoje conhecida como Regra de Hebb na comunidade de estudos de Redes Neurais Artificiais, foi interpretada do ponto de vista matemático e é utilizada em vários algoritmos de aprendizado (BRAGA, 2007).

94 Figura 55: Frank Rosenblatt - Psicólogo

O modelo ADALINE (ADAptative LINEar) de WIDROW 66 e HOFF 67 (1960) foi apresentado na literatura quase que simultaneamente ao modelo Perceptron de Rosenblatt. Semelhante ao modelo Perceptron, o modelo ADALINE baseava-se em elementos de processamento que executam operações sobre a soma ponderada de suas entradas. Apesar das semelhanças, os trabalhos que descrevem tais modelos surgiram em áreas diferentes. Enquanto Rosenblatt enfocava a descrição do Perceptron em aspectos cognitivos do armazenamento da informação e da organização cerebral, Widrow e Hoff enfocaram a descrição de seu modelo na construção de filtros lineares. O algoritmo de treinamento do modelo ADALINE se baseia na magnitude e no sinal do gradiente do erro para obter a direção do valor de ajuste a ser aplicado nos pesos68. Mais tarde Widrow e Hoff estruturaram uma nova rede denominada de MADALINE (MAny ADAptive LINEar).

66 _{O engenheiro Dr. Bernard Widrow nasceu em dezembro de 1929, e é professor de engenharia elétrica}

na Universidade Stanford. Coinventor do algoritmo LMS, em trabalho com seu primeiro aluno de doutorado Marcian Hoff.

67 _{Marcian Edward "Ted" Hoff, Jr é engenheiro nascido em outubro de 1937, Rochester, New York –}

EUA. 68

Este algoritmo de treinamento, conhecido como Regra Delta, deu origem anos mais tarde ao primeiro algoritmo para treinamento de redes perceptron de múltiplas camadas: o back-propagation. Este algoritmo é mais bem explicado na Seção 4.6 do presente trabalho.

95

Figura 56: Marcian Hoff - Engenheiro Figura 57: Bernard Widrow - Engenheiro

A credibilidade da Rede Perceptron não durou muito, devido à publicação do livro “Perceptrons: a introduction to computational geometry”, em 1969. O livro, cujos autores foram Mavin Minsky e Seymour Papert69, apresentou severas críticas às redes neurais, argumentando que os Perceptrons apresentavam limitações em suas aplicações, não conseguiam detectar paridade, conectividade e simetria, que são problemas não- linearmente separáveis, chamados de “problemas difíceis de aprender” (hard learning problems) – (MINSKY e PAPERT, 1969).

De acordo com BRAGA (2007), apesar de terem surgido trabalhos significativos nas décadas que compreendem o período de 1960 e 1970 (séc. XX), como os de Igor Aleksander (redes sem pesos – Inglaterra), Kunihiko Fukushima (cognitron e neiocognitron – Japão), Paul Werbos (feedforward network - Estados Unidos), Anderson, Steven Grossberg (sistemas autoadaptativos – Estados Unidos) e Teuvo Kohonen (memórias associativas e modelos auto-organizáveis – Finlândia), as pesquisas com as redes neurais só voltaram a recuperar sua credibilidade com os trabalhos do físico e biólogo John Hopfield.

96 Figura 58: John Hopfield – Físico e Biólogo

Hopfield publicou um artigo em 1982 destacando as propriedades associativas das RNAs, mostrando relação entre redes recorrentes autoassociativas e sistemas físicos, o que oportunizou o emprego de teorias da Física para estudar os modelos de redes neurais artificiais (HOPFIELD, 1982).

Com a retomada do interesse em redes neurais na década de 1980, RUMELHART70 (1986) apresentou, em 1986, o algoritmo backpropagation, cujo princípio já havia sido apresentado na tese de doutorado de Werbos, “Beyound Regression”, mas que não despertou atenção na época. O algoritmo backpropagation permite o treinamento de redes neurais multicamadas, expandindo a capacidade das redes neurais para resolução de problemas com níveis de maior complexidade, além dos problemas linearmente separáveis, mostrando que a perspectiva de Minsky e Papert a respeito do Perceptron na verdade era bastante pessimista. A partir de então as pesquisas sobre redes neurais artificiais ganharam um novo fôlego.

70 _{Rumelhart obteve sua graduação pela universidade de Dakota do Sul, recebendo um “B.A.” em}

psicologia e matemática em 1963. Estudou psicologia matemática na universidade de Stanford, recebendo seu Ph. D. em 1967. De 1967 a 1987 trabalhou no departamento de psicologia da universidade de Califórnia, San Diego. Em 1987 mudou-se para a universidade de Stanford, servindo como o professor lá até 1998. Afastou-se de suas atividades por causa de uma doença neurodegenerativa progressiva.

97 Figura 59: David E. Rumelhart, Ph.D.