O hist´orico

Agora que temos uma pequena id´eia do funcionamento do neurˆonio, podemos introduzir a evolu¸c˜ao do estudo em redes neurais (ou redes neuronais).

Primeiro apresentamos uma seq¨uˆencia de artigos publicados que mostram bem a evolu¸c˜ao da pesquisa nessa ´area, e principalmente os principais colaboradores dessa evolu¸c˜ao.

1943: McCulloch e Pitts, sugeriam pela primeira vez a constru¸c˜ao de uma m´aquina inspirada no funcionamento do c´erebro humano.

Figura 4.2: Neurˆonio artificial projetado por McCulloch. Retirado de [TK00] O fisiologista Warrem McCulloch interpretou o funcionamento do neurˆonio biol´ogico como sendo um circuito de entradas bin´arias combinadas por uma soma ponderada (com pesos) produzindo uma entrada efetiva. No modelo geral de neurˆonio (figura 4.2) as entradas ponderadas WiXi

s˜ao combinadas usando uma fun¸c˜ao F, para produzir um estado de ativa¸c˜ao do neurˆonio (correspondente `a freq¨uˆencia de descarga de pul- sos do neurˆonio biol´ogico). As entradas (Xj) chegam atrav´es dos den-

dritos, tem um peso (Wi) atribu´ıdo pela sinapse e, ap´os sua adi¸c˜ao, um

´

unico valor de sa´ıda ´e retornado. Esse valor de sa´ıda pode ser copiado para v´arios outros neurˆonios, mas todos os modelos neurais artificiais desde o princ´ıpio at´e hoje somente produzem um ´unico valor de sa´ıda. 1949: Donald Hebb escreveu o livro intitulado “The Organization of

3

Behavior” (A Organiza¸c˜ao do Comportamento). Neste livro, o autor apresenta a id´eia que o condicionamento psicol´ogico cl´assico est´a pre- sente em qualquer esp´ecie animal; isso se d´a devido ao fato de que esta ´e uma propriedade de neurˆonios individuais. Hebb traduziu matemati- camente a sinapse dos neurˆonios biol´ogicos.

Regra de Hebb - Declara¸c˜ao de Hebb: “Quando um axˆonio de uma c´elula A est´a eminente de excitar a c´elula B e recorrentemente ou contumazmente participa da ativa¸c˜ao desta, um processo de cresci- mento ou mudan¸ca metab´olica ocorre em uma ou ambas as c´elulas, de forma a aumentar eficiˆencia de A ativar B.”

Uma leitura pr´atica dessa regra ´e: Se dois neurˆonios, um de cada lado de uma sinapse, s˜ao ativados sincronamente, ent˜ao a “for¸ca” daquela sinapse deve ser aumentada. Em contra partida, se dois neurˆonios, um de cada lado de uma sinapse, s˜ao ativados assincronamente, ent˜ao aquela sinapse dever ser enfraquecida.

1951: Mavin Minsky criou o primeiro neuro computador conhecido como Snark. Apesar de um sucesso t´ecnico, esta m´aquina nunca chegou a executar qualquer processamento de fun¸c˜oes interessantes na pr´atica. 1956: em “Darthmouth College” nasceram dois paradigmas da In- teligˆencia Artificial. A Inteligˆencia Artificial Simb´olica estuda a ma- nipula¸c˜ao de s´ımbolos, essa manipula¸c˜ao simb´olica pretende simular conhecimento (e inferir conclus˜oes) empregando sistemas baseados em regras. Por outro lado, a L´ogica Conexionista pretende estudar e simu- lar o funcionamento do c´erebro humano. Os conexionistas acreditam que se formos capazes de criar um sistema que simule o funcionamento do c´erebro humano, seremos capazes de aprender, assimilar, errar e aprender com seus erros.

1957: ROSENBLATT concebeu o perceptron, neurˆonio usado no reco- nhecimento de caracteres.

A figura 4.3 mostra a rede proposta em 1957 por Rosenblatt composta por neurˆonios do tipo perceptron, que no ano seguinte ficou disposta no livro Principles of Neurodynamics. Rosenblatt, pela primeira vez,

Figura 4.3: Rede de perceptrons proposta por Rosemblatt. Retirado de [TK00]

mostrou uma estrutura neural em forma de camadas, uma camada de entrada em outra de sa´ıda

1958: Frank Rosenblatt, Charles Wightman et al. criaram o primeiro neuro computador a obter sucesso, batizado de Mark I Perceptron. Seu interesse principal era reconhecimento de padr˜oes.

1960: Widrow e Hoff apresentaram uma estrutura com uma pequena modifica¸c˜ao na topologia apresentada por Rosemblatt criando o que

viria a ser chamado de camadas intermedi´arias. A rede ADALINE(ADAptative LINear Element) e o MADALINE(Many ADALINE) perceptron utili-

zou sa´ıdas anal´ogicas em uma arquitetura de trˆes camadas.

A figura 4.4 mostra a topologia multicamada ADALINE e MADA- LINE.

1962: WIDROW desenvolveu um processador para redes neurais e fundou a primeira empresa de circuitos neurais digitais, a Memistor

Figura 4.4: Redes ADALINE e MADALINE. Retirado de [TK00] Corporation.

1969: Redu¸c˜ao significativa das verbas destinadas `a pesquisa de re- des neurais. Causada principalmente pelo n˜ao cumprimento de etapas ambiciosas de projetos com alto n´ıvel de financiamento. Esses fatores desmotivaram tanto os governos quanto a iniciativa privada ao investi- mento na pesquisa.

1974: Werbos lan¸cou as bases para o algoritmo de retropropaga¸c˜ao (backpropagation).

1982: Terminaram os anos negros para toda a ´area de sistemas co- nexionistas. Foi ent˜ao que em 1983 Ira Skurnick, um administrador de programas da DARPA (Defense Advanced Research Projects Agency), decidiu ouvir os argumentos da neurocomputa¸c˜ao e seus projetistas e, divergindo dos caminhos tradicionais dos conhecimentos convencionais, iniciou pesquisas nesta ´area. Outro influente cientista que emergiu nessa ´area foi o renomado f´ısico John Hopfield, que persuadiu, atrav´es

de seus resultados e sua importante reputa¸c˜ao, diversos de seus pares a unirem-se nesta ´area emergente de pesquisa.

1986: David Rumelhart e James McClelland publicaram o livro “Paral- lel Distributed Processing” (Processamento Distribu´ıdo Paralelo) que impulsionou explosivamente a pesquisa. Neste mesmo ano, Rumelhart, Hinton e Williams introduziram o poderoso m´etodo Backpropagation.

Figura 4.5: Estrutura do m´etodo Backpropagation. Retirado de [TK00] A figura 4.5 mostra um exemplo da topologia multicamada, cujas conex˜oes sin´apticas tˆem seus pesos ajustados pelo algoritmo de Back- propagation (RHW86), ´e importante observar que essa topologia pode ser desenhada com mais que uma camada escondida (Hidden Layer). O advento dessa camada intermedi´aria se deveu, principalmente, `a in- capacidade de uma rede s´o com camadas de entrada e sa´ıda resolver problemas linearmente n˜ao separ´aveis.

A figura 4.6 mostra uma fun¸c˜ao simples que n˜ao pode ser separada linearmente.

1987: Ocorreu em S˜ao Francisco a primeira conferˆencia de redes neu- rais em tempos modernos, a IEEE International Conference on Neural Networks.

Figura 4.6: Exemplo de fun¸c˜ao n˜ao linearmente separ´avel - Adaptado da Aula 7 - Inteligˆencia Computacional - Prof. A. C. G. Thom´e - UFRJ - 2003/2

1990: Cria¸c˜ao do Neural Computation e do IEEE Transactions on Neu- ral Networks. Neste ponto, uma observa¸c˜ao importante que deve ser feita ´e sobre topologia cujas camadas de um n´ıvel superior podem ser usadas como entrada para uma camada de n´ıvel inferior. Essa topolo- gia ´e dita, recorrente, cria-se a possibilidade de atividades na rede sem que haja est´ımulo exterior.