Conceitos e Contextualização Histórica
3.10. Contextualização Histórica
Os primeiros passos dados na evolução das RNAs deu-se na década de 40, mais precisamente em 1943, com a criação do primeiro modelo computorizado de um neurónio biológico, publicado em “A Logical Calculus of Ideas Immanent in Nervous Activity” por o neuroanatomista e psiquiatra Warren McCulloch, e o matemático Walter Pitts [44][45]. O modelo matemático proposto consistia num neurónio como uma unidade de processamento binária, demonstrando que com um número suficiente destes neurónios, é possível executar-se diversas operações logicas [44]. Foi através desta descrição matemática que se desencadeou o processo de investigação nesta área [36].
Cinco anos mais tarde, em 1948, é publicado por Norbert Wiener, o livro “Cybernetics” (palavra associada à importância do controlo adaptativo e comunicação nos organismos). Sendo este o primeiro best-seller na área da Inteligência Artificial, foi considerado o trabalho mais influente desenvolvido neste período [36].
No ano seguinte, em 1949, Donald Hebb, criou o conceito de aprendizagem, propondo um método para o proporcionar [36]. Foi criado o princípio que esteve na base de vários algoritmos de treino: “quando a estrada sináptica e a saída de um neurónio estão ambas ativas, ocorre uma mudança física caraterizada pelo aumento na força dessa ligação”. Descrito no seu livro “The Organization of Behavior”, este princípio é intitulado de Regra de Hebb.
Já na década de 50, em 1951, Minsky desenvolveu um computador neuronal, com o nome Snarl, constituindo assim um dos primeiros modelos reais de redes neuronais [44].
Cinco anos depois, em 1956, foi apresentado um modelo de uma rede neuronal artificial, na primeira Conferência Internacional de Inteligência Artificial, por Nathaniel Rochester [36].
Em 1958, Frank Rosenblatt desenvolveu o Percepton [45]. Consistindo num modelo baseado na analogia com a retina do olho, Perceptron tinha a capacidade de classificar padrões linearmente separáveis. O modelo era constituído por três níveis: unidades sensoriais (retina),
46
onde são recebidos os estímulos, unidades associativas, onde são fixos os pesos, e unidades de resposta, onde é executado o treino e é obtida uma resposta. Apesar disso, como Perceptron apenas possui propriedade adaptativas no nível de unidades de resposta, é considerado como tendo uma única camada [36]. A principal diferença entre o Perceptron e o neurónio de McCulloch e Pitts é a introdução dos pesos na rede.
Também nos finais da década de 50, foi apresentado por Windrow e Hoff, o modelo ADALINE (Adaptive Linear Element) [36]. Este conseguia separar padrões em duas categorias distintas. Windrow e Hoff criaram também a regra delta, mais conhecida como least mean
square rule (LMS), como uma regra de aprendizagem baseada no método dos mínimos
quadrados. Incorporando o modelo Perceptron de Rosenblatt e os processamentos apresentados no modelo de McCulloc e Pitts, desenvolveu-se um algoritmo bastante eficaz [43]. As vantagens do modelo ADELINE em comparação ao Perceptron de Rosenblatt, residem essencialmente na rapidez, permitir que as saídas corretas sejam valores reais, e não estarem limitadas a um conjunto [-1,1] e como é usada uma função de erro, permite a aplicação de métodos de gradiente descendente [36].
Ainda na década de 60, em 1969, Minsky e Papert, mostraram as limitações existentes nos métodos descobertos até então, visto apenas poderem ser classificados os problemas linearmente separáveis [36]. Foi publicado em “Perceptrons” e o seu impacto foi destruidor, excluído praticamente o interesse nas redes neuronais artificiais nos anos posteriores [36].
Devido à publicação de “Perceptrons” e também às limitações computacionais, na década de 70 não houve progressos significativos na área das redes neuronais artificiais [36]. Apenas é de salientar um novo tipo de redes neuronais, desenvolvido por Kohonen (1972), ficando conhecidas como Redes Kohonen e as redes auto-organizadas desenvolvidas por Grossberg, em 1976 [36].
No início da década seguinte, John Hopfield, detentor de Prémio Nobel da Física de 1969, criou a rede neuronal artificial Hopfield, que opera no sentido de minimizar a energia associada, armazenando nas ligações dos seus neurónios, diversas informações complexas, como por exemplo imagens [36][46]. Foi então o ponto de viragem, com algumas das dúvidas existentes sobre o processo dinâmico executado por certas redes neuronais artificiais a serem eliminadas [36]. Matemáticos e engenheiros foram atraídos para pesquisar nesta área e as redes Hopfield foram estudadas como sistemas de memória distribuídos e utilizados para obter soluções em problemas de optimização restrita [47].
Rumelhart e a sua equipa, em 1986, apresentaram o algoritmo Backpropagation para treinar redes com mais que uma camada [48]. Com isto foi possível resolver os problemas de não linearidade publicados em “Perceptrons” por Minsky e Papert [36]. E ainda no mesmo ano, é publicado o livro “Parallel Distributed Processing: Exploration in Microstrutures of Cognition” de Rumelhart e McClelland que ainda hoje tem uma grande influência no uso do algoritmo
Backpropagation em redes multicamada. Apesar do algoritmo Backpropagation ter sido já
descrito anteriormente na dissertação de Werbos, foi Rumelhart e a sua equipa que propuseram o seu uso em machine learning e demonstraram como ele poderia funcionar [47].
47
Dois anos mais tarde, são apresentadas pela primeira vez as funções de base radial, uma alternativa às redes de Perceptron multicamada [47].
Nos inícios dos anos 90, foi inventada uma nova classe de redes com aprendizagem supervisionada com bastante potência, as Support Vector Machines, por Vapnike e sua equipa de trabalho [47]. Estas redes podem resolver problemas de reconhecimento de padrões, regressão e estimativa de densidade.
Em toda a década final do passado centenário, houve um interesse exponencial em incluir as RNAs em diversas aplicações e desenvolvimento de modelos e foram consolidadas como parte integrante do estudo da Inteligência Artificial [36]. Começaram a ser usadas em várias áreas, como a engenharia, medicina, biologia, economia, entre outras.