CAMPO GRANDE 2020
JOSIEL SOARES DE SOARES
Campo Grande 2020
REDES NEURAIS ARTIFICIAIS PROFUNDAS
Trabalho de Conclusão de Curso apresentado à Anhanguera UNIDERP, como requisito parcial para a obtenção do título de graduado em Ciência da Computação
Orientador: Adriane Cristina C S Veronez.
JOSIEL SOARES DE SOARES
JOSIEL SOARES DE SOARES
REDES NEURAIS ARTIFICAIS PROFUNDAS
Trabalho de Conclusão de Curso apresentado à Anhanguera UNIDERP, como requisito parcial para a obtenção do título de graduado em Ciência da Computação.
BANCA EXAMINADORA
Prof(a). Titulação Nome do Professor(a)
Prof(a). Titulação Nome do Professor(a)
Prof(a). Titulação Nome do Professor(a)
AGRADECIMENTOS
Aos meus pais pelo incentivo e apoio incondicional.
Ao professor Roberto Aragy por estar fazendo mestrado de IA na UFMS, tem ajudado nas questões sobre camadas da IA e quais livros e artigos são mais recomendados para pesquisas.
Ao meu amigo Willian Souza que tem me ajudado muito com as questões sobre escrita e formatação de texto.
“Não adianta ser inteligente, se você não tornar o mundo melhor.” (Elisabet Sobeck; Horizon Zero Dawn, 2017.)
SOARES, Josiel. REDES NEURAIS ARTIFICAIS PROFUNDAS. 2020. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Anhanguera UNIDERP, Campo grande, 2020.
RESUMO
O presente trabalho, Redes neurais aritificiais profundas, trata-se de uma revisão de literatura onde trará um amplo conhecimento em Inteligência Artificial com ênfase em Redes Neurais artificiais profundas, sua arquitetura e aplicações. O objetivo geral é compreender a importância dos mecanismos de aprendizado profundo, considerando os aspectos de funcionamento e confiabilidade. Será abordado, além do conceito e definição, se os dados manipulados e treinados são precisos, favorecendo a reputação, relacionando com às aplicações integradas e assim entender a importância dessas redes neurais usadas em massa de dados. No desenvolvimento da pesquisa foi realizada consulta a livros, sites, dissertações e artigos científicos selecionados, que traz como referência Russell, Norving, entre outros. Concluiu-se que à medida que essa tecnologia é aplicada cada vez mais, deve-se a importância e o conhecimento sobre a mesma, pois atualmente temos acesso a esta nas nossas televisões, celulares, redes sociais e demais aplicações e acabamos não sabendo nem da existência, nem do funcionamento e de quais dados estão sendo acessados do seu comportamento a cada click.
SOARES, Josiel. REDES NEURAIS ARTIFICAIS PROFUNDAS. 2020. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Anhanguera UNIDERP, Campo grande, 2020.
ABSTRACT
This work, Deep artificial neural, is a literature review where it will bring a wide knowledge in Artificial Intelligence with emphasis on deep Neural Networks, its architecture and applications. The overall goal is to understand the importance of deep learning mechanisms, considering the aspects of functioning and reliability. In addition to the concept and definition, it will be addressed if the manipulated and trained data are accurate, favoring reputation, relating to integrated applications and thus understanding the importance of these neural networks used in mass data. In the development of the research, consultation was made to books, websites, dissertations and selected scientific articles, which reference Russell, Norving, among others. It is concluded that as this technology is applied more and more, it owes its importance and knowledge about it, because we currently have access to it in our televisions, mobile phones, social networks and other applications and we do not even know about existence, or how it works and what data is being accessed from its behavior with each click.
LISTA DE ILUSTRAÇÕES
Figura 1 – Algumas definições de inteligência artificial, organizadas em quatro categorias. ... 15 Figura 2 – Partes de uma célula nervosa ou neurônio.... ... 18 Figura 3 – Agentes interagem com ambientes por meio de sensores e
atuadores...20 Figura 4 – Exemplos de tipos de agentes e suas descrições PEAS ... 00 Figura 5 – Título da figura... 00
LISTA DE ABREVIATURAS E SIGLAS
IA Inteligência Artificial RNA Rede Neural Artificial RNAs Redes Neurais Artificiais
11 SUMÁRIO
1. INTRODUÇÃO ... 12
2. DEFINIÇÕES DE INTELIGÊNCIA ARTIFICIAL ... 14
2.1 TESTEDETURING ...15
2.2 FUNDAMENTOSDAINTELIGÊNCIAARTIFICIAL...17
2.2.1 Neurociência ...17
3. TIPOS DE APRENDIZADO DE MÁQUINA ... 20
20 4. REDES NEURAIS PROFUNDAS ... 23
12 1. INTRODUÇÃO
Compreende-se que ao passar dos séculos a inteligência humana junto a curiosidade, tornaram a nossa atual realidade possível, sempre progredindo em termos tecnológicos e científicos. Compreendendo, cada vez mais as áreas de estudo e o surgimento de novas tecnologias, desde as máquinas antigas movidas a válvulas à robôs e carros autônomos movidos por algoritmos, que são denominados como, uma sequência finita de ações executáveis que visam obter uma solução para um determinado tipo de problema.
Atualmente temos a capacidade de criarmos e aperfeiçoar um algoritmo que visa simular o comportamento humano e até fazer distinções mais rápidas que nós humanos, a Inteligência Artificial (IA). A área da Inteligência Artificial ainda é uma das áreas da computação mais recentes dentro da Ciência da Computação, também sendo muito ampla no quesito estudos direcionados. Dentro da IA surgiu-se os “super-algoritmos”, capazes de violar amplamente a privacidade humana ou ser aplicados em níveis militares, os que nos leva a questionar, até quando continuar desenvolvendo ou aperfeiçoando uma IA, este super-algoritmo incorporado a IA, deve ser de domínio público ou privado?
Devido a influência da Inteligência Artificial na robótica, games, aplicativos, no processo de análise de dados, etc. Como objetivo geral foi abordado este tema por se tratar de algo relativamente novo, no qual a maioria da sociedade não tem conhecimento sobre quais suas fontes e suas finalidades na indústria da tecnologia, gerando receios e boatos sobre a mesma. A importância desse assunto se dá a velocidade com qual não somente a Inteligência Artificial vem se desenvolvendo, mas também o ambiente no qual ela é aplicada. Atualmente não existe nenhum concelho e controle que define um limite onde se deve usar uma IA ou não, expandindo um mercado de trabalho e sua área de estudo, mas tornando nós mais suscetíveis aos erros e descuidos.
Diante do cenário atual onde a IA está presente em várias aplicações, desde as mais básicas para as mais avançadas, como o reconhecimento facial utilizado em celulares ou um satélite que conseguem distinguir planetas, estrelas e galáxias. Tendo isso em vista, mostramos como primeiro objetivo especifico a área da inteligência artificial e redes neurais se comporta dentro das aplicações (softwares) ou robôs, para nos oferecer a análise dos seus dados de maneira precisa, rápida e confiável.
13 Foi elaborado uma pesquisa sobre, como surgiu a IA, sua definição segundo alguns estudiosos. Na parte mais relevante da pesquisa como segundo objetivo, foi apresentado alguns tipos de redes neurais artificiais profundas, atualmente contendo técnicas muito usadas, mostrado como ela funciona para ensinar ou treinar uma IA também caracterizado por treinar um algoritmo, sem a necessidade de nós humanos, estarmos presente para supervisioná-las.
Uma abordagem no tema de Inteligência Artificial tendo como tipo de pesquisa revisão bibliográfica, mais precisamente na área de aprendizado artificial profundo ou redes neurais artificiais profundas (Deep Learning) do mesmo tema, tendo como base pesquisas feitas em artigos, sites e livros dos últimos 15 anos.
14 2. DEFINIÇÕES DE INTELIGÊNCIA ARTIFICIAL
A palavra inteligência, veio do latim inter (entre) e legere (escolher). Foi definido então que inteligência significa algo que permite ao homem escolher entre uma coisa e outra ou uma habilidade de concluir de forma satisfatória uma determinada tarefa. Já a palavra artificial, veio do latim artificiale, que significa algo não natural, ou seja, produzido pelo homem. Segundo (FERNANDES, 2003).
Portando, inteligência artificial pode ser considerada uma inteligência produzida pelo homem para implementar nas máquinas algum tipo de habilidade que simule a inteligência do homem. Para Winston a IA, é o estudo da computação que torna possível uma máquina perceber, raciocinar e agir. Segundo (FERNANDES, 2003).
Ao longo dos anos a IA tem passado por várias definições, por seus respectivos estudiosos. Em termos mais gerais, podemos denominar IA como um sistema que simule a capacidade humana de raciocinar, perceber, aprender e tomar decisões ou seja que vise ser inteligente. Historicamente o estudo da IA tem sido seguido por 4 estratégias ou definições, cada uma delas acreditadas por pessoas diferentes que utilizavam métodos diferentes. Segundo (RUSSELL; NORVING, 2004).
Na Figura 1 podemos visualizar 4 definições diferentes, no qual, a parte superior se refere a processos de pensamento e raciocínio, enquanto as definições da parte inferior se referem ao comportamento humano. Do lado esquerdo temos definições que analisam a fidelidade ao desempenho humano, para com uma IA e do lado direito temos definições que analisam o progresso, comparando a um conceito ideal de inteligência. (RUSSELL; NORVING, 2004).
15 Figura 1: Definições de inteligência artificial, organizadas em quatro categorias.
Fonte: Adaptado de (Russel e Norvig, 2004, p.34)
Historicamente as 4 estratégias acima tem sigo seguidas para o estudo da IA sendo dividida em abordagens, uma centralizada aos seres humanos e abordagens centralizadas à racionalidade. A abordagem centrada nos seres humanos envolve hipóteses e confirmação experimental, já a abordagem racionalista envolve uma combinação mais complexa de matemática e engenharia. Segundo (RUSSELL; NORVING, 2004).
O primeiro trabalho reconhecido como IA foi realizado por Warren McCulloch e Walter Pitts em 1943. Foram baseados em três pilares, das quais são: o conhecimento da fisiologia básica e da função dos neurônios no cérebro, um estudo da logica proporcional criada por Russell e Whitehead, e a teoria da computação de Alan Turing. Seus estudos apresentaram um modelo de neurônios artificiais, no qual cada neurônio poderia estar representando um estado de “ligado” ou “desligado”. Desse modo eles mostraram que qualquer função computável (noção intuitiva de algoritmos) poderia ser calculada por uma determinada rede de neurônios conectados. Segundo (RUSSELL; NORVING, 2004).
2.1 TESTE DE TURING
O teste proposto por Alan Turing (1950), foi desenvolvido para performar uma definição operacional satisfatória de inteligência. O computador ou IA só passará no teste se um humano depois de propor questões á máquina, não conseguir descobrir se as respostas foram de fato escritas por um humano ou um computador. Entretanto,
16 programar uma IA para passar no test de Turing, exige muito trabalho. Sendo necessário ter os seguintes requisitos: Segundo (RUSSELL; NORVING, 2004).
• Processamento de linguagem natural para permitir que ela se comunique em um idioma natural ;
• Armazenar o que sabe ou ouve;
• Raciocínio automatizado para usar as informações armazenadas com a finalidade de responder a perguntas tirando novas conclusões;
• Aprendizado de máquina para se adaptar a novas circunstâncias e extrapolar padrões.
O teste de Turing evita a interação física direta entre o interrogador humano e o computador porque a simulação física de uma pessoa não é necessária para a inteligência. Porém, o chamado teste de Turing total engloba um sinal de vídeo, de forma que o interrogador possa testar as habilidades de percepção do entrevistado, além de mostrar ao interrogador a oportunidade de repassar objetos pela janela. Para ser aprovado no teste de Turing total, a máquina precisará de precisará de: (RUSSELL; NORVING, 2004).
• Visão computacional para perceber objetos; • Robótica para manipular objetos.
O teste de Turing ainda permanece relevante até os dias de hoje, nenhuma inteligência artificial foi capaz de ser aprovada, mesmo depois de 60 anos. Entretando os pesquisadores e desenvolvedores de IA dedicam pouco esforço para superar o teste, pois acreditam que entender os princípios básicos na inteligência artificial gere mais resultados. Criar uma máquina para “enganar” outro ser humano tem um propósito “x”, enquanto criar uma para absorver tudo que aprende e lhe é mostrado tem um propósito “y”. Segundo (RUSSELL; NORVING, 2004).
O teste do “voo artificial” só teve sucesso quando os irmãos Wright com outros pesquisadores, pararam de tentar imitar os pássaros e começaram a usar túneis de vento e aprender sobre aerodinâmica. A engenharia aeronáutica não define como objetivo de seu campo criar “máquinas que voem exatamente como pombos a ponto de poderem enganar até mesmo outros pombos”. Segundo (RUSSELL; NORVING, 2004).
17 2.2 FUNDAMENTOS DA INTELIGÊNCIA ARTIFICIAL
Várias disciplinas compribuiram com idéias, pontos de vistas e técnias para a IA, destre as disciplinas estão à, Filosofia, Matemática, Economia, Neurociência, Psicologia, Engenharia de computadores, Teoria de controle e cibernética e Linguística. Como qualquer histórico, este foi obrigado a se concentrar em um pequeno número de pessoas, eventos e ideias, e ignorar outros que também eram importantes. Portanto foi escolhido dentre estas disciplinas a mais equivalmente e relacionada a redes neurais e sua contribuição para tal, entendo como o cérebro processa informações. Segundo (RUSSELL; NORVING, 2004).
2.2.1 Neurociência
A neurociência é o estudo do sistema nervoso do cérebro humano. Apesar de como exatamente o cérebro permite o pensamento ser um dos grandes mistérios da ciência, o fato de ele perminitr o pensamento foi avaliado por milhares de anos devido à evidência de que pancadas fortes na cabeça podem levar à incapacitação mental e dificuldades de rácioncinar. Apesar de, apenas em meados do século XVIII o cérebro foi amplamente reconhecido como a sede do consciência. Anteiormente, acreditava-se que a acreditava-sede da consciência poderia estar localizada no coração e no baço. Segundo (RUSSELL; NORVING, 2004).
O estudo da deficiência da fala feito por Paul Broca em 1861, com pacientes cujo cérebro foi danificado, demonstrou a existência de áreas localizadas do cérebro responsáveis por funções cognitivas específicas. Em particular, ele mostrou que a produção da fala estava localizada em uma parte do hemisfério cerebral esquerdo, agora chamada área de Broca. Nessa época, sabia-se que o cérebro consistia em células nervosas ou neurônios, mas apenas em 1873 Camillo Golgi desenvolveu uma técnica de coloração que permitiu a observação de neurônios individuais no cérebro (ver a Figura 2). Essa técnica foi usada por Santiago Ramon y Cajal em seus estudos das estruturas de neurônios do cérebro. Nicolas Rashevsky foi o primeiro a aplicar modelos matemáticos ao estudo do sistema nervoso. Segundo (RUSSELL; NORVING, 2004).
18
Figura 2: Partes de uma célula nervosa ou neurônio.
Fonte: Adaptado de (Russel e Norvig, 2004, p.47)
Segundo Russell e Norving (2004), cada neurônio consiste em um corpo celular. Ramificando-se a partir do corpo celular, há uma série de fibras chamadas dendritos e uma única fibra longa chamada axônio. O axônio se estende por uma longa distância, muito mais longa do que indica a escala desse diagrama. Em geral, um axônio têm 1cm de comprimento (100 vezes o diâmetro do corpo celular), mas pode alcançar até 1 metro. Um neurônio faz conexões com 10-100.000 outros neurônios, em junções chamadas sinapses. Os sinais se propagam de um neurônio para outro por meio de uma complicada reação eletroquímica. Os sinais controlam a atividade cerebral em curto prazo e também permitem mudanças a longo prazo na posição e na conectividade dos neurônios. Acredita-se que esses mecanismos formem a base para o aprendizado no cérebro. A maior parte do processamento de informações ocorre no córtex cerebral, a camada exterior do cérebro. A unidade organizacional básica parece ser uma coluna de tecido com aproximadamente 0,5 mm
19 de diâmetro, contendo cerca de 20.000 neurônios e estendendo-se por toda a profundidade do córtex, cerca de 4 mm nos seres humanos.
20 3. TIPOS DE APRENDIZADO DE MÁQUINA
Antes de apresentarmos os tipos de aprendizagem, devemos conhecer o conceito de Agentes dentro da IA. Um agente é considerado tudo que é capaz de perceber seu ambiente por meio de sensores e de agir neste ambiente através de atuadores. Seguindo a ilustração da figura 2. Um agente robótico poderia ter câmeras e detectores de infravermelho funcionando como sensores e motores como atuadores. Segundo (RUSSELL; NORVING, 2004).
Figura 3: Agentes interagem com ambientes por meio de sensores e atuadores.
Fonte: Adaptado de (Russel e Norvig, 2004, p.34)
As percepções se referem às entradas perceptivas do agente dado a qualquer momento. A sequência de percepções do agente é tudo que o agente já percebeu. A sequência inteira destas percepções até o momento pode resultar na ação do agente no ambiente, realizada através dos atuadores. Segundo (RUSSELL; NORVING, 2004).
A ideia da aprendizagem é que as percepções devem ser usadas não somente para agir, mas também para aprimorar a habilidade do agente para agir no futuro. A aprendizagem ocorre à medida que o agente observa suas interações com o mundo e com seus processos de tomada de decisão. A área de aprendizagem de máquina costuma se definir em três casos: aprendizagem supervisionada, não-supervisionada e aprendizado por reforço. Segundo (RUSSELL; NORVING, 2004).
Na aprendizagem supervisionada envolve o entendimento de uma função a partir de exemplos de suas entradas e saídas. Como por exemplo, os casos 1, 2 e 3. Em 1, o agente aprende a regra de condição ou ação para frear, tendo assim uma
21 saída booleana, frear ou não frear. Em 2, o agente aprende uma função a partir de imagens também com um resultado booleano, se a imagem contém ou não um obstáculo à sua frente. Em 3, a teoria de frear é junção do estado e ações de frear para, e a distância da parada em metros. Segundo (FERNANDES, 2003).
Na aprendizagem não-supervisionada envolve a analise entendimento de padrões na entrada, quando não são fornecidos valores específicos de saída. Por exemplo, um motorista de táxi, poderia desenvolver gradualmente um conceito de dias de tráfego bom e dias de tráfego ruim, mesmo sem ter recebidos dados de exemplos identificados de cada um deles. Segundo (FERNANDES, 2003).
Na aprendizagem por reforço em vez do agente ser informado o que fazer por um instrutor, primeiramente deve se aprender por reforço. Por Exemplo, uma multa por bater na traseira de outro carro, fornece ao agente uma indicação de que seu comportamento não é recomendado. Em geral, este tipo de aprendizagem inclui um subproblema de aprender como o ambiente funciona. Segundo (FERNANDES, 2003).
Fechando esta seção, reforçaremos que a noção de um agente deve ser vista como uma ferramenta para analisar sistemas, não como uma caracterização absoluta que divide o mundo em agentes e não agentes, Seguindo a ilustração da figura 4. Poderíamos visualizar qualquer calculadora como um agente que escolhe a ação de saida, de exibir “8” ao receber a sequência de percepções como entrada “4 + 4”, mas tal análise dificilmente ajudaria nossa compreensão da calculadora. Segundo (RUSSELL; NORVING, 2004).
Figura 4: Exemplos de tipos de agentes e suas descrições PEAS.
22 Denominadmos essa descrição, PEAS (Performance, Environment, Actuators, Sensors — desempenho, ambiente, atuadores, sensores). Ao desenvoler um agente, a primeira etapa deve ser sempre especificar o máximo possivel o seu ambiente de tarefa. De certo modo, todas as áreas de engenharia podem ser vistas como projetar arquétipos de objetos que interagem com o mundo, a IA opera no que os autores consideram ser o final mais curioso do espectro, onde os artefatos têm milharees de recursos computacionais e o ambiente de tarefa requer uma tomada de decisão não que não seja do conhecimento de todos, não seja trivial. Segundo (RUSSELL; NORVING, 2004).
23 4. REDES NEURAIS PROFUNDAS
Talvez seja possível chegar as várias definições do que significa uma Rede Neural Artificial, porém dentre desta definição contem ter palavras chaves: neurônio, arquitetura e aprendizagem. O neurônio é a unidade computacional básica de uma rede definida. A arquitetura é a estrutura topológica de como os neurônios estão conectados. A aprendizagem é um processo que treina para adaptar a rede de modo a calcular uma função desejada ou realizar uma tarefa. Segundo (FERNANDES, 2003).
Este método de aprendizagem está mais caracterizado como uma subárea da aprendizagem de máquina devido a seu uso de recursos ou técnicas abstraídas de redes neurais artificiais, portanto Deep Learning (aprendizado profundo), pode ser caracterizado como redes neurais artificiais profundas.
Redes neurais artificias (RNAs), podem ser distinguidos como um sistema de processamento paralelo e distribuído compostos por unidades de processamento simples (nodos), que calculam específicas funções matemáticas, normalmente não lineares que por sua vez relembram a estrutura do cérebro humano em algum nível. A computação neural se baseia em uma alternativa a computação algorítmica convencional, ou seja, não são baseadas em regras ou programas. Segundo (BRAGA; CARLOS; LUDEMIR, 2000).
O aprendizado profundo usa camadas de neurônios matemáticos para processar dados, compreender a fala humana e até reconhecer objetos visualmente. Os dados de entrada são passados através de cada camada, com a saída da camada anterior fornecendo entrada para a próxima camada. A primeira camada em uma rede neural é chamada de camada de entrada, enquanto a última é chamada de camada de saída. Todas as camadas entre as duas são referidas como camadas ocultas. Cada camada é tipicamente um algoritmo simples e uniforme contendo um tipo de função de ativação. Segundo (BRAGA; CARLOS; LUDEMIR, 2000).
Quanto mais camadas escondidas uma rede possui, mais complexo e a otimização dos métodos de aprendizagem e computação dos valores para mapear as entradas e saídas de uma rede. As redes feedfoward com muitas camadas escondidas são chamadas de rede de aprendizado profundo. Segundo (EDUARDA, 2016, p. 31). Dentro das redes feedfoward de aprendizado profundo, arquiteturas específicas foram desenvolvidas para realizar tarefas de alta complexidade, como
24 reconhecimento de imagem. Essas são as chamadas redes convulucionais, que possui uma arquitetura própria, com tipos de camadas e conexões diferenciadas das redes tradicionais. Segundo (EDUARDA, 2016, p. 31).
25 5. CONSIDERAÇÕES FINAIS
Olhando-se para este conteúdo e a matéria de inteligência artificial podemos concluir que as pesquisas, desenvolvimento e novas técnicas de redes neurais profundas são estudas com o intuito de ajudar a humanidade em tarefas de tomada de decisões que exigem uma concentração mais elevada e substituição de funções rotineiras que nós humanos costumamos realizar.
Apesar de questionarmos se esse enlace dessas três tecnologias e mesmo que seja somente a inteligência aritifical, podemos concluir que não há limites do como ela pode ser usada e onde pode ser aplica, o limite se restringe somente a imaginação humana considerando o lado ético. Portanto o objetivo geral de se podemos confiar nossos dados a esta tecnologia, pode ficar responsável por cada indivíduo ou organização defini-la da melhor forma ética ou não de como irá programa-la.
26 REFERÊNCIAS
BRAGA, Antônio de Pádua; CARVALHO, André Ponce de Leon F; LUDEMIR, Teresa Bernarda. Redes Neurais. Rio de Janeiro: LTC – Livros Técnicos e Científicos Editora, 2000.
FERNANDES, Anita Maria da Rocha. Inteligência Aritifical - Noções gerais. Santa Catarina: VisualBooks Editora, 2003.
LINNAINMAA, Seppo. The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master’s thesis, University Helsinki,1970.
MARQUES, Eduarda Almeida Leão. Estudo sobre Redes Neurais de Aprendizado Profundo com Aplicações em Classificação de Imagens. Monografia
(Bacharelado – Estatística) Universidade de Brasília, Departamento de estatística, 2016.
NVIDIA. Deep Learning in a Nutshell: History and Training from NVIDIA, 16.12.2015. Crash course on deep learning. Disponível:
https://devblogs.nvidia.com/deep-learning-nutshell-history-training/, acessado em 27.10.2019.
RUSELL, Stuart; NORVIG, Peter. Inteligência Artificial. Rio de Janeiro: Elsevier Editora, 2004
RUMELHART, David. E; HINTON, Geoffrey. E; and WILLIAMS, Ronald. J. Learning representations by back-propagating errors. Nature, pages 323, 533–536, 1986. WERBOS, Paul John. Beyond Regression: New Tools for Prediction and
Analysis in the Behavioral Sciences. PhD thesis, Harvard University, Cambridge, MA, 1974.
WERBOS, Paul John. Backwards differentiation in AD and neural nets: Past links and new opportunities. In Automatic Differentiation: Applications, Theory, and Implementations, pages 15-34, 2006.
