Disciplina de Informação Profissional Eng. de Computação SSC0671

(1)

Informação Profissional Eng.Comp. Prof. Fernando Osório

Junho 2016

1

Aula IA-ML

Disciplina de

Informação Profissional – Eng. de Computação

SSC0671

Prof. Fernando S. Osório - Grupo de Robótica Móvel

LRM – Laboratório de Robótica Móvel do ICMC-USP

CROB-SC: Centro de Robótica da USP de São Carlos

Email: fosorio [at] { icmc. usp. br , gmail. com }

Web:

http://www.icmc.usp.br/~fosorio/

Wiki:

http://wiki.icmc.usp.br/index.php/SSC-671-2016(fosorio)

USP - ICMC / EESC - SSC –Graduação Eng. Comp.

SSC 0671 Info Profissional EC - 1o. Semestre 2016

(2)

Junho 2016

2

Inteligência Artificial (I.A. / A.I. ) &

Aprendizado de Máquina (Machine Learning - ML)

Agenda:

Inteligência Artificial (I.A.) / Artificial Intelligence (A.I.)

1. O que é Inteligência

Inteligência Natural x Inteligência Artificial

2. Inteligência Artificial: Tipos, Algoritmos, Aplicações

Aprendizado de Máquina / Machine Learning (ML)

1. Aprendizado: Conceitos e Tipos

Aprendizado Indutivo / Inductive Learning

Supervisionado / Não Supervisionado

2. Redes Neurais Artificiais (RNA / ANN)

3. Algoritmos Evolutivos / Algoritmos Genéticos

(3)

SISTEMAS INTELIGENTES

• Representação de Conhecimentos:

Simbólico x Neural

Casos (Prática) x Regras (Teoria), Particular x Geral

• Aquisição de Conhecimentos:

Memória, Generalização, Adaptação e Otimização

• Aprendizado Manual x Aprendizado Automático (Machine Learning)

• Aprendizado Simbólico: ILP, Árvores de Decisão

• Aprendizado Genético: Algoritmos Genéticos (GA, GP)

• Aprendizado Conexionista: Redes Neurais Artificiais

• Aprendizado por Adaptação:

Reinforcement Learning, Bayesian Learning, Adaptive Fuzzy

• Sistemas Híbridos: Hybrid Machine Learning Tools

“Cérebro Eletrônico” ?!?!

Inteligência Artificial

Junho 2016

3

(4)

INTELLIGENCE

 Natural Intelligence

 Human Intelligence

 Artificial Intelligence

Inteligência Artificial

Junho 2016 4

(5)

INTELLIGENCE

 Natural Intelligence

 Human Intelligence

 Artificial Intelligence

Inteligência Artificial

Junho 2016 5

MECANISMOS:

 Memória

 Raciocínio

o Indutivo

o Dedutivo

o Analogia

o Extrapolação

• Aprendizado / Adaptação

https://en.wikipedia.org/wiki/Reason

(6)

INTELLIGENCE

 Natural Intelligence

 Human Intelligence

 Artificial Intelligence

Inteligência Artificial

Junho 2016 6

MECANISMOS:

 Memória

 Raciocínio

o Indutivo

o Dedutivo

o Analogia

o Extrapolação

• Aprendizado / Adaptação

https://en.wikipedia.org/wiki/Reason

Conceito de Inteligência:

CAPACIDADE DE

RESOLVER PROBLEMAS

CAPACIDADE DE

APRENDER

(7)

INTELLIGENCE

 Natural Intelligence

 Human Intelligence

 Artificial Intelligence

Inteligência Artificial

Junho 2016 7

INTELIGÊNCIA:

• Busca de Soluções

• Tomada de Decisões

• Classificação de Padrões

• Reconhecimento de Padrões

• Previsão e Estimativa

• Planejamento

• Aprendizado

• Adaptação e Otimização

(8)

INTELLIGENCE

 Natural Intelligence

 Human Intelligence

 Artificial Intelligence

Inteligência Artificial

Junho 2016 8

INTELIGÊNCIA:

• Busca de Soluções

Algoritmos de Busca / Opções

• Tomada de Decisões

Diagnóstico / Sistema Especialista

• Classificação de Padrões

Redes Neurais Artificiais 

• Reconhecimento de Padrões Redes Neurais Artificiais 

• Previsão e Estimativa Redes Neurais Artificiais 

• Planejamento

Planej. de Caminhos, Pesq.Operac.

• Aprendizado

Machine Learning 

(9)

INTELLIGENCE

 Natural Intelligence

 Human Intelligence

 Artificial Intelligence

Inteligência Artificial

Junho 2016 9

MECANISMOS:

 Memória

 Raciocínio

o Indutivo

o Dedutivo

o Analogia

o Extrapolação

 Aprendizado / Adaptação

 Percepção – Decisão - Ação

https://en.wikipedia.org/wiki/Reason

MÉTODOS COMPUTACIONAIS:

 Inductive Machine Learning

ANN, Decision Trees (IDT, C4.5)

 Prolog: Logical Reasoning

 CBR: Case-Based Reasoning

 Statistics / Time Series

 Clustering, Optimization (GA)

 Data Mining ...

(10)

ARTIFICIAL INTELLIGENCE - A.I.

Inteligência Artificial & Machine Learning

Junho 2016

10

Inteligência Artificial & Machine Learning

Na prática...

(11)

Informação Profissional Eng.Comp.

Prof. Fernando Osório

Inteligência Artificial & Machine Learning

Junho 2016

11

Base de Conhecimentos

“Knowledge Representation”

(regras + fatos + ...)

Conversão para um formato

de representação interno

Conhecimentos sobre uma área de aplicação:

• Conhecimentos do especialista

• Teorias sobre o domínio de aplicação

• Resultados de experiências praticas

(casos conhecidos)

Explicitação

Aquisição

(12)

Inteligência Artificial & Machine Learning

Junho 2016

12

Aprendizado Indutivo

Aprendizado Supervisionado

Induction of Decision Tress – IDT

[Quinlan – ID3, C4.5, C5]

C4.5 – J. Ross Quinlan

(13)

Inteligência Artificial & Machine Learning

EXEMPLO:

DECISION TREES

IDT, ID3, C4.5, C5, CART

Junho 2016

(14)

Inteligência Artificial & Machine Learning

BASE DE DADOS SOBRE O PROBLEMA

NÚMERO

CÉU

TEMPERATURA HUMIDADE

VENTO

CLASSE

1 ensolarado

elevada

alta

não

N

2 ensolarado

elevada

alta

sim

N

3 coberto

elevada

alta

não

P

4 chuvoso

média

alta

não

P

5 chuvoso

baixa

normal

não

P

6 chuvoso

baixa

normal

sim

N

7 coberto

baixa

normal

sim

P

8 ensolarado

média

alta

não

N

9 ensolarado

baixa

normal

não

P

10 chuvoso

média

normal

não

P

11 ensolarado

média

normal

sim

P

12 coberto

média

alta

sim

P

13 coberto

elevada

normal

não

P

14 chuvoso

média

alta

sim

N

Tabela – Conjunto de dados de aprendizado : Condições meteorológicas

N = Negativo (tempo ruim)

P = Positivo (tempo bom)

DECISION TREES IDT, ID3, C4.5, C5, CART

Junho 2016

(15)

Inteligência Artificial & Machine Learning

Junho 2016

(16)

Inteligência Artificial & Machine Learning

WEKA

IDT => J48 Method (C4.5 / Quinlan)

http://www.cs.waikato.ac.nz/ml/weka/

Junho 2016

(17)

Inteligência Artificial & Machine Learning

WEKA

Data Mining => Regras de Associação

http://www.cs.waikato.ac.nz/ml/weka/

Junho 2016

17

https://en.wikipedia.org/wiki/Association_rule_learning

Descoberta de Conhecimentos

Aprendizado Não Supervisionado

(18)

Inteligência Artificial & Machine Learning

Aprendizado Indutivo

Aprendizado Supervisionado

Artificial Neural Networks

Perceptron Based ANN

MLP – BackPropagation

Junho 2016

18

PDP Book – Parallel Distributed Processing

https://mitpress.mit.edu/books/parallel-distributed-processing

+ Marvin Minsky / Perceptrons (Book)

+ Redes Neurais Artificiais – Teoria e Aplicações / Antônio Braga, André Carvalho, Teresa Ludermir + Redes Neurais – Princípios e Prática / Simon Haykin

(19)

USP – ICMC – SSC0671 - Turma 2016/1 Informação Profissional Eng.Comp. Prof. Fernando Osório

Set. 2014

19

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

Aplicações de Redes Neurais Artificiais:

(20)

Set. 2014

20

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

Aplicações de Redes Neurais Artificiais:

Conceitos e Ferramentas

Entradas / Input

Camada

Oculta

Saída / Output

Pesos

Wij

Unit i

Unit j

_{Aprendizado: Back-Propagation}

MLP - Multi-Layer Perceptron

Hidden

Layer

(21)

EQUAÇÂO DA RETA AX + BY + C = 0

Set. 2014

21

Redes Neurais Artificiais:

(22)

Set. 2014

22

Redes Neurais Artificiais:

(23)

Set. 2014

23

Redes Neurais Artificiais:

(24)

Set. 2014

24

Redes Neurais Artificiais:

(25)

Set. 2014

25

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

REDES

NEURAIS

MULTICAMADAS

MLP

Multi

Layer

Perceptron

Reconhecimento de

Padrões Complexos

(26)

Set. 2014

26

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

Aplicações de Redes Neurais Artificiais:

Conceitos e Ferramentas

SNNS JavaNNS Batchman Snns2c JAVA NNS SNNS Simulator

(27)

Set. 2014

27

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

Aplicações de Redes Neurais Artificiais:

Reconhecimento de Padrões

Dissertação de Mestrado: Fernando Santos Osório - UFRGS - PPGCC [1990]

(28)

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

Aplicações de Redes Neurais Artificiais:

Reconhecimento de Padrões

Ferramenta didática (para aprendizado)

http://www.sharktime.com/us_SharkyNeuralNetwork.html

Junho 2016

(29)

Junho 2016

29

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

Reconhecimento de Padrões: GESTOS

Demonstração

CData.cpp

AI Techniques for Game Programming Mat Buckland - Chapter 9 (Recognize It)

(30)

Set. 2014

30

Reconhecimento de Gestos: Data-Glove

Reconhecimento em Tempo Real:

Data-Glove – Postura das Mãos

(31)

Set. 2014

31

Reconhecimento de Gestos: Data-Glove

Reconhecimento em Tempo Real:

Reconhecimento de Assinaturas

Padrões Temporais

Tablet PC, Pocket PC

(32)

Set. 2014

32

Reconhecimento de Gestos: Data-Glove

Reconhecimento em Tempo Real:

Reconhecimento de Assinaturas

Padrões Temporais

Referências:

- Heinen, M.R. ; Osório, F. S.

Biometria Comportamental: Pesquisa e Desenvolvimento de um

Sistema de Autenticação de Usuários Utilizando Assinaturas

Manuscritas. Revista Infocomp, UFLA, v. 3, n. 2, p. 32-37, 2004.

- Heinen, M.R. ; Osório, F. S. ; ENGEL, P. M.

Handwritten Signatures Authentication Using ANN

Committee Machines. In: CLEI - XXXIII Latin American Conf.

on Informatics. San José, Costa Rica : CLEI, 2007. v. 1. p. 1-11.

- Heinen, M.R. ; Osório, F. S.

Handwritten Signatures Authentication using ANNs

In: IJCNN - IEEE Intenational Joint Conference on Neural Nets,

2006, Vancouver. Proceedings of the WCCI - IJCNN.

Vancouver - Canadá : IEEE Press, 2006. v. 1. p. 10111-10118.

Web:

http://osorio.wait4.org/oldsite/NeuralSignX/nsx.html

Pen Tablet:

Autenticação “On-Line”

de Assinaturas

(33)

Set. 2014

33

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

Aplicações de Recentes de Redes Neurais Artificiais:

Reconhecimento de Imagens

Área Navegável / Não Navegável

http://www.lrm.icmc.usp.br/wiki/index.php/Publications

Dissertação Mestrado: Patrick Shinzato

Sales 2010: IEEE LARS

Souza 2011, Shinzato 2011, ...

(34)

Set. 2014

34

Redes Neurais Artificiais:

Reconhecimento de Padrões Complexos

Aplicações de Recentes de Redes Neurais Artificiais:

Reconhecimento de Imagens

Área Navegável / Não Navegável

http://www.lrm.icmc.usp.br/wiki/index.php/Publications

Dissertação Mestrado: Patrick Shinzato

Sales 2010: IEEE LARS

Souza 2011, Shinzato 2011, ...

(35)

Maio 2010

35

Aprendizado de Máquina em Robótica Móvel

Aprendizado de Seqüências:

 Autômato Finito / FSM – Finite State Machine:

SEVA

IEEE IJCNN - International Joint

Conference on Neural Networs 2006

V

ancouver - Canadá - July 2006

Paper - Best Session Presentation Award

SEVA3D:

Using Artificial Neural Networks to

Autonomous Vehicle Parking Control

(36)

NeuroFSM: aprendizado de

Autômatos Finitos através do uso de

RNAs aplicadas à robôs móveis e

veículos autônomos

Aluno: Daniel Oliva Sales

Orientador: Fernando Santos Osório

Instituto de Ciências Matemáticas e de Computação

(37)

37

• Estados implementados: Usando Laser Sick

▫ Detecção de agente, reta, esquerda, direita e

interseção

Estados do autômato implementado

Experimentos e Resultados

Sistema de Patrulhamento Autônomo Multi-Agente

Utilizando RNA e Controle por Autômatos Finitos

(38)

38

• Pré-processamento: área de interesse

Experimentos e Resultados

Sistema de Navegação Autônoma Baseado em Visão 3D

utilizando sensor Kinect

(39)

39

• 8 Estados implementados

Experimentos e Resultados

Sistema de Navegação Autônoma Baseado em Visão 3D

utilizando sensor Kinect

(40)

40

• RNA 632-316-8

Experimentos e Resultados

Sistema de Navegação Autônoma Baseado em Visão 3D

utilizando sensor Kinect

(41)

Inteligência Artificial & Machine Learning

DEEP LEARNING

Deep Neural Networks

Deep Convolutional NNs

Junho 2016 41 https://www.tensorflow.org/ [Google] https://www.cntk.ai/ [Microsoft] https://developer.nvidia.com/cudnn [Nvidia] CNTK

(42)

Março 2010

42

http://playground.tensorflow.org/#activation=tanh&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=4,2&seed=0.60791&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&x

Machine Learning: Deep Learning

(43)

Março 2010

43

Machine Learning: Deep Learning

https://cloud.google.com/vision/

Google Opens Its Cloud Vision API

To All Developers

(44)

Março 2010

44

Machine Learning: Deep Learning

Microsoft Cognitive Services API

CLOUD SERVICES

(45)

Inteligência Artificial & Machine Learning

Algoritmos Evolutivos

Genetic Algorithms (GA)

Junho 2016

(46)

Maio 2010

46

Aprendizado de Máquina em Robótica Móvel

Aprendizado de Seqüências: “Robôs com Pernas”

MOTIVAÇÃO - Mobile Articulated Robots:

Walking Machines... Insects, Animals, Humans

http://en.wikipedia.org/wiki/Nao_(robot)

Aldebaran Robotics

Nao Robot

(47)

Maio 2010

47

Aprendizado de Máquina em Robótica Móvel

Aprendizado de Seqüências: “Robôs com Pernas”

MOTIVAÇÃO - Mobile Articulated Robots:

Walking Machines... Insects, Animals, Humans

(48)

Maio 2010

48

Aprendizado de Máquina em Robótica Móvel

Aprendizado de Seqüências: “Robôs com Pernas”

MOTIVAÇÃO - Mobile Articulated Robots:

Walking Machines... Insects, Animals, Humans

Dog

Horse ...

Tetrapod

Hexapod

(49)

Maio 2010

49

Aprendizado de Máquina em Robótica Móvel

Aprendizado de Seqüências: “Robôs com Pernas”

(50)

Maio 2010

50

Aprendizado de Máquina em Robótica Móvel

Aprendizado de Seqüências: “Robôs com Pernas”

 Autômato Finito / FSM – Finite State Machine:

LEGGEN

*

Virtual Reality Environment

and Simulation of Legged Robots

"Uso de Realidade Virtual para a Simulação do Caminhar em Robôs Móveis"

SVR 2006 - Belém, Brazil

* Evaluate different

Robot Models

(hardware configurations)

"Applying Genetic Algorithms to Control Gait of Physically Based

Simulated Robots” - IEEE WCCI / CEC 2006 - Vancouver, Canadá

* Evaluate different

Fitness Functions

"Gait Control Generation for Physically Based Simulated Robots

using Genetic Algorithms” - IBERAMIA / SBIA 2006 - Ribeirão Preto, SP

* Robot, Vehicles and Human Simulation

"Increasing Reality in VR Applications: Physical and Behavioral Simulation"

Virtual Concept Summer School - Nov. 2006 - Porto Alegre, RS / VC2006 Cancun

* Evaluate

Neural Learning

of cyclic functions => SBRN 2006

* Evaluate

Robot Morphology Evolution

=> CLEI 2007

(51)

05 Jun 2007

51

LEGGEN - ROBOT SIMULATION

Simulation of 3D Realistic

Virtual Legged Robots

LEGGEN Simulator

Genetic Evolved Control

of Articulated Robots (w/legs)

(52)

Maio 2010

52

Aprendizado de Máquina em Robótica Móvel

Competições Robóticas:

 Simulação: Robôs, Veículos e Agentes Autônomos

 Aprendizado de Robôs e Agentes Autônomos

(53)

Maio 2010

53

Aprendizado de Máquina em Robótica Móvel

Competições Robóticas:

 Simulação: Robôs, Veículos e Agentes Autônomos

 Aprendizado de Robôs e Agentes Autônomos

Simulated Car Racing

The simulated car racing competition of CIG-2010 is the final event of the

2010 Simulated Car Racing Championship, an event joining the three competitions held at

CEC-2010, GECCO-2010, and CIG-2010.

(54)

Maio 2010

54

Aprendizado de Máquina em Robótica Móvel

Competições Robóticas:

Simulated Car Racing

The simulated car racing competition of CIG-2010 is the final event of the

2010 Simulated Car Racing Championship, an event joining the three competitions held at

CEC-2010, GECCO-2010, and CIG-2010.

http://www.ieee-cig.org/

Competitions

TORCS:

The Open Racing Car Simulator http://torcs.sourceforge.net/

(55)

Maio 2010

55

Aprendizado de Máquina em Robótica Móvel

Competições Robóticas:

CIG Competitions 2007:

* Ms. Pac-Man

*Simulated Car Racing

* X-Pilot AI

* Othello

http://cswww.essex.ac.uk/cig/2007/

(56)

Maio 2010

56

Referências: Machine Learning

Referências – Aprendizado e Agentes Autônomos:

>> Ferramentas

SNNS / JavaNNS

=>

http://www.ra.cs.uni-tuebingen.de/SNNS/

FANN

=>

http://leenissen.dk/fann/wp/

WEKA

=>

http://www.cs.waikato.ac.nz/ml/weka/

GA-Lib

=>

http://lancet.mit.edu/ga/

>> Referências – Competições Simuladas

Competições: CIG -

http://www.ieee-cig.org/?page_id=119

(Games)

CEC -

http://www.cec-2010.org/competitions.shtml

Car Racing

=>

http://www.ieee-cig.org/?page_id=119

(Simulated)

http://cig.dei.polimi.it/?page_id=80

Pac-Man

=>

http://www.cec-2010.org/competitions.shtml#pacMan

Bot Prize

=>

http://botprize.org/

(UnReal at CEC)

CiberMouse =>

http://www.ieeta.pt/~lau/web_CiberRTSS07/

(57)

Maio 2010

57

Referências: Machine Learning

Referências – Aprendizado e Agentes Autônomos:

>> Referências – Competições com Robôs Reais

Competições:

DARPA Challenge =>

http://www.darpa.mil/grandchallenge/

ELROB

=>

http://www.elrob.org/

LARC

=>

http://robotica.elo.utfsm.cl/competencia/

RoboCup

=>

http://www.robocup.org/

Fire-Fighting Contest =>

http://www.trincoll.edu/events/robot/

Ciber-Rato

=>

http://microrato.ua.pt/

OBR

=>

http://obr.ic.unicamp.br/

(58)

Maio 2010

58

Referências: Machine Learning

Referências – Aprendizado e Agentes Autônomos:

>> Referências –

Deep Learning

MICROSOFT

CNTK -

https://www.cntk.ai/

Microsoft Congnitive Services -

https://www.microsoft.com/cognitive-services/

Vision -

https://www.microsoft.com/cognitive-services/en-us/computer-vision-api

GOOGLE

Tensor Flow -

https://www.tensorflow.org/

Ver TUTORIALS

Tensor Flow Web ANN Training -

http://goo.gl/uXABDv

Google API Vision -

https://techcrunch.com/2016/02/18/google-opens-its-cloud-vision-api-to-all-developers/

http://cloudacademy.com/blog/google-vision-api-image-analysis/

https://cloud.google.com/vision/

NVIDIA

(59)

Maio 2010

59

Referências: Machine Learning

Referências – Aprendizado e Agentes Autônomos:

>> Referências – Livro com exemplos de Machine Learning

AI Techniques for Game Programming

Mat Buckland .

Inclui CD com programas:

- Recognize It: RNA que reconhece

desenhos feitos com o mouse (gestos)

- Lunar Lander:

AG que controla a aterrissagem de

um módulo lunar

Acesso:

http://osorio.wait4.org/onedrive/AI-Techniques-Book/link.html

(60)

Maio 2010

60

Referências: Machine Learning

Referências – Aprendizado e Agentes Autônomos:

>> Referências – Livro sobre Aprendizado de Máquina e Sistemas Inteligentes

Sistemas Inteligentes:

Fundamentos e Aplicações

Coord. por Solange Rezende

Editora Manole

(61)

61

Inteligência Artificial & Machine Learning

(62)

Junho 2016

62