Redes Neurais

Redes Neurais Recorrentes A Rede de Hopfield

Prof. Paulo Martins Engel

Informática

UFRGS Prof. Paulo Martins Engel

Memória associativa recorrente

• A supressão do ruídonuma memória auto-associativapode ser obtida colocando-se uma função de limiar na saída de um associador linear e reciclando os sinais de saída para a entrada da rede, produzindo uma melhor associação.

• Para recuperar informação armazenada, um padrão chave é aplicado na entrada da rede e propagado pelos neurônios da única camada, produzindo um padrão de saída inicial.

• O padrão de entrada é então removido e o padrão de saída inicial é apresentado à entrada da rede pelas conexões realimentadoras.

• Este primeiro padrão atualizado é então propagado pela rede gerando uma primeira saída atualizada.

• O processo de atualizações sequenciais continua até não haver mais atualizações na saída e a rede atingir um estado de equilíbrio.

• O processo de atualizações sequenciais pode ser considerado no tempo como síncrono ou assíncrono.

3

Rede de Hopfield

Rede neural recorrente com restrições de conectividade

w₁₂

w₁₃ w₂₁

w₂₃

w₃₂ w₃₁

z^–1 z^–1 z^–1

x₁(k+1) x₂(k+1)

x₃(k+1) x₁(k)

x₂(k) x₃(k)

Informática

UFRGS Prof. Paulo Martins Engel

Redes neurais recorrentes

• Redes recorrentes são redes neurais com realimentação global, ou seja, com laços de realimentação envolvendo uma ou mais camadas da rede.

• Elas podem ser vistas como sistemas dinâmicos na área conhecida como neurodinâmica, onde a ênfase principal é o problema da estabilidade.

• A presença de estabilidade global em sistemas dinâmicos implica alguma forma de coordenação entre as partes individuais do sistema e o seu

estudo fundamenta a área de redes neurais auto-organizáveis.

• Laços de realimentação entre sinais de saída de uma camada da rede para as suas entradas, ou para as entradas de outra camada, implicam a

influência da sequência destes valores no processamento da rede.

• O uso de realimentação é uma forma de incluir aspectos temporais de

uma aplicação na operação de uma rede neural.

5

Estabilidade em redes neurais recorrentes

• No contexto de sistemas dinâmicos não-lineares, a estabilidade é tratada no sentido do método direto de Lyapunov, que define uma função

contínua do estado (função de Lyapunov) cuja existência garante a estabilidade do sistema.

• Na chamada neurodinâmica determinística, a rede neural apresenta um comportamento determinístico, descrito por um conjunto de equações diferenciais não-lineares acopladas que define a evolução do modelo em função do tempo.

• A rede de Hopfield é um modelo de rede recorrente com uma função de de Lyapunov, a função de energia da rede, que na sua forma discreta pode ser visto como uma memória associativa.

• O teorema de Cohen-Grossberg estabelece um princípio geral para

avaliar a estabilidade de redes neurais descritas por equações diferenciais não-lineares acopladas.

Informática

UFRGS Prof. Paulo Martins Engel

Conceitos básicos de sistemas dinâmicos autônomos

• A representação em espaço de estados é um modelo matemático naturalmente adequado para o estudo da neurodinâmica.

• Este modelo se baseia num conjunto de variáveis de estado que evoluem no tempo, que supostamente contêm informação suficiente para prever a evolução futura do sistema.

• Representando as variáveis de estado num instante (contínuo)t pelo vetor x(t):





t) ( ), ( ), , ( ),

(  _{1 2} 

x

• A dinâmica do sistema é então descrita por um sistema de equações diferenciais, que no caso de um sistema autônomo (sem entradas exógenas) de primeira ordem, pode ser escrito através da equação de (espaço-) estado:

 

( )

( t t

dt

t d x F x

x  

• Onde a função não-linear F(x) tem valor vetorial sendo denominada campo vetorial.

• A equação de espaço-estado descreve a trajetória de um ponto no espaço de estados.

7

Trajetória de um sistema dinâmico no espaço de estados

• A evolução do estado de um sistema pode ser representada como uma curva no espaço de estados, a sua trajetória, que representa a posição do vetor de estado correspondente a cada instante de tempo.

• Num sistema autônomo, existe apenas uma trajetória passando pelo estado inicial.

• O vetor tangente à curva corresponde ao vetor velocidade, dx(t)/dt, que pode ser plotado a cada instante, retratando assim o campo vetorial do sistema.

x₁ x₂

t₀ t₁

t₂

t₃

t₄

t₅

Informática

UFRGS Prof. Paulo Martins Engel

Estados de equilíbrio em sistemas dinâmicos autônomos

• Um sistema dinâmico processa informação ao longo do tempo, a partir de uma condição inicial segundo a sua equação de espaço-estado.

• Para que exista uma solução para a equação de estado de um sistema autônomo, e para que ela seja única, ou seja, que exista uma única trajetória passando pelo estado inicial, é necessário que a função vetorial F(x) satisfaça certas restrições (condição de Lipschitz).

• Em particular, se todas as derivadas parciais ∂F

/∂x

forem finitas em todo o domínio, então F(x) satisfaz a condição de Lipschitz.

• Um estado de equilíbrio do sistema, , é definido pela solução da equação de estado para o caso em que o vetor velocidade dx/dt é nulo:

0

x

F ( ) 

9

Estabilidade e convergência de estados de equilíbrio

• Um estado de equilíbrio é dito uniformemente estável, se a trajetória do sistema a partir de um estado inicial x(0) próximo a , se mantiver dentro de uma pequena vizinhança de .

• Um estado de equilíbrio é dito convergente, se a trajetória do sistema a partir de um estado inicial x(0) próximo a , tender a conforme t tender ao infinito.

• Um estado de equilíbrio é dito assintoticamente estável, se ele for estável e convergente.

• Um estado de equilíbrio é dito globalmente assintoticamente estável, se ele for estável e todas as trajetórias do sistema convergirem para conforme t tender ao infinito.

• Um sistema globalmente assintoticamente estável implica que o sistema se estabilizará num estado de equilíbrio, para qualquer condição inicial.

Informática

UFRGS Prof. Paulo Martins Engel

Teorema de Lyapunov

• O estado de equilíbrio é estável se, numa pequena vizinhança de , existir uma função V(x) definida positiva , tal que sua derivada em relação ao tempo é semi- definida negativa (não positiva) naquela região ou seja:

0para xna vizinhança de

• O estado de equilíbrio é assintoticamente estável se, numa pequena vizinhança de , existir uma função V(x) definida positiva tal que sua derivada em relação ao tempo é definida negativa naquela região, ou seja:

0para xna vizinhança de

• Os teoremas de Lyapunov requerem uma função de LyapunovV(x) definida positiva:

V(x) tem derivadas parciais contínuas em relação aos elementos de x.

V( ) = 0

V(x) > 0 para xna vizinhança de

• A existência de uma função de Lyapunov é uma condição suficiente para a

estabilidade e muitas vezes uma função de energia serve como função de Lyapunov.

11

Conceitos básicos de sistemas dinâmicos autônomos

• Um sistema dinâmico processa informação ao longo do tempo, a partir de uma condição inicial.

• A cada instante de tempo o sistema é descrito por seu estado,

representado pelo vetor formado pelos valores instantâneos de suas saídas.

• O comportamento de um sistema dinâmico pode ser analisado através da sua evolução temporal (trajetória) no espaço de estados.

• Nas aplicações relacionadas com memórias associativas, projeta-se uma rede neural de modo que ela se comporte como um sistema dinâmico cujos estados de equilíbrio correspondam aos padrões que devem ser recuperados.

Informática

UFRGS Prof. Paulo Martins Engel

Conceitos básicos de sistemas dinâmicos

• Um atrator é um estado para o qual o sistema evolui ao longo do tempo, a partir de determinadas condições iniciais.

• Cada atrator tem o seu conjunto de condições iniciais que desencadeiam a evolução de estados que termina no atrator.

• Este conjunto de condições iniciais é a bacia de atração do atrator.

• Se o atrator é um único ponto no espaço de estados ele é chamado de ponto fixo.

• Entretanto, um atrator pode consistir de uma seqüência periódica de

estados, sendo denominado ciclo limite.

13

Evolução de um sistema dinâmico no espaço de estados

P

x₁ x₂

Q

Separatriz

Ciclo limite Atrator

Ponto de sela

Informática

UFRGS Prof. Paulo Martins Engel

A rede de Hopfield

• A rede de Hopfield é o exemplo clássico de redes recorrentes de uma única camada, com pesos simétricos.

• Hopfield (1982) propôs uma forma de armazenar informação em uma configuração dinamicamente estável, localizando padrões em vales de uma superfície de energia característica da rede.

• Considere uma rede recorrente com Nneurônios com acoplamento simétrico descrito por w_ji= w_ij, onde w_ijé o peso sináptico conectando os neurônios ie j.

• A simetria das conexões resulta em um teorema importante sobre o comportamento da rede.

• Sendo v_j (t) o potencial de ativação agindo sobre o neurônioj, x_j(t) o valor correspondente da sua saída e _ja função de ativação do neurônio j, podemos relacionar estas variáveis por:

x_j(t) = _j(v_j)

• As variáveis v_j e x_jsão funções da variável tempo contínuo t.

• O estado do neurônio j pode ser descrito tanto em termos do potencial de ativação v_j (t) como do sinal de saída x_j(t) .

15

Diagrama do circuito equivalente da rede de Hopfield

C R C R

I₁

v₁ v₂

I₂ w₁₂

w₂₁ x₁ – x₁

– x₂ x₂

• Hopfield sugeriu uma rede computacional analógica (recorrente), baseada no modelo aditivo de um neurônio.

Informática

UFRGS Prof. Paulo Martins Engel

Modelo aditivo

• O modelo espaço-temporal de um neurônio é equivalente a um modelo aditivo de corrente, onde os pesos correspondem a condutâncias, o bias a uma fonte de corrente externae a dinâmica é implementada por um circuito RC

R_j C_j

Fonte de corrente

I_j v_j

φ(·) x_j(t) x₁(t)

Junção aditiva de

corrente x₂(t)

x_m(t)

w_jmx_m(t) w_jm

w_j2x₂(t) w_j2

w_j1 w_j1x₁(t)

…



jix t

w ( )

h_j(t)

j m

i

i ji Rj

Cj t i w x t I

i  





0

1

) ( )

(

i_Cj i_Rj

17

Modelo aditivo

• O modelo espaço-temporal de um neurônio é equivalente a um modelo aditivo de corrente, onde os pesos correspondem a condutâncias, o bias a uma fonte de corrente externae a dinâmica é implementada por um circuito RC

R_j C_j

Fonte de corrente

I_j v_j

φ(·) x_j(t) x₁(t)

Junção aditiva de

corrente x₂(t)

x_m(t)

w_jmx_m(t) w_jm

w_j2x₂(t) w_j2

w_j1 w_j1x₁(t)

…



i i

jix t

w ( )

h_j(t)

j m

i

i ji Rj

Cj t i w x t I

i  





0

1

) ( )

(

i_Cj i_Rj

j j j m

i

i ji j

j I

R t v x dt w

C dv 





0

1

) (

Informática

UFRGS Prof. Paulo Martins Engel

Equações dinâmicas da rede de Hopfield

• Considerando o estado do neurônio j descrito pelo seu potencial de ativação, o comportamento dinâmico da rede de Hopfield é descrito pelo seguinte conjunto de equações diferenciais não-lineares acopladas:

w_jix_i –

i=1 ij



= v_j +I_j

R_j dv_j

C_j dt com j = 1, 2, … , N

onde I_j é um bias aplicado ao neurônio jde uma fonte externa

• A variação do potencial de ativação v_j em relação ao tempo é determinada pelo efeito capacitivo C_j associado ao neurônio j, que é uma propriedade intrínseca da

implementação física de neurônios biológicos ou artificiais.

• Os w_jisão condutâncias que determinam o acoplamento entre os neurônios j, i.

• R_jrepresenta uma resistência de fuga não infinita, que liga a entrada do neurônio ao referencial de potencial e o efeito acoplativo entre os neurônios.

• As grandezas R_je C_jcorrespondem à impedância de entrada de um neurônio biológico, associada à sua membrana celular.

• I_jé uma corrente externa (entrandono nó) que determina um bias para o neurônio j.

19

Função energia da rede de Hopfield

• Para a rede de Hopfield com acoplamentos simétricos podemos definir uma função energia ou função de Lyapunov como (Hopfield 1984):

E= – 1

2

 



R_j



^

i j

i j j=1 j=1

N x_j N

0

• Se o bias externo I_jvariar lentamente, então o seguinte teorema pode ser demonstrado:

A energia Eé uma função monotonamente decrescente do estado {x_j | j = 1, 2, … , N}.

• Com isso, uma rede recorrente com pesos simétricos sempre converge para um estado estável, um atrator no espaço de fase.

• No segundo termo desta expressão aparece a integral da função inversa da função de ativação.

atanh(x)

x

Informática

UFRGS Prof. Paulo Martins Engel

Memória Associativa de Hopfield

• A rede de Hopfield pode ser vista como uma memória auto-associativa não-linear, que sempre converge para um dos padrões armazenados, em resposta à apresentação de uma versão incompleta ou com ruído daquele padrão.

• Os pontos estáveis do espaço de fase da rede são as memórias fundamentais ou estados protótipos da rede.

• Um padrão parcial apresentado à rede pode ser representado como um ponto inicial no espaço de fase.

• Desde que este ponto inicial esteja próximo ao ponto estável (dentro da sua bacia de atração), que representa o item a ser recuperado, o sistema deve evoluir no tempo até convergir para este estado memorizado.

• A rede de Hopfield é um sistema dinâmico cujo espaço de fase contém um conjunto de pontos estáveis representando as memórias

fundamentais do sistema.

21

Características do modelo discreto de Hopfield

• O modelo discreto de Hopfield utiliza o neurônio formal de McCulloch e Pitts, que pode ter um de 2 estados binários.

• O estado ligado do neurônio ié representado por s_i= +1, e o seu estado desligado por s_i= – 1.

• Para uma rede com N neurônios, o estado da rede é definido pelo vetor:

s = [s₁ , s₂ , … , s_N]^T

• A variável de estado s_ié a versão discreta da variável contínua de estado x_i, considerando-se que a função de ativação assume a forma de um degrau.

• Um par de neurônios i e jestá interconectado por um peso sináptico w_ji, que especifica a contribuição do valor de saída s_ido neurônio iao potencial que age sobre o neurônio j.

• O potencial líquido v_jagindo sobre o neurônio j é a soma de todos os potenciais pós- sinápticos atuando sobre ele:

v_j =



i=1 N

onde I_jé um bias fixo externo aplicado ao neurônioj.

Informática

UFRGS Prof. Paulo Martins Engel

4. Funcionamento da memória discreta de Hopfield

• O neurônio j modifica seu estado s

de acordo com a regra determinística:

s_j =

+ 1 se v

> 0 – 1 se v

< 0

{

• Se v

é zero, o neurônio j permanece no seu estado atual.

• A rede de Hopfield opera em duas fases: de armazenamento e

de recuperação.

23

Fase de armazenamento

• Vamos supor que queiramos armazenar um conjunto de p vetores binários de dimensão N, denotados por {

|  = 1, 2, …, p}.

• Estes são os p vetores correspondentes às memórias fundamentais.

• 

representa o i-ésimo elemento da memória fundamental 

.

• Pela regra de armazenamento do produto externo, que é a

generalização da regra de Hebb, o peso sináptico do neurônio i para o neurônio j é definido por:



=1 p

w_ji = 1

N com: w_ii = 0

Informática

UFRGS Prof. Paulo Martins Engel

Recuperação da informação armazenada

• Definindo w a matriz N por N de pesos sinápticos da rede, onde w

é o seu ji-ésimo elemento, podemos escrever:

• Onde 



representa o produto externo dos vetores 

com eles mesmos, e I denota a matriz identidade.

• Da simetria dos pesos da rede de Hopfield (w

= w

) vem a propriedade:

w

= w



=1 p

w = 1 N

p – N I

25

Fase de Recuperação

• Durante a fase de recuperação, um vetor binário (±1) N-dimensional de prova, x é imposto à rede como seu estado inicial.

• O vetor de prova é tipicamente uma versão com ruído ou incompleta de uma memória fundamental da rede.

• A recuperação de informação (evocação) se efetua de acordo com uma regra dinâmica na qual cada neurônio j da rede é escolhido aleatoriamente para examinar o seu potencial líquido de entrada e correspondentemente atualizar ou não o seu estado.

• Este é o procedimento para atualização assíncrona do estado da rede.

Informática

UFRGS Prof. Paulo Martins Engel

Atualização do estado da rede

• A atualização assíncrona do estado da rede ocorre de forma determinística de uma iteração para outra, mas a seleção de um neurônio para sofrer a atualização é aleatória.

• O processo de atualização continua até que não haja mais modificações no estado.

• Neste caso, a condição de estabilidade ou alinhamento do vetor y recuperado é satisfeita:

Ou na forma matricial:

y = sinal (w y + i) y

= sinal (  ^w

^y

^{+ I}

)

i=1 N

com, j = 1, 2, … , N

• Alternativamente, os estados podem ser atualizados de forma síncrona.

27

Exemplo de memória de Hopfield

• Projetar uma memória associativa recorrente, segundo o modelo de Hopfield, que armazene os seguintes 2 padrões tridimensionais, como memórias fundamentais:

₁ = [ +1 1 +1] ^T e  ₂= [1 +1 1] ^T

2. Comprovar a condição de alinhamentos para os vetores armazenados, com i= 0:

y = sinal (w y + i) 1. Calcular os pesos pela expressão:



=1 p

w = ¹ N

p – N I

3. A partir de um vetor de prova x= [ 1 +1 +1] ^Trealize atualizações assíncronas do estado da rede até recuperar a memória fundamental correspondente.

Informática

UFRGS Prof. Paulo Martins Engel

w₁₂

w₁₃ w₂₁

w₂₃

w₃₂ w₃₁

z^–1 z^–1 z^–1

Com: ₁= [ +1 1 +1] ^T e ₂= [1 +1 1] ^T



=1 p

1 N

= [ +1 –1 +1]

+1 –1 +1

[– 1 +1 – 1]

–1 +1 –1 1 +

3

1

3 =

+2 –2 +2 –2 +2 –2 +2 –2 +2 1

3 p

N I =

1 0 0 0 1 0 0 0 1 2

3

Então :



=1 p

w = 1 N

p – N I

0 –2 +2 –2 0 –2 +2 –2 0 w = 1

3

Da definição do termo da matriz identidade :

29

Função energia da rede de Hopfield

• Para a rede de Hopfield com acoplamentos simétricos podemos definir uma função energia ou função de Lyapunov como (Hopfield 1984):

E= – 1

2

 



R_j



^

i j

i j j=1 j=1

N x_j N

0

Informática

UFRGS Prof. Paulo Martins Engel

5. Função energia da memória de Hopfield discreta

• Para a rede de Hopfield com neurônios com função de ativação hard-limiter (±1) e sem limiar externo aplicado, a função energia da rede tem a forma simplificada:

E= – 1

2

 

i=1 j=1 i j

N N

• Esta função tem como limite inferior:

E_min= – 1

2

  ^|

|

i=1 j=1 i j

N N

A mudança de energia Ecausada pela mudança s_jno estado do neurônio j é dada por:

v_j =



i=1 N

E= – s_j



i=1 i j N

= – s_j v_j

Onde usamos a definição do potencial líquido agindo sobre o neurônio jsem limiar:

31

• Lembrando que a regra determinística para alteração do estado de um neurônio jé:

• Assim, podemos mostrar que uma mudança no estado de um neurônio j qualquer da rede causa sempre uma variação negativa na função energia, pois:

• Então, em um determinado instante k, a mudança no estado s_jsó poderá ocorrer nas seguintes situações:

s_j = + 1 se v_j > 0 – 1 se v_j < 0

{

Se v_j > 0 então s_j(k) = – 1 , s_j(k+1) = + 1  s_j= +2 Se v_j < 0 então s_j(k) = + 1 , s_j(k+1) = – 1  s_j= – 2

E= – s_jv_j < 0 para qualquer situação

Informática

UFRGS Prof. Paulo Martins Engel

Capacidade de Armazenamento

• A capacidade de armazenamento da memória de Hopfield está relacionada com um termo de ruído por interferência mútua (crosstalk) dos padrões armazenados

segundo a regra do produto externo.

• Considere que uma prova das memórias fundamentais, digamos, _v, seja apresentada à rede para ser recuperada.

• O termo de ruído aparece no cálculo do potencial de ativação de um neurônio genérico j, adicionado ao traço de memória que se deseja recuperar ( _v,j):

v_j =



i=1

N



=1 p

com w_ji = 1 N





=1 p

com isso, v_j = 1 N

N

i=1





= 1 p

resultando finalmente (provar), v_j = _v,j+ 1 N

N

 v i=1

33

Relação sinal-ruído

• Considerando-se o termo de ruído composto por N(p 1) variáveis aleatórias, com média zero e variância 1/N ², obtemos que o ruído segue uma distribuição gaussiana com média zero e variância igual a (p1)/N.

• Por outro lado, a componente de sinal, _v,j, tem um valor de +1 ou 1 com igual probabilidade, e portanto média zero e variância de um.

• A relação sinal-ruído é definida como:

 = variância do sinal variância do ruído ⁼

1

(p1) / N ^ p

N para pgrande

• As componentes da memória fundamental _vserão estáveis somente se a relação sinal-ruído for alta.

• O recíproco de é o chamado parâmetro de carga= p / N.

• Considerações da física estatística revelam que a recuperação das memórias da rede se deteriora com o aumento de e entra em colapso no valor crítico _c= 0,14, correspondendo a um valor crítico da relação sinal-ruído _cde 7, ou 8,45 dB.

Informática

UFRGS Prof. Paulo Martins Engel

Capacidade de armazenamento

• Pode-se provar que a capacidade de armazenamento de uma memória de Hopfield para que todas as memórias fundamentais sejam recuperadas corretamente é dada por:

N p N

ln

max  4

N p_max 100 5 1000 36 10000 271

35

6. Solução de problemas de otimização pela rede de Hopfield

• Hopfield propôs um método para solucionar problemas de otimização, projetando adequadamente os pesos da rede de modo que a função de energia da rede expresse os parâmetros do problema a serem otimizados.

• Como exemplo, ele resolveu o problema do caixeiro viajante (TSP- Traveling Salesman Problem) que é um problema de otimização NP-completo:

• Encontrar o melhor roteiro que passe por ncidades, voltando à cidade inicial, minimizando a distância percorrida.

• Número de roteiros possíveis: n! / 2n

• Função energia da rede de Hopfield discreta, com as variáveis sugeridas por Hopfield:

E = – ¹

2

 



i=1 j=1 i=1

N N N

V_i: saída do neurônio i

T_ji: peso na conexão entre os neurônios i e j I_i : entrada externa do neurônio i

Informática

UFRGS Prof. Paulo Martins Engel

Problema: solução do TSP por redes de Hopfield

Estudar a solução proposta por Hopfield para o TSP.

Projetar uma rede de Hopfield para o TSP com 3 cidades (A, B, C).

Considerar conhecidas as distâncias entre as cidades: d_AB, d_AC, d_BC Montar um exemplo de matriz de permutação correspondente.

Indicar o número de neurônios e de pesos necessários para a rede de Hopfield.

Como sugerido por Hopfield, utilizar índices duplos para as saídas dos neurônios (V_Xi) e quádruplos para os pesos (T_Xi,Yj).

Determinar os pesos (T_A1,Yj) correspondentes às conexões das saídas de todos os neurônios da rede com o neurônio A1. As expressões dos pesos são funções dos parâmetros da rede (A,B,C,D) e das distâncias entre as cidades.

37

Solução do TSP para 3 cidades por rede de Hopfield

1. Exemplo de matriz de permutação 1 2 3

1 0 0 0 0 1 0 1 0 A

B C

A1 A2 A3

B1 B2 B3

C1 C2 C3

T_A1B1 T_A1B2 T_A1C1

T_A1A2

T_A1A3

T_A1B3 T_A1C3 T_A1C2

T_A1Yj = – A _AY(1 –_1j ) – B _1j(1 –_AY) – C – D d_AY(_j2+ _j3 ) Com _uv= 1 se u = v e _uv= 0 se u v

T_A1A1 = – C T_A1A2= – A – C T_A1A3= – A – C

T_A1C1 = – B – C

T_A1B2 = – C – D d_AB T_A1B3 = – C – D d_AB T_A1B1 = – B – C

T_A1C2 = – C – D d_AC T_A1C3 = – C – D d_AC

Informática

UFRGS Prof. Paulo Martins Engel

Função Energia do TSP

Definindo-se os pesos como especificado por Hopfield, a função energia favorecerá:

estados que tenham uma cidade apenas no roteiro, estados que tenham cada posição apenas uma vez no roteiro, estados que incluam todas as cidades, estados que

apresentem menores distâncias totais.

E= A

2

  

X=1 i=1 j=1 ji

N N N N N N

i=1 X=1 Y=1 Y X

  

2

N N N

X=1 Y=1 i=1 Y X

  

+ 2

N N

X=1 i=1

 

+ 2

( )

39

Posição no roteiro 1 2 3 4 5 6 7 8 9 10

1 2 3 4 5 6 7 8 9 10

Cidades

1 2 3

4

5

6

7 8 9

10