TESTES ESTATÍSTICOS ACERCA DOS DADOS DE SAÍDA

(1)

1

© UNESP 6 Agosto 2008

Autor: Anibal Tavares de Azevedo

Limeira, 14 de Maio 2016

SIMULAÇÃO DE SISTEMAS

AULA 14

2

DADOS DE SAÍDA

(2)

3

DADOS DE SAÍDA

4

ANÁLISE ESTATÍSTICA

X

0

X

0

X

0

X

n

X

n

X

n

Entrada

Saída

(3)

5

Se a performance do sistema é medida por um parâmetro θ, então, a simulação tem por objetivo fornecer uma estimativa de θ, bem como determinar a acuracia através do desvio padrão do estimador . Essa medida de variabilidade pode ser colocada na forma de um

intervalo de confiança para um dado nível de confiança. O propósito da análise estatística é fornecer este

intervalo de confiança. Alguns problemas para determinar o intervalo de confiança em simulação são:

(1)Os dados de saída geralmente são relacionados.

(2)As condições iniciais no tempo t = 0 podem influenciar os dados de saída.

θˆ

ANÁLISE ESTATÍSTICA

6

(1)Os dados de saída geralmente são relacionados: Ou seja, na simulação de uma fila o tempo de espera de um cliente depende de clientes anteriores. Na simulação de um estoque, o volume inicial do estoque em um dia depende do volume final do dia anterior. dessa forma, métodos estatísticos clássicos que supõem independência não são aplicáveis diretamente.

t=0

t

t+1

(4)

7

(2)As condições iniciais no tempo t = 0 podem influenciar os dados de saída. Por exemplo, os primeiros clientes de um problema com filas não esperam o mesmo tempo que aqueles que chegam bem depois.

t=0

t

Período de

transição ou

de “warm-up”.

Duas formas de resolver o problema do warm-up.

Período de

estado

permanente.

ANÁLISE ESTATÍSTICA

8

Cadeias de Markov

O comportamento das probabilidades de transição após n-passos com n crescente é como dado a seguir:

2

1

0.9 _0.1

0.2

0.8

1

2 











=

8 .

0

2 .

0

1 .

0

9 .

0 P

1

(5)

9

Cadeias de Markov

Para n grande o suficiente tanto P₁₁(n) quanto P₂₁(n) são constantes e tendem ao valor 0.67. Isto significa que, para n grande, não importa o estado inicial a chance de uma pessoa se tornar comprador do refrigerante 1 é de 67%, e portanto, do 2 é de 33%.

n passos

10

Teorema 1 - Probabilidades de Estado Estacionário: Seja P a matriz de transição para uma Cadeia Ergódica com S estados. Então, existe um vetor π = [π1 ... πs]

tal que:

Cadeias de Markov













=

∞ →

s s s

n

P

π

L

M

O

M

L

2 1

lim

O vetor π = [π₁ ... π_s] é comumente chamado de

(6)

11

Exemplo 7: Calcular a probabilidade de estado

estacionário da Cadeia do Problema do refrigerante.

Cadeias de Markov

1

2 











=

8 .

0

2 .

0

1 .

0

9 .

0 P

1

2

1

0.9 _0.1

0.2

0.8 [

] [

]













=

80 .

20 .

10 .

90 .

2 1 2

1

π

2 1 2 2 1 1

80 .

10 .

20 .

90 .

π

+

=

+

=

Substituindo a segunda equação por π₁ + π₂ = 1:

2 1 2 1 1

1

20 .

90 .

π

+

=

+

=

3 /

1

3 /

2

2 1

=

π

12

(2.1) Usar um conjunto de condições iniciais que sejam representativas do estado permanente do sistema. O problema é que em muitas simulações é difícil determinar estas condições iniciais.

(7)

13

(2.2) A alternativa é rodar a simulação por um período de tempo e descartar a parte inicial da simulação relativa ao “warm-up” e assumir que a simulação começa (estatísticas são coletadas) já em estado permanente.

t

Período de

transição ou

de “warm-up”.

t=0

Sem estatísticas Coleta de estatísticas

ANÁLISE ESTATÍSTICA

14

Para realizar a análise dos dados de saída, as

simulações podem ser classificadas em duas categorias:

(1)SIMULAÇÃO TERMINAL: É aquela que funciona por um período de tempo TE, onde E é um ou mais eventos

especificados. O evento E pode ser também um instante de tempo específico, resultando em um tempo máximo de simulação.

(2)SIMULAÇÃO DE ESTADO ESTACIONÁRIO: É tal que funciona por um longo período de tempo, ou seja, o tempo de simulação tende a infinito.

ANÁLISE ESTATÍSTICA

(8)

15

A escolha da aplicação de cada categoria em modelos de simulação depende do problema em análise. Por exemplo, se a simulação de uma fila em banco deve usar simulação terminal, pois o banco fecha de tarde.

ANÁLISE ESTATÍSTICA

T

E

10:00-16:00

16

Já a simulação de um sistema computacional é melhor usar estado estacionário, pois o sistema funciona por um tempo suficientemente grande até que o sistema sofra um quebra ou tenha que realizar manutenção.

ANÁLISE ESTATÍSTICA

Ainda assim, existem casos em que é possível aplicar simulação terminal em problemas mais próximos de simulação de estado permanente e vice-versa.

(9)

17

SIMULAÇÃO DE SISTEMAS

Tempo entre as chegadas

...

Máquina I

Fila

CENÁRIO 1

Tempo entre as chegadas

...

Máquina I

Fila

CENÁRIO 10

18

Suponha que são realizadas n replicações independentes que empregam a simulação terminal. Se as n replicações começam com a mesma condição inicial e usam diferentes sequências de valores aleatórios, então, cada replicação pode ser tratada com uma replicação independente. Por simplicidade suponha que exista uma medida de

performance representada pela variável X. Então, X_j é o estimador da medida de performance da j-ésima

replicação, tal que a sequência X₁, X₂, ..., X_n será de variáveis aleatórias i.i.d. Para estas variáveis a análise estatística clássica pode ser aplicada para construir um intervalo de confiança de 100*(1-α)% para θ = E(x) usando:

ANÁLISE ESTATÍSTICA

( )

n

S

t

X

_n

2

1 , 2 / −

(10)

19

ANÁLISE ESTATÍSTICA

α/2% das observações

⇔ α/2% da área

sob a curva

z_α_/2 = 1,6; p.ex.

Z é função de distrib.

normal

y

x

**IC de 100*(1-α)%**

20

0 200 400 600 800 1000 1200

-150 -100 -50 0 50 100 150

Número passos = 1000

1 replicação

Valores médios de todas as replicações

1000 replicação

Parâmetros: z = 0.5, w = 0,

y = 1000 e x = 1000.

(11)

21

ANÁLISE ESTATÍSTICA

Faixas

F

re

q

u

ên

ci

a

Histograma associado

Média:

Σ

x

_i

/n

Moda: + freq.

Mediana: até 50%

22

ANÁLISE ESTATÍSTICA

( )

n

S

t

X

_n

2

1 , 2 / −

±

α

∑

=

n

i i

n

X

1

(

)

∑

=

−

=

n

i i

n

X

S

1

2

Média Variância amostral

Valor da distribuição t-Student com n – 1 graus de liberdade tal que: P(tn-1 ≥ t(α,n-1)) = α. Esse

valor pode ser encontrado com o Excel usando: =TINV(2*alpha, graus_de_liberdade).

(12)

23

ANÁLISE ESTATÍSTICA

Replicação X_j

1 9,252

2 9,273

3 9,413

4 9,198

5 9,532

6 9,355

7 9,155

8 9,558

9 9,310

10 9,269

Exemplo 8: Sejam os dados do número de terminais em operação obtidos de 10 replicações, de mesmo tamanho

de tempo, como dado na Tabela a seguir.

O número médio de terminais em operação é de 9,331, a variância S2 _{= 0,018 e se}

t(0,25 , 9 ) = 2,26, então:

10 0180

,

0

26 ,

2

331 ,

9 ±

096 ,

0

331 ,

9 ±

E para a amostra de dados é este o intervalo com confiança de 95%

α/2 n-1

24

ANÁLISE ESTATÍSTICA

OBSERVAÇÃO: O tamanho do intervalo de confiança irá depender da qualidade da nossa amostra. Se o intervalo

de confiança for inaceitável, então, para reduzir o seu tamanho é necessário aumentar o número de replicações ou o tempo de cada simulação. Por exemplo, se o número de amostras aumentar de 10 para

20, então, ocorrem duas melhorias:

(1)A média da amostra (passa para 9,359) se

aproxima daquela fornecida pelo estado estacionário (que é 9,362).

(13)

25

ANÁLISE ESTATÍSTICA

( )

n

S

t

X

_n

2

1 , 2 / −

±

α

∑

=

n

i i

n

X

1

(

)

∑

=

−

=

n

i i

n

X

S

1

2

Média Variância amostral

Valor da distribuição t-Student com n – 1 graus de liberdade pode ser substituída por: Z_α_/2 Pois t(_α/2, n-1) ≅ Zα/2 para n suficientemente grande.

A vantagem é que Z_α_/2 o valor de não depende de n.

Z_α/2 que é o ponto da distribuição normal tal que

100*(1-α/2)% abarca dos valores da distribuição.

26

ANÁLISE ESTATÍSTICA

α/2% das observações

⇔ α/2% da área

sob a curva

z_α_/2 = 1,6; p.ex.

Z é função de distrib.

normal

y

(14)

27

ANÁLISE ESTATÍSTICA

(5/2)% das observações

⇔ 2,5% da área

sob a curva

z0,025 = 1,96

y

x

Para IC = 95%, então,

α = 5% = 0,05 !

28

ANÁLISE ESTATÍSTICA

Matematicamente, seja ε o tamanho desejado do intervalo:

(α )

≥

ε

n

S

z

2 2 /

( )

S

z

n

_/₂

1

α

ε

≥

( ) 2 2 /

1 













≥

S

z

n

_α

ε

( /2) 2













≥

ε

α

S

z

n

(

)

(15)

29

Exemplo 8: Calcular o número de amostras n

(número de simulações) necessárias para que

o intervalo de confiança (IC) de 95% seja tal que:

ε

= 0,02. Uso os dados da tabela abaixo e as eqs.:

ANÁLISE ESTATÍSTICA -PROMODEL

( /2) 2













≥

ε

α

S

z

n

(

)

∑

=

−

=

n i i

n

X

S

1 2 2

18 ,

0 =

X

z_0,025 = 1,96

30

ANÁLISE ESTATÍSTICA -PROMODEL

[

−

0 ,

06

0 ,

03

0 ,

09

0 ,

02

0 ,

1 −

0 ,

03 −

0 ,

01 −

0 ,

09

0 −

0 ,

04 ]

=

−

X

i

18 ,

0 =

X

(

)

∑

=

−

=

n i i

n

X

S

1 2 2

(

)

0 ,

0176

10 1 2

=

−

∑

= i i

X

(

)

₀

_,

₀₀₁₇₆

10

1

2

=

∑

−

=

i

X

S

( /2) 2













≥

ε

α

S

z

n

Se z0,025 = 1,96 e ε = 0,02:

(16)

31

PROMODEL – MUDAR PARA FLEXSIM

Opções de Simulação

Opções

32

PROMODEL

(17)

33

ANÁLISE ESTATÍSTICA -PROMODEL

34

ANÁLISE ESTATÍSTICA -PROMODEL

20 ,

0 =

X

(

)

∑

=

−

=

n i i

n

X

S

1 2 2

(

)

0 ,

0775

20 1 2

=

−

∑

= i i

X

(

)

₀

_,

₀₀₃₉

20

20 1 2 2

=

−

=

∑

= i i

X

S

( /2) 2













≥

ε

α

S

z

n

Se z0,025 = 1,96 e ε = 0,02:

38

22 ,

37 )

02 ,

0 (

)

0039

,

0 (

)

96 ,

1 (

2 2

=

≈













≥

n

18 ,

0 =

X

Para n = 10:

(18)

35

PROMODEL

Opções

36

PROMODEL

(19)

37

ANÁLISE ESTATÍSTICA -PROMODEL

38

VALIDAÇÃO DE MODELOS

(20)

39

“O Teste de Turing testa a capacidade de uma máquina exibir comportamento inteligente equivalente a um ser humano, ou indistinguível deste. No exemplo ilustrativo original, um jogador humano entra em uma conversa, em linguagem natural, com outro humano e uma máquina projetada para produzir respostas indistinguíveis de outro ser humano. Todos os participantes estão separados um dos outros. Se o juiz não for capaz de distinguir com segurança a máquina do humano, diz-se que a máquina passou no teste. O teste não verifica a capacidade de dar respostas corretas para as perguntas; mas sim o quão próximas as respostas são das respostas dados por um ser humano típico. A conversa é restrita a um canal de texto, como um teclado e uma tela para que o resultado não dependa da capacidade da máquina de renderizar áudio.” Fonte: Wikipedia.

VALIDAÇÃO DE MODELOS

Alan Turing

Teste de Turing

40

VALIDAÇÃO DE MODELOS

Alan Turing

Teste de Turing

Teste original Teste validação simulação

(21)

41

COMPARAÇÃO DE CONFIGURAÇÕES

COMPARAÇÃO DE CONFIGURAÇÕES POR

MEIO DE TESTES ESTATÍSTICOS

42

Suponha que é necessário comparar duas alternativas por meio de simulação. Para tanto, é possível aplicar um teste estatístico de comparação entre duas médias. Sejam:

COMPARAÇÃO DE CONFIGURAÇÕES

i

x

1, é a observação obtida pela i-ésima replicação da

simulação da alternativa 1, onde: i=1,...,b1.

i

(22)

43

Se as duas alternativas foram simuladas por um mesmo número de replicações, ou seja, b1 = b2 = b, então, pode-se empregar o teste t para amostras emparelhadas O teste obtém um intervalo de confiança por meio dos seguintes passos:

COMPARAÇÃO DE CONFIGURAÇÕES

Passo 1:Calcular as diferenças

: d

_i

= x

_1i

– x

_2i

,

i = 1, 2, ..., b.

Passo 2: Calcular a média e o desvio-padrão sd das

diferenças:

b

d

b

i i

∑

=

1

(

)

1

2

−

=

∑

=

b

d

s

b

i i d

d

44

COMPARAÇÃO DE CONFIGURAÇÕES

Passo 3:Construir um intervalo de confiança [θ1,θ2]

,

para o valor da média das diferenças

_d

.

( )

n

S

t

X

_n

2

1 , 2 / −

±

α

Valor da distribuição t-Student com n – 1 graus de liberdade tal que: P(tn-1 ≥ t(α,n-1)) = α. Esse

valor pode ser encontrado com o Excel usando: =TINV(2*alpha, graus_de_liberdade).

(23)

45

COMPARAÇÃO DE CONFIGURAÇÕES

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Caso 1: Contiver o 0, isto é, θ1 < 0 e θ2 > 0, então,

nada pode ser concluído sobre a diferença entre as médias das alternativas–podem ser iguais ou diferentes.

Caso 2: Se o intervalo cair totalmente à direita do 0, isto é, θ1 > 0 e θ2 > 0, então a média da alternativa 1 é a maior.

Caso 3: Se o intervalo cair totalmente à esquerda do 0, isto é, θ₁ < 0 e θ₂ < 0, então a média da alternativa 2 é a maior.

0 Caso 1 Caso 2

Caso 3

46

R X_1i X_2i

1 2,545 3,809 2 2,370 3,529 3 1,266 4,457 4 1,359 2,186 5 4,171 3,358 6 3,397 3,399 7 3,200 3,429 8 4,026 3,827 9 2,312 3,933 10 2,606 3,532

Exemplo 9: Sejam os dados de tempo médio de espera para 10 replicações de duas configurações como dado na Tabela a seguir. Calcular: IC de 95% e da diferença.

O tempo médio de espera das 10 replicações é de 2,7252, a variância S2 _{= 0,9887, e se}

t(0,25 , 9 ) = 2,26, então:

10 9887

,

0

26 ,

2 7252

,

2 ±

7106

,

0 7252

,

2 ±

α/2 n-1

1

(24)

47

R X_1i X_2i

1 2,545 3,809 2 2,370 3,529 3 1,266 4,457 4 1,359 2,186 5 4,171 3,358 6 3,397 3,399 7 3,200 3,429 8 4,026 3,827 9 2,312 3,933 10 2,606 3,532

O tempo médio de espera das 10 replicações é de 3,5459, a variância S2 _{= 0,5820, e se}

t(0,25 , 9 ) = 2,26, então:

10 5820

,

0

26 ,

2 5459

,

3 ±

5452

,

0 5459

,

3 ±

α/2 n-1

2 COMPARAÇÃO DE CONFIGURAÇÕES

48

R X_1i X_2i D_i

1 2,545 3,809 _-1,264 2 2,370 3,529 _-1,159 3 1,266 4,457 _-3,191 4 1,359 2,186 _-0,827 5 4,171 3,358 _0,813 6 3,397 3,399 _-0,002 7 3,200 3,429 _-0,229 8 4,026 3,827 _0,199 9 2,312 3,933 _-1,621 10 2,606 3,532 _-0,926

O tempo médio de espera das 10 replicações é de -0,8207, a variância S2 _{= 1,1210, e se}

t(0,25 , 9 ) = 2,26, então:

10 1210

,

1

26 ,

2 8207

,

0 ±

−

7567

,

0 8207

,

0 ±

−

α/2 n-1

3

(25)

49

1.5 2 2.5 3 3.5 4 4.5

1 2

R X_1i X_2i

1 2,545 3,809 2 2,370 3,529 3 1,266 4,457 4 1,359 2,186 5 4,171 3,358 6 3,397 3,399 7 3,200 3,429 8 4,026 3,827 9 2,312 3,933 10 2,606 3,532

7106

,

0 7252

,

2 ±

3 ,

5459

±

0 ,

5452

Box-plot

COMPARAÇÃO DE CONFIGURAÇÕES

50

IC 95%

R X_1i X_2i D_i

1 2,545 3,809 _-1,264 2 2,370 3,529 _-1,159 3 1,266 4,457 _-3,191 4 1,359 2,186 _-0,827 5 4,171 3,358 _0,813 6 3,397 3,399 _-0,002 7 3,200 3,429 _-0,229 8 4,026 3,827 _0,199 9 2,312 3,933 _-1,621 10 2,606 3,532 _-0,926

[-1,5774,-0,0640]

(26)

51

OBRIGADO !!!