Inserindo Credibilidade Estatística aos Resultados de uma Avaliação de Desempenho

(1)

Avaliação de Desempenho

Prof. Kleber Rezende

kleber.rezende@ifsuldeminas.edu.br

Inserindo Credibilidade Estatística aos

(2)

Conteúdo



Revisão de Probabilidade e Estatística:



Média;



Desvio Padrão;



Distribuição Normal de Probabilidades.



Inserindo Credibilidade Estatística aos Resultados

de uma Avaliação de Desempenho:



Intervalo de Confiança da Média;



Comparação de Sistemas;

(3)

Revisão

3 Inserindo Credibilidade Estatística



_Média:

• É o valor que aponta para onde mais se concentram os dados de uma distribuição.

• É calculada somando-se todos os valores da população e dividindo o resultado pelo total de elementos da população.



_Exemplo:

• Uma amostra de 5 barras de aço foi retirada da linha de produção e seus comprimentos foram medidos. Os valores foram: 4,5; 4,6; 4,5; 4,4; 4,5.

(4)

Revisão



_{Desvio Padrão:}

• Mostra o quanto de variação ou “dispersão” existe em relação à média (ou valor esperado).

• Um baixo desvio padrão indica que os dados tendem a estar próximos da média; um desvio padrão alto indica que os dados estão espalhados por uma gama de valores.

• É calculado como a raiz quadrada de variância.

• Variância é o somatório dos quadrados das diferenças entre cada valor da amostra pela média dividido pelo tamanho da amostra.

(5)

Revisão



_{Desvio Padrão (Exemplo 1):}

• Se medirmos a temperatura máxima durante três dias em uma cidade e obtivermos os seguintes valores, 28°, 29° e 30°, podemos dizer que a média desses três dias foi 29°.

• Em outra cidade, as temperaturas máximas nesses mesmos dias podem ter sido 22°, 29° e 35°. No segundo caso, a média dos três dias também foi 29°.

• As médias têm o mesmo valor, mas os moradores da primeira cidade viveram três dias de calor, enquanto os da segunda tiveram dois dias de calor e um de frio.

(6)

Revisão



_{Desvio Padrão (Exemplo 1):}

• Para diferenciar uma média da outra, foi criada a noção de desvio padrão, que serve para dizer o quanto os valores dos quais se extraiu a média são próximos ou distantes da própria média.

• No exemplo anterior, o desvio padrão da segunda cidade é muito maior que o da primeira.

(7)

Revisão



_{Desvio Padrão (Exemplo 2):}

• Uma das aplicações mais comuns do desvio padrão é para cálculo da classificação no vestibular.

• Se dois candidatos ao mesmo curso tiram nota 7 em provas diferentes, o peso desse resultado vai depender do desvio padrão de cada exame.

• Digamos que a média das notas nas duas provas tenha sido 5.

(8)

Revisão



_{Desvio Padrão (Exemplo 2):}

• Aquele que obteve 7 na prova cujo desvio padrão foi menor, será mais considerado porque significa que ele conseguiu um 7 em um exame em que quase todo mundo ficou próximo a 5.

• Enquanto o outro conquistou um 7 em uma prova onde muitos outros também tiraram notas altas.

(9)

Revisão



_{Desvio Padrão (Exemplo 3):}

• Vídeo sobre Variância e Desvio Padrão - Dados agrupados

• Uma pesquisa foi realizada com um grupo de 20 trabalhadores. Cinco disseram ganhar entre 5 e 10 salários mínimos (SM), outros 8 ganham entre 10 e 15 SM, 4 ganham entre 15 e 20 SM e 3 afirmaram ganhar entre 20 e 25 SM. Calcule a média salarial e o desvio padrão para o grupo de trabalhadores entrevistados.

(10)

Revisão - Exercício



_{Imagine a seguinte situação:}



_{O dono de uma microempresa pretende saber, em}

média, quantos produtos são produzidos por cada

funcionário em um

dia. O chefe tem

conhecimento que nem todos conseguem fazer a

mesma quantidade de peças, mas pede que seus

funcionários façam um registro de sua produção

em uma semana de trabalho. Ao fim desse

período, chegou-se à seguinte tabela:

(11)

Revisão - Exercício



Calcule a média, a variância e o desvio

padrão

da

produção

diária

de

cada

funcionário.

(12)

Revisão

(13)

Revisão

(14)

Revisão - Exercício



_{O salário médio dos funcionários de uma empresa}

é de R$ 800,00, com desvio padrão de R$ 300,00.

Qual a probabilidade de que, selecionando-se

aleatoriamente um funcionário, ele receba:

a)

entre R$ 650,00 e R$ 1.100,00

b)

mais de R$ 900,00

(15)

Intervalo de Confiança da Média

Introdução

 _{Durante a avaliação do desempenho de um sistema,} deve-se ter alguns cuidados:

i. Esperar até que o sistema atinja certo grau de estabilidade (warm-up) – compreende cerca de 10% do tempo inicial do processo;

ii. Definição de um Intervalo de Confiança (IC), que consiste em um intervalo de valores com alta probabilidade de conter a verdadeira média populacional.

(16)

Intervalo de Confiança da Média

 _{Está sempre associado a um grau de confiança}

 _{Exemplo: se o grau de confiança for de 95%,} significa que existe 95% de probabilidade de a média da população se situar entre os limites do intervalo calculado.

 _{Por outro lado, se a média real estiver fora desse} intervalo, significa que a amostra não representa, satisfatoriamente, a população.

(17)

Intervalo de Confiança da Média

 _{Obtém a estimativa de que a média de um sistema analisado}

esteja contida em um intervalo, onde a probabilidade de a média estar contida nesse intervalo seja igual a um nível de confiança desejado:

Prob{c₁<c<c₂} = 1-α onde:

(c₁, c₂) é o intervalo de confiança, em que c₁ é o limite inferior e c₂ é o limite superior do intervalo;

α é o nível de significância; 100(1 – α) é o nível de confiança

 _{Na avaliação de sistemas computacionais, o valor geralmente}

(18)

Intervalo de Confiança da Média

 _{Exemplo: Uma conexão Fast Ethernet entre duas redes locais}

foi analisada para verificação do tempo médio de resposta de transmissão de dados entre as duas redes. O gerente da rede tinha o cálculo do intervalo de confiança do tempo de resposta de transmissão em um arquivo de 1 GB, que variava de 90,34 segundos a 93,01 segundos, dependendo do tráfego no link, com 90% de confiança. Portanto, tem-se:

Prob{90,34≤m ≤ 93,01} = 0,9

e

(19)

Teorema do Limite Central

Este teorema diz que a aproximação do histograma das médias amostrais para a distribuição Normal melhora à medida que o tamanho amostral cresce. Isto permite que, independentemente do tipo da distribuição da população, seja possível inferir dados e realizar os cálculos desejados para essa população.

(20)

Teorema do Limite Central

 _{No caso do cálculo do Intervalo de Confiança, deseja-se}

conhecer o limite inferior e o limite superior onde a média das amostras se localiza com um certo nível de confiança.

 Assim, para um nível de confiança de 100 (1-α)%, o IC pode ser calculado por:

Limite inferior: Limite superior: onde: é a média das amostras  s é o desvio padrão n é o tamanho da amostra

é um (1-α/2) quantil de uma Normal (significa o número de desvios padrões que se estendem da média de uma distribuição Normal necessário para conter 1-α/2 da área). n Z X  ₁___/₂  n Z X  ₁___/₂  X 2 / 1 Z

(21)

(22)

Teorema do Limite Central

 _{Exemplo 1: Calculando z para um nível de confiança de 90%.}

 _{Exemplo 2: Calculando z para um nível de confiança de 95%.} 645 , 1 95 , 0 2 1 , 0 1 2 1     e z  960 , 1 975 , 0 2 05 , 0 1 2 1     e z 

(23)

Teorema do Limite Central

 _{Exemplo 3: Trinta e quatro amostras de tempo de resposta}

foram coletadas de uma rede de computadores em diferentes momentos. O conjunto M representa as amostras coletadas (milissegundos):

M={840, 860, 850, 840, 860, 835, 1100, 500, 825, 833, 830, 830, 835, 840, 845, 825, 844, 845, 2000, 820, 840, 843, 844, 845, 823, 844, 843, 855, 851, 811, 847, 850, 834, 849}

a) Calcule o IC com 90% de confiança b) Calcule o IC com 95% de confiança

(24)

IC para amostras pequenas



_{Para pequenas amostras, a distribuição Normal}

apresenta valores menos precisos, o que nos leva

a utilizar outro modelo, a distribuição t de

Student;



_{Quando o tamanho das amostras é grande, por}

exemplo 100, a distribuição t é muito similar à

distribuição Normal. Mas para amostras

pequenas, a distribuição t é mais precisa;

(25)

IC para amostras pequenas

 _{Para calcular o valor de t a ser usado, é necessário} estabelecer: o nível de confiança desejado e o número de graus de liberdade a ser utilizado.

 _{Usando o símbolo t no lugar de z, tem-se que o IC, neste} caso, é dado por:

)

;

(

_[₁ _/₂_; ₁_] _[₁ _/₂_; ₁_]

n

s

t

X

n

s

t

X



__ _n_





__ _n_



(26)

(27)

IC para amostras pequenas



_Exemplo:

Foram realizadas 25 medidas de vazão de

um servidor de banco de dados. A média

computada foi de 190 requisições por

segundo, com desvio padrão igual a 11.

Deseja-se saber, com 95% de certeza, o

intervalo de confiança da média.

(28)

Comparação de Sistemas



_{Esta seção mostrará como fazer a}

comparação entre os sistemas utilizando

quatro técnicas diferentes:

1. Teste da média zero;

2. Observações pareadas;

3. Observações não pareadas;

4. Teste visual.

(29)

Teste da Média Zero



_{Consiste em checar se os valores medidos}

são significativamente diferentes de zero.



_{Usando o IC para o valor medido,}

verifica-se o intervalo contém zero.



_{Basicamente, o que se tem a fazer é:}

1. utilizar a diferença dos valores das

amostras dos dois sistemas;

2. calcular o IC para o nível de confiança

(30)

Teste da Média Zero



_{Se o IC resultante incluir a média zero, não}

é possível dizer se os dois sistemas

analisados são diferentes em termos de

desempenho;



_{Caso contrário, pode-se afirmar que os}

sistemas são diferentes, com o nível de

confiança desejado.

(31)

Teste da Média Zero



_Exemplo:

A empresa X analisou dois servidores

Firewalls para realizar a compra. Foram

feitas oito tentativas de passar um tráfego

“suspeito” para dentro da rede da

empresa, e computou-se o tempo de

resposta para cada tentativa filtrada e

rejeitada para saber se os sistemas eram

compatíveis em termos de desempenho.

(32)

Teste da Média Zero

Os valores obtidos para a diferença dos

tempos de resposta dos dois servidores,

em segundos, foram:

D = {1,5; -1,4; 0,8; -1,3; -0,5; 1,7; 0,9; 1,1}

Neste caso, é possível dizer, com confiança

de 95%, que um servidor é superior ao

outro?

(33)

Observações Pareadas



_{Consiste na comparação direta dos valores}

de IC nos casos em que existem n amostras

de um sistema A e n amostras de um

sistema B, ou seja, correspondência

um-para-um.

(34)

Observações Pareadas

 _Exemplo:

Dois roteadores foram comprados e é necessário fazer uma avaliação em relação à vazão de pacotes por segundo. O conjunto da carga de trabalho dos roteadores A e B está resumido no seguinte conjunto de pares (vazão A, vazão B):

Medidas = {(55,4; 69,1), (80,1; 90,2), (59,1; 55,4), (60,2; 60,1), (62,3; 60,1), (55,3; 53,7)}

É possível dizer que um dos roteadores é melhor do que o outro, com confiança de 90%?

(35)

Observações não Pareadas



_{Usado para comparação de dois sistemas}

que não possuem correspondência

um-para-um.



_{Neste caso, usa-se o teste t:}

1. Calculam-se as médias das amostras e 2. Calculam-se os desvios padrões S_a e S_b 3. Calcula-se a diferenças da média

4. Calcula-se o desvio padrão da diferença da média

a X X_b b a X X  i sistema do amostras de número o é n onde n s n s s _i b b a a 2 2  

(36)

Observações não Pareadas

4. Calculam-se os graus de liberdade

5. Calcula-se o IC da diferença da média



x

_a

x

_b



t

_[₁ _;_v_]

s

2  





2 1 1 1 1 2 2 2 2 2 2                         b b b a a a b b a a n s n n s n n s n s v

(37)

Observações não Pareadas

 _Exemplo:

Dois sistemas de processamento de requisições Web foram medidos em relação ao tempo de atendimento de requisições. Os valores medidos, em segundos, para os sistemas foram:

A = {1,22; 1,23; 1,67; 0,98; 0,88; 3,34} B = {0,99; 1,48; 3,88; 1,20; 2,09}

Deseja-se saber, com 90% de certeza, se os dois sistemas são significantemente diferentes.

(38)

Teste visual



_{Neste teste, utiliza-se a comparação dos}

sistemas, através da sobreposição dos

intervalos de confiança analisados. São

possíveis três opções:

1. IC não se sobrepõem (neste caso, a análise comparativa pode se basear na média)

2. IC e médias se sobrepõem (neste caso, não possível dizer que os sistemas são diferentes)

3. IC se sobrepõem, mas médias não (neste caso, não é possível ter certeza sobre a diferença dos sistemas)

(39)

Teste visual

 _Exemplo:

Os tempos de resposta de dois servidores para uma mesma tarefa foram medidos e os ICs com 90% foram calculados em:

Média_A = 10,71, IC_A = (10,24; 10,98) Média_B = 10,91, IC_B = (10,18; 12,23)

Deseja-se saber, com 90% de certeza, se os dois sistemas são significantemente diferentes.

(40)

Referências Bibliográficas

JOHNSON, T. e MARGALHO, M. Avaliação de Desempenho de Sistemas Computacionais, Rio de Janeiro: LTC, 2011

PORTAL ACTION. Disponível em: http://www.portalaction.com.br. Acesso em: 14 nov. 2016