Base Matemática
Probabilidade
Noções Básicas
Experimento Aleatório
• Resultado no lançamento de um dado;
• Hábito de fumar de um estudante sorteado
em sala de aula;
• Tempo de duração de uma lâmpada;
• Tipo sangüíneo de um habitante escolhido ao
acaso.
Noções Básicas
Espaço Amostral
• conjunto de todos os resultados possíveis de
um experimento aleatório
.
Exemplos
• Lançamento de um dado:
= {1, 2, 3, 4, 5, 6}
• Exame de sangue (tipo sangüíneo):
= {A, B,
AB, O}
• Tempo de duração de uma lâmpada.
= {t: t
0}
Noções Básicas
Evento
• Subconjunto do espaço amostral
.
Exemplo
• Experimento Aleatório: lançamento de um dado. • Espaço amostral: = {1, 2, 3, 4, 5, 6}
• Alguns eventos:
• A: face do dado é par A={2,4,6} • B: face do dado é > 3 B = {4, 5, 6}
Operação com eventos
A
B
:
união dos eventos A e B.
• Representa a ocorrência de pelo menos
um dos eventos, A ou B.
A
B
:
interseção dos eventos A e B.
• Representa a ocorrência simultânea dos
eventos A e B
.
Eventos Disjuntos
Definição.
A e B são disjuntos ou
mutuamente exclusivos quando não
têm elementos em comum, isto é,
A
B =
Eventos Complementares
Definição.
A e B são complementares
se sua interseção é vazia e sua união é
o espaço amostral, isto é,
• A
B =
e A
B =
•sair uma face par ou face 1
A C = {2, 4, 6} {1} = {1, 2, 4, 6} • sair uma face par e face 1
A C = {2, 4, 6} {1} = • sair uma face par e maior que 3
A B = {2, 4, 6} {4, 5, 6} = {4, 6}
• sair uma face par ou maior que 3
A B = {2, 4, 6} {4, 5, 6} = {2, 4, 5, 6}
= {1, 2, 3, 4, 5, 6}
Eventos: A = {2, 4, 6}, B = {4, 5, 6} e C = {1}
Exemplo
: Lançamento de um dado• não sair face par
Probabilidade
•
Medida da incerteza associada aos
resultados do experimento aleatório
• Deve fornecer a informação de quão
verossímil é a ocorrência de um particular
evento
Como atribuir probabilidade aos elementos do espaço amostral?
Probabilidade
Através das freqüências de ocorrências
.
• O experimento aleatório é repetido n vezes
• Calcula-se a freqüência relativa com que
cada resultado ocorre.
Probabilidade
Através de suposições teóricas.
• Exemplo: lançamento de um dado
• Admite-se que o dado é perfeitamente
equilibrado
• P(face 1) =
...= P(face 6) = 1/6.
Probabilidade
Definição. Uma distribuição de probabilidade Pr{}
sobre um espaço amostral S é uma função que mapeia cada evento de S em um número real de modo que (i) Pr(A)>=0 para todo evento A
(ii) Pr(S)=1
13
Probabilidade Condicional
Definição. Dados dois eventos A e B, com P(B)>0, a probabilidade condicional de A dado que ocorreu B é denotada por P(A|B) e definida por
. 0 P(B) , P(B) B) P(A B) | P(A
Da definição de probabilidade condicional, obtemos a regra do produto de probabilidades
B). | P(A P(B) B) P(A Analogamente, se P(A) >0, . A) | P(B P(A) B) P(A 0,82. 101.850 48.249 101.850 39.577 39.577 / 48.249 = 0,82. Diretamente da tabela temos P(S | M) =
• Qual é a probabilidade do jovem escolhido ser
alfabetizado sabendo-se que é do sexo masculino?
P(M) M) P(S M) | P(S definição, Pela
Sexo Alfabetizada Total
Sim Não
Masc. 39.577 8.672 48.249 Fem. 46.304 7.297 56.601 Total 85.881 15.969 101.850
A: 2ª bola sorteada é branca C: 1ª bola sorteada é branca P(A) = ???
Para representar todas as possibilidades, utilizamos, um diagrama conhecido como diagrama de árvores
ou árvore de probabilidades.
Exemplo:
Em uma urna, há 5 bolas: 2 brancas e 3vermelhas. Duas bolas são sorteadas
sucessivamente, sem reposição.
1 Total V V VB BV BB Probabilidade Resultados 25 4 5 2 5 2 25 6 5 3 5 2 25 6 5 2 5 3 25 9 5 3 5 3 Considere agora que as extrações são feitas com
reposição, ou seja, a 1a bola sorteada é reposta na urna antes da 2a extração. Nesta situação, temos
5 3 5 2 B V 5 3 5 2 V B V B 5 3 5 2
ou seja, o resultado na 2a extração independe do que ocorre na 1a extração. e 5 2 25 6 25 4 P(A) = P(branca na 2ª) = Neste caso,
P(A | C) = P( branca na 2ª | branca na 1ª) = P(A)
5 2 ) A ( P 5 2
P(A | Cc) = P(branca na 2ª | vermelha na 1ª) =
Eventos Independentes
Definição. Dois eventos A e B são independentes se e somente se
Pr(A B)=Pr(A)Pr(B)
Exemplo. A probabilidade de Jonas tirar nota maior que 7 é 1/3 e a de Madalena é 2/3. Qual é a probabilidade de ambos tirarem nota maior que 7? Evento A: Jonas tira nota maior que 7
Evento B: Madalena tira nota maior que 7 P(A B) = P(A) x P(B) = 1/3 x 2/3 = 2/9
Variável Aleatória
Definição (intuitiva). Uma variável aleatoria X em um espaço amostral é uma função que associa cada elemento do espaço amostral a um valor real
Exemplo.
Experimento: dois dados honestos com 6 faces são jogados Espaço amostral: ={(i,j)| 1 <=i<=6 e 1<=j<=6}
21
Variável Aleatória
Aplicações em Computação
Variáveis aleatórias relacionadas a propriedades de algoritmos aleatorizados
• X: tempo de execução de um algoritmo aleatorizado • X: qualidade da solução de um algoritmo aleatorizado
Valor Esperado
Valor Esperado. Dada uma variável discreta X, seu valor esperado E[X] é definido por :
Exemplo
• X(a,b) = max{a,b}, onde (a,b) é o resultado de lançamento de dois dados honestos
• E[X] = 1*1/36 +2*3/36+3*5/36+ 4*7/36 +5*9/36 + 6*11/36 Seção 6.3 do Cormen E[X] j Pr[Xj] j0 24
Valor Esperado: Propriedades Importantes
Propriedade Útil. Se X é uma V.A. 0/1, E[X] = Pr[X = 1]. Pf.
Linearidade do Valor Esperado. Dada duas V.A. X e Y definidas sobre o mesmo espaço de probabilidade, E[X + Y] = E[X] + E[Y]. Propriedade pode simplificar bastante alguns cálculos!
E[X] jPr[Xj] j0 jPr[Xj] j0 1 Pr[X1] 25
Guessing Cards
Game. Shuffle a deck of n cards; turn them over one at a time; try to guess each card.
Memoryless guessing. No psychic abilities; can't even remember what's been turned over already. Guess a card from full deck uniformly at random.
Claim. The expected number of correct guesses is 1.
Pf. (surprisingly effortless using linearity of expectation)
Let Xi = 1 if ith prediction is correct and 0 otherwise. Let X = number of correct guesses = X1 + … + Xn. E[Xi] = Pr[Xi = 1] = 1/n.
26
Guessing Cards
Game. Shuffle a deck of n cards; turn them over one at a time; try to guess each card.
Guessing with memory. Guess a card uniformly at random from cards not yet seen.
Claim. The expected number of correct guesses is (log n).
Pf.
Let Xi = 1 if ith prediction is correct and 0 otherwise. Let X = number of correct guesses = X1 + … + Xn. E[Xi] = Pr[Xi = 1] = 1 / (n - i - 1).
E[X] = E[X1] + … + E[Xn] = 1/n + … + 1/2 + 1/1 = H(n). ▪ ln(n+1) < H(n) < 1 + ln n linearity of expectation
27 Linearidade do Valor Esperado
Exemplo. Qual é a o valor esperado do número de caras ao jogar uma moeda justa 100 vezes ?
X: número de vezes que o resultado é cara
Xi =1 se o resultado da i-ésima tentativa é cara e Xi =0,
caso contrário. 50 ] [ ] [ 2 / 1 ] [ 100 1
i i i E X E X X EDesigualdades de Cauda
• Como gerar limites superiores para a
probabilidade de uma variável aleatória se afastar da média?
Ferramenta fundamental para caracterizar o tempo de execução e/ou a probabilidade de sucesso de algoritmos
aleatorizados
Desigualdade de Markov
Lema. Seja X uma V.A. que assume somente valores não negativos. Então, para todo t positivo,
Prova. Considere a variavel 0-1 Y que assume valor 1 se X>=t e 0, caso contrário. Note que Y X/t. Logo,
30 Desigualdade de Markov
Exemplo. Qual é a probabilidadade obtermos mais de 75 caras ao jogar uma moeda justa 100 vezes ? X: número de vezes que o resultado é cara
Xi :1 se o resultado da i-ésima tentativa é cara e 0 caso
contrário.
Aplicando Markov temos
Pr[X>75] 50/75=2/3 50 ] [ ] [ 2 / 1 ] [ 100 1
i i i E X E X X E 31Variância de uma distribuição
Definição. A variância de uma variável aleatória X é definida como
Var(X)= E[(X-E[X])2]
A variância mede o quanto a distribuição “foge” da média.
O desvio padrão de X, denotado por x , é a raiz quadrada da variância
32
Variância de uma distribuição
Propriedade importante:
Var(X)= E[(X-E[X])2] = E[(X 2 - 2XE[X]+ E[X] 2] =
E[(X 2 - 2XE[X]+ E[X] 2)] = E[X 2]- E[X] 2
33
Variância de uma distribuição
Definição. Duas variáveis aleatórias X e Y são independentes se para qualquer par de reais x,y
Pr[X=x Y=y] = Pr[X=x]Pr[Y=y] ,
ou seja os eventos X=x e Y=y são independentes para todo x,y
Lema: Se X e Y são V.A. independentes, então E[XY]=E[X]E[Y]
34
Desigualdade de Chebyschev
Lema. Seja X uma V.A. com desvio padrão x.. Então,
para todo t>0,
Prova.
Pr[|X- E[X] | ≥ t·x] = Pr[(X-E[X])2 ≥ t2·x2]
Se Y = (X- E[X])2 , por Markov temos,
Pr[(X- E[X])2 ≥ t2 Var(X)] = Pr[ Y ≥ t2 Var(X)] ≤
E[Y]/ (t2Var(X)) =Var(X)/ (t2Var(X)) = 1/ t2 2 1 ] ] [ Pr[ t t X E X
X Theorem. Expected number of comparisons is 2nln n.
Pf.
Theorem. [Knuth 1973] Stddev of number of comparisons is ~ 0.65N.
Ex. If n = 1 million, the probability that randomized quicksort takes less than 4n ln n comparisons is at least 99.4%.
Chebyshev's inequality. Pr[|X - | k] 1 / k2.
The result is established by setting k= 2 ln(n)/0.65
Quicksort: Expected Number of Comparisons
Desigualdade de Chebyschev
Exemplo. Qual é a probabilidadade obtermos mais de 75 caras ao jogar uma moeda justa 100 vezes ? X: número de vezes que o resultado é cara Xi :1 se o resultado da i-ésima tentativa é cara e 0,
caso contrário
Aplicando Chebyschev temos
Pr[|X-50| 5x5] 1/25 4% Pr [ X 75 ] 2% (simetria) 25 ) ( ) ( e 50 ] [ 100 1 100 1
i i i i Var X Var X X X E Chernoff BoundsTeorema. Asumma que X1, …, Xn são variáveis aleatórias 0-1
independentes. Seja X = X1 + … + Xn. Então, para todo E[X] e para
todo > 0, temos
Teorema. Assuma que X1, …, Xn são variáveis aleatórias 0-1
independentes. Seja X = X1 + … + Xn. Entao, para todo E[X] e para
qualquer any 0 < < 1, temos
Diretamente relacionado a lei dos grandes números...
1 ) 1 ( ] ) 1 ( Pr[X e
A soma é bsatante concentrada próximo da média
38 Chernoff Bounds
Exemplo. Qual é a probabilidade obtermos mais de 75 caras ao jogar uma moeda justa 100 vezes ?
X: número de vezes que o resultado é cara
Xi :1 se o resultado da i-ésima tentativa é cara e 0 caso
contrário
Aplicando Chernoff temos
Pr[|X-50|>(1+0.5) x50]<=0.007 <= 0.7% 50 ] [ 100 1
i i X X EHoeffding Bounds
Lema.
Sejam X
1,...,X
nvariáveis aleatórias reais,
com X
iassumindo valores no intervalo [a
i,b
i].
Além disso, seja X= X
1+... +X
ne
=(b
1-a
1)+....+(b
n-a
n)
Portanto,
Pr[ X – E[X]
t]
exp(-2t
2/
)
ePr[ X – E[X]
-t]
exp(-2t
2/
)
40Union Bound
Union bound. Dados os eventos E1, …, En,
Pr
E
i i1 n
Pr[E
i]
i1 n
41Union Bound
Exemplo 1Um dado honesto de 6 faces é jogado uma vez. Considere os seguintes eventos:
Evento A: resultado é um número primo Evento B: resultado é par
Evento C: resultado é impar Temos
42
Union Bound
Exemplo 2
A probabilidade de um sistema falhar ao utilizarmos ele uma vez é 0.001. Qual a probbilidade do sistema ter sucesso em 100 utilizações seguidas ?
• Espaço amostral: Resultado possíveis para os 100 usos: {F,S,F,F,S,....,F}
• Evento Ei: i-ésima utilização falhou
• Evento E: sistema falhou em alguma das 100 utilizações • Evento S: sistema teve sucesso em todas as 100 utilizações • Como Pr(Ei )=0.001, então
Pr[E}= <= 0.1 • Segue que Pr[S]=1-Pr[E] >=0.9