aula02 cap2 analise dados

(1)

Tópicos Especiais em Computação: Aprendizado de Máquina

Cap 2: Análise e Pré-‐processamento de dados

Prof. Jeﬀerson Morais Email: jmorais@ufpa.br

UNIVERSIDADE FEDERAL DO PARÁ

INSTITUTO DE CIÊNCIAS EXATAS E NATURAIS

(2)

Agenda

n 

Dados

n 

Conjunto de Dados

(3)

Dados

n  A cada dia, uma enorme quan7dade de dados é gerada

n  Mo7vo: Avanços recentes nas tecnologias de aquisição, transmissão e armazenamento de dados

n  Es7ma-‐se que a quan7dade de dados em bases de dados mundiais dobra a cada 20 meses

n  Crescimento tem ocorrido em várias áreas

¨  Transações bancárias, u7lização de cartões de crédito, dados

governamentais, medições ambientais, dados clínicos, projetos genoma, informações disponíveis na Web, etc

(4)

Dados

n  Podem ter diferentes formatos

Séries Temporais Páginas Web Textos Áudios Vídeos Imagens _Sequênciais Grafos

(5)

Representação de dados

n  Os dados são geralmente transformados para o formato atributo-‐valor ¨  Cada objeto (instância ou exemplo) corresponde a uma ocorrência dos

dados

¨  Cada instância é descrita por um conjunto de atributos (parâmetros) de

entrada

Temperatura Dor Pressão Doente

40˚C sim … 14 SIM 38˚C sim … 12.9 SIM

. .

Dados

(6)

Representação de dados

n  Formalmente, os dados podem ser representados por uma matriz de objetos

X_n×d

n = número de objetos

d = número de parâmetros (excluindo o de saída)

O valor de d define a dimensionalidade dos objetos Do espaço de objetos (de entradas/de parâmetros) Cada elemento x_ij (ou x_ij) ⇒ valor do j-ésimo parâmetro para o objeto i

(7)

Exemplo de Espaço de Objetos

n 

A posição de cada objeto é deﬁnido pelos valores de

(8)

Técnicas de pré-‐processamento

n  São frequetemente u7lizadas para tornar os conjuntos de dados mais adequados para o uso de algoritmos de AM

n  Podem ser agrupadas em

¨  Eliminação manual de atributos ¨  Integração de dados

¨  Amostragem de dados ¨  Balanceamento de dados ¨  Limpeza de dados

¨  Redução de dimensionalidade ¨  Transformação de dados

(9)

Análise de dados

n 

Análise das caracterís7cas de um conjunto de dados

¨ Permite a descoberta de padrões e tendências que podem

fornecer informações valiosas

¨ Muitas podem ser ob7das por fórmulas estads7cas

simples

n  Estads7ca descri7va

(10)

Análise de dados

n 

Caracterização de dados

¨ Instâncias e Atributos ¨ Tipos de Dados

n 

Exploração de Dados

¨ Dados univariados

¨ Medidas de localidade, espalhamento e distribuição ¨ Dados mul7variados

(11)

Análise de dados

n 

Valores que um atributo pode assumir podem ser

deﬁnidos de diferentes formas

¨ Tipo

n  Grau de quan7zação nos dados ¨ Escala

n  Signiﬁcância rela7va dos valores

n 

Conhecer o 7po/escala dos atributos auxilia a

iden7ﬁcar a forma adequada de preparar os dados e

posteriormente de modelá-‐los

(12)

Tipos de Atributos

n  Quan7ta7vo (numérico) ¨  Representa quan7dades

¨  Valores podem ser tanto ordenados quanto u7lizados em operações

aritmé7cas

¨  Pode ser con\nuos e discretos ¨  Possuem unidade associada

n  Qualita7vo (simbólico ou categórico) ¨  Representa qualidades

¨  Valores podem ser associados a categorias

¨  Apesar de poder ter valores ordenados, operações aritmé7cas não

são aplicáveis

(13)

Tipos de Atributos

n 

Atributos Quan^ta^vos

n  Con\nuos

¨  Podem assumir um número

inﬁnito de valores

¨  Geralmente resultados de

medidas

¨  Frequentemente são

representados por números reais

n  Discretos

¨  Número ﬁnito ou inﬁnito

contável de valores

¨  Um caso especial são os

atributos binários (ou booleanos)

(14)

Tipos de Atributos

14

Qualita^vo

Quan^ta^vo discreto

Qualita^vo Quan^ta^vo con\nuo

Qualita^vo Quan^ta^vo discreto _Qualita^vo

Quan^ta^vo con\nuo

(15)

Escala de atributos

n 

Deﬁne operações que podem ser realizadas

sobre os valores dos atributos

¨ 

Nominais

¨ 

Ordinais

¨ 

Intervalares

¨ 

Racionais

Qualita^vos Quan^ta^vos

(16)

Escala de Atributos

n 

Escala Nominal

¨ 

Valores são nomes diferentes e carregam a menor

quan7dade de informação

¨ 

Não existe relação de ordem entre os valores

¨ 

Operações que podem ser aplicadas: =, ≠

(17)

Escala de Atributos

n 

Escala ordinal

¨ 

Valores reﬂetem ordem das categorais

representadas

¨ 

Operações aplicáveis: =, ≠, <, >, ≤, ≥

¨ 

Ex: avaliações qualita7vas de temperatura

(18)

Escala de Atributos

n 

Escala intervalar

¨ Números que variam em um intervalo

¨ É possível deﬁnir tanto a ordem quanto a diferença em

magnitude entre dois valores

n  A diferença em magnitude indica a distância que separa dois

valores no intervalo possível de valores

¨ Origem da escala deﬁnida de maneira arbitrária

n  O valor zero não tem o mesmo signiﬁcado do zero u7lizado em

operações ar7mé7cas

¨ Operações aplicáveis: =, ≠, <, >, ≤, ≥, +, -‐ ¨ Ex: Temperatura em ˚C ou ˚F, datas

(19)

Escala de Atributos

n 

Escala racional

¨ 

Carregam mais informações

¨ 

Os números têm signiﬁcado absoluto

n  Existe um zero absoluto junto com a unidade de

medida, de forma que a razão tenha signiﬁcado

¨ 

Operações aplicáveis: =, ≠, <, >, ≤, ≥, +, -‐, *,/

(20)

Escala de Atributos

(21)

Exercício de Fixação

n 

Deﬁnir o 7po e escala dos seguintes atributos:

¨ 

Renda Mensal:

¨ 

Número de matrícula

¨ 

Data de Nascimento

¨ 

Número de palavras de um texto

¨ 

Código postal

¨ 

Posição em uma corrida

Quantitativo racional Qualitativo nominal Quantitativo intervalar Quantitativo racional Qualitativo nominal Qualitativo ordinal

(22)

Exploração de Dados

n  Grande quan7dade de informações úteis pode ser extraída de um conjunto de dados por meio de sua análise ou exploração

¨  Ajuda na seleção de técnicas de pré-‐processamento e aprendizado de

máquina

n  Forma simples de exploração: estads7ca descri7va

¨  Resumo quan7ta7vo das principais caracterís7cas de um conjunto de

dados

¨  Muitas dessas medidas são calculadas rapidamente

¨  Ex: Idade média dos pacientes e a porcentagem de pacientes do sexo

masculino

¨  Captura de informações como: frequência, localização ou tendência central, dispersão ou espalhamento, distribuição ou formato

(23)

Exploração de Dados

n 

Frequência

¨  Medida mais simples

¨  Mede a proporção de vezes que um atributo assume um

dado valor em um determinado conjunto de dados

(24)

Exploração de Dados

n 

Frequência

¨  Medida mais simples

¨  Mede a proporção de vezes que um atributo assume um

dado valor em um determinado conjunto de dados

¨  Pode ser aplicada a valores numéricos e simbólicos

¨ Ex: Em um conjunto de dados médicos, 40% dos pacientes

(25)

Exploração de Dados

n 

Localização, dispersão e distribuição

¨ Diferem para os casos em que os dados apresentam

apenas um atributo (dados univariados) ou mais de um atributo (dados mul^variados)

n  Maioria dos dados em AM é mul7variado, mas análises em cada

atributo podem fornecer informações valiosas

(26)

Exploração de Dados

n 

Localização, dispersão e distribuição

¨ Diferem para os casos em que os dados apresentam

apenas um atributo (dados univariados) ou mais de um atributo (dados mul^variados)

n  Maioria dos dados em AM é mul7variado, mas análises em cada

atributo podem fornecer informações valiosas

¨ Geralmente aplicados a valores numéricos

(27)

Dados univariados

n 

Dados com apenas um atributo

Conjunto com n dados x = x

_{

₁, x₂, …, x_n

_}

Observação: O termo conjunto não tem o mesmo

signiﬁcado do termo u7lizado em teoria dos conjuntos. Em conjunto de dados um mesmo valor pode aparecer mais de uma vez em atributo

(28)

Dados univariados: medidas de

localidade

n 

Deﬁnem pontos de referência nos dados e

variam para dados numéricos e símbolicos

n 

Para dados símbolicos

¨ 

U7liza-‐se geralmente a moda: valor encontrado

com maior frequencia para um atributo

n 

Para dados numéricos

(29)

Moda

(30)

Média

n 

Equação

x = 1 n _i=1 xi n

∑

Observação: Problema da média é que ela é sensível à

presença de ou#liers. Bom indicador do meio de um

conjunto de valores apenas se os valores estão

(31)

Mediana

n 

O valor que ocupa a posição central em um conjunto

de dados ordenados

n 

Consequência: tem a propriedade de dividir os dados

em duas partes iguais quanto ao número de

elementos

¨  50% dos elementos são maiores e 50% são menores do

que a mediana

(32)

Mediana

n 

Passos

¨  Ordenar os valores de forma crescente ¨  Calcular a equação

¨ Facilita observar se a distribuição é assimétrica ou se

existem outliers mediana(x) = 1 2

(

xr + xr+1

)

se n for par n = 2r

(

)

x_r+1 se n for ímpar n = 2r +1

₍

₎

! " # $#

(33)

Mediana

n 

Exemplos

¨ 

{17, 4, 8, 21, 4 }

n  Ordenado (rol): {4, 4, 8, 17, 21}

n  Número ímpar de elementos => mediana = 8 ¨ 

{17, 4, 8, 21, 4, 15, 13, 9}

n  Ordenado: 4, 4, 8, 9, 13, 15, 17, 21

(34)

Exemplo 1 Media e Mediana

Média:

Mediana: 26,1 21,5 Média: Mediana: 5 2,5 20

(35)

Exemplo 2: Média e Mediana

n 

Calcular a média e a mediana em relação ao

resultado de um teste obje7vo de

conhecimento gerais aplicado a um grupo de

alunos, cujas pontuações foram: 5, 8, 6, 3, 7,

5, 9

¨ 

Média = 6,14

(36)

Média truncada

n 

Descarta elementos extremos da sequência

ordenada de valores

¨ Minimizar problemas da média

¨ Necessário deﬁnir um porcentagem de descarte

n 

Passos

¨ Deﬁnir a porcentagem p ¨ Ordenar os valores

¨ Descartar (p/2)% de valores de cada extremo ¨ Calcular a média do exemplos restantes

(37)

Média truncada

(38)

Exercício de Fixação

n 

Dado o conjunto de dados {4, 2, 3, 7, 5, 30}

calcular

¨ 

Média =

¨ 

Mediana=

¨ 

Média truncada (p=25%)=

8,5 4,5 4,75

(39)

Quar7s e percen7s

n 

Mediana dividi dados ordenados ao meio

¨ Quar7s e percen7s usam pontos de divisão diferentes

n 

Quar7s

¨ Divide em quartos

¨ 1˚ quar7l (Q1) => valor que tem 25% dos demais valores

abaixo dele

¨ 2˚ quar7l = mediana

n 

Percen7l

(40)

(41)

Quar7l e Percen7l

Média=26,1 Média = 5

(42)

Boxplots

n  Também chamado de diagramas de Box e Whisker

n  Ferramenta para localizar e analisar a variação de uma variável dentre

diferentes grupos de dados

n  Forma gráﬁca de visualizar quar7s

¨  Usa quar7s (Q1, Q2 e Q3) e valores máximo e mínimo

n  Boxplot modiﬁcado: limite superior/inferior vai até maior/menor valor

apenas se esse valor não for muito distante do 3˚/1˚ quar7l (até 1,5 * intervalor entre quar7s Q3 e Q1). Valores acima/abaixo são considerados

(43)

(44)

Boxplot

Outlier

(45)

Boxplot

n 

Ex: conjunto de dados iris

¨ 150 instâncias

¨ 4 atributos de entrada (condnuos) n  Tamanho pétala

n  Tamanho sépala n  Largura pétala n  Largura sépala

¨  3 classes (espécies de íris) n  Íris vírginica

(46)

Dados univariados: medidas de

espalhamento

n 

Medem dispersão ou espalhamento de um conjunto

de valores

¨ Permitem observar se valores estão n  Espalhados (dispersos)

n  Concentrados em torno de um valor (ex. Média)

n 

Medidas comuns

¨ Intervalo ¨ Variância

(47)

Intervalo

n 

Mostra a dispersão máxima entre os valores

¨  Medida simples

n 

Problema: não é uma medida boa se a maioria dos

valores estão próximos de um ponto, com um

pequeno número de valores extremos

(48)

Intervalo

(49)

Valor Esperado

n 

Busca resumir o comportamento de uma variável

aleatória encontrando a tendência central da

variável aleatória

n 

Exemplos

¨ Quando pedimos nossa comida em um restaurante e o

garçom informa quanto tempo leva para ﬁcar pronto

¨ Quando estamos em um ponto de ônibus e perguntamos

para pessoa ao lado, quando tempo leva até que o próximo ônibus venha

(50)

Valor esperado de variáveis

aleatórias discretas

n  Seja X uma variável aleatória discreta, com valores possíveis x₁,...,x_n,... . Seja p(x_i) = P[x = xi]. Então, a esperança de X,

também chamada de valor esperado de X

n  Este número também é denominado valor médio ou expectância de X

n  Lembrando que a esperança só está bem deﬁnida se, e somente se, a série acim for absolutamente convergente

(51)

Valor esperado de variáveis

aleatórias discretas

n  Observação: Se X tomar apenas um número ﬁnito de valores o valor esperado assume a seguinte expressão

n  Isto pode ser considerado como uma média ponderada dos possíveis valores x₁,...,x_n.

n  Se todos esses valores possíveis forem igualmente prováveis, então temos a média aritmé7ca

(52)

Valor esperado de variáveis

aleatórias discretas

n  Exemplo: Considere o lançamento equilibrado de um dado de 6 faces. A

variável aleatória X = “número da face voltada para cima”. Calcular o valor esperado de X.

n  Os valores possíveis de X são {1, 2, 3, 4, 5, 6} n  Esses valores são equiprováveis

n  Obs: Este exemplo ilustra claramente que E(X) não é o resultado que

podemos esperar quando X for observado uma única vez. E(X) = 7/2 nem é um possível valor de X. Esse valor na verdade signiﬁca que se jogássemos o dado um grande número de vezes e depois calculássemos a média

aritmé7ca dos vários resultados, esperaríamos que essa média ﬁcasse

próxima de 7/2 e quanto maior fosse o número de vezes que o dado fosse lançado, mais a média aritmé7ca se aproximaria de 7/2. ₅₂

(53)

Valor esperado de variáveis

aleatórias discretas

n  Seja X uma variável aleatória com valores ﬁnitos e g uma função, então

n  Ex: Os possíveis valores de X são {-‐1,5}. Além disso, P[x = -‐1] = 0,1 e P[x =

5] = 0,9. Portanto, o valor esperado é dado por

E(X)= -‐1(0.1)+5(0.9) = 4.4

(54)

Valor esperado de variáveis

aleatórias discretas

n  Seja X uma variável aleatória tal que

(55)

Valor esperado de variáveis

aleatórias discretas

n  Exercício de ﬁxação

n  Uma indústria alimendcia par7cipou de três licitações

públicas as quais lhe proporcionaram lucros de 30, 50 e 60 mil reais, respec7vamente. Se a probabilidade de que essa

indústria vença a licitação forem de 0,3; 0,7 e 0,2

respec7vamente qual a valor esperado de lucros desta indústria?

(56)

Valor esperado de variáveis

aleatórias condnuas

n  Seja X uma variável aleatória condnua com função densidade

de probabilidade (fdp) f. Deﬁnimos o valor esperado ou

esperança matemá7ca ou média X

n  Temos que E(X) vai estar bem deﬁnida se a integral for ﬁnita

(57)

Valor esperado de variáveis

aleatórias condnuas

Exemplo: Seja X o tempo (em minutos) durante o qual um equipamento elétrico é u7lizado em carga máxima, em um certo período de tempo

especiﬁcado. Então, X é uma variável aleatória condnua e sua fdp é dada por

Calcular a esperança de X.

(58)

Propriedades do Valor Esperado

n  Se X=c, então EX=c

n  Seja C uma constante e X uma variável aleatória. Então

n  Sejam X e Y duas variáveis aleatórias quaisquer. Então,

n  Sejam n variáveis aleatórias X₁,...,X_n. Então

(59)

Momentos

n  Se X é uma variável aleatória, então E(Xr) é chamado de r-‐ ésimo momento de X caso exista, ou seja, se

n  O r-‐ésimo momento em torno de α é deﬁnido como sendo

E[(X-‐α)]r_{,
caso
exista}

n  Se α=E[X] então ele é chamado de o r-‐ésimo momento central

n  Notem que , ou seja, a Var(x) é deﬁnida como sendo o segundo momento central

(60)

Variância de variáveis aleatórias

n  Suponhamos que, para uma variável aleatória X, veriﬁcamos que E(X) = 2. Qual o signiﬁcado disso?

n  Signiﬁca: se um grande número de determinações de X,

digamos x₁, ... , x_n, ao calcularmos a média desses valores de X ela estará próxima de 2, se n for grande

n  Suponhamos, por exemplo, que X representa a duração de vida de lâmpadas que estão sendo recebidas de um

fabricante, e que E(X) = 1000 horas

¨  Isto pode signiﬁcar que a maioria das lâmpadas deve durar um

(61)

Variância de variáveis aleatórias

n  Seja X uma variável aleatória. Deﬁnimos a variância de X, denotada por Var(X) ou σ2 _por

n  A raiz quadrada posi7va de Var(X) é denominada o desvio-‐ padrão de X, denotado por σ

n  Obs: O número Var(X) é expresso por unidades quadradas de X.

(62)

Variância e desvio padrão

n  Mais u7lizados

n  Problema: também são distorcidas pela presença de outliers

Valor esperado E X

_{[ ]}

= µ = p_ix_i i=1 n

∑

Var(X) = σ 2 = E X −#_$

(

µ

)

2%_& Desvio padrão(X)=σ = σ 2 P rove que: Var(X) = E X!_" 2#_{$− E X}

_{[ ]}

2

(63)

(64)

Outras medidas

n 

Pesquisar sobre

¨ 

Desvio médio absoluto

¨ 

aula02 cap2 analise dados

Agenda

Dados

Conjunto de Dados

Dados

Dados

Representação de dados

Representação de dados

Exemplo de Espaço de Objetos

A posição de cada objeto é deﬁnido pelos valores de

Técnicas de pré-­‐processamento

Análise de dados

Análise das caracterís7cas de um conjunto de dados

Análise de dados

Caracterização de dados

Exploração de Dados

Análise de dados

Valores que um atributo pode assumir podem ser

deﬁnidos de diferentes formas

Conhecer o 7po/escala dos atributos auxilia a

iden7ﬁcar a forma adequada de preparar os dados e

posteriormente de modelá-­‐los

Tipos de Atributos

Tipos de Atributos

Atributos Quan^ta^vos

Tipos de Atributos

Escala de atributos

Deﬁne operações que podem ser realizadas

sobre os valores dos atributos

Nominais

Ordinais

Intervalares

Racionais

Escala de Atributos

Escala Nominal

Valores são nomes diferentes e carregam a menor

quan7dade de informação

Não existe relação de ordem entre os valores

Operações que podem ser aplicadas: =, ≠

Escala de Atributos

Escala ordinal

Valores reﬂetem ordem das categorais

representadas

Operações aplicáveis: =, ≠, <, >, ≤, ≥

Ex: avaliações qualita7vas de temperatura

Escala de Atributos

Escala intervalar

Escala de Atributos

Escala racional

Carregam mais informações

Os números têm signiﬁcado absoluto

Operações aplicáveis: =, ≠, <, >, ≤, ≥, +, -­‐, *,/

Escala de Atributos

Exercício de Fixação

Deﬁnir o 7po e escala dos seguintes atributos:

Renda Mensal:

Número de matrícula

Data de Nascimento

Número de palavras de um texto

Código postal

Posição em uma corrida

Exploração de Dados

Exploração de Dados

Frequência

Exploração de Dados

Frequência

Exploração de Dados

Localização, dispersão e distribuição

Exploração de Dados

Localização, dispersão e distribuição

Dados univariados

Dados com apenas um atributo

{

}

Dados univariados: medidas de

localidade

Deﬁnem pontos de referência nos dados e

variam para dados numéricos e símbolicos

Para dados símbolicos

U7liza-­‐se geralmente a moda: valor encontrado

Técnicas de pré-‐processamento

posteriormente de modelá-‐los

Operações aplicáveis: =, ≠, <, >, ≤, ≥, +, -‐, *,/

_{

_}

U7liza-‐se geralmente a moda: valor encontrado

₍

₎