Aula06- Data-Mining

(1)

1 MÁ R IO PEIX OT O

DATA MINING

(2)

U ni dade 4 – D ec isõe s tu radas – Data Mi n in g – S li de 2

Data Mining (Mineração de Dados)

• Qual a motivação?

• “Temos tudo informatizado na empresa, mas sinto que faltam mais informações. Falta conhecimento. Parece que morro de sede (conhecimento) num oceano de dados”

• O Data Warehouse não consegue ter insigths durante as análises de dados

(3)

Márci o Morei ra U ni dade 4 – D ec isõe s E str u tu radas – Data Mi n in g – S li de 3

Exemplo do Wall-Mart

• _{O que fraldas tem a ver com cerveja?}

• Premissas dos gerentes das lojas:

• Mães compram fraldas  seção feminina e de bebês.

• Homens compram cervejas  seção masculina e bebidas.

• O Terada Warehouse Miner fez a seguinte sugestão:

• Coloquem a seção de fraldas ao lado da seção de cervejas.

• Resultado:

• As vendas de cerveja cresceram 30%.

• As vendas de fraldas cresceram 40%.

• Porque?

• Homens casados, entre 25 e 30 anos, compram fraldas e/ou cervejas no final das tardes de sexta-feira no retorno do

(4)

Descoberta de conhecimento em DB

• _{“Um processo não trivial de identificação de padrões válidos,}

novos, úteis e implicitamente presentes em grandes volumes de

dados.” (Knowledge Discovery in Database - KDD - Fayyad

et al. 1996)

• Usa várias técnicas para descobrir modelos e relações ocultas em grandes bancos de dados

• Isto permite inferir regras de comportamento futuros e orientar a tomada de decisões

(5)

Márcio

Moreira Unidade 4 – Decisões Estruturadas – Data Mining – Slide 5

Etapas do processo de KDD

• _{Paradigmas de Data Mining:}

• _{Árvores de decisão}

• _{Regras de inferência}

• Baseado em instâncias (exemplos, fatos passados)

• Redes neurais, algoritmos estatísticos e genéticos

(6)

KDD x Data Mining

• Data Mining é o passo do processo de KDD que produz

um conjunto de padrões (conhecimento) sob um custo

computacional aceitável

• Incorpora tarefas de escolha do algoritmo adequado,

processamento e amostragem de dados e interpretação

de resultados

• O Data Mining fornece os “insights” para gerenciar

oportunidades e problemas existentes ou potenciais

(7)

Tipos de Informações do Data Mining

• _{Associações}

• Detecta eventos relacionados. Ex: Wall-Mart.

• _Seqüências

• Comportamento de compras de usuários de cartões.

• _{Classificação}

• _{Quais produtos são mais rentáveis.}

• _{Aglomeração}

• _{Identifica agrupamentos nos dados. Ex: locais de crimes.}

• _{Prognósticos}

(8)

Tarefas básicas - Previsão

• Fixa n variáveis e calcula outras k:

• Cálculo de variáveis de interesse a partir dos valores de um conjunto de variáveis de explicação

• _{Normalmente é usada no aprendizado de máquina ou}

estatística

(9)

Exemplo de Previsão - Análise de Crédito

renda déb it o

x

o

t

sem

crédito

o

Legenda: x: crédito

recusado

o: crédito

concedido

• Plano paralelo: • _{Fácil interpretação:}

• Se renda < t  sem crédito • Exemplo: • _{árvores de decisão} • _{indução de regras} renda déb it o

x

o

t

sem

crédito

o

 Plano oblíquo:

■

melhor separação

 Exemplos:

■

regressão linear

■

perceptron

(10)

U ni dade 4 – D ec isõe s str u tu radas – Data Mi n in g – S li de 10

Exemplo de Previsão - Análise de Crédito

Legenda: x: crédito

recusado

o: crédito

concedido

• Superfície não linear: _

x

o

t

sem

crédito

o

x

o

t

sem

crédito

o

(11)

Márcio

Moreira Unidade 4 – Decisões Estruturadas – Data Mining – Slide 11

Exemplo de Árvore de Decisão

Sexo País Idade Compra

M França 25 Sim M Inglaterra 21 Sim F França 23 Sim F Inglaterra 34 Sim F França 30 Não M Alemanha 21 Não M Alemanha 20 Não F Alemanha 18 Não F França 34 Não M França 55 Não

País

Idade

Não

Sim

Não

Alemanha

Inglaterra

França

> 25

< 25

Dados das vendas por mala direta do livro:

“Um guia para restaurantes franceses na Inglaterra”. Fonte: Aurélio, Vellasco e Lopes (1999)

(12)

Tarefas básicas - Descrição

• Reportar relações entre as variáveis do modelo de forma

simétrica

• À princípio, está mais relacionada ao processo de KDD

• _{Exemplos: agrupamento, sumarização (inclusive de}

(13)

Exemplo de Descrição

renda d éb it o

+

t

+

+: exemplo

Análise de crédito

• Agrupamento

• _Exemplo:

• _{Vector quantization}

• _{Web Mining:}

• _{Data Mining aplicado à}

servidores web

• _{Prevê padrões de acesso}

a servidores

(14)

Data Mining - Cases

• _{American Express:}

• Software analisa bilhões de compras para:

• Criar campanhas de marketing individuais

• _{Detectar fraudes e roubos de cartões de crédito}

• Lojas Brasileiras:

• Reduziu mix de produtos de 51000 para 14000

• Otimizou a organização das gôndolas

• Exemplo de anomalias detectadas:

• _{Roupas de inverno e guarda chuvas encalhadas no nordeste} • _{Batedeiras 110V a venda em SC (lá só tem 220V)}

(15)

Data Mining - Cases

• _{Bank of America:}

• Selecionou entre seus 36 milhões de clientes

• _{Aqueles com menor risco de dar calotes}

• Tinham filhos com idades entre 18 e 21 anos

• Resultado:

• Em três anos o banco lucrou 30 milhões de dólares com a

carteira de empréstimos

• _NASA:

• _{Cataloga imagem de satélites classifica eventos similares}

• _{Empresas de Telecom:}

(16)

Data Mining - Produtos

• Fabricantes:

• Líderes: Oracle, SPSS e SAS

• Grandes: IBM e CA

• Produtos:

• Oracle Data Mining

• SPSS

• SAS – Enterprise Miner

• IBM DB2 Inteligent Miner

• PolyAnalist

(17)

(18)

E X E R C Í C I O S

MÁ R IO PEIX OT O

• Porque o saneamento numa base de dados para iniciar o processo de data-mining é fundamental para seu sucesso real?

• Quem “nasceu” primeiro? – KDD ou DM ? E o que pode-se dizer da evolução do DM neste sentido ?

• Quais tipos de informação um DM pode trazer ?

• Posso afirmar que o DM possibilita uma melhor organização lógica e organizacional dos dados para facilitar a tomada de decisão? Porque?

• Porque posso considerar que o DM é situado como um banco de dados relacional ?

(19)

FIM

MÁ R IO PEIX OT O 19