O Algoritmo UAprioriMRJoin

Percebe-se que o algoritmo UAprioriMRByT pode obter melhor desempenho do que o algoritmo UAprioriMR, em alguns casos, principalmente no passo k = 2 (pela inexistência de poda). Tal característica evidencia-se quando a média de itens por transação do dataset for pequena. A fim de tirar proveito desta característica, elaborou-se o algoritmo híbrido UAprioriMRJoin (algoritmo 5.6).

A ideia deste algoritmo é implementada na função Mapq nos passos k > 1. Portanto, no passo

k= 1, as funções Map, Combine e Reduce são as mesmas do algoritmo UAprioriMR. Assim como

as funções Combine e Reduce são iguais ao algoritmo UAprioriMR nos passos k > 1.

Algoritmo 5.6: Função Mapq do Algoritmo UAprioriMRJoin no Passo k > 1.

Entrada: Sq, split q, onde cada linha é uma transação.

Entrada: conjunto Lk−1 contendo pares (c,p) de itemsets frequentes encontrados no passo

anterior (k-1).

Entrada: avg, média de itens por transação.

Saída: conjunto Oq,k referente ao split Sq, contendo pares (c,p).

M apq(Sq, Lk−1, avg) 1: Ck← gera_candidatos(Lk−1) 2: Ck← poda_candidatos(Ck, Lk−1) 3: Ck_t← calcula_candidatos(avg,k) 4: if (|Ck| ≥ λ · Ck_t) then 5: UAprioriMRByT.Mapq(Sq, Lk−1) 6: else 7: UAprioriMR.Mapq(Sq, Lk−1) 8: end if 9: return Oq,k

na linha 2 do algoritmo, o conjunto Ck concentra todos os itemsets candidatos a itens frequentes

L2, gerados a partir de L1 e já podados, conforme ideia tradicional do algoritmo UAprioriMR. Na

linha 3, a variável Ck_t armazena o número de itemsets candidatos a L2, calculando-o a partir

do número médio de itens existentes por transação (avg). Este cálculo é realizado pela função

calcula_candidatos(avg,k) que, aplicando a Equação 5.1, descobre o valor de Ck_t. Ou seja,

considerando o passo k = 2, dada a média de itens por transação (avg), calcula-se o número de itemsets candidatos por transação, tomados 2 a 2.

O número de itemsets em Ck, |Ck|, e o número de itemsets por transação, Ck_t, servem para decidir se deve ser aplicada a função Mapqdo algoritmo UAprioriMR, ou se deve ser aplicada a função

M apq do algoritmo UAprioriMRByT. Esta decisão é tomada na linha 4. Caso o número de itemsets

candidatos em Ck seja maior do que o número de itemsets candidatos por transação, multiplicado

por uma constante λ, deve ser executada a função Mapq do algoritmo UAprioriMRByT porque o

número de verificações desta função produz um número menor de elementos do que o número de

verificações da função Mapq do algoritmo UAprioriMR.

A constante λ serve como medida da oscilação do tempo de processamento de cada uma das abordagens. Existe diferença no tempo de processamento entre descobrir os itemsets do conjunto candidato a cada transação (abordagem UAprioriMRByT) e gerar estes itemsets uma única vez, a

partir de Lk−1 (abordagem UAprioriMR).

5.5 Considerações Finais do Capítulo

Neste capítulo foram formalizados e discutidos os algoritmos UAprioriMR, UAprioriMRByT e UAprioriMRJoin. Destas discussões destacam se algumas contribuições relacionadas aos algoritmos propostos:

1. A criação e implementação do algoritmo UAprioriMR. Embora existam outros trabalhos re- lacionados que adaptaram o algoritmo tradicional Apriori para trabalhar com o modelo de programação MapReduce (vide [LI08], [LI12], [LIN12b], [YAH12] e [KUL13]), não foram en- contrados trabalhos que lidassem com incerteza no dataset. O algoritmo UAprioriMR imple- menta o modelo de programação MapReduce sobre datasets que possuem incerteza associada

aos seus itens;

2. A criação e implementação do algoritmo UAprioriMRByT. Este algoritmo modifica a maneira de criação dos itemsets dos conjuntos candidatos de cada passo k, gerando-os a cada transação lida do dataset;

3. A criação e implementação do algoritmo híbrido UAprioriMRJoin. Este algoritmo decide, a cada passo k > 1, qual abordagem utilizar: se usar a geração de itemsets dos conjuntos

candidatos Ck, baseado em Lk−1 (ideia do UAprioriMR) ou usar a geração de itemsets dos

6. EXPERIMENTOS

Este capítulo descreve os experimentos realizados com os algoritmos UAprioriMR, UaprioriMRByT e UAprioriMRJoin. Inicialmente é realizada uma caracterização de diversas variáveis envolvidas nos experimentos: datasets utilizados, configuração do laboratório experimental e a metodologia apli- cada sobre os experimentos. Por fim, o capítulo discute o desempenho dos algoritmos UAprioriMR, UaprioriMRByT e UAprioriMRJoin e enfatiza o desempenho superior do algoritmo UAprioriMRJoin em relação ao algoritmo UAprioriMR.

6.1 Datasets

Para a realização dos experimentos foram escolhidos quatro datasets utilizados por Tong et al. [TON12]: accidents, connect, kosarak e T25I15D320k e o dataset kosarak_10. Os critérios de escolha dos datasets foram: a variedade de suas características e a ampla utilização destas bases em outros trabalhos sobre descoberta de conjuntos de itens frequentes em contextos de incerteza. À exceção do T25I15D320k, que é um dataset sintético, os demais são datasets reais. O dataset

kosarak_10, criado para esta tese, é uma derivação do dataset kosarak, e é explicado o porquê de

sua criação na Seção 6.6.3.

A partir dos repositórios UCI e FIMI, os quatro datasets reais originais podem ser recupera- dos. Estes datasets reais estão presentes em diversos estudos realizados na área de descoberta de conjuntos de itens frequentes [AGG09b] [CAL10] [SUN10] [WAN10] [TAN11] [TON12]. Nos expe- rimentos realizados nesta tese, no entanto, foram usados datasets com incerteza já associada aos itens das transações, datasets estes disponibilizados pelo trabalho de Tong et al. [TON12]. Quanto ao dataset sintético, T25I15D320k, ele pode ser gerado a partir da ferramenta IBM Synthetic Data

Generator [AGR94].

A ferramenta IBM Synthetic Data Generator é resultado do projeto Quest, do Centro de Pesquisa da IBM em Almaden. Ela foi descrita no artigo de Agrawal e Srikant [AGR94]. Seus arquivos originais não são mais disponibilizados pela IBM, mas há um projeto no sourceforge1 _{e um site do pesquisador}

Chris Giannella2_{, que disponibilizam os códigos-fonte em C++ e C, respectivamente. Este gerador}

permite criar bases de dados automáticas, configuráveis e com transações de usuários que simulam uma market basket data. A geração de um dataset sintético é realizada a partir da configuração de três elementos:

1. número médio de itens por transação (T); 2. tamanho médio de itens frequentes (I).; 3. número de transações na base (D).

Portanto, a base de dados sintética T25I15D320k tem uma média de 25 itens por transação, o tamanho médio de itens frequentes (itemsets) é igual a 15 e o dataset é constituído de 320 mil transações. Esta base de dados é utilizada no trabalho de [TON12] e tem a nomenclatura citada. No entanto, ao investigá-la com mais profundidade, descobriu-se que o número médio de itens por transação, na verdade, é igual a 26.2. A fim de não causar confusão será mantida a nomenclatura

T25I15D320k para referir-se a este dataset.

1_{http://ibmquestdatagen.sourceforge.net/}

Tabela 6.1: Descrição dos datasets reais utilizados nos experimentos da tese.

Dataset Repositório Descrição

Accidents FIMI Doado por Karolien Geurts, contém dados anônimos de acidentes

de tráfego.

Connect FIMI Contém as posições legais e jogadas realizadas no jogo connect-4.

Kosarak UCI Fornecido por Ferenc Bodon, este dataset possui dados anônimos

de cliques realizados sobre um portal de notícias húngaro.

Kosarak_10 — Dataset gerado a partir do dataset kosarak, mantendo somente

as transações com até 10 itens.

A Tabela 6.1 descreve os datasets reais. A Tabela 6.2 apresenta uma síntese de algumas características destes datasets: o número de transações/tuplas existentes, o número de itens distintos

no dataset, o tamanho médio de uma transação e a densidade3 _{do dataset.}

Tabela 6.2: Características dos datasets utilizados nos experimentos.

Dataset Transações Itens Distintos Média de Itens

por Transação Densidade Accidents 340,183 468 33.8 0.072 Connect 67,557 129 43.0 0.33 Kosarak 990,002 41,270 8.1 0.00019 Kosarak_10 847,875 36,506 3.4 0.000093 T25I15D320k 320,000 995 26.2 0.026

Tabela 6.3: Valores de média e variância usados para inserir probabilidades nos datasets.

Dataset Média (µ) Variância (σ2)

Accidents 0.50 0.50

Connect 0.95 0.05

Kosarak 0.50 0.50

Kosarak_10 0.50 0.01

T25I15D320k 0.90 0.10

Cabe salientar que em todos os datasets citados previamente, tanto reais, quanto sintéticos, não há probabilidade associada aos itens. As probabilidades, portanto, são adicionadas de forma aleatória, informando-se a média e a variância desejada. A Tabela 6.3 mostra as médias e variâncias usadas em cada dataset, valores iguais aos utilizados no trabalho de [TON12], com exceção do

dataset kosarak_10. Desta forma, as Tabelas 6.1, 6.2 e 6.3 dão uma visão geral sobre as bases de

dados utilizadas nos experimentos.