A descoberta de conhecimento em bases de dados como suporte a actividades de business intelligence : aplicação na área do database marketing

(1)

À Linda

(2)

A gradecimentos

Realizar um trabalho como este implica empenhamento, concentração, rigor, e o acompanhamento e estímulo das pessoas que estão mais próximas. Na conclusão desta etapa da minha formação académica fico muito grato ao Professor Manuel Filipe Santos, orientador, amigo e solidário.

Ao meu colega e amigo Pedro Gago, um agradecimento muito especial pelas ajudas, conselhos e disponibilidade incondicional que sempre demonstrou – com um companheiro assim as coisas ficam e são mais fáceis.

Não posso deixar neste momento de agradecer à minha esposa, mulher de M grande que suportou com paciência cada fase desta caminhada as minhas ausências e as minhas falhas. Muito Obrigado Linda.

(3)

Resumo

A existência de bases de dados nas empresas nunca foi tão relevante como nos últimos anos, sendo fácil constatar a sua presença em qualquer projecto ou investimento desenvolvido.

Uma base de dados poderá ainda ser considerada, como um repositório de conhecimento potencialmente relevante, mas escondido. De facto o seu conteúdo muitas vezes não é explorado em profundidade, pese embora existam numerosas actividades desenvolvidas sobre elas, como é o caso do marketing directo ou do marketing relacional.

As diversas contribuições e trabalhos realizados no âmbito da exploração de bases de dados com recurso a procedimentos estatísticos e a processos de interrogação, têm-se revelado insuficientes pelo facto dos modelos desenvolvidos não captarem convenientemente o conhecimento implícito nem revelaram as acuidades desejáveis. As técnicas de Descoberta de Conhecimento em Bases de Dados surgem assim como alternativa a explorar, uma vez que apresentam características que permitem o estudo de problemas complexos, de difícil resolução através das abordagens mais convencionais, sendo por isso cada vez mais utilizadas nas diferentes áreas da gestão, em particular no marketing.

Neste trabalho é apresentada uma proposta para a sistematização das actividades de Descoberta de Conhecimento em Bases de Dados como suporte às actividades de Business Intelligence, com aplicação concreta num caso na área da distribuição.

(4)

Abstract

Databases have never been as relevant for organizations as they are nowadays. It is easy to see how widespread they are, being used in every project or investment.

A database may also be seen as a repository for hidden but potentially useful knowledge. In fact, its contents are seldom thoroughly explored even though there are a number of activities like direct marketing that depend on the information in the database.

Past approaches to database contents study by means of database queries or statistical procedures have been proven unsatisfactory as the resulting models often not only lack the ability to uncover the implicit hidden knowledge but also present low predictive accuracies. Thus, Knowledge Discovery in Databases techniques present an interesting alternative as they can be used on complex problems where the more conventional approaches usually fail and their use is growing especially in marketing.

In this work a framework systematizing the Knowledge Discovery in Databases activities for Business Intelligent activities support is presented. This framework is show in action through a case study.

(5)

Abstract

C onte údo

RESUMO...III ABSTRACT ...IV ÍNDICE DE FIGURAS...XI ÍNDICE DE TABELAS ...XIII ACRÓNIMOS E ABREVIATURAS...XIV ACRÓNIMOS E ABREVIATURAS...XIV 1 INTRODUÇÃO... 1 1.1 MOTIVAÇÃO... 6 1.2 OBJECTIVOS... 8 1.3 ORGANIZAÇÃO DA DISSERTAÇÃO... 10

2 BUSINESS INTELLIGENCE E DATABASE MARKETING... 13

2.1 BUSINESS INTELLIGENCE... 13

2.1.1 Definição... 14

2.1.2 Aplicações organizacionais de BI ... 16

2.1.3 Formalização da actividade Business Intelligence... 17

(6)

Abstract

2.1.5 Sistemas de Apoio à Decisão... 21

2.2 DATABASE MARKETING... 24

2.2.1 Definição de Database Marketing ... 25

2.2.2 Estrutura do Database Marketing... 26

2.2.2.1Componente Operativa do DBM ... 27

2.2.2.2Componente Analítica do DBM... 28

2.2.3 Catalisadores e Obstáculos do Database Marketing... 33

2.3 BUSINESS INTELLIGENCE VERSUS DATABASE MARKETING... 36

3 DESCOBERTA DE CONHECIMENTO EM BASES DE DADOS... 39

3.1 INTRODUÇÃO... 39

3.2 HIERARQUIA DO CONHECIMENTO EM BASES DADOS... 40

3.3 PRINCÍPIOS DA DESCOBERTA DE CONHECIMENTO EM BASE DADOS... 41

3.4 FASES DO PROCESSO DE DCBD... 46

3.4.1 Exploração e Selecção de dados ... 46

3.4.2 Pré-Processamento... 48

3.4.2.1Tratamento de valores omissos... 49

3.4.2.2Avaliação de excepções (outliers) ... 50

3.4.2.3Derivação de novos atributos... 51

3.4.2.4Dispersão de valores... 51

3.4.2.5Integridade da informação do registo... 53

3.4.2.6Identificação de atributos duplicados e redundantes... 53

3.4.2.7Identificação de inconsistências ... 54

3.4.2.8Identificação de ruído ou poluição dos dados... 54

3.4.2.9Identificação de valores atribuídos por definição (defaults) ... 54

3.4.3 Transformação dos dados... 55

3.4.3.1Normalização dos Dados ... 55

3.4.3.2Discretização de atributos quantitativos em qualitativos... 56

3.4.3.3Discretização de atributos qualitativos em quantitativos... 56

(7)

Abstract

3.4.4 Data Mining ... 58

3.5 METODOLOGIAS DE DATA MINING... 60

3.5.1 CRISP-DM... 60

3.5.2 SEMMA... 61

4 PROBLEMAS E ABORDAGENS EM DATA MINING... 63

4.2 TIPOS DE OBJECTIVOS EM DATA MINING... 64

4.2.1 Previsão ... 64

4.2.1.1Classificação... 64

4.2.1.2Regressão... 65

4.2.2 Descrição ... 66

4.2.2.1Segmentação ... 66

4.2.2.2Associação ou análise de dependências... 67

4.2.2.3Sumariação... 67

4.2.2.4Visualização... 67

4.3 MÉTODOS DE ABORDAGEM EM DATA MINING... 68

4.3.1 Regras de Associação – Indução de regras ... 69

4.3.2 Redes Neuronais... 74

4.3.3 Árvores de Decisão... 88

4.4 AVALIAÇÃO DOS RESULTADOS... 98

5 DM4DBM-PROPOSTA DE UMA METODOLOGIA DE DATA MINING PARA DATABASE MARKETING... 101

5.2 CARACTERÍSTICAS DAS ACTIVIDADES DE MARKETING... 102

5.3 SUPORTE ÀS ACTIVIDADES DE MARKETING COM MODELOS DE DATA MINING... 104

5.4 DATA MINING PARA DATABASE MARKETING... 106

5.4.1 Recolha de Informação ... 108

5.4.1.1Recolha de Dados... 108

(8)

Abstract

5.4.2 Extracção de Conhecimento... 112

5.4.2.1Análise e Selecção dos Dados ... 113

5.4.2.2Pré-processamento e Transformação de Dados... 114

5.4.2.3Modelação ... 117

5.4.2.4Exemplos de Aplicação em projectos de DCBD em Acções de Marketing... 118

5.4.3 Desenvolvimento de Acções de Marketing... 122

5.4.3.1Medição dos Resultados e da Eficácia dos Modelos ... 125

5.5 DM4DBM VERSUS CRISP-DM... 126

6 DATABASE MARKETING APLICADO À DISTRIBUIÇÃO... 131

6.2 (A)OBJECTIVOS DE NEGÓCIO E DE MARKETING... 134

6.2.1 (a1) Enquadramento... 134

6.2.2 (a2) Objectivos do Estudo e Abordagens Consideradas ... 135

6.2.3 (a3) Recolha e Exploração dos Dados ... 136

6.2.3.1Avaliação dos dados internos disponíveis... 136

6.2.3.2Importação e criação da BD inicial... 137

6.2.3.3Filtragem e Limpeza de dados ... 140

6.2.4 Constituição da Base Dados de Marketing ... 141

6.2.4.1Sistematização da Angariação de dados... 142

6.2.4.2Selecção dos registos elegíveis... 142

6.3 (B)DESCOBERTA DE CONHECIMENTO EM BASES DADOS... 144

6.3.1 (b1) Compreensão dos dados ... 144

6.3.2 (b2) Análise dos dados ... 145

6.3.3 Pré-Processamento dos Dados (b3) ... 146

6.3.4 (b4) Modelação ... 164

6.3.4.1Selecção de dados para treino... 164

6.3.4.2Aplicação de Algoritmos ... 165

(9)

Abstract

6.3.6 (D) Discussão de resultados ... 182

7 CONCLUSÕES E TRABALHO FUTURO... 185

7.1 SINOPSE... 185 7.2 CONCLUSÕES... 187 7.3 TRABALHO FUTURO... 189 ANEXO A... 192 8 METODOLOGIA CRISP-DM ... 192 ANEXO B... 200 9 METODOLOGIA SEMMA... 200 ANEXO C... 203

10 PSEUDO CÓDIGO PARA TRANSPOSIÇÃO DE TABELAS... 203

ANEXO D ... 205

11 MODELOS DE DATA MINING:MODELO 1 ... 205

ANEXO E... 209

12 MODELOS DE DATA MINING:MODELO 2 ... 209

ANEXO F ... 212

13 MODELO DE DATA MINING:MODELO 3... 212

ANEXO G ... 221

14 MODELO DE DATA MINING :MODELO 4 ... 221

(10)

Abstract

15 MODELO ENTIDADE RELACIONAMENTO DA BD ... 225

ANEXO I ... 230

16 DESCRIÇÃO DOS DADOS... 230

ANEXO J ... 234

17 COMPREENSÃO DOS DADOS... 234

ANEXO K... 239

18 MODELO DE DADOS... 239

BIBLIOGRAFIA ... 240

(11)

Índice de Figuras

FIGURA 1–MARKETING TRADICIONAL (ADAPTADO DE [DROZDENKO ET AL.,2002]). 3

FIGURA 2-PROCESSO DE MARKETING RELACIONAL. 4

FIGURA 3-ESTRUTURA DA DISSERTAÇÃO 10

FIGURA 4–SUPORTE TECNOLÓGICO DA ACTIVIDADE DE BUSINESS INTELLIGENCE 19

FIGURA 5-BUSINESS INTELLIGENCE EM SISTEMAS DE APOIO À DECISÃO. 22

FIGURA 6-CONSTITUIÇÃO DO DBM[ADAPTADO DE [SIQUEIRA ET AL.,2002]). 27

FIGURA 7-FASES DO PROCESSO DE DCBD(ADAPTADO DE [FAYYAD ET AL.,1996]). 43

FIGURA 8-PERCENTAGEM DE TEMPO DESPENDIDO EM CADA FASE DO PROCESSO DE DCBD. 44

FIGURA 9-RELAÇÃO ENTRE O NÚMERO DE MAILINGS E O NÚMERO DE RESPOSTAS. 45

FIGURA 10–REPRESENTAÇÃO DAS TABELAS INICIAS. 57

FIGURA 11–REPRESENTAÇÃO DA TABELA FINAL APÓS TRANSPOSIÇÃO. 57

FIGURA 12–METODOLOGIA CRISP-DM(ADAPTADO DE [CHAPMAN ET AL.,2000]). 61

FIGURA 13–METODOLOGIA SEMMA(ADAPTADO DE [SAS,2005]). 62

FIGURA 14–MATRIZ PARA CLASSIFICAÇÃO (ADAPTADO DE [RODRIGUES,2000]). 63

FIGURA 15–ESTRUTURA DO NEURÓNIO ARTIFICIAL (NODO)[QUINTELA,2005]. 76

FIGURA 16–ESQUEMAS COM AS FUNÇÕES DE ACTIVAÇÃO. 77

FIGURA 17–REDE DE UMA SÓ CAMADA. 78

FIGURA 18–ARQUITECTURA DE UMA REDE FEEDFORWARD MULTICAMADA 79

FIGURA 19–ARQUITECTURA DE UMA REDE COMPETITIVA OU RECORRENTE. 79

FIGURA 20–PARADIGMA DE APRENDIZAGEM SUPERVISIONADA. 81

FIGURA 21–PARADIGMA DA APRENDIZAGEM NÃO SUPERVISIONADA. 81

FIGURA 22–REDE PERCEPTRON. 82

FIGURA 23–ESQUEMA DAS REDES DE KOHONEN [KOHONEN,1989]. 87

FIGURA 24EXEMPLO DE UMA ÁRVORE DE DECISÃO. 89

FIGURA 25- ÁRVORE DE DECISÃO OBTIDA PELO ALGORITMO ID3. 94

(12)

Índice de Figuras

FIGURA 27–PROPOSTA DA METODOLOGIA DE DATA MINING PARA DATABASE MARKETING 107

FIGURA 28–RECOLHA DE INFORMAÇÃO DE FONTES DIVERSAS 111

FIGURA 29-PROCESSO DE DCBD(ADAPTADO DE [FAYYAD ET AL.,1996]) 112

FIGURA 30–ORGANIZAÇÃO ACTIVIDADES PRÉ-PROCESSAMENTO E TRANSFORMAÇÃO DE DADOS 115

FIGURA 31-RECOMPENSAS DA APLICAÇÃO DE DBM 123

FIGURA 32–PARALELISMO ENTRE AS METODOLOGIAS DM4DBM E CRISP-DM 128

FIGURA 33-FLUXO DE INFORMAÇÃO RELATIVO AO PROJECTO DE MARKETING RELACIONAL 132

FIGURA 34–CRIAÇÃO DA BD INICIAL – IMPORTAÇÃO DE DADOS 137

FIGURA 35–DUPLICAÇÃO NA CODIFICAÇÃO PARA O MESMO ATRIBUTO. 139

FIGURA 36 -REPRESENTAÇÃO ESQUEMÁTICA DA FORMAÇÃO DA BD DO PROJECTO. 146

FIGURA 37-DISTRIBUIÇÃO APÓS A REDUÇÃO DE CLASSES 152

FIGURA 38-TRANSPOSIÇÃO DA TABELA VALE PARA UMA NOVA TABELA CLIENTE-VALE. 153

FIGURA 39–REPRESENTAÇÃO DA TRANSPOSIÇÃO DAS TABELAS PERGUNTA E QUESTIONÁRIO. 154

FIGURA 40-ORGANIZAÇÃO DOS DADOS DAS TABELAS QUESTIONÁRIOS E QUESTÕES. 155

FIGURA 41-TABELA RESULTANTE DA TRANSPOSIÇÃO DAS TABELAS. 155

FIGURA 42-DISTRIBUIÇÃO DE CASOS DENTRO DE CADA CLUSTER. 176

(13)

Índice de Tabelas

TABELA 1-RESULTADOS DE ACTIVIDADES DE DBM EM MARKETING 33

TABELA 2-EXEMPLIFICAÇÃO DE CODIFICAÇÕES DISTINTAS PARA O MESMO REGISTO. 47

TABELA 3-EXEMPLO DE TABELA DE FREQUÊNCIAS PARA O VALOR DE UM ATRIBUTO. 49

TABELA 4-CODIFICAÇÃO DISTINTA PARA O MESMO ATRIBUTO [PINTO ET AL.,2005]. 53

TABELA 5-ALGUMAS DAS TÉCNICAS DISPONÍVEIS PARA CADA TIPO DE PROBLEMA EM DM. 69

TABELA 6-EVOLUÇÃO DO ALGORITMO ID3. 90

TABELA 7-DADOS USADOS PELO ALGORITMO. 92

TABELA 8-MATRIZ DE CONFUSÃO DE UM CLASSIFICADOR. 98

TABELA 9-ACTIVIDADES DE DM APLICADAS A QUESTÕES DE MARKETING. 105

TABELA 10–EXEMPLOS DE APLICAÇÃO EM CASOS DE MARKETING 117

TABELA 11-EXEMPLIFICAÇÃO DE CODIFICAÇÕES DISTINTAS PARA O MESMO REGISTO. 139

TABELA 12–INCONGRUÊNCIA NA CODIFICAÇÃO DO MESMO OBJECTO. 140

TABELA 13-EXEMPLO DE VIOLAÇÃO DE DOMÍNIO NO ATRIBUTO SEXO. 141

TABELA 14-CLASSIFICAÇÃO EM FUNÇÃO DO VOLUME DE QUESTIONÁRIOS E VALES. 143

TABELA 15-CLASSIFICAÇÃO EM FUNÇÃO DA DIMENSÃO DA FAMÍLIA E ACESSÓRIOS CONFORTO. 143

TABELA 16–ATRIBUTOS UTILIZADOS NA MODELAÇÃO 144

TABELA 17–DOMÍNIO DOS ATRIBUTOS DE TRABALHO 145

TABELA 18–QUANTIDADE DE RESPOSTAS OBTIDAS PARA A QUESTÃO TÊM FILHOS? 149

TABELA 19–QUANTIDADE DE RESPOSTAS À QUESTÃO NÚMERO DE FILHOS? 149

TABELA 20-RESPOSTAS ÀS QUESTÕES TÊM FILHOS E NÚMERO DE FILHOS 150

TABELA 21-RESPOSTAS ÀS QUESTÕES APÓS COERÊNCIA DE DADOS. 151

TABELA 22–TABELA DE FREQUÊNCIA PARA O ATRIBUTO Nº FILHOS. 151

TABELA 23-ESTABELECIMENTO DA RELAÇÃO CLIENTE – VALE. 154

TABELA 24–TAXA DE REBATIMENTO DE CADA VALE EMITIDO. 158

TABELA 25-DERIVAÇÃO DE NOVAS VARIÁVEIS. 159

TABELA 26–CLASSIFICAÇÃO DE CLIENTES. 160

TABELA 27-ORDENAÇÃO DE CLIENTES EM FUNÇÃO DO VOLUME DE QUESTÕES RESPONDIDAS: 162

TABELA 28–NÚMERO DE CASOS POR CADA ESCALA DE CLASSIFICAÇÃO. 163

TABELA 29–RESULTADOS DA APLICAÇÃO DO ALGORITMO PARA DE INDUÇÃO DE REGRAS GRI. 170

(14)

Acrónimos e Abreviaturas

AD Árvores de Decisão

BD Base de Dados

BP Back-Propagation

BDM Bases de Dados de Marketing

CRISP-DM Cross Industry Standard Process for Data Mining

CRM Customer Relationship Management

DCBD Descoberta de Conhecimento em Base de Dados

(Knowledge Discovery in Databases)

DM Data Mining

DW Data Warehouse

IA Inteligência Artificial

ODBC On-line DataBase Connectivity

OLAP On-Line Analytic Processing

RNA Redes Neuronais Artificiais

RMFC Redes Feedforward Multicamada

SEMMA Sample, Explore, Modify, Model, Assessement

SGBD Sistema de Gestão de Base de Dados

SQL Structured Query Language

W3C World Wide Web

(15)

Capítulo 1 Introdução

C apítulo 1

1

Introdução

O marketing é o conjunto de meios de que dispõe uma organização1 para vender os seus produtos aos seus clientes com rendibilidade2 [Angelmar et al., 1975]. O termo

marketing surge da conjugação das palavra inglesas market e thinking, representando

uma preocupação desta ciência em auxiliar as organizações na abordagem aos mercados [Bartels, 1976], [Angelmar et al., 1975].

Outros autores definiram o marketing como “o conjunto dos métodos e dos meios de que uma organização dispõe para promover, nos públicos pelos quais se interessa, os comportamentos favoráveis à realização dos seus próprios objectivos" [Lindon et al., 2000]. A investigação realizada em torno da escolha de mercados-alvo ou da integração de funções como captação, manutenção e fidelização de clientes3 por meio da criação, da entrega e da comunicação de um valor superior para o cliente, confere ao marketing um carácter científico [Kotler, 2002]. Na mesma linha de orientação, a American Marketing Association define o marketing enquadrado com as actividades de negócios das organizações que dirigem o fluxo de bens e serviços do produtor ao consumidor: “ é o processo de planeamento e execução da estratégia, estabelecimento do preço, promoção e

1_{Uma organização consiste numa unidade social deliberadamente construída para alcançar objectivos específicos num determinado}

contexto social [Etzioni, 1980]. Considerando de modo igual uma empresa como uma unidade social organizada com objectivos, e tendo em atenção os objectivos deste trabalho, ambos os termos, organização e empresa, serão usados indiferentemente para designar o mesmo tipo de actividade.

2_{A rendibilidade de um cliente em marketing traduz-se pelo retorno que a empresa obtém em resultado do seu investimento e.g.,}

vendas realizadas ou resposta a acções de marketing.

(16)

distribuição de ideias, produtos e/ou serviços, com vista a desenvolver os intercâmbios que irão satisfazer as necessidades dos indivíduos e organizações” [AMA, 2005].

Num sentido mais lato é possível afirmar que o marketing consiste em gerir a relação entre uma empresa e os seus clientes, no sentido de atingir os objectivos dos primeiros satisfazendo as necessidades dos segundos.

O conceito de marketing não é recente, havendo na sua prática e nos seus fundamentos um desenvolvimento ao longo dos anos, sendo possível identificar quatro períodos distintos na sua evolução [Rodrigues, 2000]:

 Produção: desde a revolução industrial, as organizações, em geral, enfatizavam a eficiência do processo produtivo. Existia uma premissa subjacente a esta filosofia: “um bom produto venderá por si mesmo” [Munhoz, 2005];

 Vendas: a eficácia dos processos produtivos (equipamentos, tecnologias e recursos humanos) conduziu a uma optimização da capacidade produtiva – oferta - e esta tornou-se superior à procura, pelo que as preocupações das organizações passaram a centrar-se nas vendas [Lindon et al., 2000];

 Mercado: Os esforços de vendas, desenvolvidos e introduzidos no período anterior, necessitavam de uma adequação dos produtos aos mercados onde eram comercializados. Esta necessidade fez surgir nas organizações a preocupação de se orientarem para o mercado, para o seu conhecimento e mesmo, por algumas vezes, para a diversificação do tipo de produtos [Munhoz, 2005];

 Cliente: o desenvolvimento exponencial da concorrência entre empresas, com a natural diferenciação dos seus produtos, promoveu a exigência nos consumidores4, surgindo assim os denominados segmentos de mercado [Kotler, 2002]. O marketing

(17)

centrado no cliente desenvolve estratégias de comunicação dirigidas a subconjuntos de consumidores com características comuns [Lindon et al., 2000].

Não obstante a evolução registada, as práticas do marketing tradicional eram todavia mais orientadas para o produto e para a transacção (Figura 1) do que para o cliente e para a relação com este. Na perspectiva da organização, a relação com o cliente resumia-se à transacção de produtos ou resumia-serviços como meio a resumia-seguir para a obtenção dos resumia-seus objectivos (na maioria dos casos, o lucro), sendo a preocupação com o cliente apenas ao nível da satisfação das necessidades do momento [Drozdenko et al., 2002].

Figura 1 – Marketing Tradicional (adaptado de [Drozdenko et al., 2002]).

A constatação da insuficiência das abordagens expostas deu lugar a novas formas de pensar e agir, com as organizações a procurarem não só políticas de marketing mas antes políticas de relacionamento com os seus clientes – o marketing relacional.

O marketing relacional caracteriza-se por um fluxo significativo de comunicação entre a organização e o cliente (Figura 2), com o objectivo explícito de obter informação actualizada nas suas Bases de Dados (BD). Os meios privilegiados para o conhecimento dos seus clientes são tão diversos como, e.g., a imprensa, a Internet ou correspondência directa. Os dados entretanto registados actualizam os anteriores e são utilizados nas interacções subsequentes para uma optimização dos novos contactos, tendo em vista o reforço da relação entre a organização e os clientes.

(18)

Base de Dados Actualização e Análise da Base de Dados

Cliente Media Mail Internet Telefone Outros Feedback Contacto do cliente

Compra Uso do feedbackrecebido Contacto com as vendas Personalizar a relação com

cliente Fornecer informação

Figura 2 - Processo de Marketing Relacional (adaptado de [Drozdenko et al., 2002]).

Alguns autores apresentam o marketing relacional como a evolução do marketing tradicional (cuja filosofia de desenvolvimento assenta em 4 Ps – Place (Mercado),

Promotion (Promoção), Product (Producto) e Price (Preço) [Kotler, 2002]), abrindo

espaço para uma nova abordagem, com novas variáveis de acção, menos rígidas, em torno das quais são Fórmuladas as estratégias de marketing. Essas variáveis são [Schewe et al., 1995]:

 Sensibilidade ao consumidor – Preocupação na qualidade do atendimento ao cliente; registo das respostas; cuidado no tratamento das reclamações, entre outros aspectos relacionados;

 Produto – Definição das diferentes características do produto em função das necessidades e desejos dos consumidores;

 Conveniência do consumidor – Tornar a oferta do produto num modo atractivo, apresentando-o em função da conveniência do consumidor (e.g., dimensão e tipologia das embalagens dos produtos);

(19)

 Serviço – Assegurar serviços ao longo da relação com o cliente, como sejam a pré-venda (informações sobre detalhes e características dos produtos), assistência na venda (e.g., facilidades de pagamento ou de entrega) e pós-venda (serviço de manutenção e garantia dos produtos);

 Preço – Definição da política de preços em função das empresas concorrentes e dos mercados onde são comercializados os produtos;

 Distribuição e acessibilidade – Facilitar o acesso aos produtos em termos de locais de oferta (distribuição geográfica de pontos de venda ), prazos de entrega e acessibilidade (e.g., loja generalista ou especializada);

 Comunicação – Utilização dos meios de comunicação em função do perfil dos consumidores (e.g., definição dos veículos publicitários) e dos clientes (e.g., envio de comunicações personalizadas).

Este novo conceito de marketing, preocupado em conhecer e em compreender os mercados e os seus consumidores, expande a visão relativamente ao que representa um programa de marketing centrando-se o seu desenvolvimento na utilização das Tecnologias de Informação (TI) [Gonçalves et al., 2002] e, em particular, nas tecnologias orientadas para a utilização de BD [Drozdenko et al., 2002].

Entretanto, graças ao desenvolvimento tecnológico e à diminuição dos custos de armazenamento, as BD aumentaram em número (em qualquer departamento de uma qualquer empresa, o registo da sua actividade é guardado em BD) e no volume de registos guardados (e.g., a BD de clientes de uma cadeia de hipermercados é actualmente na ordem dos Terabytes), abrindo espaço para o aparecimento de uma abordagem sistemática na sua utilização, centrada no processo de preparação dos dados, que permitisse aumentar a confiança no resultado final [Linoff et al., 2000], [Han et al., 2001], [Gago, 2001]. Essa abordagem sistemática, integrando fases de pré-processamento dos dados e pós-pré-processamento dos resultados, é denominada por

(20)

Knowledge Discovery in Databases (KDD), termo que neste texto é traduzido para Descoberta de Conhecimento em Bases de Dados (DCBD).

A DCBD consiste numa série bem definida de passos que vão desde a preparação dos dados até à extracção de padrões sobre esses dados e à avaliação dos mesmos e é aqui apresentada como uma alternativa aos processos tradicionais de utilização de BD (e.g., processos clássicos de inferência estatística ou processos simples de interrogação a BD) para o suporte à definição de estratégias de marketing, uma vez que permitem o estudo/resolução de problemas mais complexos.

1.1 Motivação

As actividades de marketing são muitas e diversas, permitindo o seu desenvolvimento em diferentes perspectivas e contextos variados. Contudo, na elaboração deste trabalho, assume particular relevância a utilização de BD no suporte às actividades de marketing no decorrer de acções de marketing relacional.

Numa perspectiva científica, o marketing pode ser colocado entre as Tecnologias de Informação e a Gestão [Hughes, 1994], [Shepard, 1998], suportando a tese que o indica como uma das áreas de maior interesse para a aplicação de técnicas de DCBD [Linoff et al., 1997]. Como contributo para esta motivação adicione-se o facto de até ao momento serem desconhecidos casos de sucesso da aplicação desta metodologia em casos de marketing.

A existência de BD na maioria das organizações é actualmente um facto inquestionável. Contudo, a sua utilização limita-se às abordagens tradicionais, sugerindo um enorme potencial ainda por explorar [Welge et al., 2001]. Alguns autores, perspectivando uma visão de futuro para o marketing apontam cinco vectores chave para o seu desenvolvimento [McKenna, 2002]:

(21)

 Subestrutura digital - o novo paradigma tecnológico provoca mudanças em toda a cadeia produtiva [Zorrinho, 1991]. A estrutura digital auxilia a comunicação e facilita o acesso da empresa ao cliente e, vice-versa;

 Desaparecimento da fidelidade à marca – a revolução digital estimulou a infidelidade às marcas [Lindon et al., 2000]. A facilidade de acesso à informação (em particular através da internet) tornou o consumidor mais pró-activo com maior volume de informação para poder decidir sobre a aquisição de determinado produto ou serviço;

 Redefinição do conceito de imagem – face à necessidade de adaptação a mercados cada vez mais competitivos, a imagem da empresa ou dos seus produtos tornou-se dinâmica e perdeu o seu carácter mais estático [Lindon et al., 2000]. A imagem passou a ser definida pelos meios de comunicação e nas experiências interactivas com os consumidores;

 Alteração do papel do Cliente - O cliente deixou de ser um elemento passivo (simples consumidor) para se tornar num elemento activo (consome, analisa e reage) [McKenna, 2002] ;

 O marketing suportado nas tecnologias da informação – são abundantes os indícios de convergência entre a área das tecnologias de informação e as actividades de marketing, e.g,. o marketing directo 5_{[Lindon et al., 2000].}

A dificuldade em conquistar e manter a fidelidade dos clientes gerou nas empresas a necessidade de adoptarem novas estratégias de relacionamento baseadas em sistemas de informação, que a operar na retaguarda, são capazes de registar toda a informação libertada durante a relação em BD [McKenna, 2002].

5O marketing directo pode ser considerado como uma ferramenta de comunicação de marketing utilizada para estabelecer o

(22)

O sistema aglutinador de um conjunto de ferramentas que viabilizam a obtenção, análise e manutenção de dados, possibilitando a obtenção da informação adequada, para a pessoa ideal, no tempo certo, denomina-se por Business Intelligence Systems (BIS) [Negash et al., 2003]. Aproveitar as funcionalidades e conhecimentos que o Business Intelligence (BI) proporciona não é apenas um factor de sucesso, mas essencialmente um factor de sobrevivência [Jackson, et al., 1997].

A expressão da prática do BI em contextos do marketing encontra reflexo nas actividades de utilização das BD de marketing com vista ao suporte e definição das estratégias – estas actividades são definidas como processos de DataBase Marketing (DBM), os quais consideram não só as fases do BI como também prevêem a sua aplicação prática. A viabilização de um projecto de DBM depende essencialmente de dois factores: dos dados disponíveis e da sua exploração (suportada pelo processo de DCBD) [Shepard, 1998]. O DBM vem sendo apontado como a ferramenta que permite aos profissionais do marketing obter a informação necessária à formulação das suas estratégias [Shepard, 1998], [Hughes, 1994], [Jackson, et al., 1997], [Drozdenko et al., 2002]. Contudo verifica-se ainda, a falta de um processo sistematizado que explicite todas as fases e requisitos de informação em função dos objectivos estabelecidos e que formalize os modelos para uso posterior.

1.2 Objectivos

Tendo sido constatada a ausência de uma metodologia ou um sistema explícito para o desenvolvimento de processos de BIS em marketing. Procura-se com este trabalho preencher esse vazio e apresentar uma sistematização de actividades de DCBD em actividades de BI, com uma aplicação prática na área do DBM. Esta sistematização permitirá uma abordagem eficiente e generalizada no âmbito do desenvolvimento de

(23)

projectos na área de DBM em diferentes acções de marketing, cujas características e requisitos mais importantes, são:

Inclusão de processos de angariação e recolha de dados com vista à criação de BD de marketing, específicas em função dos objectivos de negócio previamente definidos; Função integradora das actividades de DCBD em processos de Marketing, com a

consideração de tarefas específicas para o seu desenvolvimento;

 Alinhamento de técnicas de Data Mining (DM) com as actividades de marketing; Desenvolvimento das acções de marketing suportadas pelo conhecimento extraído

em BD após determinação dos modelos de DM para as actividades em estudo;

Estabelecimento de limites na utilização dos conceitos propostos na sistematização: a aplicação de acções de DBM varia consoante os objectivos de marketing propostos para o sistema;

Caracterização das técnicas a utilizar em função dos objectivos de DCBD propostos. A principal contribuição da dissertação concretiza-se por: (i) propor um sistema para o desenvolvimento do processo de DBM que integre as técnicas de DCBD, e (ii) seguir os passos do sistema proposto no âmbito deste trabalho, demonstrando a sua adequação num contexto real aplicado ao sector da distribuição.

A sistematização desenvolvida foi denominada como DM4DBM (Data Mining For

Database Marketing) Este sistema é suficientemente genérico, podendo ser utilizado nas

mais diversas diferentes áreas do marketing. O estudo de caso levado a cabo situa-se no domínio comercial (retalho), pretendendo-se aproveitar a oportunidade surgida de um caso real e uma vez que neste domínio se pode facilmente evidenciar a sistematização dos passos desenvolvidos e a sua aplicação prática.

(24)

1.3 Organização da dissertação

A dissertação, para além deste capítulo introdutório, apresenta mais cinco capítulos e um conjunto de anexos considerados de interesse, quer para o trabalho desenvolvido, quer para trabalhos futuros que sobre ele possam vir a ser desenvolvidos.

Figura 3 - Estrutura da dissertação

Num primeiro grupo (Figura 3), intitulado Revisão da literatura, composto pelos capítulos 2 e 3, existe a preocupação de contextualizar o trabalho desenvolvido quer analisando a posição dos diferentes investigadores da área quer fazendo uma exploração tecnológica da lacuna existente no domínio da DCBD em Marketing. Considera-se que só assim é possível atribuir valor ao trabalho presente.

No capítulo 2 é realizada uma revisão da literatura numa abordagem prática aos conceitos de Business Intelligence e Database Marketing, referindo ambos os assuntos numa perspectiva tecnológica.

A contribuição da dissertação Revisão de Literatura 1. Introdução 3. Descoberta Conhecimento em Bases de Dados 2. Business Intelligence Database Marketing 5. Aplicação prática da metodologia IUBDM 4. Metodologia IUBDM

(25)

O capítulo 3 é dedicado à Descoberta de Conhecimento em Bases de Dados, onde se faz uma exposição das diferentes definições e os métodos disponíveis, para aplicações em marketing.

O capítulo 4 denominado como DM4DBM – Proposta de uma Metodologia para o

Desenvolvimento de Data Mining Para Database Marketing serve para a

apresentação do grande objectivo da dissertação que consiste em estruturar a utilização de BD num contexto de Marketing. O trabalho de investigação é desenvolvido no sentido de propor um conjunto de actividades que, de um modo sistematizado, suportem o desenvolvimento de projectos de Database Marketing baseados na Descoberta de Conhecimento em Bases de Dados.

Aplicação prática do sistema apresentado é concretizado no capítulo 5 com a sua

utilização na área da distribuição, com exposição de um caso de demonstração real e discussão dos resultados obtidos.

Por último, no capítulo 6 são apresentadas as conclusões ao trabalho desenvolvido, identificando-se as principais contribuições para as áreas das Tecnologias e Sistemas de Informação, nomeadamente no âmbito da utilização Descoberta de Conhecimento em Bases de Dados de marketing, sendo lançadas linhas orientadoras para o trabalho a desenvolver no futuro

(26)

(27)

Capítulo 2 Business Intelligence e Database Marketing

C apítulo 2

2

Business Intelligence e Database Marketing

É realizada uma apresentação dos conceitos fundamentais sobre Business Intelligence e Database Marketing, bem como dos conceitos gerais e enquadramento destas disciplinas em actividades de Marketing.

2.1 Business Intelligence

As alterações que continuamente surgem nos mercados, forçam as organizações a operar quase por completo em situações novas e por vezes desconhecidas. O processo de decisão considera-se portanto um acto de gestão cujo suporte se encontra cada vez mais dependente das Tecnologias de Informação(TI) [Turban et al., 2001].

Encontramo-nos num período denominado por alguns como “a era da informação”. A competitividade entre empresas é maior do que nunca, os consumidores são mais exigentes e os produtos mais variados, complexos e com ciclos de vida mais curtos [Kotler, 2002]. A abordagem à realidade social é assim muito complexa e profunda, pelo que apenas com a ajuda dos meios tecnológicos se pode ambicionar reter e tratar os dados relativos aos mercados e seus actores [Stone et al., 2004]. Business Intelligence

Systems (BIS) define-se, como um sistema que viabiliza a tomada de decisão e integra

(28)

de ferramentas que viabilizam a obtenção, análise e manutenção de dados, que possibilitam obter a informação adequada, para a pessoa ideal, no tempo certo [Negash et al., 2003], [Moss et al., 2003] [Stone et al., 2004] e [Adelman et al., 2002]. Aproveitar as funcionalidades e conhecimentos que o BI proporciona é não somente um factor de sucesso, mas essencialmente um factor de sobrevivência. Na vertente dos gestores, a actividade de BI permite-lhes a tomada de decisão suportada por um conhecimento eficaz da organização e do seu meio envolvente [Jackson, et al., 1997].

2.1.1 Definição

O termo de Business Intelligence (BIS) pode ser referido como sendo abrangente, uma vez que engloba um leque variado de software analítico e soluções para recolha, consolidação, análise e acesso a informação permitindo ao gestor tomar decisões fundamentadas [Adelman et al., 2002]. Nesta designação inclui-se também todo o software para extracção, transformação e povoamento de DataWarehouses6 (DW) [Hall, 1999], Processamento On-Line dos Dados (OLAP), análise de dados, Data Mining (DM) e visualização [Berson et al., 2001].

Outros autores apontam diferentes definições para BI em diferentes áreas de aplicação. Para alguns investigadores na área do CRM7 (Customer Relationship Management), BI consiste simplesmente na integração das aplicações de Frontoffice8_{com as aplicações}

mais operativas dos sistemas em Backoffice9. No domínio dos DW, alguns autores

6_{O termo Datawarehouse serve para referir o repositório central (Armazém de Dados) onde se guardam todos os dados considerados}

relevantes para a organização.

7 A estratégia do CRM consiste em adquirir melhor conhecimento sobre os clientes, antecipar as suas expectativas e necessidades,

fornecer serviços personalizados, e diferenciar-se dos concorrentes [Bretzke, 2005]. Através de uma melhor compreensão das necessidades dos clientes, é possível realizar a segmentação do mercado, identificando onde podem ser construídas relações lucrativas permanentes [Linoff et al., 2000]. A principal premissa do CRM é de que os clientes tomarão as suas decisões de compra baseadas no relacionamento que têm com os seus fornecedores, e que em troca da sua preferência desejam reconhecimento, valor, qualidade e respeito. O objectivo é portanto, reconhecer, atender e fidelizar o cliente em tempo útil

8_{Entende-se por frontoffice as aplicações informáticas que permitem a interacção entre o sistema de informação e o utilizador.} 9_{Os sistemas de backoffice são referidos no texto como o conjunto dos sistemas informáticos que suportam todo o sistema de}

(29)

encaram BI como apenas mais um termo para DW, ou seja, novas aplicações de suporte à decisão em novas plataformas tecnológicas suportadas nos dados armazenados [Moss et al., 2003].

Numa perspectiva organizacional, salientam-se ainda contribuições que indicam o BI como utilizador da informação que diz respeito ao ambiente do negócio onde a organização opera. Quando desenvolvido, o BI permite à empresa sustentar a tomada de decisões, conferindo-lhe vantagem competitiva [Prior, 1998]. A Society of Competitive Intelligence Professionals coloca BI entre a Inteligência Competitiva (Competitive Intelligence10) e a Gestão do Conhecimento, abordando BI como uma combinação de dados, informação e conhecimento acerca do ambiente de negócio, capaz de conferir uma significativa vantagem competitiva ou facilitar as decisões a tomar [Arnett et al., 2000]. Outros autores apontam BI como um método organizado e sistemático para a recolha de informação sobre o mundo envolvente, funcionando como indicador de alerta para as organizações se anteciparem e adaptarem para as mudanças das condições dos mercados (tecnologias emergentes, nova regulamentação, mercado) [O´Guin et al., 2001] [Moss et al., 2003].

Em síntese, é possível definir BI como uma actividade de BIS que combina actividades de recolha, armazenamento de dados (e.g., DW ou OPLAP) e extracção de conhecimento (e.g., DM), tornando a organização mais competitiva. Como ilustração descritiva de BIS, num sistema ideal, todos os funcionários teriam no monitor do seu computador, a informação de que necessitam, em tempo real (relativa aos mercados, aos consumidores, aos produtos ou mesmo financeira), de modo a poderem analisar, partilhar com outros utilizadores e tomar as decisões necessárias.

10_{Competitive intelligence desenvolve-se na tecnologia. As actividades neste campo incluem a recolha e análise de informação do}

(30)

2.1.2 Aplicações organizacionais de BI

As aplicações de BIS são vastas [Adelman et al., 2002] e têm aplicação em diferentes níveis da estrutura organizativa [O´Guin et al., 2001]. Segundo a Society of Competitive Intelligence Professionals, o envolvimento nas operações de BIS permite à organização [Arnett et al., 2000]:

 Antecipar e gerir o risco, analisando as potenciais evoluções que se vão verificar no meio envolvente, através duma análise criativa dos pontos fortes e fracos do ambiente económico, extraindo assim potenciais ameaças e minimizando os potenciais riscos, ligados à incerteza;

 Organizar as informações dispersas, extraindo somente as que possam ser relevantes para a empresa, e construir cenários para ajudar os gestores na tomada das decisões;  Inovar pela detecção de oportunidades e de novos mercados, analisando de forma

criativa os dados recolhidos durante a pesquisa e que se tenham tornado pertinentes para a organização;

 Agir oportunamente face aos concorrentes, conhecer o mercado, analisando quais as potencialidades de crescimento, quais os produtos que mais se adaptem às necessidades dos clientes;

 Posicionar-se estrategicamente no mercado adquirindo um conhecimento aprofundado do meio envolvente à organização. É necessário conhecer bem os actores em todas as suas dimensões: nível de competitividade, o número de concorrentes e respectiva quota de mercado, capacidade financeira, produtos concorrentes, procedimentos, tecnologia de que dispõem, e, se possível, estratégia. É viável deste modo explorar as fraquezas dos concorrentes, através do seu acompanhamento contínuo;

(31)

 Criação de BD com toda a informação relativa à actividade interna e externa da organização, relativo a concorrentes, a histórico de acções e resultados anteriores;  Antecipar as mudanças nos mercados assegurando as informações relevantes sobre as

mudanças em curso e determinar sobre elas, quais representam ameaças ou oportunidades.

Em resumo, as organizações onde se desenvolvem e aplicam as actividades BI, beneficiam de um sistema capaz de as integrar no meio envolvente onde operam (processos de auscultação e recolha de informações do exterior) e antecipar o comportamento dos mercados permitindo a adopção de estratégias competitivas (processos de detecção de oportunidades e análise de concorrência).

2.1.3 Formalização da actividade Business Intelligence

A finalidade do processo de BI define a necessidade de um enquadramento organizativo, seja numa perspectiva interna (compreensão da própria estrutura) seja numa lógica de meio envolvente da organização (reacção à mudança de factores externos). A formalização de um plano para o desenvolvimento de um projecto de BI vai desde a monitorização do meio envolvente, passando pelo levantamento de necessidades de actuação até ao processo de análise de dados e extracção de informação. Num modo sistematizado é possível definir como fases formais do plano de BI as seguintes [O´Guin et al., 2001]:

 Monitorização do meio envolvente - Avaliação e análise do meio envolvente da organização, por recurso a vectores de informação11, em termos operacionais ou estratégicos;

11 _{Podem-se definir como vectores de informação as estruturas funcionais de dados, com a finalidade de registo de informação que}

(32)

 Detecção e avaliação de desvios - A monitorização do meio envolvente permite detectar eventuais diferenças entre a observação recolhida e a esperada;

 Avaliação do problema e ponderação de questões específicas - Uma vez evidenciados os novos factos, o analista deverá averiguar quais são as informações que necessário recolher (directamente do meio envolvente ou a partir das bases dados próprias), equacionar as questões e necessidade de respostas. Operacionalmente, esta fase consiste em definir exactamente que informação é necessário recolher para tomar uma acção decisiva;

 Formulação de cenários - Para cada questão problemática específica deverá ser desenvolvido um conjunto de hipóteses alternativas de acordo com a observação do meio envolvente bem como avaliar eventuais reacções do mercado, como e.g., os sinais emitidos pelos clientes e concorrentes retractam as suas intenções relativamente à organização, aos seus produtos ou serviços;

 Identificar focos de interesse e promover interacção - Para cada tipo de problema, existe um conjunto de entidades que intervêm de modo diverso, seja pela sua actividade seja pela sua importância. Estas entidades deverão então estar sob análise devendo-se fomentar o intercâmbio de informações e registar os resultados dessa interactividade;

 Recolha de informação - Existem três factos que se devem ter em linha de conta: pertinência das observações registadas em função das hipóteses;(1) não podem ser contraditórias, (2) e podem introduzir novas possibilidades, ou, (3) sugerir novas hipóteses;

 Desenvolvimento tecnológico de BI - Uma vez recolhida a informação necessária, é possível desencadear o estudo e análise dos dados em função de cada Fórmulação inicialmente estabelecida.

(33)

A formalização do plano não assegura o sucesso do BI, é necessário que a execução das etapas consideradas sejam estruturadas e coordenadas por órgãos com capacidade de avaliar e auditar a sua execução.

2.1.4 Suporte tecnológico de BI

O desenvolvimento do processo tecnológico de BI encerra duas fases interdependentes entre si mas distintas (Figur 4): a primeira consiste na recolha e angariação e de dados (constituição de um DW); a segunda fase engloba um conjunto de procedimentos com os quais se exploram e analisam os dados disponíveis, alcançando informações relevantes, as quais, irão suportar o processo de tomada de decisão. A sistematização de ambas as fases encontra-se representada na Figura 4, onde se evidenciam os passos e as actividades desenvolvidas numa filosofia de BI como suporte à decisão.

Dados Internos Dados

Externos Descoberta Conhecimento Bases Dados Datawarehouse Dados Analise Modelação

Figura 4 – Suporte tecnológico da actividade de Business Intelligence

Recolha de dados e Datawarehousing

O sucesso do BI depende directamente dos dados disponíveis e sobre os quais se irá desenvolver. Estes dados podem entre outros aspectos podem ter naturezas distintas:

(34)

internos (dados da própria organização, dados de clientes, fornecedores, acções promocionais, registo de vendas, etc..) ou externos (aluguer de Bases de Dados - BD, realização de programas conjuntos, etc...). A recolha de dados depende de um conjunto de aspectos que condicionam disponibilidade e qualidade dos mesmos.

Datawarehousing

A prática de datawarehousing engloba todas as actividades (e.g., pesquisa, selecção e importação dados) relacionadas com a recolha e angariação de dados com vista à criação do repositório central. Um DW consiste então num armazém de dados consolidados, optimizados para relatórios e análises [Inmon, 2003]. Os dados e as informações agregadas num DW são extraídos das suas origens (internas e externas) com o objectivo de fornecer respostas a questões provenientes de diferentes níveis da organização em qualquer momento [Stegwee et al., 2002]. A sua actualização deve ser constante e completa, pois a tendência é para a desactualização da informação com o passar do tempo, prevenindo-se assim, erros estratégicos [Dataflux, 2005]. Recorrendo a uma definição mais formal, considera-se um DW como uma BD para o apoio ao processo de tomada de decisão, na qual os dados possuem as seguintes características [Inmon, 1996]:  Orientados, por tópicos, por departamentos ou outras funções organizacionais;

 Íntegros, os dados, embora provenientes de sistemas ou plataformas heterogéneas são registados de um modo padronizado, sem duplicação. Neste pressuposto, permite inclusive, a integração de dados externos à organização;

 Constantes, Os dados num DW possuem um horizonte temporal mais alargado não sendo actualizados com a frequência dos dados e.g., operacionais em modo on-line;  Não voláteis, existem apenas duas acções permitidas num DW, carregamento ou

(35)

Em síntese é possível indicar como a maior virtude de DW a sua orientação à utilização dos dados de um modo simplificado, auxiliando, e.g., o apoio à tomada de decisão.

Análise e processamento de dados

Uma das vertentes da aplicação do BI consiste na disponibilização de informação com vista ao apoio à tomada de decisão [Prior, 1998], [O´Guin et al., 2001] e [Arnett et al., 2000]. A necessidade da já referida informação pertinente, actual e diversa coloca a DCBD como a solução mais adequada para uma satisfação deste requisito. O processo para a DCBD é actualmente aceite como sendo um “processo não trivial de identificação de padrões presentes nos dados, novos, válidos, potencialmente úteis e compreensíveis” [Fayyad et al., 1996] e é descrito em detalhe no capítulo seguinte.

2.1.5 Sistemas de Apoio à Decisão

Os Sistemas de Apoio à Decisão (SAD) são sistemas que possibilitam aos gestores a sustentação do processo de tomada de decisão com base num conjunto de tarefas que vão desde a recolha de dados, passando pela sua organização e extracção de conhecimento [Turban et al., 2001]. Outros autores definem SAD como sistemas informáticos interactivos, com as características genéricas como sejam: grau de incerteza; complexidade (do problema a resolver); existência de múltiplos objectivos e, diferentes perspectivas de resolução [Santos, 2001].

Numa perspectiva tecnológica, existem referências a SAD como sistemas de informação com capacidade de modelagem científica, dotados de ferramentas para manipulação e de análise de dados, configurados para responder a processos de tomada de decisão sobre problemas complexos ou mal estruturados [Bonczek et al., 1980]. Os objectivos gerais consistem em melhorar a eficácia das decisões e a eficiência do processo de tomada de decisão, quer a nível de planeamento, como ao nível da gestão de topo num processo

(36)

conhecido por “desenho adaptativo”, em que os elementos chave são: o sistema, o utilizador e a organização (o gestor – utilizador- recorre ao SAD para poder dar continuidade à actividade da organização) [Keen, 1987].

Resumidamente é possível definir os SAD como sistemas de suporte à actividade dos gestores das organizações, onde a sua capacidade decisória é fundamentada na utilização das tecnologias de informação - as quais sistematizam a recolha de dados, sua análise e extracção de conhecimento, traduzido em linguagem interpretável para o utilizador. A constatação demonstrada nas relações existentes entre actividade dos gestores, tecnologias de informação e tomada de decisão permite neste trabalho indicar a utilização de BI como suporte ao desenvolvimento de SAD. Conforme já exposto anteriormente, o desenvolvimento de um processo de BI faz sentido se este decorrer num contexto organizativo; noutra vertente, os SAD apenas funcionam eficazmente se em seu suporte existir um sistema tecnológico capaz de receber como input as questões dos gestores e dar como output, resultados sob a forma de regras ou classificações (Figura 5).

Problema do Negócio Definição Actividades Recolha Dados datawarehouse Organização Análise estrutura BUSINESS INTELLIGENCE Tomada Decisão Valor de negócio Dados Internos Dados Externos Descoberta Conhecimento Base Dados Análise Dados Pré Processamento Modelação Avaliação Declaração De Necessidade

(37)

Uma vez declarada a necessidade de fundamentar e suportar uma decisão a tomar pelos gestores da organização, as etapas de desenvolvimento um SAD com recurso a BI são as seguintes [Haley, 1998]:

 Definição do problema do negócio: Determinada empresa necessita de resolver um problema ou tomar uma decisão com elevado grau de risco (ex. remodelação de um produto). Os responsáveis que detêm o poder de decisão dentro da empresa deverão reunir-se e debater o tema intensivamente para definir de forma objectiva e não intuitiva quais as informações que se pretendem retirarem da base de dados para possibilitar a sua leitura e análise;

 Definição de actividades: A especificação das actividades, como sejam, a locação de recursos ou a disponibilização de dados, depende da estratégia adoptada, a qual neste trabalho se é orientada para a utilização de BD;

 Business Intelligence: Traduz a necessidade de manipular e interpretar grandes volumes de dados capazes de fornecer soluções múltiplas para cenários diversos. Neste domínio o BI incorpora todas as actividades que vão desde a recolha e angariação de dados até à sua utilização em acções de DCBD;

 Tomada de Decisão: A assunção do processo de recolha, análise e processamento da informação disponível, traduz-se na tomada de decisão por parte do gestor, segundo os resultados obtidos no final das actividades de BI;

 Valor de Negócio: A contabilização dos resultados obtidos face aos esperados ou a avaliação do impacto das soluções adoptadas. Esta avaliação servirá de matéria prima para uma análise contínua em termos de BI. Trata-se de um processo que se deseja vicioso, sempre que um problema ou oportunidade surja, dado permitir às organizações criar um historial de informações, conhecimento e experiência que se poderá transformar em vantagens competitivas.

(38)

A integração das actividades de BI em sistemas de apoio à decisão dependem sempre da Fórmulação inicial que derivam quer do problema de negócio quer da definição de actividades propostas, tornando o resultado das actividades BI directamente dependentes destes requisitos

2.2 Database Marketing

O elevado grau tecnológico ao dispor das organizações, promoveu o aparecimento de enormes bases de Dados (BD) com grandes quantidades de dados, transaccionais ou meramente descritivos de clientes ou fornecedores. Muitas das organizações perceberam a pertinência dos dados muito para além do mero suporte a sistemas contabilísticos ou financeiros, compreenderam que o conhecimento presente nas suas bases dados é a chave para o suporte à tomada de decisão, em particular no âmbito de marketing [Welge et al., 2001]. O foco nas BD organizacionais passou da simples angariação dos dados, para a sua utilização e rentabilização, através de processos baseados nas tecnologias de bases dados, como é o caso do Database Marketing (DBM)

A adopção de projectos de DBM tem apresentado uma crescente adesão por parte das empresas, na medida em que necessitam de conhecer melhor os seus clientes (cada vez mais voláteis e exigentes), para assim se diferenciarem dos seus concorrentes (crescentemente competitivos), bem como adoptar uma atitude pró-activa e posição mais competitiva no mercado, oferecendo produtos e serviços aos clientes, que necessitam e desejam.

(39)

2.2.1 Definição de Database Marketing

Na revisão de literatura efectuada verificam-se diferentes contribuições de diferentes autores. Cada autor aborda o DBM numa perspectiva diferente, pelo que é possível também estabelecer um carácter evolutivo na definição do conceito, que coincide com a evolução cronológica das mesmas.

Alguns sugerem que é o estabelecimento de uma BD de clientes e prospects12 que permite às organizações enviar mensagens diferenciadas para cada um dos indivíduos registados baseadas nas suas características e preferências e acompanhar a actividade de cada um deles durante a sua relação com a organização [Wolf et al., 1999]. Por outro lado, existem outros que consideram DBM como um modo de utilizar as informações sobre os consumidores, com a finalidade de aumentar a eficiência das actividades de marketing, através do isolamento de grupos de consumidores (segmentação), a análise dos seus perfis [Cooke, 1994] e [Roberts, 1997]. O DBM consiste também no armazenamento utilização do conhecimento sobre clientes para o benefício deles e lucro da organização [Berson et al. 2001], [Schoenbachler, 1997], pois viabiliza o desenvolvendo técnicas de marketing que permitem prolongar a relação o cliente e estimular as vendas [Jutkins, 1994].

A orientação do processo voltado para o cliente, baseado nas BD, é utilizado correntemente para interligar e orientar os esforços de marketing, assim como para construir uma base completa de informações, de modo a orientar futuros projectos [Jackson, 1997]. A estratégia de utilizar as tecnologias de informação com vista à manutenção de informação detalhada dos consumidores, permite aos marketers diferenciar e desenvolver de acções de marketing directo personalizadas [Drozdenko et al., 2002], [Wiersema et al., 1993]. Como resultado da prática de DBM é possível o planeamento da comunicação com todos os clientes, durante um período de tempo

12 _{Prospect – Individuo não-consumidor de um determinado produto ou serviço que tem potencial de vir tornar-se num consumidor,}

(40)

suficiente para promoção da repetição da compra de determinados produtos e serviços [Roberts, 1997]. As informações relativas à actividade dos clientes (quer transaccionais, quer descritivas) recolhidas durante a relação cliente – organização são analisadas com técnicas de DBM e o conjunto resulta em informações sobre os clientes [Berson et al. 2001], [Drozdenko et al., 2002].

Em comum, todas as definições apresentadas acima dão ênfase ao facto de o DBM referir as tecnologias de BD para suporte às actividades de marketing através da procura de informações existentes nos dados. Em síntese, é possível afirmar então que o DBM consiste num conjunto de processos que se baseiam num sistema que engloba BD (clientes e prospects) e recursos tecnológicos para análise e exploração desses dados – DCBD -, permitindo conhecer e prever o comportamentos dos clientes.

2.2.2 Estrutura do Database Marketing

O DBM assume-se como um processo de natureza analítica e operativa (Figura 6) [Siqueira et al., 2002]. A componente operativa caracteriza-se pelo seu carácter pragmático, considerando como actividades todas aquelas que traduzem o resultado final do processo. A componente analítica caracteriza-se pela sua função de análise consistindo em acções com vista à preparação de todas as componentes susceptíveis de estudo (e.g., dados de clientes, mercados), de modo a viabilizar a análise das características dos consumidores (e.g., comportamentos e condutas), permitindo planificar e executar as actividades ao nível operacional.

A organização das actividades de carácter operacional e analítico, ao longo de todo o processo de DBM, obriga à sua implementação em programas distintos, contudo, com interfaces nítidas, objectivos especiais e actividades (e.g., de marketing directo) adequadas – programas de fidelização e recuperação [Arndt, 2001]. Por exemplo, os clientes com uma elevada probabilidade de deixarem de o ser, podem ser detectados no

(41)

programa de fidelização, se existir uma BD sobre outros que já abandonaram a organização. Em ambas as vertentes, o objectivo do DBM consiste em fornecer toda a informação necessária para criar um canal de diálogo cruzado, feito à medida de cada cliente e baseado nas suas reacções actuais.

Figura 6- Constituição do DBM [adaptado de [Siqueira et al., 2002]).

2 . 2 . 2 . 1 C o m p o n e n t e O p e r a t i v a d o D B M

A natureza operativa do DBM coincide com os objectivos traçados pela estratégia de marketing no qual se insere o seu desenvolvimento

Entre os objectivos da componente operativa do DBM é possível distinguir os relacionados com programas singulares (objectivos de marketing) e os que implicam a sobreposição de objectivos (objectivos de negócio) [Fayerman, 2002]:

 Objectivos de Negócio: O alinhamento da estratégia da organização reflecte-se nas suas actividades e na sua actuação no mercado onde se insere. Os projectos desenvolvidos no âmbito do marketing, onde normalmente se inserem os projectos de DBM, orientam-se por objectivos de negócio que podem ser [Wright, 1998]:

- Aumentar as vendas; - Optimizar recursos; - Performance da organização; Analítico Operacional DBM

(42)

 Objectivos de marketing: Em qualquer organização o departamento de marketing procura constantemente meios de aumentar o seu conhecimento acerca dos consumidores de um modo individual, com o objectivo de formar novos segmentos estratégicos, de clientes. Esta segmentação, utilizada geralmente para fins de marketing, permitirá não só o desenvolvimento de novas promoções ou campanhas direccionadas como também actualizar a informação disponível para os serviços de apoio a clientes. O DBM na sua componente operativa permite o suporte a actividades de marketing tais como:

- Marketing Directo;

- Segmentação de mercados; - Classificação de clientes;

- Estabelecimento de relacionamento com o consumidor

Os objectivos de negócio definem o alinhamento dos objectivos de marketing, sendo estes muitas vezes vistos como um meio para a seguir para alcance dos outros.

2 . 2 . 2 . 2 C o m p o n e n t e A n a l í t i c a d o D B M

A natureza analítica engloba todo os requisitos de carácter mais técnico que vão desde a acções com vista à recolha integração de dados num repositório central até à sua utilização em diferentes técnicas de análise e exploração. O fluxo de informação proveniente da componente operativa é considerado também ao nível analítico, dado possibilitar a consolidação da informação sobre, e.g., o padrão de comportamento do consumidor que se pretende determinar.

(43)

O objectivo da componente analítica é desenvolver uma visão estruturada do consumidor, em função do objectivo traçado. A falha desta componente compromete definitivamente todo o processo de DBM [Fayerman, 2002]. de DBM em função dos processos analíticos

Estruturalmente a componente analítica do DBM processa-se a três níveis [Drozdenko et al., 2002]:

i) Recolha, preparação e uniformização dos dados

Os dados podem ser de naturezas distintas (e.g., dados de marketing ou contabilisticos), fornecidos por sistemas próprios ou externos, ou mesmo serem recolhidos em suportes variados (e.g., digitais ou papel) . Uma vez na posse dos dados é necessário proceder-se à sua preparação e uniformização, aplicando técnicas uniformização dos registos (e.g., aplicação de regras de codificação) ou a limpeza de registos duplicados (o mesmo registo pode estar em locais diversos) ou ainda a validação de domínios dos atributos (e.g. o atributo sexo apenas com 2 valores possíveis).

ii) Aplicação de técnicas de previsão ou segmentação

As BD permitem aos profissionais de marketing uma utilização directa no planeamento e no suporte das campanhas, sendo a sua utilização enquadrada com os objectivos a atingir. No planeamento das campanhas importa definir com a maior precisão possível as taxas de retorno, recorrendo para isso as técnicas de regressão linear simples ou múltipla. Quando, noutras situações, o objectivo é suportar as acções de marketing a desenvolver, recorre-se a técnicas de segmentação das BD como sejam análise univariada dos dados, análise RFM; análise CHAID ou, análise factorial (clustering). Estas técnicas encontram-se expostas em seguida.

(44)

Regressão linear Simples: a análise de regressão é usada para prever o valor da variável

dependente ou explicada (Y), tendo em conta o valor de uma ou várias variáveis independentes ou explicativas (X), a partir de exemplos. Funcionalmente, caracteriza-se pela atribuição de um peso relativo a cada variável (e.g., valor numérico), permitindo valorizar cada registo, em função do seu conteúdo e relativizá-lo face aos outros, através dos coeficientes de regressão α e β. Perante n casos com sob a forma de (x1, y1), (x2,

y2)…(xn, yn) onde xi Є X e yi Є Y a equação da regressão linear pode ser expressa sob a

forma:

Y= α + β. X (Fórmula 1)

Regressão linear Múltipla : No modelo de regressão simples o comportamento de uma

única variável independente é usado para explicar o comportamento da variável dependente, revelando-se insuficiente para os casos onde a variável dependente é influenciada por várias variáveis independentes. Como exemplo, as vendas de um determinado produto dependem não só da quantidade de pontos de venda, como também do preço, ou do nº de vendedores. Quando se passa de um modelo com várias variáveis explicativas para um modelo estatístico linear, obtém-se o modelo de regressão múltipla, onde o objectivo consiste em calcular o valor esperado da variável independente condicionado no valor das variáveis explicativas.

Admitindo a existência k variáveis explicativas, o modelo de regressão da múltipla na população será:

Yi= α + β1x1i + β2x2i +…+ βkxki + εi (Fórmula 2)

onde o índice i diz respeito à observação i. A interpretação dos parâmetros α, β1, β2,…, e

βk é semelhante à dos parâmetros no modelo de regressão linear simples, ou seja, são os

coeficientes de regressão. O parâmetro α indica-nos o valor esperado da variável explicada quando as variáveis explicativas são todas iguais a zero (x1 = 0, x2 = 0, …, xk =

(45)

Análise RFM: Esta análise utiliza um algoritmo de análise baseado no comportamento

do consumidor, descrito pelos parâmetros: o aspecto Recente de encomendas/compras; a Frequência de encomendas/compras e o valor Monetário dos seus gastos. A segmentação RFM pode ser desenvolvida por dois métodos [Hughes, 1995]

 Hard coding: consiste na criação de um sistema de pontuação para cada registo individual. A pontuação obtida é baseada no valor RFM atribuído em cada registo (consumidor). Os registos com maior pontuação, corresponderão aqueles consumidores mais desejados, e pelo contrário, os menos pontuados, correspondem aos consumidores menos activos.

 Sort five: Consiste na partição da BD, em cinco partes iguais por cada um dos valores RFM, da compra mais antiga para a compra mais recente; do frequência mais baixa para o valor de frequência mais elevado e do menor valor de consumo para o maior valor. Os consumidores com maior nível de frequência, valor de consumo mais elevado e compra mais recente, serão os mais desejados os consumidores opostos serão os menos desejados.

Análise CHAID: A análise CHAID (abreviatura de Chi-square Automatic Interaction Detector) serve fundamentalmente para testar se as segmentações operadas são

estatisticamente significantes, e.g., se estes segmentos maximizam a separação dos consumidores em função do seu potencial. O resultado final de uma análise chi-quadrado consiste basicamente num gráfico radar (“aranha”) ou num diagrama em árvore.

Análise Factorial e Clustering: A análise factorial, como técnica estatística que permite

isolar e medir o significado de factores individuais em situações complexas, e a análise de clusters que pesquisa a existência de grupos naturais de indivíduos ou de variáveis, são modelos de natureza exploratória, sendo por isso comum o uso de ambas as técnicas em simultâneo.