Universidade Federal de Santa Catarina
Programa de Pós-Graduação em Engenharia de produção
APLICAÇÃO DE DATA WEBHOUSING PARA MONITORAMENTO DE
ACESSOS A SITES WEB DE GRUPOS DE PESQUISA E
DESENVOLVIMENTO: Um Estudo de Caso
Daniel Martins Barbosa
Dissertação apresentada ao Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina como requisito parcial para obtenção
do grau de Mestre, em Engenharia de Produção
Prof. Dr. Roberto C. S. Pacheco
Orientador
Florianópolis
2003
DANIEL MARTINS BARBOSA
APLICAÇÃO DE DATA WEBHOUSING PARA MONITORAMENTO DE
ACESSOS A SITES WEB DE GRUPOS DE PESQUISA E
DESENVOLVIMENTO: Um Estudo de Caso
ESTA DISSERTAÇÃO FOI JULGADA ADEQUADA PARA OBTENÇÃO
DO TÍTULO DE MESTRE EM ENGENHARIA.
ESPECIALIDADE EM ENGENHARIA DE PRODUÇÃO E APROVADA EM
SUA FORMA FINAL PELO PROGRAMA DE PÓS-GRADUAÇÃO EM
ENGENHARIA DE PRODUÇÃO
_________________________________________ Edson Pacheco Paladini, Dr
Coordenador do Programa de Pós-Graduação em Engenharia de Produção
BANCA EXAMINADORA
_______________________________________________ Roberto C. S. Pacheco, Dr. - Orientador _______________________________________________ Denílson Sell, Doutorando, Msg. - Tutor _______________________________________________ José Leomar Todesco, Dr. _______________________________________________ Tânia Fátima Calvi Tait, Dra.
AGRADECIMENTOS
A DEUS, NOSSO SENHOR JESUS CRISTO e ao ESPIRITO SANTO, que me iluminaram e me deram saúde, sabedoria e força de vontade para não desanimar no meio do caminho. Por terem-me dado a oportunidade de realizar um sonho há tanto tempo acalentado.
À minha família, de maneira muito especial e carinhosa às três pessoas pelas quais tenho grande amor e carinho, que souberam esperar, pacientemente, durante mais esta jornada, compreendendo as minhas ausências e proporcionando apoio diante dos maus momentos sem, em nenhum instante, deixar de incentivar-me: Elizete, minha querida esposa, e nossos dois filhos Bruno e Fernanda, alegria de nossas vidas. Sem vocês seria impossível chegar até aqui.
Ao meu orientador, professor Roberto Carlos dos Santos Pacheco, por ter aceitado minha proposta de dissertação e por ter contribuído de modo eficiente e eficaz para consolidação deste trabalho.
Agradeço também aos amigos e tutores que de muitas maneiras participaram deste trabalho, dando sugestões valiosas. Sou muito grato em especial a Denílson Sell, Tânia Fátima Calvi Tait e Olival de Gusmão Freitas Junior.
À Universidade Estadual de Maringá, especialmente aos amigos do Núcleo de Processamento de Dados (NPD), Departamento de Informática (DIN) e Pró-Reitoria de Pesquisa e Pós-Graduação (PPG), pela amizade e pelo apoio em toda esta caminhada.
Aos Professores e amigos, Álvaro José Periotto, Dante Alves de Medeiro Filho e Moacir José da Silva que confiaram em mim, apresentando-me ao Programa de Pós-Graduação e pela valiosa colaboração, abrindo o caminho para a reta final deste trabalho.
Agradeço, igualmente, aos meus grandes amigos Altevir, Edinaldo, Enee Saulo e suas famílias, sempre presentes quando precisei.
E, gostaria de agradecer também aos meus pais, João M. Barbosa Filho e Ostrilia da S. Barbosa, pelas orações, incentivo, confiança e exemplos de força e dedicação. Pessoas nas quais me espelho, constantemente.
Finalmente, aos meus amigos de toda a vida, em especial aos amigos do Grupo Stela que, com sua presença, pequenos gestos ou palavras, contribuíram para a minha chegada a mais esta etapa.
“Há homens que lutam um dia e são bons, há homens que lutam muitos dias e são melhores, porém, há os que lutam toda a vida esses são os imprescindíveis”
(Bertold Brecht). Basta-nos tentar, tentar...
RESUMO
BARBOSA, Daniel Martins, Aplicação de Data Webhousing para Monitoramento de Acessos a Sites Web de Grupos de Pesquisa e Desenvolvimento: Um Estudo de Caso. 123f. Dissertação (Mestrado em Engenharia de Produção) – Programa de Pós-Graduação em Engenharia de Produção. UFSC, Florianópolis - 2003.
O presente Trabalho tem como objetivo utilizar as técnicas de Data Warehouse para extrair informações, bem como propor um Data Mart para monitorar sites de Grupos de Pesquisa e Desenvolvimento. Nesse sentido, ao marcarem presença na Web, as organizações e os grupos de pesquisa estão abrindo um canal extremamente poderoso para a criação e o desenvolvimento de relações com seus usuários. Assim, é necessário que essas organizações incorporem ferramentas para monitorar seus usuários e suas ações, visando atender à necessidade de conhecer o comportamento dos seus usuários. Como resultado desse novo contexto surge o compromisso de criação de uma nova metodologia que priorize o tratamento de informações, tanto estruturadas, quanto não estruturadas.
Este trabalho apresenta o desenvolvimento e a aplicação das técnicas de Data
Webhouse que visa fornecer subsídios à coleta e análise de dados para site de grupo de P&D.
Levando-se em consideração esse cenário, será apresentada uma metodologia que permite as especificações de variáveis de um processo de personalização, por ser uma aplicação que auxilia na estruturação de sites de grupos de P&D.
Dessa forma, conclui-se que a utilização dessa metodologia possibilitará uma reestruturação nos sites e apresentar uma contribuição em que se destaca um modelo geral de
site para Grupos de P&D.
Palavras-chave: DW, Data Webhousing, Grupos de P&D, Sistemas de Apoio à Decisão e
ABSTRACT
BARBOSA, Daniel Martins, Aplicação de Data Webhousing para Monitoramento de Acessos a Sites Web de Grupos de Pesquisa e Desenvolvimento: Um Estudo de Caso. 123f. Dissertação (Mestrado em Engenharia de Produção) – Programa de Pós-Graduação em Engenharia de Produção. UFSC, Florianópolis, 2003.
This study aims at using Data Warehouse techniques to extract information, as well as proposing a Data Mart to monitor sites of Development and Research Groups. In this sense, being in the Web, the organizations and the research groups are opening an extremely powerful channel for the creation and the development of relationships with its users. Therefore, it is necessary that such organizations incorporate tools to monitor their users and their own actions, with the purpose of knowing their users’ behavior. As a result of that new context, the commitment to create a new methodology that prioritizes the treatment of both structured and non structured information appears.
This study the Data Webhouse's techniques development and application aiming at supplying with subsides to data collection and analysis for the P&D Group site. Considering this scenery, a methodology that allows the specifications of a personalization process variables is presented, since it is an application that helps with the P&D sites structuring.
Therefore, we can conclude that the use of such a methodology will make the sites restructuring possible, as well as it will contribute with a general site model for P&D Groups.
Key-words: DW, Data Webhousing, Groups of P&D, Systems of Support the Decision and WebSite.
SUMÁRIO
AGRADECIMENTOS --- III RESUMO--- V ABSTRACT --- VI SUMÁRIO--- VII LISTA DE FIGURAS --- XI LISTA DE QUADROS --- XII SIGLAS--- XIII1 INTRODUÇÃO ---14
1.1 CONTEXTO E RELEVÂNCIA DO PROBLEMA--- 14
1.2 OBJETIVO GERAL--- 16
1.2.1 Objetivos Específicos --- 16
1.3 JUSTIFICATIVA DO TRABALHO--- 17
1.4 METODOLOGIA--- 18
1.5 ESTRUTURA DO TRABALHO--- 21
2 SISTEMAS DE APOIO À DECISÃO ---23
2.1 CONSIDERAÇÕES INICIAIS--- 23
2.2 PROCESSOS PARA A TOMADA DE DECISÃO--- 24
2.3 SISTEMAS DE APOIO À DECISÃO--- 24
2.3.1 Data Warehouse --- 25
2.3.1.1 Conceitos Básicos --- 26
2.3.1.2 Elementos Básicos de um DW --- 27
2.3.1.3 Modelo Estrela para o Data Warehouse --- 28
2.3.1.4 As Ferramentas Utilizadas em um Data Warehouse--- 30
2.3.2 Mineração de Dados --- 32
2.3.3 Customer Relationship Management (CRM) --- 34
2.4 CONSIDERAÇÕES FINAIS--- 37
3.1 CONSIDERAÇÕES INICIAIS--- 39
3.2 GERENCIANDO AS PRINCIPAIS CARACTERÍSTICAS DO DATA WEBHOUSE--- 42
3.2.1 Utilizar a Web para o Webhouse --- 42
3.2.2 Tipos de Aplicação e de Análise--- 43
3.3 MONITORANDO AS AÇÕES DOS USUÁRIOS DE UM WEB SITE--- 44
3.3.1 As Técnicas de Monitoração --- 45
3.3.2 Análise Comportamental --- 46
3.3.3 Requisitos de Personalização --- 47
3.4 COMPREENDENDO A SEQÜÊNCIA DE CLIQUE COMO FONTE DE DADOS--- 48
3.4.1 Logs do Servidor da Web--- 49
3.4.2 Cookies--- 51
3.5 DATA MART DE CLICKSTREAM--- 52
3.5.1 Modelo Dimensional Clickstream --- 52
3.5.2 Dimensão Tempo --- 54 3.5.3 Dimensão Cliente--- 55 3.5.4 Dimensão Página--- 56 3.5.5 Dimensão Evento --- 57 3.5.6 Dimensão Sessão --- 58 3.5.7 Dimensão Referência --- 58
3.5.8 Dimensão Produto ou Serviço --- 59
3.5.9 Dimensão Causal --- 60
3.5.10 Dimensão Entidade de Negócio--- 60
3.5.10 Dimensionando o Data Webhouse--- 61
3.6 ESTUDO METODOLÓGICO DE DATA WEBHOUSING--- 62
3.6.1 Geração dos Dados Operacionais --- 62
3.6.2 Arquitetura de uma Solução --- 63
3.6.2.1 Área de Estagiamento--- 64
3.6.2.2 Publicação das Informações no Data Webhouse --- 64
3.6.3 Uma Visão Geral dos Processos de Extração, Transformação e Carga--- 65
3.6.4 Arquitetura de Processos--- 67
3.6.4.1 Implantando o Processo de Carga--- 69
3.6.5 Analisando o Comportamento dos Usuários--- 70
4 APLICANDO AS TÉCNICAS DE DATA WEBHOUSING SOBRE O SITE DE UM
GRUPO DE PESQUISA E DESENVOLVIMENTO ---72
4.1 CONSIDERAÇÕES INICIAIS--- 72
4.2 SITES WEB DE GRUPOS DE PESQUISA E DESENVOLVIMENTO--- 72
4.3 SITE DE GRUPO DE PESQUISA E DESENVOLVIMENTO--- 74
4.3.1 Plataforma Stela --- 77
4.3.2 Plataforma Lattes--- 78
4.4 APLICAÇÃO DE DATA WEBHOUSINGNA ANÁLISE E REESTRUTURAÇÃO DE SITE DE GRUPOS DE P&D--- 80
4.4.1 Levantamento de Requisitos--- 80
4.4.2 O Projeto --- 81
4.4.3 Ferramenta Olap --- 86
4.4.4 Modelagem Dimensional --- 86
4.4.5 Implementação--- 89
4.4.5.1 Criação das Tabelas no Banco de Dados --- 90
4.4.6 Ferramentas de Implementação --- 90
4.4.7 Projeto Físico Implementado --- 90
4.5 CONSIDERAÇÕES FINAIS--- 92
5 ANÁLISE DOS RESULTADOS OBTIDOS ---93
5.1 CONSIDERAÇÕES INICIAIS--- 93
5.2 ANÁLISE DOS RESULTADOS VIA CUBO DE DADOS --- 93
5.3 O QUE É MAIS ACESSADO NO SITE? --- 95
5.4 QUEM ACESSA O SITE? --- 98
5.5 QUAL É A RELAÇÃO ENTRE OS OBJETIVOS DO SITE ANALISADO E OS ACES.OBTIDOS?-- 99
5.6 PROPOSTA DE MELHORIAS --- 100
5.6.1 Modelo Referencial para Sites de Grupos de P&D --- 103
5.8 CONSIDERAÇÕES FINAIS--- 107
6 CONCLUSÕES E RECOMENDAÇÕES--- 108
6.1 CONCLUSÃO--- 108
6.2 OBJETIVOS--- 109
6.3 CONTRIBUIÇÃO DA PESQUISA PARA O CONHECIMENTO--- 111
6.5 RECOMENDAÇÕES--- 112 7 REFERÊNCIAS BIBLIOGRÁFICAS --- 114 ANEXO I--- 121
Lista de Figuras
FIGURA 1 – METODOLOGIA UTILIZADA NA PESQUISA... 19
FIGURA 2 – UMA VISÃO GERAL DA ESTRUTURA DA DISSERTAÇÃO. ... 21
FIGURA 3 – MODELO SCHEMA ESTRELA - FONTE FREITAS ET AL.,(2002)... 29
FIGURA 4 - PROCESSO DE KDD - FONTE ADAPTADO DE FAYYAD ET AL, (1996B) ... 32
FIGURA 5 – DATA WEBHOUSE – FONTE GONÇALVES ET AL., (2001)... 40
FIGURA 6 - MODELO DIMENSIONAL DM ‘CLICKSTREAM’ - FONTE KIMBALL (2000B) ... 53
FIGURA 7 – ARQUITETURA DE UM DATA WEBHOUSE SIMPLES – FONTE FARIAS (2002) ... 63
FIGURA 8 - VISÃO GERAL DO PROCESSO DE CARGA - FONTE ADAPTADO FARIAS (2002).. 64
FIGURA 9 - DETALHAMENTO DO PROCESSO DE IMPLEM.ETL - FONTE FARIAS (2002) ... 67
FIGURA 10 - PROCESSO DE EXTRAÇÃO E TRANSFORMAÇÃO – FONTE KIMBALL (2000).. 68
FIGURA 11 - PROCESSO DE CARGA – FONTE BARBOSA ET AL., (2002) ... 69
FIGURA 12 – SITE DA PLATAFORMA STELA DE 2002... 76
FIGURA 13 – DIAGRAMA DO SITE DA PLATAFORMA STELA DE 2002 ... 77
FIGURA 14 – SITE ATUAL DO GRUPO DE PESQUISA E DESENVOLVIMENTO STELA... 79
FIGURA 15 - ETAPAS DE IMPLEMENTAÇÃO DO DW- FONTE ADAPTADO DE FARIAS(2002) 82 FIGURA 16 – DEFINIÇÃO DO BANCO DE DADOS INTERFACE PROGRESS... 83
FIGURA 17 – VISÃO GERAL DA ROTINA CONSTRUÍDA PARA FAZER A CARGA DOS DADOS... 84
FIGURA 18 – FINALIZAÇÃO DO PROCESSO ETL(EXTRAÇÃO TRANSFORMAÇÃO E CARGA) 85 FIGURA 19 - ESQUEMA ESTRELA DESENVOLVIDO PARA A IMPLEMENTAÇÃO DO PROJETO 87 FIGURA 20 – DIAGRAMA ENTIDADE RELACIONAMENTO... 89
FIGURA 21 – MODELO FÍSICO GERADO NO BANCO DE DADOS... 91
FIGURA 22 - SEMELHANÇA DO MODELO DIMENSIONAL A UM CUBO – CIELO (2001) ... 94
FIGURA 23 – PÁGINAS MAIS ACESSADAS NO SITE... 96
FIGURA 24 – VISÃO GERAL DOS ACESSOS AGRUPADOS... 97
FIGURA 25 – VISÃO GERAL DOS IPS MAIS ACESSADOS NO SITE... 98
FIGURA 26 – METODOLOGIA APLICADA PARA REESTRUTURAÇÃO DE SITES DE P&D...101
FIGURA 27 – MODELO DE SITES PARA OS GRUPOS DE P&D (LINHAS DE PESQUISA) ...104
Lista de Quadros
QUADRO 1 - ELEMENTOS BÁSICOS DE UM DW- FONTE (KIMBALL ET AL., 1998B) ---27
QUADRO 2 - FUNÇÕES DA MINERAÇÃO DE DADOS (BIGUS, 1996)---34
QUADRO 3 – FORMATO E DESCRIÇÃO DOS LOGS DO SERVIDOR WEB---50
QUADRO 4 - DIMENSÕES DO QUADRO DE EVENTO DE PÁGINA - FONTE: (KIMBALL 2000)69
QUADRO 5 – COMO ESTÃO ESTRUTURADOS OS SITES DE GRUPO DE P&D NO BRASIL---74
QUADRO 6 - ELEMENTO DO MODELO DIMENSIONAL DESENVOLVIDO. ---87
Siglas
ASP ACTIVE SERVER PAGESBD BANCO DE DADOS
BI BUSINESS INTELLIGENCE
C&T CIÊNCIA E TECNOLOGIA CFL COMMON LOG FORMAT
CGI COMMON GATEWAY INTERFACE CNPQ CONSELHO NACIONAL DE PESQUISA CRM CUSTOMER RELATIONSHIP MANAGEMENT CT&I CIÊNCIA E TECNOLOGIA E INFORMAÇÃO
DHTML LINGUAGEM DE MARCAÇÂO DE HIPERTEXTO DINAMIC
DM DATA MART
DM DATA MINING
DW DATA WAREHOUSE
DW DATA WEBHOUSE
ETL EXTRAÇÃO TRANSFORMAÇÃO E CARGA HTML LINGUAGEM DE MARCAÇÂO DE HIPERTEXTO HTTP PROTOCOLO DE TRANSFERENCIA DE HIPERTEXTO
IA INTELIGENCIA ARTIFICIAL
ID IDENTIFICAÇÂO DE SESSÃO IP PROTOCOLO DE INTERNET
ISBN INTERNATIONAL STANDARD BOOK NUMBER JSP JAVA SERVER PAGES
MOLAP MULTIDIMENSIONAL ON-LINE ANALYTICAL PROCESSING KDD KNOWLEDGE DISCOVERY IN DATABASE
ODS SERVIDOR DE ARMAZENAMENTO DE DADOS OPERACIONAIS OLAP ON LINE ANALYTICAL PROCESSING
OLTP ONLINE TRANSACTION PROCESSING P&D PESQUISA E DESENVOLVIMENTO
PPGEP PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO
RBC RACIOCÍNIO BASEADO EM CASO ROI RETORNO DE INVESTIMENTO
ROLAP RELATIONAL ON-LINE ANALITICA PROCESSING SAD SISTEMA DE APOIO À DECISÃO
SGBD SISTEMA GERAL DE BANCO DE DADOS SSL SECURE SOCKETS LAYER
TI TECNOLOGIA DE INFORMAÇÃO
UFSC UNIVERSIDADE FEDERAL DE SANTA CATARINA UEM UNIVERSIDADE ESTADUAL DE MARINGÁ
URL LOCALIZADOR UNIFORME DE RECURSOS. XML EXTENSIBLE MARKUP LANGUAGEM
1 INTRODUÇÃO
1.1 Contexto e Relevância do Problema
Já é notório o fato de que a rápida evolução nas tecnologias e as mudanças organizacionais tornam fundamental aos dirigentes das organizações possuírem grande rapidez nas suas decisões. Assim Sendo, eles necessitam de informações atuais, confiáveis e precisas, que devem ser correlacionadas de tal forma que lhes permitam tomar decisões mais facilmente e trabalhar com cenários futuros (DALFOVO e FRANCO, 2000).
Atualmente, na área de informática, surgem novas tecnologias que integram num único sistema todas as informações necessárias para que o executivo possa verificá-las de forma rápida e confiável, desde o nível operacional até o nível mais analítico que se desejar, possibilitando-lhe um maior conhecimento e controle da situação, além de maior agilidade e segurança no processo decisório (FURLAN, 1994).
Para Dalfovo e Franco (2000), a demanda por informações estratégicas de apoio à decisão tem sido um dos grandes motivos para investimentos em soluções informatizadas. Com os avanços tecnológicos, as organizações atingiram um nível satisfatório de informatização sobre seus processos operacionais. O próximo passo é transformação do grande volume de dados gerado pelos diversos sistemas de informação útil e acessível aos tomadores de decisão.
Segundo Dias (2001), é imprescindível a aplicação da gestão da informação para administrar o caos informacional do mundo digital. Muitas vezes, essas informações encontram-se armazenadas em bases de dados não integradas e em plataformas de sistemas operacionais e gerenciadores de banco de dados diferentes. Desse modo, o acesso a tais informações torna-se difícil e, conseqüentemente, o processo de tomada de decisão também é dificultado, considerando-se uma visão global da organização.
Para Sell (2001), atualmente, a tecnologia da maioria dos novos projetos de sistemas de informação foi ou está sendo desenvolvida por meio de uma técnica denominada Data
Warehousing, cujo propósito é a concepção de sistemas baseados na estruturação de um
repositório de dados informacionais.
De acordo com Inmon (1997), um sistema de Data Warehouse é composto, além de outras ferramentas, de um banco de dados para o qual somente as informações necessárias
para a tomada de decisão são carregadas, as quais são oriundas de sistemas de informações operacionais. Como esse novo banco de dados contém apenas as informações essenciais, as pesquisas feitas nele são rápidas e podem responder questões a complexas.
Segundo Cielo (2001), entre as tecnologias existentes no mercado, o Data Warehouse constitui-se ferramenta adequada para solucionar as dificuldades de integração de dados mantidos em plataformas tecnológicas divergentes. Ferreira (2001), destaca que, devido à grande expansão da Internet e à proliferação de portais corporativos, surgiu uma nova técnica denominada Data Webhouse, derivada do Data Warehousing e dos conceitos de publicação de informações introduzidas pelos sites na web.
Para Kimball (2000), Data Webhouse é a instanciação da web para o Data Warehouse. Para esse autor, trazer a web para o Warehouse significa trazer comportamentos de uso das informações para o Data Warehouse. Dessa forma, as seqüências de cliques (clickstream) representam um registro potencial do comportamento dos usuários na web e o objetivo do
Data Webhouse é capturar, analisar e entender esse comportamento.
Com essa tecnologia, é possível acompanhar o relacionamento dos usuários dos sites dos Grupos de Pesquisa, o que pode subsidiar a personalização destes sites de acordo com o perfil de utilização do usuário. Essas informações também podem oferecer procedimentos de reorganização da estruturação dos sites e das informações veiculadas, além de possibilitarem a redefinição de uma política de integralização dos grupos de pesquisas.
Considerando-se esse novo cenário, observa-se que a utilização dessas tecnologias pode facilitar a tomada de decisão do gestor no processo decisório, visto que possibilita a obtenção de dados e de conteúdos relevantes para as organizações das mais diversas áreas. Por essa razão, o presente trabalho tem por objetivo aplicar técnicas de Data Warehousing e, principalmente, Data Webhousing ao site de um grupo de pesquisa e desenvolvimento, igualmente apresentar um Data Mart Clickstream1 como um estudo de caso que surge da integração dessas tecnologias.
A questão de pesquisa deste trabalho refere-se à possibilidade de que a técnica de Data
Webhousing possa contribuir com projetos de sites web de grupos de pesquisa e
desenvolvimento (P&D). Sites Web constituem uma das principais formas pelas quais Grupos de Pesquisa e desenvolvimento publica resultados de pesquisa e apresentam seu portfólio de
soluções, além de, nos casos de Grupos de Pesquisa ligados à área tecnológica, servirem de meio de publicação de serviços de informação. A melhoria nesses objetivos pode aumentar a visibilidade dos Grupos de P&D, potencialmente ampliando suas atividades de intercâmbio.
Os resultados discutidos ao final da dissertação incluem indicadores que podem contribuir para que os Grupos de Pesquisa conheçam melhor os usuários de seu site institucional, permitindo assim que novas possibilidades de serviços sejam viabilizadas.
Dentro dessa perspectiva, a pergunta de pesquisa que surge e que motiva o presente estudo é a seguinte: quais são os indicadores para análise dos sites de Grupos de P&D que
possibilitará contribuições em sites num ambiente de Ciência e Tecnologia (C&T)?
1.2 Objetivo Geral
Aplicar a teoria de Data Webhouse no desenvolvimento de um ambiente de análise dos acessos ao site de um Grupo de Pesquisa e Desenvolvimento Científico, Acadêmico e Tecnológico.
1.2.1 Objetivos Específicos
Fazer um levantamento sobre Data Webhousing, envolvendo os principais conceitos e características relacionados à técnica de como gerenciar Data
Webhouse.
•
•
• •
Apresentar um levantamento bibliográfico sobre as metodologias de Data
Webhousing.
Implementar um protótipo de Data Mart de seqüência de clique, utilizando Data
Webhousing.
Propor melhorias aos websites de Grupos de Pesquisa e Desenvolvimento, através da análise dos resultados obtidos sobre o protótipo desenvolvido para um site e propor uma rotina de reestruturação, bem como também apresentar um modelo
1.3 Justificativa do Trabalho
A Internet apresenta-se cada vez mais como uma nova mídia para comunicação entre as empresas e o mercado. No entanto, ainda não está claro em que grau ela tem contribuído para a alavancagem de negócios nas organizações que a utilizam.
Segundo Kimball (2000f), há uma constatação geral de que a Internet “é a próxima fronteira” da competividade, entretanto, as iniciativas ainda são poucas para a maioria das organizações, que estão sendo levadas mais pelo desejo de acompanhar a inovação tecnológica do que por explorar novas alternativas de negócios.
Nesse contexto, as ações do usuário da web podem ser motivadas por um número de necessidades diferentes que podem mudar de um momento para outro durante uma sessão de visita a um web site. Assim, as organizações podem usar essas informações para determinar hábitos de compra, fornecer aos usuários recomendações sobre novos produtos, entre outros. Todavia, é necessária a utilização de uma infra-estrutura tecnológica para uma avaliação eficaz desses dados.
Dessa forma, Kimball (2000f) ressalta que o Data Webhouse pode tornar-se o elemento central e coesivo das instituições, fornecendo informações competitivas e essenciais aos pesquisadores e responsáveis pelas decisões estratégicas. Por isso, encontrar o perfil das pessoas que acessam sites na web, tornou-se necessário, devido à grande importância dada pelos pesquisadores ao conhecimento de seus usuários, e o Data Webhouse possui as técnicas adequadas para o gerenciamento dos relacionamentos entre eles.
Para Barbosa et al., (2002), o objetivo do Data Webhouse é capturar, armazenar e publicar dados de seqüência de clique que possibilitam uma compreensão do comportamento do usuário na web. Se os administradores possuem informações sobre cada clique de seus usuários, ou seja, o caminho percorrido por eles dentro do web site, certamente por meio das técnicas e ferramentas de Data Webhouse, podem ter informações muito relevantes para a tomada de suas decisões. Dessa forma então para se obter êxito com estas informações o site precisa ser bem projetado, devendo-se incorporar ferramentas para monitorar as ações dos visitantes, ou seja, é preciso que ele funcione como uma forma de medir a eficácia2 do site.
2 Eficácia. consiste da capacidade de pessoas e instituições alcançarem objetivos e metas, ou seja, os resultados com os quais se comprometeram ou a que foram propostos. Em outras palavras o fazer certo. (Campos, 2000).
Assim, tais informações de monitoramento podem ser utilizadas para personalizar o conteúdo dinâmico do site, aumentando a relevância desse conteúdo à medida que a sessão progride ou quando o usuário retorna ao site. Dessa maneira, as pessoas conhecerão melhor quem acessa seu site, ou seja, quem são os seus usuários.
Grupos de Pesquisa e Desenvolvimento utilizam a Internet para divulgação de seus trabalhos acadêmicos e científicos, para divulgação de suas áreas de pesquisa, para promoção de intercâmbio e cooperação com outros Grupos Científicos e para apresentação de sua imagem institucional. Com as técnicas de Data Webhousing, pode-se verificar o grau com que o web site de um Grupo de Pesquisa está alcançando seus objetivos. Como resultado, abrem-se perspectivas de melhoria do web site dos Grupos de Pesquisa e, conabrem-seqüentemente, uma melhor configuração do conteúdo e das possibilidades de serviços desses Grupos, através de um novo site.
1.4 Metodologia
Apresenta-se a seguir, a classificação deste trabalho quanto à sua natureza, sua forma de abordar o problema e seus objetivos, bem como os procedimentos técnicos utilizados. Quanto ao primeiro parâmetro, isto é, a natureza, o presente trabalho classifica-se como “pesquisa aplicada”, pois “objetiva gerar conhecimentos para aplicação prática dirigindo soluções de problemas específicos” (Silva e Menezes, 2001, p. 20), envolvendo verdades e interesses locais. Do ponto de vista da forma de abordagem do problema, a pesquisa caracteriza-se como predominantemente qualitativa, uma vez que requer o uso de recursos e de técnicas estatísticas (Silva e Menezes, 2001. p. 20).
Segundo Gil (1991), quanto aos objetivos, a pesquisa procura identificar o problema com vistas a torná-lo explícito ou a construir hipóteses. Para alcançá-lo, faz-se levantamento bibliográfico, entrevistas com pessoas que tiveram experiências práticas com o problema pesquisado e analisam-se exemplos que estimulem a compreensão, em geral procede-se a Pesquisas Bibliográficas e estudos de caso. Essas características qualificam este trabalho como sendo de natureza “exploratória”; devido a procedimentos técnicos utilizados, ele tem características de estudo de caso, em decorrência da determinação dos objetivos.
Do ponto de vista metodológico, optou-se pelo estudo de caso, em função deste método possibilitar uma profundidade e riqueza maior, dando assim mais embasamento à pesquisa.
Esta pesquisa conduziu-se em seis etapas: Revisão Bibliográfica, Sistemas de Apoio a Decisão, Estudo dos Conceitos, Característica e Metodologias Existentes na Literatura de
Data Webhouse; Estudo de Sites dos Grupos de P&D; Construção de um Data Mart para
Monitorar Sites de Grupos de P&D, Propor Melhorias a Sites de P&D e a título de sugestão propor um modelo de site para os Grupos de P&D.
Para o entendimento adequado da forma de desenvolvimento da pesquisa, são explicitados cada uma das etapas e seus respectivos desdobramentos.
A Figura 1 retrata o pensamento metodológico quanto ao desenvolvimento dessa pesquisa.
Estudo de comportamento dos sistemas de apoio à decisão
Estudo dos conceitos, características e metodologias de
Data Webhousing existentes
Desenvolvimento de um Data Mart para nonitoramento de
sites de P&D
Análise estatística dos Resultados Obtidos e Proposição de melhorias Levantamento teórico e
revisões bibliográficas
Estudo dos sites dos grupos de P&D: Quanto a descrição dos
objetivos Técnicas de Data Webhousing
para auxiliar grupos de P&D a analisar melhor seus sites.
Novo Site Proposto
FIGURA 1 – METODOLOGIA UTILIZADA NA PESQUISA
Para atingir os objetivos propostos, desenvolveu-se, inicialmente, um estudo teórico das características, dos problemas e das necessidades de grupos de pesquisa e desenvolvimento, procurando-se evidenciar a importância da informação no processo decisório. E, como um caso de estudo, propor uma aplicação de Data Webhousing sobre o site de um grupo de pesquisa da Universidade Federal de Santa Catarina e por meio das análises dos indicativos, propor melhorias para os sites. Seguem-se as etapas da realização desta pesquisa:
Etapa 1 – Levantamento teórico sobre as técnicas de Data Webhousing - Nesta etapa procurou-se analisar a maioria dos sites relacionados à atividade de pesquisa e desenvolvimento, estudando os pontos positivos e negativos de cada página dentro dos sites. Observou-se, também, um site específico, vale dizer, o
site do Grupo de Pesquisa Stela da UFSC, bem como se buscou compreender a
melhor maneira de relacionar essas estruturas com as técnicas citadas. •
Etapa 2 – Estudo dos Comportamentos dos Sistemas de Apoio à Decisão - Nesta etapa, procurou-se visualizar como ocorre a concepção inicial dos sistemas de apoio à decisão destacando o Data Warehouse, Data Mining e o Customer Relationship Management (CRM).
•
Etapa 3 – Estudo de Metodologias para Data Webhousing - O objetivo desta fase foi revisar os conceitos e características da tecnologia Data Webhouse e os principais aspectos de metodologias, principalmente, a proposta de Kimball (2000f), a qual apresenta as fases previstas e as dificuldades de uma implementação de Data Webhouse. Foram resgatados, ainda, os processos de desenvolvimento para uma solução voltada ao monitoramento de web sites. •
Etapa 4 – Estudo dos Website de Grupos de P&D - Nesta fase, buscou-se entender como os sites web de pesquisa e desenvolvimento se estruturam, através de um levantamento com alguns sites aleatórios.
•
Etapa 5 – Desenvolvimento de um Data Mart - Esta fase procurou implementar um modelo de Data Mart específico como estudo de caso para monitorar o site do Grupo de Pesquisa & Desenvolvimento Stela, bem como mostrar os resultados e análise.
•
Etapa 6 – Análise de Resultado - Por meio de análise dos indicativos obtidos, propor melhorias para os sites dos grupos de P&D, no Brasil.
•
Estapa 7 – Proposta de um novo site – Através das análises dos indicativos estatísticos e da proposta de melhorias será apresentado um novo site para grupos de P&D como modelo referencial.
1.5 Estrutura do Trabalho
Considerando o problema de pesquisa apresentado, bem como os objetivos relacionados a que se refere este trabalho, foi organizado em seis capítulos, além das referências e anexos. A figura 2 apresenta uma visão geral do trabalho.
Objetivo Geral Objetivos Específicos Justificativa Metodologia Estrutura da Dissertação Capítulo 1 Introdução Sistemas de Apoio a Decisão Data Warehouse Data Mining Customer Relationship Management(CRM) Capítulo 2 Sistemas de Apoio a Decisão Conceitos e Caracteristicas de Data Webhouse Monitoramento de Usuários Através de WebSite Seqüências de Cliques Como Fonte de Dados
Data Mart Clickstream Estudo Metodológico Data Webhousing Analisando o Comportamento dos Usúários Capítulo 3 Data Webhousing Sites Web de Grupos de P&D Analizando um Site de Grupo de Pesquisa e Desenvolvimento Aplicando Data Webhousing
na Analise de Grupos de Pesquisa e Desenvolvimento Estrutura Fisica do Projeto Data webhousing Capítulo 4 Aplicação de DW em Sites de Grupos de P&D
Analise de Resultados
Indicativos das Análise Através da Ferramenta
Olap Proposta de
Melhorias
Modelo de Referencial de Sites para Grupos
de P&D Capitulo 5 Analise dos Resultados
Obtidos Conclusão Objetivos Contribuição da Pesquisa Para Conhecimento Trabalhos Futuros Referencias Bibliográficas Capítulo 6 Conclusões e Recomendações Aplicação de Data Webhousing
para o Monitoramento de Acessos a Sites Web de Grupos de P&D:
Um Estudo de Caso
FIGURA 2 – UMA VISÃO GERAL DA ESTRUTURA DA DISSERTAÇÃO.
O primeiro capítulo apresenta os aspectos introdutórios que caracterizam o trabalho, tais como a definição do tema e o problema de pesquisa, o objetivo geral e específico, a sua contribuição teórico-empírica e a descrição da estrutura do trabalho.
O segundo capítulo compreende os conceitos básicos dos Sistemas de Apoio à Decisão, a evolução das ferramentas e as características de cada tecnologia envolvida.
O terceiro capítulo descreve os conceitos e as características do Data Webhouse, destacando os estudos das metodologias Data Webhouse e o monitoramento de sites, procurando mostrar as dificuldades e a complexidade que se tem ao implantar uma solução para análise dos logs de web sites.
O quarto capítulo expõe o desenvolvimento de um Data Mart para monitorar sites de Grupos de Pesquisa e Desenvolvimento, procurando relacionar os sites de P&D com o uso dessa Tecnologia.
O quinto capítulo apresenta as análises dos resultados obtidos com a implementação descrita no quarto capítulo. E essas análises permitirão sugerir as melhorias, como também
propor um modelo de site que venha ao encontro dos objetivos de um site de Grupo de Pesquisa e Desenvolvimento.
No sexto capítulo, expõem-se as conclusões do trabalho em resposta aos questionamentos da pesquisa e evidenciam-se recomendações a estudos futuros sobre o tema pesquisado.
2 SISTEMAS DE APOIO À DECISÃO
2.1 Considerações Iniciais
Para que se possa compreender melhor as necessidades de novas ferramentas para aprimorar web sites de Grupos de Pesquisa e Desenvolvimento, serão abordados neste capítulo alguns tópicos relacionados aos conceitos básicos e à evolução das ferramentas para sistemas de apoio à decisão na web.
Segundo Power (2002), a concorrência acirrada e a maior exigência de qualidade por parte dos clientes estão forçando as organizações a se modernizarem, a serem mais criativas e mais eficientes na solução dos seus problemas. Para o autor, a tecnologia de informação está trazendo novos produtos e influenciando diretamente nos produtos fornecidos para o desenvolvimento das atividades nas organizações.
O alinhamento dos negócios com os sistemas de informação está sendo fundamental, uma vez que conhecer as tecnologias da informação que se transformam em ferramentas estratégicas é fator preponderante para o sucesso das organizações, pois fornece resultado para reestruturação dos web sites.
Segundo Dalfovo (2000a), entre as tecnologias da informação, uma nova categoria de Sistemas de Apoio à Decisão surgiu, conhecidos por Business Intelligence. Esses sistemas agregam soluções de Data Warehouse, Data Mining e CRM (Customer Relationship
Management), que aborda conceitos de uma tecnologia relacionados a Clientes – Empresas e
o Data Warehouse e Data Mining são tecnologias aos quais oferecem suporte ao monitoramento de iterações na Web.
Dessa forma, é preciso ter em mente que embora as vantagens que diferenciam o comércio eletrônico do comércio tradicional, são os relacionamentos, tornando mais eficiente a relação empresa – cliente, que precisa efetivamente ser utilizada de forma a agregar e dispor dos plenos benefícios que a tecnologia oferece, assim com o uso adequado dessas tecnologias o conceito pode ser ampliado para a relação usuários – fonte responsável pelo site web, uma vez que agora o gestor passa a gerenciar as interações que existem de seu site com os clientes.
2.2 Processos para a Tomada de Decisão
De acordo com Prates (1999), a decisão é uma das atividades que envolvem todos os indivíduos diariamente os quais, muitas vezes, não se dão conta de sua importância. O processo de tomada de decisão se alterou com a disponibilidade crescente de formação e tornou-se mais complexo. Hoje, existem mais fatores que influenciam no processo de tomada de decisão do que antigamente.
Para as empresas, houve uma mudança mais radical ainda nos seus conceitos de administração, porque com o advento da globalização e das Tecnologias de Informações, a competitividade ficou mais acirrada e os clientes mais exigentes. Também o seu processo decisório tornou-se muito mais complexo e o uso de ferramentas computacionais para dar suporte ao processo de tomada de decisão tornou-se indispensável, foi nesse sentido que surgiu a necessidade de se desenvolverem sistemas que proporcionassem o auxílio aos gerentes para que pudessem enfrentar os desafios da atualidade.
2.3 Sistemas de Apoio à Decisão
Sistemas de Apoio à Decisão (SAD) são sistemas baseados em computador, que auxilia o processo decisório, utilizando modelos para resolver problemas não estruturados. Os SADs analisam alternativas, propõem soluções, pesquisam o histórico das decisões tomadas, simula situações etc., participando diretamente do processo decisório (SPRAGUE, 1991).
Os Sistemas de Apoio à Decisão procuram ser mais flexíveis do que os Sistemas de Informações Gerenciais (SIG) e têm o potencial de auxiliar os tomadores de decisões em uma grande variedade de situações. Com o uso de Sistemas de Apoio à Decisão, os gestores poderão obter informações confiáveis, com valor agregado e disponível no tempo certo, agilizando o planejamento e a tomada de decisão nas empresas.
À medida que a informática vem evoluindo dentro das empresas (os sistemas operacionais já estão implantados, já existem sistemas que fornecem informações gerenciais, etc.), a tendência natural é que aumente a demanda por Sistema de Apoio à Decisão. O grande incentivo para a utilização de SAD se dará quando incorporarem a ele algumas importantes ferramentas computacionais utilizadas para o gerenciamento dos negócios: o Data
Segundo Rodrigues (1996), o fato de surgir uma nova geração de Sistemas de Apoio à Decisão não descarta e nem substitui os sistemas antigos e tradicionais. Muitas vezes, os novos sistemas trabalham em conjunto com os antigos para a solução dos problemas, para o gerenciamento dos negócios e para a elaboração de novas estratégias. Por exemplo, as informações obtidas por meio do OLAP ou do Data Mining podem alimentar um Sistema Multicritério de Apoio à Decisão ou qualquer outro sistema que trabalhe na linha de pesquisa operacional ou otimização. Os vários sistemas que foram desenvolvidos para realizar uma tarefa específica, continuarão a ter o seu lugar garantido e até mesmo continuarão a ser confeccionados e aperfeiçoados, principalmente os sistemas utilizados para otimização, como a maximização do uso dos recursos disponíveis.
Após uma melhor compreensão da evolução e dos fatores de influência do processo decisório, dos conceitos básicos, da evolução e das linhas de pesquisa dos Sistemas de Apoio à Decisão, é possível uma melhor assimilação em relação ao que será abordado sobre as três novas ferramentas de suporte à decisão. O próximo tópico abordará a primeira destas ferramentas: o Data Warehouse (PEREIRA e FONSECA, 1997).
2.3.1 Data Warehouse
Segundo Prates (1999), com a rápida evolução da tecnologia de informação e a disseminação do uso de computadores ligados entre si, praticamente, todas as organizações de médio e grande porte fazem algum uso de sistemas informatizados para realizar seus processos mais importantes. Com o passar do tempo, acaba-se gerando uma quantidade enorme de dados relacionados aos negócios, mas desintegrados entre si. Esses dados armazenados em uma ou mais plataformas funcionam como um recurso, mas, de modo geral, raramente servem como subsídio estratégico no seu estado original para o processo decisório.
Segundo Freitas et al., (2002a), os sistemas tradicionais de informática não são projetados para gerar e armazenar as informações estratégicas. Suas bases são formadas de dados cruciais à operação da organização. Em termos de decisão, os dados, de certa forma, são vazios e sem valor transparente para o processo gerencial das organizações. Essas decisões, normalmente, são tomadas com base na experiência dos administradores, podendo, também, ser fundamentadas em fatos históricos que foram armazenados pelos diversos sistemas de informação utilizados pelas organizações.
Para Domenico (2001), um Data Warehouse é projetado de forma que os dados possam ser armazenados e acessados de maneira a não ficarem restritos a Quadros e linhas relacionais. Como o DW está separado dos bancos de dados operacionais, as consultas dos usuários não impactam nesses sistemas, que desse modo ficam resguardados de alterações indevidas ou de perdas de dados. O DW contempla a base e os recursos necessários para um Sistema de Apoio à Decisão (SAD) e, principalmente, sistemas de Informações Executivas eficientes, fornecendo dados integrados e históricos que atendem desde a alta direção, que necessita de informações mais resumidas, até as gerências de baixo nível, em que os dados detalhados ajudam na observação de aspectos mais táticos da empresa. Nele, os executivos podem obter de modo imediato respostas para perguntas que normalmente não as possuem em seus sistemas operacionais e, com isso, tomarem decisões com base em fatos, e não apenas em intuições ou especulações.
Assim, um DW provê um banco de dados especializado, que gerencia o fluxo de informações baseando-se em banco de dados corporativos e fontes de dados externas à organização.
2.3.1.1 Conceitos Básicos
Para Inmon (1997), Data Warehouse é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para oferecer suporte ao processo gerencial de tomada de decisão.
Conforme Kondratiuk (1998), Data Warehouse é um processo em andamento aglutinador de dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender à necessidade de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte à decisão.
Barquini (1996) define Data Warehouse como uma coleção de técnicas e tecnologias que juntas disponibilizam um enfoque pragmático e sistemático para tratar o problema do usuário final ao acessar informações que se encontram distribuídas em vários sistemas da organização.
Segundo Kimball et al., (1998b), Data Warehouse é uma fonte de dados consultáveis da organização, formado pela união de todos os Data Marts correspondentes.
2.3.1.2 Elementos Básicos de um DW
Desde o seu surgimento, no início dos anos 90, a área de Data Warehouse tem perdido a precisão na definição de seus termos (Kimball, et al.,1998b). O Quadro 1 apresenta os
conceitos dos principais elementos componentes de um Data Warehouse, segundo a visão integrada de (KIMBAL et al., 1998b).
Quadro 1 - Elementos Básicos de um Data Warehouse - Fonte Kimball et al., 1998b
ELEMENTOS BÁSICOS DEFINIÇÃO
Sistemas de Origem “Sistema operacional de registros cuja função é capturar as transações do negócio”. p.14
Área de Estagiamento de dados “Área de armazenamento e conjunto de processos que limpam, transformam, combinam, retiram duplicações, retêm, arquivam e preparam os dados fonte para uso no data warehouse” p.16 Servidor
Servidor de Apresentações “Máquina física de destino onde estão armazenados e organizados os dados do data warehouse para consultas diretas dos usuários finais, dos geradores de relatórios e de outras aplicações” p.16. Modelo Dimensional “Disciplina específica para modelagem de dados que é uma
alternativa ao modelo de entidades-relacionamento (model E/R)”p.17.
Processos do Negócio “Conjunto coerente das atividades do negócio da organização, que fazem sentido aos usuários de negócio do data warehouse” p. 18.
Data Mart “Um subconjunto lógico do data warehouse completo” p.18
Armazenamento de Dados
Operacionais (ODS) Ponto de integração com os sistemas operacionais da organização. Criados para integrar, em nível operacional, os diferentes sistemas da organização, sem, contudo, incluir consultas gerenciais, que ficam no nível do DW. p. 19-20.
OLAP “Atividade genérica de consultar e apresentar dados textuais ou
numéricos de data warehouses, bem como uma forma dimensional especifica de consultar e apresentar que é exemplificado por um número de ‘vendedores OLAP’. Trata-se de uma tecnologia não-relacional e geralmente baseada em cubos multidimensionais de dados.” p.21
ROLAP (OLAP Relacional) “Conjunto de interfaces ao usuário e de aplicações que dão características multidimensional a bancos de dados relacionais”. p. 21
MOLAP (OLAP Multidimensional) “Conjunto de interfaces ao usuário, aplicações com base de dados proprietária que são fortemente multidimensionais” p. 21
Aplicação para Usuário Final “Coleção de ferramentas que consultam, analisam e apresentam informações desejadas com vistas às necessidades do negócio da organização” p. 21
Ferramenta de Controle de Acesso aos
Dados para Usuário Final “Cliente do Data Warehouse (....). Uma ferramenta de controle de acesso aos dados para o usuário final. Pode ser simples como sistemas de consultas ad hoc ou complexas e sofisticadas com mineração de dados ou aplicações de modelagem”. p. 21 Ferramentas de Consultas ad hoc “Tipo específico de ferramenta de acesso dos dados que induz o
usuário final a formar suas próprias consultas, manipulando diretamente Quadros relacionais e suas funções”. p. 22
Aplicações de Modelagem “Tipo sofisticado de ferramenta cliente do Data Warehouse com capacidades analíticas de transformar ou compreender as saídas do Data Warehouse” (e.g. Data Mining, modelos de previsão,modelos de comportamento, etc) p. 22
Metadados “Toda informação no ambiente do Data Warehouse que não é dado
O trabalho de Kimball et al., (1998b) permite, apresentar uma visão geral dos elementos básicos de um Data Warehouse. A construção dessa tecnologia, em organizações universitárias, deve, também, refletir abordagens e soluções para cada um desses elementos.
Para Machado (2000), os sistemas de origem são formados pelos sistemas legados, geralmente, voltados para áreas como: pessoal, financeiro, estoques, etc. Devido à sua natureza operacional, tais sistemas são inadequados à formação de relatórios temporais e de difícil utilização pelos dirigentes das mais diversas instituições.
Na construção de elementos como área de estagiamento de dados, servidor de apresentações e armazenamento de dados operacionais (ODS), o projetista deve estar atento para a infra-estrutura disponível e, principalmente, para a arquitetura de informações da organização. Em instituições de ensino superior, a multiplicidade de plataformas, distanciamento físico das bases e heterogeneidade das aplicações acentuam a necessidade de cuidado redobrado na definição desses elementos. Um processo de negócio da organização envolve um conjunto de recursos de informações úteis e com um tema coerente com as atividades da instituição. Cada processo de negócio pode requerer um ou mais Data Mart. Em organizações universitárias, os processos de negócio podem ser identificados nas atividades meio e fim da instituição. De fato, dependendo da disponibilidade de seus sistemas legados, uma Instituição de Ensino Superior (IES) pode construir um Data Marts para suas áreas de compra, recursos humanos e gestão financeira ou para avaliação acadêmica, fluxo de egressos ou perfil pedagógico de seu quadro docente. Essas decisões também terão impacto na escolha dos demais elementos do Data Warehouse, em especial a opção pelo modelo OLAP, e das aplicações voltadas ao usuário final.
2.3.1.3 Modelo Estrela para o Data Warehouse
Conforme Valente (1996), modelos de bases de dados relacionais apresentam tabelas com relacionamentos complexos e com múltiplas uniões circulares entre dois pontos do modelo. Para a maioria dos usuários que utiliza ferramentas para compor suas consultas, é necessário que o acesso à base de dados seja simples o suficiente para facilitar o sucesso nas operações. Para acomodar as necessidades de todos os usuários e facilitar a atualização do
DW o projetista deve criar um modelo, cujo usuário final possa entendê-lo, facilmente, em
Segundo Freitas et al., (2002a), o principal tipo de modelo dimensional é o chamado modelo Star (Estrela), no qual existe uma tabela dominante no centro, chamada de tabela de fatos, com múltiplas junções, conectando-a a outras tabelas, sendo essas chamadas tabelas de dimensão. Cada uma das tabelas secundárias tem apenas uma junção com a tabela central. O modelo Estrela, representado na Figura 3, tem a vantagem de ser simples e intuitivo, e também por utilizar enfoques de indexação e união de tabelas. Para Kimball (1996b), o modelo entidade-relacionamento não é o mais adequado para a análise dos dados no ambiente gerencial. O modelo dimensional é o mais apropriado para esse ambiente. A Figura 3, a seguir apresenta o modelo dimensional schema estrela.
C h a v e D im e n s ã o 1 C h a v e D im e n s ã o 2 C h a v e D im e n s ã o 3 C h a v e D im e n s ã o N T a b e la d e F a to s C h a v e D im e n s ã o 3 F a to 1 F a to 2 F a to 3 F a to n T a b e la D im e n s ã o 3 C h a v e D im e n s ã o N T a b e la D im e n s ã o N A trib u to (s ) d im e n s ã o 1 N ív e l d e a g re g a ç ã o 1 .1 N ív e l d e a g re g a ç ã o 1 .2 N ív e l d e a g re g a ç ã o 1 .n C h a v e D im e n s ã o 1 T a b e la D im e n s ã o 1 C h a v e D im e n s ã o 2 T a b e la D im e n s ã o 2 A trib u to (s ) d im e n s ã o 2 N ív e l d e a g re g a ç ã o 2 .1 N ív e l d e a g re g a ç ã o 2 .2 N ív e l d e a g re g a ç ã o 2 .n A trib u to (s ) d im e n s ã o 3 N ív e l d e a g re g a ç ã o 3 .1 N ív e l d e a g re g a ç ã o 3 .2 N ív e l d e a g re g a ç ã o 3 .n A trib u to (s ) d im e n s ã o N N ív e l d e a g re g a ç ã o n .1 N ív e l d e a g re g a ç ã o n .2 N ív e l d e a g re g a ç ã o n .n
FIGURA 3– MODELO SCHEMA ESTRELA - FONTE FREITAS ET AL.,(2002)
Segundo Domenico (2001), a tabela de fatos contém milhares (ou milhões) de valores e medidas do negócio da empresa, como transações de vendas ou compras. Cada uma dessas medidas é tomada segundo a interseção de todas as dimensões. Uma característica importante da tabela de fatos é a esparsidade, ou seja, se não existe um cruzamento para alguns valores das dimensões, por isso a tabela de fatos não armazena zeros.
As tabelas de dimensão armazenam as descrições textuais das dimensões do negócio. Cada uma dessas descrições textuais permite definir um componente da respectiva dimensão. Uma das principais funções dos atributos de tabelas de dimensão é servir como fonte para restrições em uma consulta ou como cabeçalhos de linha no conjunto de respostas do usuário. Tabelas de dimensões tendem a utilizar tipos de caracteres em vez de numéricos, de forma que suas linhas são muito mais longas, mas em pouca quantidade, ocupando pequena porcentagem de espaço em disco. As tabelas de fatos podem utilizar até 95% da área destinada ao Data Warehouse (BARQUINI, 1996).
Um fator importante relacionado à tabela de fatos é que, como representa os relacionamentos muitos-para-muitos entre as tabelas de dimensão, esta tem como chave primária uma chave composta de todas as chaves estrangeiras das tabelas de dimensão (KIMBALL, 1996b).
Para um bom desempenho do modelo Estrela, é necessário que os projetistas saibam antecipar, na modelagem do DW, as consultas mais freqüentes a serem realizadas pelos usuários.
Segundo Kimball (1996b), o modelo dimensional apresenta várias vantagens no que diz respeito à sua utilização para o DW, dentre essas estão:
arquitetura padrão e previsível; • • • • • • • • •
dimensões do modelo são equivalentes, ou seja, podem ser vistas como pontos simétricos para a Quadro de fatos;
modelo dimensional é flexível, pois permite inclusão de novos elementos de dados, bem como mudanças ocorridas no projeto;
facilidade na alteração das Quadros de fatos e dimensão;
todas as aplicações existentes anteriormente à mudança permanecem rodando sem problemas.
2.3.1.4 As Ferramentas Utilizadas em um Data Warehouse
Segundo Figueiredo (1998), existem várias ferramentas utilizadas em um Data
Warehouse:
ferramenta para Armazenamento: são os banco de dados, considerados o coração do Data Warehouse e parte imprescindível do projeto;
ferramenta para a extração de dados: busca na base de dados operacionais os dados que serão armazenados no Data Warehouse;
ferramenta para a transformação de dados: ajusta os dados para o formato do Data
Warehouse. Esse formato auxilia as futuras pesquisas;
ferramenta para a limpeza de dados: efetua os ajustes necessários nos dados, fazendo correções, desmembramento e fusões de dados, quando necessário, visando melhorá-los para facilitar as futuras pesquisas;
repositórios de metadados: estão intimamente relacionados às ferramentas de extração. Metadados são as definições dos dados que permitem saber a origem da informação, bem como as vezes em que ela foi alterada. Sua função é manter a consistência dos dados;
• • • • • • • •
transferência de dados e replicação: pode ser considerado um subconjunto das ferramentas de extração. Não faz nenhum tipo de processamento e transformação, apenas transfere um dado de um lugar "A" para "B". Geralmente, é utilizado para facilitar e dar uma resposta mais rápida às consultas ou análises, movendo os dados para um lugar apropriado e fazendo o que for necessário para agilizar o serviço solicitado;
gerenciamento e administração: é a típica ferramenta que só faz sentido depois que o Data Warehouse está construído. Monitora o dia-a-dia, como a performance e segurança do sistema;
query ou ferramentas para gerenciamento de consultas: fazem consultas ou geram
relatórios retirando os dados do Data Warehouse, resumindo-os e apresentando-os em um formato apropriado;
ferramentas para gerenciamento de relatórios: são semelhantes às ferramentas do item anterior, porém elas estão voltadas para a geração de relatórios mais complexos contendo, por exemplo, relatórios sintéticos e analíticos em conjunto, gráficos e outros tipos de visualização dos dados;
ferramentas de OLAP: é a parte mais visível do Data Warehouse porque é por meio dessas ferramentas que se procede à análise dos dados. Auxiliam os gerentes a sintetizarem as informações sobre a empresa por meio de comparações, visões personalizadas, análise histórica e projeção de dados;
Data Mining para Nimer e Spandri (1998), é uma ferramenta utilizada para
descobrir novas correlações, padrões e tendências entre as informações de uma empresa, por meio da análise de grandes quantidades de dados armazenados em
Data Warehouse usando técnicas de reconhecimento de padrões, estatísticas e
matemáticas;
simulação: projetam cenários respondendo a perguntas do tipo "e se", por exemplo: “e se os juros aumentarem, qual será o comportamento de minhas vendas”.
2.3.2 Mineração de Dados
Segundo Nimer e Spandri (1998), os avanços da chamada “era da informação” têm colocado como desafio à implementação de técnicas capazes de mensurar e descobrir padrões relevantes na crescente massa de dados, resultante, sobretudo, do aumento da complexidade das tarefas operacionais e decisórias. Essa explosão nos dados pode determinar a sobrevivência ou não de uma organização, desde que esta consiga extrair informações úteis à tomada de decisão e à melhoria nos processos operacionais.
Essa visão da análise de dados baseia-se em duas novas tendências: na avalanche de informações e no questionamento sobre esses dados (Hair et al., 1998). Nesse enfoque, uma nova perspectiva é apresentada, na qual a análise de dados é vista com um caráter mais exploratório.
De maneira mais abrangente, encontra-se a Knowledge Discovery in Database (KDD), sendo esta a designação para o processo que envolve a seleção, o pré-processamento e a transformação dos dados, bem como a aplicação de algoritmos, a interpretação dos resultados e a geração de conhecimento, como ilustrado na Figura 4.
Segundo Fayyad (1996a), no interior desse processo encontra-se o Data Mining, ou
Mineração de Dados (MD), que é uma etapa no processo de KDD, responsável pela aplicação dos algoritmos, cuja finalidade é a identificação de padrões Ej sobre uma base de dados F a geração de um conjunto de regras descritivas do comportamento de uma base de dados.
Data Set Pré Processamento TransformadosDados Padrões Conhecimento Base deDados Interpretação Avaliação Data Mining Transformação Pré Processamento Seleção
FIGURA 4- PROCESSO DE KDD - FONTE ADAPTADO DE FAYYAD ET AL, (1996B)
A proposta de MD é proporcionar uma perspectiva nova ou, mais precisamente, uma evolução nos processos de análise, permitindo a descoberta de novos padrões ou a validação de padrões conhecidos. Tais análises são geralmente efetuadas em grandes quantidades de dados.
Por outro lado, para Harrison (1998), MD é a exploração e análise, por meios automáticos ou semi-automáticos, de grandes quantidades de dados, cuja finalidade é a descoberta de modelos e regras significativas.
Na visão de Berry e Linoff (1997), existem duas metas primárias para um sistema de mineração de dados:
previsão: envolve a utilização de algumas variáveis (atributos da base de dados) para prever valores desconhecidos ou futuros de outras variáveis de interesse; • • • • • •
descrição: procura por padrões que descrevam os dados e que sejam interpretáveis. Levando-se em consideração essas metas, pode-se observar a real importância desse processo dentro de uma organização, onde tais metas devem prever algumas fases. Harrison (1998) identifica quatro fases:
identificar problemas e áreas em que a análise de dados pode fornecer valor;
transformar dados em informações acionáveis, usando técnicas de mineração de dados;
agir sobre a informação e, com base nela, melhorar os processos que regem o relacionamento da empresa com seus consumidores e fornecedores;
medir os resultados dos esforços para fornecer idéias sobre como explorar os dados. Essa fase proporciona o feedback para o aumento constante na qualidade dos resultados.
O processo de descoberta de conhecimento envolve algumas etapas, entre elas a definição do domínio da aplicação, a limpeza e o pré-processamento dos dados, a representação dos dados, a mineração de dados e a interpretação dos resultados.
Primeiramente, deve-se definir o problema e as metas desejadas pelo usuário. Nesta fase, devem preocupar-se com critérios de desempenho no domínio da aplicação e a interoperabilidade com o usuário final.
Na etapa seguinte, são realizados o pré-processamento e a limpeza dos dados pela remoção de ruídos ou dados inválidos que atrapalhem o processamento, bem como a adoção de estratégias para manusear campos que apresentem dados perdidos.
Em seguida, a representação dos dados procura modelá-los de maneira que eles possam ser utilizados por algum algoritmo de extração de conhecimento. Como exemplo,
pode-se citar a transformação de valores lingüísticos em valores numéricos dentro de um domínio ou a transformação de valores contínuos para discretos.
A etapa de mineração de dados propriamente dita constitui na busca, em uma base de dados, por informações relevantes, de difícil identificação. De acordo com Fayyad (1996a), a busca é realizada em três etapas: primeiramente, decide-se se o processo será de classificação, agrupamento ou sumarização; em seguida, escolhe-se um dos métodos a serem utilizados na busca por padrões; e, por último, efetua-se o processo de busca ou a mineração dos dados. Uma grande variedade de técnicas analíticas tem sido utilizada em mineração de dados. Essas técnicas vão desde as tradicionais estatísticas multivariadas, como análise de agrupamentos e regressões, até modelos mais atuais de aprendizagem, como redes neurais, lógica difusa e algoritmos genéticos. O Quadro 2 demonstra as principais funções da mineração de dados, algoritmos utilizados e exemplos de aplicações. A escolha de uma ou de outra função depende essencialmente do negócio, da aplicação e da quantidade e qualidade dos dados disponíveis.
Quadro 2 - Funções da Mineração de Dados (Bigus, 1996)
Funções Algoritmos Aplicações
Associação Estatística, teoria dos conjuntos Análise de mercados Classificação Árvores de decisão, redes neurais,
algoritmos genéticos
Controle de qualidade, avaliação de riscos
Agrupamento Redes neurais, estatística Segmentação de mercado
Modelagem Regressão linear e não linear,
redes neurais.
Ranking de clientes, controle de
processos, modelos de preços Previsão de séries
temporais
Estatística, redes neurais Previsão de vendas, controle de inventário
Padrões Seqüenciais Estatística, teoria dos conjuntos Análise de mercado sobre o tempo
Por último, a etapa de interpretação dos dados verifica a validação do conhecimento extraído da base de dados, apresentando esse conhecimento de maneira mais simplificada utilizando gráficos, Quadros e regras. O conhecimento extraído pode ser validado por meio de métodos estatísticos ou pelo parecer de um especialista.
2.3.3 Customer Relationship Management (CRM)
Este tópico apresenta de forma bem clara os mais diversos conceitos de Customer
a forma da evolução dos tradicionais Call Centers para o Contact Center. Essa seção vai explorar a forma e a maneira com que diversos autores abordam o assunto.
Segundo Makenna (1991), a idéia básica do CRM, consiste em fazer com que, baseando-se em análises das informações geradas nos contatos, as transações entre o cliente e a empresa se transformem em relacionamentos duradouros, tornando-o fiel a determinado produto e serviço. Nesse processo, Mcclain (2000) diz que são utilizados todos os conhecimentos adquiridos em qualquer contato com o cliente. É uma forma de análise do comportamento dos clientes e, considerando as lições tiradas dessa análise, a maneira de influenciar o seu comportamento, antecipam-se as suas necessidades; ou ainda, um conjunto de políticas práticas e infra-estrutura tecnológica, visando a reter o cliente por meio da excelência no atendimento. Dessa forma, o CRM é um processo contínuo, complexo, que tem começo, mas não tem fim, ou seja, o CRM é uma estratégia para se aproximar do cliente; um marketing específico para esse relacionamento.
Bretzke (2001a) destaca que o marketing em tempo real e as ações de decisões referentes aos clientes atuais que precisam estar fortemente alicerçadas em informações que agilizem e otimizem todo o processo de vendas e de atendimento. As informações de relacionamento precisam ser compiladas ou recuperadas no momento em que o contato entre a empresa e o cliente está ocorrendo, para que se possa conhecer e reconhecer o cliente e, conseqüentemente, direcionar produtos, serviços e ofertas completamente ajustadas a ele, que, por conseguinte, estará disposto a estabelecer a preferência pela marca, repetir a compra e inclusive pagar mais para obter o valor agregado que lhe é oferecido.
Para Stone (2001), CRM é um dos métodos mais sofisticados e eficientes que transformam a maneira como as empresas podem aumentar a rentabilidade dos clientes atuais. Além disso, o uso da Internet como canal de relacionamento de vendas é amplamente facilitado e viabilizado por esse novo método, que, embora seja praticado por poucas empresas, tem mostrado resultados largamente compensadores para os clientes mais leais, como a maior satisfação com a marca e um nível de proximidade nunca antes experimentado.
Nesse contexto, o Call Center transforma-se num Contact Center gerenciando todo e qualquer contato do cliente com a empresa, por meio da Internet, do fax ou do telefone, respondendo em tempo real a qualquer solicitação ou pedido de compras.
Customer Relationship Management ou Gerenciamento do Relacionamento com o Cliente, como o próprio nome indica, é a integração entre o Marketing e a Tecnologia da Informação, cujo objetivo é prover a empresa de meios mais eficazes e integrados para atender, reconhecer e cuidar do cliente, em tempo real, e transformar seus dados em informações que, disseminadas pela organização, permitem ao cliente ser “conhecido” e cuidado por todos e não só pelas operadoras do Call Center (LIEB, 1999).
Segundo Bretzke (2000), o CRM é a combinação da filosofia do Marketing de Relacionamento, que ensina a importância de cultivar os clientes e de estabelecer com ele um relacionamento estável e duradouro por meio do uso intensivo da informação, com a Tecnologia da Informação, que provê os recursos de informática e telecomunicações integrados de uma forma singular que transcende as possibilidades dos Call Centers atuais. O marketing personalizado e o atendimento diferenciado destacarão a empresa das demais concorrentes. Essa estratégia permite à empresa realizar previsões de vendas, gerenciamento de clientes e de fornecedores, buscando sempre o seu cliente fiel e lucrativo.
Com base nessas definições, é possível que o conceito fundamental de CRM esteja bem difundido no mercado, ou seja, o CRM se tornará importante nesse novo ambiente de negócios não somente como solução, mas também como uma metodologia fundamentada em seus conceitos próprios.
Mais do que isso, o CRM terá um papel de unificação de um conjunto de áreas baseadas em tecnologia, compondo uma nova família, uma nova geração, focada no atendimento aos melhores clientes de uma organização, trazendo-os novamente em busca dos bens e serviços oferecidos.
Essa integração singular pressupõe predisposição da empresa na manutenção de um relacionamento suportado por processos operacionais mais ágeis e a seleção de tecnologia adequada, o que requer metodologia com experiência comprovada nesse tipo de solução. Isso significa que essa interação é uma grande virada no conceito de atendimento ao cliente, porque extrapola a prática existente em qualidade e a possibilidade de aumentar a fidelidade do cliente, e, conseqüentemente, a rentabilidade da empresa.
Segundo Rapp (1996) e Bretzke (2001a), Argumentam que os recursos humanos
precisam ser treinados e capacitados, em todos os níveis, não só para melhorar a qualidade do atendimento, mas também para usar adequadamente as informações transformadoras de
