Aware - sistema de otimização de processos comerciais para a del grande informática

AWARE

_{​ ​-​ ​SISTEMA​ ​DE​ ​OTIMIZAÇÃO​ ​DE​ ​PROCESSOS}

COMERCIAIS

_{​ ​PARA​ ​A​ ​DEL​ ​GRANDE​ ​INFORMÁTICA}

Roberto_{​ ​A.​ ​Bento¹;​ ​Gabriel​ ​Paes²}

¹_{​ ​Universidade​ ​do​ ​Sul​ ​de​ ​Santa​ ​Catarina,​ ​Tubarão,​ ​Brasil} ²_{​ ​Universidade​ ​do​ ​Sul​ ​de​ ​Santa​ ​Catarina,​ ​Tubarão,​ ​Brasil} robertoabreubento@gmail.com,_{​ ​gabrielpaes99@gmail.com} Abstract

_​

Resumo

_​

1._{​ ​Introdução}

Atualmente a necessidade de processar uma grande massa de dados é crescente. As empresas estão preocupadas em armazenar dados, porém, em sua grande parte, não há uma organização na necessidade de utilizá-las com o intuito de reduzir custos, otimizar_{​ ​a​ ​produção​ ​e​ ​elevar​ ​os​ ​lucros.}

Entretanto, tecnologias relacionadas ao tratamento destes dados são de uso crescente no mercado. _{​Com isso, é essencial para uma empresa moldar suas estruturas} para utilizar dados retroativos, estes armazenados em sua base de dados. No caso da empresa analisada, Del Grande Informática¹, não há um aproveitamento dos dados

relacionados aos seus clientes, tais como histórico de compras e atendimentos no setor de_{​ ​suporte,​ ​por​ ​exemplo.}

Com isso, não é possível estabelecer um cenário de otimização do atendimento, pois toda nova solicitação é uma “surpresa”. Não há um estudo dos perfis de clientes (características dos clientes que mais compram, por exemplo) e suas reais necessidades (muitas vezes o que é solicitado pelo cliente não vai satisfazer suas necessidades) ou a utilização, de forma inteligente, dos dados obtidos em transações anteriores. É essencial para uma determinada empresa obter destaque em um mercado de trabalho cada vez mais_{​ ​disputado.}

Tem-se a oportunidade de utilizar dados históricos para entender o comportamento de novos clientes antes mesmo de conhecê-los, podendo assim direcionar seus procedimentos visando a otimização das vendas. Através disso, é possível emoldurar perfis de clientes estabelecer comportamentos de acordo com variáveis em comum. Estes modelos de análise são chamados _{​Clusterização ​e ​Regras} de_{​ ​Associação.}

O fato da empresa registrar as informações relacionadas às transações dos clientes e facilitar a obtenção desses dados, torna a complexibilidade da implementação menor. Além disso, a presença de uma massa considerável de dados facilita a implementação da solução. Com isso, tem-se a possibilidade de otimizar os processos relacionados à empresa_{​ ​através​ ​da​ ​análise​ ​de​ ​dados​ ​já​ ​existentes.}

No caso da empresa analisada, a mesma possui uma base de aproximadamente três mil clientes, com todos os dados relacionados à transações, compras, solicitações, assim como os atendimentos disponibilizados pela empresa (atendimentos de suporte, instalação, entre outros). Através da implementação da ferramenta, foi possível obter uma análise dos perfis dos clientes da empresa, podendo assim estabelecer tratamentos personalizados através das reais necessidades dos clientes, otimizando assim os processos da empresa. _{​A intenção é que, através desta ferramenta, os processos do setor} comercial fiquem otimizados, usando ferramentas inteligentes, visando assim o aumento_{​ ​da​ ​lucratividade​ ​e​ ​satisfação​ ​dos​ ​clientes.}

Estruturamos o artigo da seguinte forma: a segunda seção trata da contextualização onde de uma forma sucinta tratamos das técnicas e a forma como foram utilizadas em nossa aplicação. A terceira seção menciona trabalhos existentes similares a nossa aplicação. A quarta seção aborda as ferramentas utilizadas no decorrer do desenvolvimento e o método computacional, abordando também detalhes sobre a solução proposta. A quinta seção expõe os resultados obtidos, assim como as discussões relacionadas à eles. Encerrando temos a sexta seção, que evidencia as conclusões obtidas_{​ ​relacionadas​ ​ao​ ​desenvolvimento​ ​do​ ​sistema​ ​e​ ​melhorias​ ​para​ ​futuros​ ​trabalhos.}

2._{​ ​Contextualização}

Os resultados demonstrados através do trabalho baseiam-se em dois modelos de algoritmo. Enquanto um é responsável pela divisão dos clientes em grupos, o outro corresponde a geração de regras de associação com base nas informações dos clientes, ou seja, métricas que definem o comportamento dos mesmos frente aos serviços disponibilizados_{​ ​pela​ ​empresa.}

Vários modelos de redes neurais, ou seja, métodos alternativos para predição, classificação ou aglomeração têm sido pesquisados nos últimos 60 anos. Após análise das opções disponíveis, chegou-se em duas possíveis alternativas: O Algoritmo de Kohonen e o Algoritmo K-means. Porém, após comparação de ambas com a necessidade presente no protótipo, percebeu-se que, de acordo com Marques (2017), no Algoritmo K-means é obrigatória a configuração da quantidade de _{​clusters antes da} execução do algoritmo, ao contrário do Algoritmo de Kohonen, onde é configurado apenas a quantidade máxima. Como o protótipo não almeja fixar a quantidade de

clusters_{​,​ ​visando​ ​ser​ ​uma​ ​solução​ ​mais​ ​flexível,​ ​foi​ ​escolhido​ ​o​ ​Algoritmo​ ​de​ ​Kohonen.}

Desenvolvido por Teuvo Kohonen em 1982 (MARQUES, 2017), o algoritmo de Kohonen é um método relativamente simples e tem a capacidade de organizar dimensionalmente dados complexos em grupos (_{​clusters​), de acordo com suas relações.} Para realizar a aplicação do algoritmo é necessário adotar uma métrica para verificar a menor distância de cada item para os _{​clusters​. No caso do trabalho utilizou-se a} distância_{​ ​euclidiana,​ ​conforme​ ​Equação​ ​1:}

Equação​ ​1​ ​-​ ​Distância​ ​euclidiana.​ ​Métrica​ ​utilizada​ ​para​ ​calcular​ ​a​ ​menor​ ​distância​ ​do  item​ ​para​ ​cada​ ​grupo/clusters​ ​(VARELA,​ ​2016). 

Onde:

● “p”_{​ ​é​ ​o​ ​número​ ​de​ ​dimensões;}

● “j”_{​ ​trata-se​ ​de​ ​um​ ​contador​ ​de​ ​1​ ​até​ ​o​ ​número​ ​de​ ​dimensões​ ​“p”;} ● “Xaj”_{​ ​tratam​ ​o​ ​valor​ ​da​ ​variável​ ​para​ ​o​ ​indivíduo​ ​“a”;}

● _{​ ​“Xbj”​ ​do​ ​valor​ ​da​ ​variável​ ​para​ ​o​ ​indivíduo​ ​“b”.}

No algoritmo, os neurônios artificiais são os elementos básicos do processamento, os quais recebem vetores de entrada para o treinamento, no qual cada vetor é ponderado pelos pesos da conexão de entrada correspondente e possui uma saída definida por uma função de ativação geralmente não linear (MELO, 2005). Inicialmente os valores dos pesos são definidos de forma aleatória. Após a definição inicial, os seus valores vão sendo alterados, ou seja, se ajustando durante o processo de treinamento, isso corresponde a forma como a rede aprende e demonstra seu conhecimento, percebe-se que o conhecimento fica armazenado nos pesos das conexões e não nos neurônios. Na Figura 1, tem-se “X” representando os vetores iniciais, ou seja, os neurônios de entrada, enquanto_{​ ​“W”​ ​são​ ​os​ ​pesos​ ​utilizados​ ​“O”​ ​representa​ ​os​ ​vetores​ ​de​ ​saída.}

Figura​ ​1​ ​-​ ​Estrutura​ ​topológica​ ​do​ ​Algoritmo​ ​de​ ​Kohonen.(Fonte:​ ​Autores). 

Como consequência do processo, tem-se os grupos de clientes formados, cada qual_{​ ​com​ ​um​ ​conjunto​ ​de​ ​características​ ​que​ ​o​ ​identificam.}

2.2_{​ ​Algoritmo​ ​Apriori​ ​(Regras​ ​de​ ​Associação)}

O algoritmo Apriori foi o algoritmo escolhido para a geração das regras de associação em nossa aplicação, pois trata-se de um algoritmo simples e muito eficiente nessa tarefa (Agrawal, 1993). Funciona identificando os conjuntos frequentes e estende-os a outros conjuntos maiores. Utiliza uma abordagem de busca em profundidade,_{​ ​decompondo​ ​o​ ​problema​ ​em​ ​duas​ ​fases​ ​principais.​ ​São​ ​elas:}

● Encontrar conjuntos de itens que tenham ocorrência acima de um determinado suporte,_{​ ​com​ ​isso​ ​obtém-se​ ​os​ ​itens​ ​chamados​ ​de​ ​conjuntos​ ​frequentes;}

● Geração das regras de associação desses conjuntos, respeitando o nível de confiança_{​ ​que​ ​deve​ ​ser​ ​igual​ ​ou​ ​superior​ ​ao​ ​indicado.}

Suporte: trata-se da frequência com que os itens ocorrem, relativamente a sua totalidade_{​ ​(equação​ ​3).}

Equação​ ​3​ ​-​ ​Equação​ ​para​ ​obtenção​ ​do​ ​suporte​ ​(Fonte:​ ​Autores). 

O numerador se refere ao número de transações em que X e Y ocorrem juntamente e o denominador o total de transações. Exemplo: De todos os clientes da base de dados (T), quantos realizaram um atendimento de suporte no último mês (X) ou agendaram_{​ ​uma​ ​instalação​ ​no​ ​último​ ​trimestre​ ​(Y).}

Equação​ ​4​ ​-​ ​Equação​ ​para​ ​obtenção​ ​da​ ​confiança​ ​(Fonte:​ ​Autores). 

O numerador se refere ao número de vezes que X e Y ocorrem juntos, o denominador ao número de vezes que X ocorre. Exemplo: De todos os clientes que realizaram um atendimento de suporte no último mês (X), quantos também agendaram uma instalação no último trimestre (Y). Quando maior o valor da confiança maior a taxa de_{​ ​sucesso​ ​na​ ​aplicação​ ​de​ ​tal​ ​regra.}

Através destas equações é possível estabelecer uma análise padrão dos clientes, visando assim conhecer melhor seus comportamentos. Tais informações podem se referir a fatos relacionados a produtos (frequência de investimento com o produto X) ou serviços_{​ ​da​ ​própria​ ​empresa​ ​(tendência​ ​de​ ​atendimentos​ ​no​ ​setor​ ​de​ ​suporte).}

Com a utilização de tal técnica é possível encontrar padrões de relacionamento em vários tipos de repositórios de dados (unidimensional, multidimensional). Com frequência regras de associação representam padrões existentes em transações já realizadas.

3._{​ ​Trabalhos​ ​correlatos}

Alguns trabalhos relacionados relatam experiências semelhantes a abordada neste trabalho. Um exemplo é o trabalho de _{​Fontes, Almeida e Silva (2016), que utiliza a} tecnologia Big Data para otimizar a atuação no mercado. O trabalho _{​estuda a} possibilidade das tecnologias relacionadas à Big Data agilizarem os procedimentos de consulta às informações, a fim de otimizar os processos e a atuação no mercado. Em sua conclusão, o trabalho destaca dois casos de sucesso na aplicação de Big Data, um aplicado na otimização de ferramentas de marketing na rede de lojas Renner e outra na evolução_{​ ​dos​ ​cálculos​ ​de​ ​congestionamento​ ​realizados​ ​pela​ ​empresa​ ​MapLink.}

Já em outra abordagem, _{​Heinen (2015) utiliza da mineração de dados como} ferramenta de otimização em empresas do ramo de materiais de construção. Segundo o autor, o trabalho descreve os fundamentos do processo de “descoberta de conhecimento em base de dados” e as principais técnicas da mineração de dados. É avaliada a estrutura do banco de dados de um sistema gerencial de duas empresas do ramo de materiais de construção e são utilizadas as ferramentas WEKA (Waikato Environment for Knowledge Analysis) e Microsoft Analysis Services para a aplicação de algoritmos nos dados selecionados. Ainda segundo o mesmo, foi possível comparar as duas ferramentas, identificar qual empresa teve maior ganho no processo, pontos que podem ser_{​ ​melhorados​ ​no​ ​sistema​ ​de​ ​gestão​ ​e​ ​na​ ​manutenção​ ​dos​ ​dados​ ​armazenados​ ​por​ ​este.}

Em outra abordagem, com o objetivo mais relacionado ao CRM, _{​Marques (2013)} aborda a atuação desta ferramenta e sua importância no setor hoteleiro. Segundo a autora, o artigo t _{​em como principal objetivo analisar e refletir sobre a importância e o} potencial do CRM (Customer Relationship Management) no âmbito do marketing relacional ou _{​one-to-one na hotelaria. No contexto, é apresentado uma reflexão teórica a} partir de um processo qualitativo sobre os modelos existentes, e analisado os seus efeitos_{​ ​em​ ​termos​ ​da​ ​procura​ ​de​ ​uma​ ​fidelização​ ​de​ ​clientes.}

No contexto de marketing de relacionamento, ferramentas desde âmbito são também utilizadas no estudo de consumidores, ou seja, análise de clientes. Com isso, criando uma relação cliente-empresa, é possível aproximar as partes, fomentando a

integração e otimizando os resultados esperados. Um exemplo é o trabalho elaborado por_{​Andrade e Santos (2016). O estudo das mesmas analisou a prática do marketing de} relacionamento com o uso de ferramentas digitais em duas escolas de idiomas de pequeno porte localizadas no ABC Paulista, a fim de observar como os instrumentos virtuais são contribuintes no processo de comunicação, relacionamento e, por fim, fidelização do consumidor final, o aluno. O objetivo do trabalho foi identificar as ferramentas digitais utilizadas, analisar as mais eficientes, bem como o antes e depois do uso das ferramentas. Em sua conclusão, o estudo aponta que as escolas de pequeno porte averiguadas compreendem a importância do relacionamento continuado com os alunos para haver a fidelização, e reconhecem a eficiência e agilidade na comunicação que_{​ ​as​ ​ferramentas​ ​digitais​ ​proporcionam​ ​para​ ​o​ ​segmento.}

4._{​ ​Materiais​ ​e​ ​métodos} 4.1_{​ ​Ferramentas}

Para realizar o desenvolvimento do software foi utilizada como linguagem de programação PHP, com auxílio da IDE NetBeans, bem como o servidor Apache 2.4.16, além de utilizar a biblioteca de componentes Bootstrap 3. Para o banco de dados foi utilizado o banco de dados relacional MariaDB 10.0.21 (MySQL), padrão no Sistema Operacional usado, além do SQLite 3 para as tabelas temporárias. Os dados utilizados na aplicação foram extraídos de duas bases de dados: CRM (Sistema de controle interno) e Ares (Sistema de controle financeiro interno) que são utilizadas pela Del Grande Informática. Além disso foi utilizado o software WEKA 3.8_{​ ​para​ ​aplicação​ ​do​ ​algoritmo​ ​Apriori​ ​nos​ ​dados​ ​processados.}

Enquanto a base de dados CRM é responsável pelas informações relacionadas às ações do cliente (atendimentos no suporte, contato no setor comercial, atendimento de plantão, etc) o Ares representa as informações financeiras do clientes (produtos adquiridos, contratos estabelecidos, possíveis inadimplências etc). A importação destes dados é feita através do consumo de um Sistema Web (Aware), o qual_{​ ​busca​ ​as​ ​informações​ ​em​ ​tabelas​ ​pré-cadastradas​ ​no​ ​sistema.}

4.2_{​ ​Método​ ​computacional}

4.2.1_{​ ​Knowledge​ ​Discovery​ ​Databases​ ​(KDD)}

Para a resolução utilizou-se o processo _{​Knowledge Discovery in Databases, ou} KDD. Torna-se necessário uma série de passos para um bom processo de KDD (Figura 2).

Figura​ ​2​ ​-​ ​Processo​ ​de​ ​KDD​ ​adaptado​ ​de​ ​Fayyad​ ​et​ ​al.​ ​(1996). 

O_{​ ​desenvolvimento​ ​do​ ​sistema​ ​Aware​ ​foi​ ​guiado​ ​por​ ​cada​ ​etapa​ ​do​ ​processo:}

Seleção

O processo de KDD é iniciado com o estabelecimento de objetivos e metas para sua_{​ ​aplicação,​ ​identificando​ ​quais​ ​conhecimentos​ ​relevantes​ ​devem​ ​ser​ ​tratados.}

As informações dos clientes estão armazenadas em duas bases de dados, totalizando 250 tabelas e 2,6GB de informações. Nesta fase do processo foram analisadas todas informações, a fim de realizar a seleção das informações essenciais, ou seja, os informações relacionadas aos serviços oferecidos pela empresa. Como se trata de_{​ ​um​ ​protótipo,​ ​o​ ​sistema​ ​Aware​ ​se​ ​limitou​ ​aos​ ​seguintes​ ​serviços:}

● Atendimento_{​ ​de​ ​suporte;}

● Abertura_{​ ​de​ ​processos​ ​comerciais;} ● Registros_{​ ​de​ ​atendimento​ ​de​ ​plantão;} ● Pedido_{​ ​de​ ​novos​ ​produtos​ ​ou​ ​contratos;}

● Solicitações_{​ ​de​ ​agendamento​ ​para​ ​instalação​ ​ou​ ​manutenção.}

Pré-processamento

A etapa de limpeza e pré-processamento de dados realiza operações como remover e corrigir dados incorretos ou inconsistentes, coletar informação necessária para modelagem, decidir estratégias para tratar campos perdidos, entre outros. No sistema Aware foi necessário o pré-processamento para adaptar as informações do cliente para um formato aceito pelo sistema. _{​O protótipo do sistema contém trinta tipos} de informações dos clientes, conforme descrito na Tabela 1. Tais dados são relacionados_{​ ​a​ ​tipos​ ​de​ ​atendimentos​ ​prestados​ ​pela​ ​empresa.}

Em cada item são relacionadas as informações sobre o intervalo de tempo desde a última ocorrência, assim como a quantidade de atendimentos em diferentes faixas de tempo (um mês, três meses e um ano). O processamento, tanto da formação dos _​clusters como as regras de associação, foram realizados utilizando esses dados. Além das informações utilizadas pelo protótipo, a Tabela 1 exibe o setor da empresa onde cada item_{​ ​está​ ​relacionado.}

Setor Informação

​ ​​ ​Suporte Quantidade de dias do último RAC (Relatório de Atendimento do Suporte), quantidade abertos por intervalo de data (mês atual, últimos_{​ ​três​ ​meses​ ​e​ ​últimos​ ​doze​ ​meses)​ ​e​ ​em​ ​andamento.}

Comercial Quantidade de dias do último Processo Comercial, quantidade abertos por intervalo de data (mês atual, últimos três meses e últimos_{​ ​doze​ ​meses)​ ​e​ ​em​ ​andamento.}

Suporte Quantidade de Atendimentos de Plantão abertos por intervalo de data (mês atual, últimos três meses e últimos doze meses) e em andamento.

Administrativo Quantidade de dias do último Pedido, quantidade abertos por intervalo de data (mês atual, últimos três meses e últimos doze meses)_{​ ​e​ ​em​ ​andamento.}

Montagem Quantidade de dias da última Ordem de Serviço, quantidade

abertas por intervalo de data (mês atual, últimos três meses e últimos_{​ ​doze​ ​meses)​ ​e​ ​em​ ​andamento.}

Instalação Quantidade de dias da última Instalação Agendada e quantidade abertas por intervalo de data (mês atual, últimos três meses e últimos_{​ ​doze​ ​meses).}

Tabela​ ​1​ ​-​ ​Lista​ ​de​ ​informações​ ​do​ ​sistema​ ​utilizadas​ ​pelo​ ​protótipo​ ​(Fonte:​ ​Autores).  Transformação

Durante o processo de transformação dos dados ocorre a categorização dos itens, onde os dados são convertidos do valor absoluto para um atributo categorizado, que pode ser 1, 2, 3 ou 4. A escolha de qual índice será utilizado para substituir o valor absoluto é realizada através dos limiares definidos para cada informação, ou seja, para cada informação do sistema tem-se o intervalo de valor para os índices 1,2,3 e 4. Exemplo: Para a informação “ _{​Quantidade de dias desde o último processo comercial} aberto”_{​ ​tem-se​ ​os​ ​índices:}

● 1,_{​ ​quando​ ​o​ ​período​ ​for​ ​menor​ ​ou​ ​igual​ ​a​ ​sete​ ​dias;} ● 2,_{​ ​quando​ ​o​ ​período​ ​for​ ​de​ ​oito​ ​a​ ​trinta​ ​dias;} ● 3,_{​ ​quando​ ​o​ ​período​ ​for​ ​de​ ​trinta​ ​a​ ​noventa​ ​dias;} ● 4,_{​ ​quando​ ​o​ ​período​ ​for​ ​maior​ ​que​ ​noventa​ ​dias.}

Por exemplo, para um determinado cliente, o valor desta informação (q _​uantidade de dias desde o último processo comercial aberto) é 75. De acordo com o processo de transformação,_{​ ​o​ ​valor​ ​será​ ​convertido​ ​para​ ​o​ ​índice​ ​3.}

Os intervalos de valores em cada índice são definidos conforme necessidade do usuário do sistema, ou seja, é totalmente customizável. Porém, alerta-se que a alteração

de tais intervalos afeta diretamente no resultado da formação dos _{​clusters​. Devido a} isso,_{​ ​o​ ​sistema​ ​utiliza​ ​informações​ ​pré-preenchidas​ ​(​default​).}

Para realizar o processo de construção das regras de associação, através do software WEKA, é necessária também uma transformação dos dados, convertendo os mesmos para um formato de arquivo compatível com o programa (ARFF -

Attribute-Relation_{​ ​File​ ​Format​),​ ​conforme​ ​a​ ​Figura​ ​3.}

Figura​ ​3​ ​-​ ​Exemplo​ ​de​ ​arquivo​ ​ARFF,​ ​compatível​ ​com​ ​o​ ​software​ ​WEKA.​ ​(Fonte:  Autores). 

É realizada previamente uma operação na base de dados, onde os valores zerados da base de dados (0) são alterados para o símbolo “?”. Esta alteração visa evitar a geração_{​ ​de​ ​regras​ ​redundantes,​ ​estas​ ​consideradas​ ​como​ ​desnecessárias​ ​para​ ​o​ ​usuário.}

Mineração_{​ ​de​ ​dados}

Na etapa de mineração dos dados, ou Data Mining, ocorre a principal etapa do processo de KDD, isto é, efetua-se a busca por conhecimentos úteis no contexto da aplicação de KDD (Boente, 2008). Isso se dá pela aplicação de técnicas de Inteligência Artificial e algoritmos específicos para extrair padrões (modelos) de dados (Frawley, 1992). Na aplicação, foram adotadas as técnicas de clusterização, através do Algoritmo de Kohonen, assim como e elaboração de regras de associação, com o uso do Algoritmo Apriori. Para a aplicação do Algoritmo de Kohonen, foi necessária a configuração dos seguintes_{​ ​parâmetros:}

● Neurônios de entrada: _{​Para a execução do algoritmo foram configurados trinta} vetores de entrada, onde cada um corresponde a uma informação obtida do sistema;

● Vetores de saída: A quantidade de saídas obedece a quantidade de _{​clusters de} saída_{​ ​configurados;}

● Quantidade máxima de clusters: Número máximo de grupos que o algoritmo pode_{​ ​gerar;}

● Quantidade total de gerações: Quantas vezes será executado o “ _{​loop​”} principal_{​ ​do​ ​algoritmo​ ​para​ ​processar​ ​todos​ ​os​ ​itens​ ​e​ ​atualizar​ ​os​ ​pesos;}

● Taxa de aprendizado: Porcentagem na qual será aplicada a atualização de pesos_{​ ​na​ ​seleção​ ​do​ ​item​ ​para​ ​um​ ​determinado​ ​cluster;}

● Taxa de redução linear: Índice de decrescimento da taxa de aprendizado a cada_{​ ​geração.}

Por sua vez, o Algoritmo Apriori, utilizou uma série de configurações para a sua execução,_{​ ​onde​ ​são​ ​destacados​ ​os​ ​principais​ ​através​ ​da​ ​tabela​ ​2:}

Parâmetro Descrição

Número_{​ ​de​ ​regras} Define a quantidade máxima de regras que podem ser geradas.

Suporte_{​ ​mínimo} Define o valor mínimo do suporte das regras para as mesmas aparecerem_{​ ​no​ ​resultado.}

Tipo_{​ ​de​ ​métrica} Define qual será o modelo para a avaliação da “qualidade” das_{​ ​regras​ ​(Confiança).}

Tabela​ ​2​ ​-​ ​Principais​ ​parâmetros​ ​configurados​ ​para​ ​a​ ​execução​ ​do​ ​Algoritmo​ ​Apriori  (Fonte:​ ​Autores). 

Os valores dos parâmetros foram adaptados no processo de testes, conforme descrito_{​ ​no​ ​tópico​ ​5.2​ ​deste​ ​trabalho.}

Avaliação

Por fim, conforme descrito no procedimento do KDD, ocorre a avaliação dos dados, que consiste na elaboração, organização e representação das informações, ou seja, são extraídas informações concretas de comportamento dos clientes através da análise_{​ ​dos​ ​dados​ ​gerados.}

Nesta etapa do processo as informações obtidas através do Software Aware foram analisadas_{​ ​em​ ​duas​ ​etapas:​ ​​Avaliação​ ​Interna​​ ​e​ ​​Avaliação​ ​Especializada​.}

Na _{​Avaliação Interna os dados foram verificados pelo próprios desenvolvedores} do sistema, buscando possíveis falhas na execução e oportunidades de melhoria. Nesta etapa foi realizada a _{​Análise de Compacidade​, onde foi verificado, para cada ​cluster​,}

qual a média de distância. Além disso, através da _{​Análise de Separabilidade​, foi} calculada_{​ ​a​ ​distância​ ​média​ ​entre​ ​os​ ​​clusters​ ​​(CARDOSO,​ ​2010).}

Na segunda etapa, a _{​Avaliação Especializada retrata a percepção do gerente do} setor de desenvolvimento da empresa, que também é o criador e responsável pelo CRM, sobre os resultados apresentados. Na ocasião, o técnico responsável realizou uma análise mais crítica e minuciosa das informações, buscando encontrar “conhecimento” nos_{​ ​dados​ ​gerados.}

Após sua análise e parecer, o sistema foi disponibilizado para uso pelos representantes_{​ ​comerciais,​ ​assim​ ​como​ ​para​ ​o​ ​gerente​ ​de​ ​marketing​ ​da​ ​empresa.}

5._{​ ​Resultados​ ​e​ ​discussões}

Para validação e análise dos resultados, o sistema foi executado em um servidor web Apache 2.4.16, instalado em um servidor OpenSuse Leap Linux Server 42.1, com um processador Intel Core i5-4200U e com 1GB de memória. A base de dados relacional foi criada no MariaDB 10.0.21, com alguns dados armazenados temporariamente_{​ ​em​ ​um​ ​banco​ ​de​ ​dados​ ​SQLite​ ​3.}

Os testes para validação foram acompanhados por um especialista responsável pelo setor de desenvolvimento da empresa. Foram executadas as consultas na base de dados de 2447 clientes, com 30 informações selecionadas da base de dados, totalizando assim_{​ ​74110​ ​registros​ ​processados.}

5.1_{​ ​Clusters}

Para alcançar o ambiente ideal no protótipo foram realizados cinquenta testes de processamento do Algoritmo de Kohonen, a fim de garantir os melhores parâmetros para a geração das informações. Após tais testes, chegou-se a um resultado satisfatório, onde o algoritmo conseguiu dividir a base de informações em dois grupos principais de clientes, com características definidoras diversas. Ao iniciar os testes, os parâmetros se encontravam_{​ ​conforme​ ​Tabela​ ​3:}

Descrição Valor

Quantidade_{​ ​máxima​ ​de​ ​clusters} 20

Quantidade_{​ ​total​ ​de​ ​gerações} 10

Taxa_{​ ​de​ ​aprendizado} 0.9

Taxa_{​ ​de​ ​redução​ ​linear} 0.01

Tabela​ ​3​ ​-​ ​Lista​ ​de​ ​parâmetros​ ​utilizados​ ​no​ ​início​ ​dos​ ​testes​ ​(Fonte:​ ​Autores). 

Com um tempo médio para geração dos clusters de três minutos, os primeiros resultados apontaram uma grande quantidade de clusters com uma quantia extremamente baixa de clientes, em função da alta taxa de aprendizado. Além disso, o alto limite de clusters configurado permitia tal ocasião. Após novas adaptações, chegou-se ao final dos testes com os parâmetros otimizados configurados, conforme a tabela_{​ ​4:}

Descrição Valor

Quantidade_{​ ​máxima​ ​de​ ​clusters} 5 Quantidade_{​ ​total​ ​de​ ​gerações} 52

Taxa_{​ ​de​ ​redução​ ​linear} 0.01

Tabela​ ​4​ ​-​ ​Lista​ ​de​ ​parâmetros​ ​utilizados​ ​para​ ​a​ ​geração​ ​dos​ ​clusters​ ​(Fonte:​ ​Autores). 

Ao final do processo, utilizando os parâmetros escolhidos, manteve-se o tempo de duração em três minutos. A execução do Algoritmo de Kohonen resultou em dois clusters,_{​ ​conforme​ ​Tabela​ ​5:}

Clusters Número_{​ ​de​ ​clientes}

Cluster_{​ ​1} 1947

Cluster_{​ ​2} 363

Tabela​ ​5​ ​-​ ​Clusters​ ​gerados​ ​após​ ​a​ ​execução​ ​do​ ​algoritmo​ ​de​ ​Kohonen​ ​(Fonte:​ ​Autores). 

Através da Análise de Compacidade, ou distância intra-cluster, foi calculada a média das distâncias para cada cluster, resultando em 10,03 para o Cluster 1 e 10,82 para o Cluster 2. Além disso, ao realizar a Análise de Similaridade, ou distância inter-cluster, resultou no valor 0,79 para a distância média entre os clusters. O valor foi calculado através da diferença das médias entre os clusters, formando assim a média da distância_{​ ​entre​ ​um​ ​e​ ​outro.}

Após a formação dos clusters, foi possível realizar uma análise especializada sobre cada um, verificando as médias de cada informação e definindo o comportamento dos clientes que os compõem. Além disso, cada cluster apresenta uma lista com o nome da informação do sistema, uma chave de identificação para a mesma, além de um valor resultante_{​ ​a​ ​soma​ ​do​ ​valor​ ​absoluto​ ​de​ ​todos​ ​os​ ​clientes​ ​do​ ​cluster.}

Cluster_{​ ​1​ ​(1947​ ​clientes):}

Conforme apontado através da Tabela 6, o cluster é relacionado a um grupo de clientes que não usa em grande quantidade os serviços de atendimento prestados, porém é frequente. No cluster de maior quantidade de clientes (1947) todos as informações apontam_{​ ​para​ ​um​ ​índice​ ​baixo.​ ​Isso​ ​pode​ ​significar​ ​dois​ ​pontos:}

Nome_{​ ​da​ ​informação} Chave Soma Média

RACs_{​ ​no​ ​último​ ​mês} rac_current_month 273 0.14

RACs_{​ ​nos​ ​últimos​ ​três​ ​meses} rac_three_month 321 0.16

RACs_{​ ​nos​ ​últimos​ ​doze​ ​meses} rac_last_year 330 0.17

RACs_{​ ​em​ ​aberto} rac_pending 95 0.05

Quantidade de dias desde o último RAC_{​ ​aberto}

Processos_{​ ​Comerciais​ ​no​ ​último​ ​mês} process_current_month 115 0.06 Processos Comerciais nos últimos três

meses

process_three_month 312 0.16

Processos Comerciais nos últimos doze meses

process_last_year 849 0.44

Tabela​ ​6​ ​-​ ​Parte​ ​das​ ​médias​ ​para​ ​o​ ​Cluster​ ​1​ ​(Fonte:​ ​Autores). 

● Nas informações relacionadas à quantidade, o valor baixo acusa uma baixa quantidade_{​ ​de​ ​atendimentos​ ​realizados.​ ​Ex.:​ ​rac_current_month:}

Informação Chave Soma Média

RACs_{​ ​no​ ​último​ ​mês} rac_current_month 273 0.14

Tabela​ ​7​ ​-​ ​Informações​ ​da​ ​chave​ ​“rac_current_month”​ ​contidas​ ​na​ ​Tabela​ ​6​ ​(Fonte:  Autores). 

● Nas informações relacionadas à tempo, o valor baixo indica que a data do último serviço é recente, ou seja, houve um contato recente do cliente junto a um determinado serviço. Isso significa que a maioria dos clientes, embora não seja fortemente_{​ ​ativo​ ​na​ ​empresa,​ ​possui​ ​contatos​ ​recentes.​ ​Ex.:​ ​rac_last_occurence:}

Informação Chave Soma Média

Quantidade de dias desde o último RAC aberto

rac_last_occurence 357 0.18

Tabela​ ​8​ ​-​ ​Informações​ ​da​ ​chave​ ​“rac_last_occurence”​ ​contidas​ ​na​ ​Tabela​ ​6​ ​(Fonte:  Autores). 

Cluster_{​ ​2​ ​(363​ ​clientes):}

Ao contrário do grupo anterior, a Tabela 9 indica um diferente comportamento dos_{​ ​cliente​ ​para​ ​o​ ​cluster​ ​2:}

Nome_{​ ​da​ ​informação} Chave Soma Média

RACs_{​ ​no​ ​último​ ​mês} rac_current_month 4 0.01

RACs_{​ ​nos​ ​últimos​ ​três​ ​meses} rac_three_month 21 0.06

RACs_{​ ​nos​ ​últimos​ ​doze​ ​meses} rac_last_year 167 0.46

Quantidade de dias desde o último RAC_{​ ​aberto}

rac_last_occurence 1444 3.98

Processos Comerciais no último mês

process_current_month 10 0.03

Processos Comerciais nos últimos três_{​ ​meses}

process_three_month 14 0.04

Processos Comerciais nos últimos doze_{​ ​meses}

process_last_year 84 0.23

Tabela​ ​9​ ​-​ ​Parte​ ​das​ ​médias​ ​para​ ​o​ ​Cluster​ ​2​ ​(Fonte:​ ​Autores). 

● As informações relacionadas à tempo indicam que o cluster é relacionado a clientes que não possuem um contato recente com a empresa, ou seja, não utilizam com frequência os serviços da empresa. Por se tratar do cluster com a menor quantidade de clientes, torna-se ideal uma campanha para atrair novamente estes clientes, fazendo que os mesmos voltem a utilizar os serviços da_{​ ​empresa,​ ​conforme​ ​Tabela​ ​10:}

Informação Chave Soma Média

Quantidade de dias desde o último RAC aberto

rac_last_occurence 1444 3.98

Tabela​ ​10​ ​-​ ​Informações​ ​da​ ​chave​ ​“rac_last_occurence”​ ​contidas​ ​na​ ​Tabela​ ​9​ ​(Fonte:  Autores). 

Após uma análise da tabela de informações disponibilizadas, já é possível identificar_{​ ​determinados​ ​comportamentos​ ​relacionados​ ​aos​ ​clientes,​ ​tais​ ​como:}

● A chave “rac_last_occurrence” está muito próximo de seu limite máximo (4). Isso indica que esse cliente pertence a um cluster de clientes que não contactam o_{​ ​suporte​ ​a​ ​mais​ ​de​ ​três​ ​meses;}

● A chave “rac_last_year” encontra-se entre os limiares 0 (Nenhum) e 1 (Baixo). Isso indica que, além do fato do cliente não contactar o suporte a mais de três meses, grande parte não utiliza o serviço do suporte a muito mais tempo. Com essa informação já é possível identificar uma base de clientes antigos, que adquiram um produtos, porém não mantiveram contato para implementações e atualizações;

● A chave “process_current_month” indica que, mesmo sendo um cluster relacionado a clientes que não utilizam os serviços de suporte, uma pequena parte possui negociações em processos comerciais, ou seja, atendimentos comerciais para implementações e atualizações. Essa informação pode ser essencial para identificar eventuais problemas nos procedimentos de negociação de_{​ ​valores.}

5.2 Regras_{​ ​de​ ​Associação}

Assim como no Algoritmo de Kohonen, a segunda parte do protótipo também passou por uma série de testes, afim de otimizar o valor dos principais parâmetros para a execução do Algoritmo Apriori. A situação dos mesmos no início dos testes é demonstrada_{​ ​através​ ​da​ ​Tabela​ ​11:}

Parâmetro Valor

Número_{​ ​de​ ​regras} 10

Suporte_{​ ​mínimo} 90%

Tipo_{​ ​de​ ​métrica} Confiança

Tabela​ ​11​ ​-​ ​Situação​ ​dos​ ​principais​ ​parâmetros​ ​do​ ​Apriori​ ​no​ ​início​ ​dos​ ​testes.​ ​(Fonte:  Autores). 

Após uma sequência de trinta execuções do algoritmo, os parâmetros foram remodelados, visando assim um desempenho mais satisfatório do mesmo. A quantidade de regras foi estendida para 100, pois torna-se desnecessária uma limitação muito curta na quantidade de regras geradas. Da mesma forma, o nível de suporte mínimo foi reduzindo gradativamente ao longo dos testes, até chegar ao índice de 10%. Com isso, as informações de suporte menor tornam-se também relevantes para o cliente. Após a finalização dos testes, os valores dos principais parâmetros ficaram como descrito através_{​ ​da​ ​Tabela​ ​12:}

Parâmetro Valor

Número_{​ ​de​ ​regras} 100

Suporte_{​ ​mínimo} 10%

Tipo_{​ ​de​ ​métrica} Confiança

Tabela​ ​12​ ​-​ ​Situação​ ​dos​ ​principais​ ​parâmetros​ ​do​ ​Apriori​ ​no​ ​final​ ​dos​ ​testes.​ ​(Fonte:  Autores). 

Após o período de adaptação dos parâmetros nos testes, foi executado o Algoritmo Apriori, resultando em 12 regras de associação. _{​Através da Tabela 13 é} possível estabelecer regras sobre o comportamento dos clientes, dessa vez pela análise geral da base, ou seja, sem considerar os clusters formados. A interpretação de cada regras_{​ ​obedece​ ​a​ ​seguinte​ ​sequência:}

“Se_{​ ​#A​ ​então​ ​#B​ ​com​ ​#C​ ​%​ ​de​ ​confiança”,​ ​onde:}

● “#A”_{​ ​corresponde​ ​a​ ​informação​ ​na​ ​coluna​ ​“Condição”​ ​na​ ​Tabela​ ​13;} ● “#B”_{​ ​corresponde​ ​a​ ​informação​ ​na​ ​coluna​ ​“Resposta”​ ​na​ ​Tabela​ ​13;}

● “#C”_{​ ​corresponde​ ​a​ ​informação​ ​na​ ​coluna​ ​“Confiança”​ ​na​ ​Tabela​ ​13.}

Condição Resposta Confiança

process_last_year_{​ ​=​ ​2} process_last_ocurrence_{​ ​=​ ​4} 67 process_last_ocurrence_{​ ​=​ ​4} process_last_year_{​ ​=​ ​2} 15

Tabela​ ​13​ ​-​ ​Parte​ ​das​ ​regras​ ​geradas​ ​através​ ​do​ ​Algoritmo​ ​de​ ​Apriori​ ​(Fonte:​ ​Autores). 

Sendo_{​ ​assim,​ ​se​ ​tem​ ​as​ ​regras:}

● Se “process_last_year = 2” então “process_last_occurrence = 4”, com 67% de confiança.

○ “process_last_year” corresponde a quantidade de processos comerciais abertos nos últimos doze meses. Já o seu valor (2) indica a categoria “Baixo”,_{​ ​onde​ ​a​ ​quantidade​ ​de​ ​processos​ ​comerciais​ ​é​ ​entre​ ​1​ ​e​ ​20;} ○ “process_last_occurence” corresponde a quantidade de dias desde o

último processo comercial aberto. Já o seu valor (4) indica a categoria “Antigo”, onde o último processo comercial foi aberto a mais de três meses;

○ O índice de confiança em 67 é considerado de categoria mediana. Os índices considerados mais fortes, ou seja, regras mais confiáveis, tem seu valor_{​ ​superior​ ​a​ ​80.}

○ Em resumo, a regra indica que, se o cliente possui de 1 a 20 processos abertos nos últimos doze meses, o último processo aberto foi a mais de três_{​ ​meses,​ ​com​ ​um​ ​índice​ ​médio​ ​de​ ​confiança.}

● Se “process_last_occurrence = 4” então “process_last_year = 2”, com 67% de confiança.

○ O índice de confiança em 15 é considerado de categoria baixo. Apesar disso, as regras de baixo confiança também indicam comportamentos de clientes,_{​ ​porém​ ​com​ ​menor​ ​frequência.}

○ Embora utilizem as mesmas informações, a regra é diferente da citada anteriormente. Em resumo, a regra indica que, se o último processo aberto foi a mais de três meses ele possui de 1 a 20 processos abertos nos últimos_{​ ​doze​ ​meses,​ ​com​ ​um​ ​índice​ ​baixo​ ​de​ ​confiança.}

A quantidade e qualidade (regras com índice de confiança alto) das regras está diretamente ligada à quantidade de informações utilizadas e clientes cadastrados. Com isso, a tendência indica que, conforme novos clientes forem inseridos na base de dados, assim como os serviços utilizados, maior será a quantidade de informação gerada pela plataforma_{​ ​Aware.}

6._{​ ​Conclusões}

Envolvendo todo o processo, desde o uso do protótipo pelos representantes comerciais até as consequências da aplicação de tal sistema, é possível realizar uma análise mais ampla de tópicos relativos a tal aplicação. Obviamente o prazo de testes

torna-se curto quando almeja-se uma análise de impacto financeiro. Como consequência disso, os tópicos relacionados aos indicadores financeiros foram previamente ignorados por_{​ ​tal​ ​análise.}

Além das informações disponibilizadas através do protótipo, foi possível obter dados do desempenho da solução através de indicadores utilizados pela empresa. Estes dados são disponibilizados pelo sistema interno da empresa (CRM) para controle da diretoria. Os indicadores escolhidos para análise consideram o tempo na qual o foi testado, ou seja, foram ignorados os indicadores anuais, assim dando preferência a indicadores_{​ ​mensais​ ​e​ ​semanais.​ ​Através​ ​deles,​ ​algumas​ ​informações​ ​foram​ ​obtidas.}

Após a aplicação do sistema o indicador demonstrou uma redução de 20% no número de consultas dos representantes comerciais aos técnicos de desenvolvimento, redução esta causada pela quantidade de informações agora disponibilizadas através da ferramenta._{​ ​O​ ​indicador​ ​apontou​ ​tal​ ​redução​ ​no​ ​período​ ​onde​ ​o​ ​protótipo​ ​foi​ ​utilizado.}

Além disso, através da ferramenta, reduziu em aproximadamente 30% a quantidade de contatos para os fechamentos. O número de contatos é relacionado a todas as trocas de informações entre o representante comercial e o cliente (chat, e-mail, telefone_{​ ​etc.).}

De acordo com o sistema interno da empresa (CRM), os indicadores possuem uma margem de erro de aproximadamente 2%, valor este relacionado a tratativas de finalização de mês. Além disso, devido a nova ferramenta, um novo indicador foi criado, este responsável por monitorar as campanhas de “ativo” da empresa, ou seja, propagandas direcionadas para uma faixa de clientes. Como a empresa nunca havia utilizado_{​ ​essa​ ​ferramenta,​ ​um​ ​novo​ ​indicador​ ​foi​ ​criado​ ​no​ ​sistema​ ​interno.}

Por fim, tal projeto deixa para o futuro uma série de possíveis implementações, visando assim seu constante processo de melhoria. Dentre os tópicos abordados acerca de tal visão, tem-se a aceleração do motor de processamento, a geração de regras específicas, ou seja, a aplicação de regras de associação sobre um determinado cluster, geração_{​ ​de​ ​campanhas​ ​de​ ​marketing​ ​automática​ ​e​ ​adaptação​ ​para​ ​a​ ​plataforma​ ​mobile.}

7._{​ ​Referências}

AGRAWAL,_{​ ​R;​ ​IMIELINSKI,​ ​T;​ ​SWAMI,​ ​A.​ ​Mining​ ​Association​ ​Rules​ ​between​ ​Sets} of Items in Large Databases. In: ACM SIGMOD CONFERENCE ON MANEGEMENT OF DATA, p. 207 – 216, Washington, DC, USA, 1993. ACM Press_{​ ​-​ ​New​ ​York,​ ​NY,​ ​USA.}

ANDRADE, Eliane Miranda de; SANTOS, Priscila Ribeiro. MARKETING DE RELACIONAMENTO: UTILIZAÇÃO DE FERRAMENTAS DIGITAIS NA BUSCA PELA RETENÇÃO DO CONSUMIDOR NAS ESCOLAS DE IDIOMAS DE PEQUENO PORTE. Unisanta - Law And Social Science, Boqueirão/sp, v. 5, n.

2, p.103-115, ago. 2016. Disponível em:

<http://periodicos.unisanta.br/index.php/lss/article/view/791/830>. Acesso em: 27 maio_{​ ​2017.}

BOENTE, Alfredo Nazareno Pereira ; GOLDSCHMIDT ; ESTRELA, Vania Vieira . Uma Metodologia de Suporte ao Processo de Descoberta de Conhecimento em Bases de Dados. In: V Simpósio de Excelência em Gestão e Tecnologia, 2008, Resende - RJ._{​ ​V​ ​SEGeT,​ ​2008.​ ​v.​ ​1.​ ​p.​ ​4-5.}

CARDOSO, Margarida G. M. S.. Avaliação de Agrupamentos - Contribuições em Data Mining. In: ANAIS DO XVIII CONGRESSO ANUAL DA SOCIEDADE PORTUGUESA DE ESTATÍSTICA, 18., 2010, Lisboa. Portugal.. _{​Anais... . ​São}

Pedro_{​ ​do​ ​Sul:​ ​Gráfica​ ​Sobreirense,​ ​2010.​ ​p.​ ​6​ ​-​ ​14.}  

FAYYAD, U. M., Piatetsky-Shapiro, G., and Smyth, P. (1996). Advances in knowledge discovery and data mining. chapter From Data Mining to Knowledge Discovery: An Overview, pages 1–34. American Association for Artificial Intelligence, Menlo Park, CA,_{​ ​USA.}

FERREIRA, Bruno Patrício. Sistema de Recomendação baseado em Data Mining. 2016. 177 f. Dissertação (Mestrado) - Curso de Engenharia Informática, Instituto Superior_{​ ​de​ ​Engenharia​ ​do​ ​Porto,​ ​Porto,​ ​2016.}

FONTES, Nicolas Ribeiro; ALMEIDA, Jonathan William Rodrigues de; SILVA, Glauco da. USING BIG DATA FOR COMPETITIVE ADVANTAGES. Revista Científica On-line Tecnologia – Gestão – Humanismo: Faculdade de Tecnologia de Guaratinguetá, Guaratinguetá, v. 1, n. 6, p.1-1, 05 maio 2016. Disponível em: <http://www.fatecguaratingueta.edu.br/revista/index.php/RCO-TGH/article/view/12 1/148>._{​ ​Acesso​ ​em:​ ​27​ ​maio​ ​2017.}

FRAWLEY, William J.; PIATETSKY-SHAPIRO, Gregory; MATHEUS, Christopher

J. Knowledge Discovery in Databases: An overview. In: AI Magazine. American Association_{​ ​for​ ​Artificial​ ​Intelligence.​ ​Menlo​ ​Park,​ ​CA,​ ​USA,​ ​1992.​ ​p.​ ​57​ ​–​ ​70.} HEINEN, Marcos Eduardo. MINERAÇÃO DE DADOS APLICADA AO

RELACIONAMENTO COM CLIENTES EM EMPRESAS DO RAMO DE MATERIAIS DE CONSTRUÇÃO. 2015. 98 f. TCC (Graduação) - Curso de Engenharia de Computação, Centro Universitário Univates, Lajeado, 2015.

Disponível em:

<https://www.univates.br/bdu/bitstream/10737/915/1/2015MarcosEduardoHeinen.pd f>._{​ ​Acesso​ ​em:​ ​27​ ​maio​ ​2017.}

JONATHAN GORDON, JESKO PERREY, DENNIS SPILLECKE, (Estados Unidos). Big Data, Analytics And The Future Of Marketing And Sales. Disponível em: <https://www.forbes.com/sites/mckinsey/2013/07/22/big-data-analytics-and-the-futu re-of-marketing-sales/#138a7f8f5587>._{​ ​Acesso​ ​em:​ ​16​ ​mar.​ ​2017.}

KABUL, Ilknur Kaynar. Understanding data mining clustering methods_{​. ​2016.}

Disponível em:

<https://blogs.sas.com/content/subconsciousmusings/2016/05/26/data-mining-cluster ing/>._{​ ​Acesso​ ​em:​ ​01​ ​ago.​ ​2017.}

MARQUES, Márcio Candeias. Comparação entre os métodos de agrupamentos K-means e Mapa de Kohonen (SOM) em análise de pesquisa de mercado. Disponível em: <http://rica.ele.puc-rio.br/media/ICA01_Marques.pdf>. Acesso em: 04 set. 2017.

MARQUES, Mariana Cristina Melo Inácio. “Customer Relationship Management e a sua importância no setor hoteleiro. In: SOPCOM - COMUNICAÇÃO GLOBAL, CULTURA E TECNOLOGIA, 8., 2013, Lisboa/portugal. Anais... . Lisboa/portugal:

Sopcom, 2013. p. 267 - 272. Disponível em:

<http://revistas.ua.pt/index.php/sopcom/article/viewFile/3842/3528>. Acesso em: 27 maio_{​ ​2017.}

MELO, Vinícius Veloso de. Clustering de artigos científicos em uma ferramenta Inteligente de apoio à Pesquisa. 2005. 140 f. Dissertação (Mestrado) - Curso de Ciências Matemáticas e da Computação, Icmc-usp, Usp - São Carlos, São Carlos,

2005. Disponível em:

<http://www.teses.usp.br/teses/disponiveis/55/55134/tde-11122014-104427/publico/ ViniciusVelosodeMelo_ME.pdf>._{​ ​Acesso​ ​em:​ ​17​ ​abr.​ ​2017.}

VASCONCELOS, Lívia Maria Rocha de; CARVALHO, Cedric Luiz de. Aplicação de Regras de Associação para Mineração de Dados na Web. 4. ed. Goiânia: Instituto de Informática_{​ ​-​ ​Universidade​ ​Federal​ ​de​ ​Goiás,​ ​2004.​ ​20​ ​p}

VARELLA, Carlos Alberto Alves. Análise de Agrupamento. Rio de Janeiro: Ufrrj,

2016. 29 slides, color. Disponível em:

<http://www.ufrrj.br/institutos/it/deng/varella/Downloads/multivariada aplicada as ciencias_{​ ​agrarias/Apresenta/analise​ ​de​ ​agrupamento.pptx>.​ ​Acesso​ ​em:​ ​05​ ​out.​ ​2017.}