Validação e simplificação do modelo

Figura 29. Matriz de confusão do algoritmo PART

seus modelos foram muito similares entre eles não havendo reduções drásticas de um para outro. A seguir seguem detalhes destes modos de testes experimentados.

O primeiro modo de teste é o Training test que se caracteriza por fazer a predição (regras) e testar com o próprio conjunto de treinamento submetido ao classificador. Depois vem o Supplied test set que faz as regras e testa em outro conjunto de teste inserido pelo botão set pelo usuário, onde neste trabalho os testes foram conduzidos em grande parte por um arquivo de treinamento com 8 meses de registros e um arquivo teste com 4 meses. Logo vem o modo Cross-Validation que é avaliado por validação cruzada, o conjunto de teste é divido em partes iguais e a predição é aplicada em cada um separadamente, neste projeto foi utilizado o fator 10 (quantidade de partes). E o último é o Percentage Split que faz a predição baseada na porcentagem dos dados que o usuário determina na própria ferramenta, neste estudo foi utilizada a porcentagem de 66%.

Agora, será trabalhado o modelo de conhecimento gerado pelos algoritmos, onde será efetuada sua validação e simultaneamente a exclusão de detalhes e de conjunto de informações que são irrelevantes e de baixa confiança, de forma a torná-lo mais enxuto, legível e com informações que agreguem conhecimento ao usuário e legitimidade nos resultados.

Para fins de validação do desempenho dos algoritmos de classificação serão utilizadas as métricas extraídas do próprio modelo gerado que nos representarão a validade das descobertas realizadas e sua credibilidade. Segundo Silva (2007) “vários autores utilizam técnicas estatísticas para avaliar a capacidade de representação do conhecimento adquirido sob a forma de regras”.

Será adotado o modelo proposto por Romão (2002 apud SILVA, 2007), onde ele observa que há varias formas de avaliar o processo de descoberta de conhecimento, mas destaca 3 em particular: a exatidão dos resultados, a eficiência deles e a compreensão do conhecimento extraído.

Para a exatidão dos dados será observado medidas de quantidades de acertos tanto no modelo como um todo, quanto nas regras e classificações formadas individualmente. “A maior parte da Literatura utiliza taxa de acerto como principal meio de avaliação das técnicas de KDD”

(FREITAS, 1997 apud SILVA, 2007).

Para sua eficiência teremos como referencia o elemento chamado “Kappa Statistic” que é um índice que compara o valor encontrado nas observações com aquele que se pode esperar do acaso. É o valor calculado dos resultados encontrados nas observações e relatado como um decimal (0 a 1).Quanto menor o valor de Kappa menor a confiança da observação, o valor 1 indica a correlação perfeita, difícil de ser encontrada. E segundo Silva (2007) para ser boa uma observação, com 95% confiável, o valor de Kappa deve estar no intervalo (0.279 – 0.805). E também há a interpretação feita por Landis e Koch (1977 apud Mori, 2008) que sugere que os valores acima de 0.75 representam excelente concordância, valores abaixo de 0.40 uma baixa concordância e os valores situados entre 0.40 e 0.75 representam concordâncias de suficiente a boa (mediana).

E, finalmente, a compreensão dos resultados, ou seja, serão aproveitadas somente as regras que tragam informações significantes e interpretáveis. “Facilidade de compreensão nos resultados da classificação (ex. nas regras) é outra forma de avaliação do processo de descoberta que favorece a credibilidade no sistema por parte do usuário” (SILVA, 2007).

Então, chegou-se a 3 algoritmos que obtiveram aprovação em seus modelos gerados (onde já foram descritos na seção resultados obtidos), sendo a seguir detalhados e simplificados, de maneira que somente serão selecionadas as regras e árvores formadas que sejam validadas, deixando permanecer somente os resultados persistentes e satisfatórios aos objetivos do projeto.

3.3.1.1 Algoritmo J48 (tree)

Neste algoritmo notou-se através das estatísticas gerais do modelo (Figura 22) que o conjunto de regras que se formaram trouxe resultados satisfatórios, pois seu índice kappa apresentou valor de 0.60 sendo considerado um valor acima da media pela literatura. E apresentou um percentual de instâncias classificadas corretamente de 61,85% contra 38,15% classificadas erroneamente, dados estes não tão favoráveis mais que foram compensados se analisarmos individualmente cada classe (empresa), conforme demonstrado a seguir.

Mas o modelo se destacou positivamente com destacado grau de validação quando analisamos os resultados individualmente, tanto pelas classes classificadoras quanto pelas regras formadas. Se observarmos os índices relativos a cada classe no item “Detailed Accuracy by Class” e também na “Confusion Matrix” (Figuras 22 e 23) notamos que as classes formadas pelas empresas

OGXP, Gerdau, Banco do Brasil e Rossi apresentaram índices relevantes no indicador F-Measure (é um importante índice que é usado para medir a performance pois combina valores de cobertura e precisão de uma regra numa única fórmula) com valores respectivos de 0.976, 0.754, 0.789 e 0.725 (que variam de 0 a 1), e valores altos de classificações corretas obtendo taxas de acerto respectivas de 98%, 89%, 85% e 68%.

E agora, analisando a ultima fase da validação que engloba a compreensão dos resultados tem-se que direcionar a atenção para as 61 classificações efetuadas (que podem ser traduzidas através de regras). Mas analisaremos apenas as regras geradas que cheguem as 4 empresas validadas até o momento, pois as demais foram descartadas por não apresentarem índices tão satisfatórios. Então, após a interpretação do conhecimento transmitido pelas regras e observação de seu grau de significância e levando em conta também o numero de casos cobertos e classificados corretamente por ela (valor entre parênteses após o nome da empresa, onde o primeiro significa os corretos e o segundo os incorretos), decidiu-se em excluir as descobertas que envolvam as classes OGXP e Gerdau, permanecendo as empresas Banco do Brasil e Rossi que apresentaram relevância nas regras que foram selecionadas, conforme se pode observar em destaque (sublinhado) nas Figuras 30 e 31 respectivamente.

Figura 30. Regras do J48 com resultado Banco do Brasil

Figura 31. Regras do J48 com resultado Rossi

3.3.1.2 Algoritmo JRip (rules)

O modelo de conhecimento gerado por este algoritmo apresentou bons resultados em nível de validação por indicadores (Figura 25), onde em seu índice kappa apresentou valor de 0.55 sendo considerado um valor bom pela literatura Apresentou um percentual de instâncias classificadas corretamente de 57,59% contra 42,41% classificadas erroneamente, dados estes não tão satisfatórios mais que foram compensados se analisarmos isoladamente cada empresa conforme citado a seguir.

E como no algoritmo J48, apresentou índices relevantes em algumas classes classificadoras (empresas) e também nas regras individualmente formadas, também visto nas Figuras 25 e 26. Mas na etapa de validação por importância do conhecimento gerado seu desempenho não foi tão satisfatório, pois, mesmo ele apresentando regras persistentes e confiáveis deixou a desejar na qualidade das regras formadas, onde analisando uma por uma das 45 geradas não houve alguma que se destaque por sua significância ou que trouxesse algum valor agregado diferenciado. Portanto, decidiu-se por não selecionar nenhuma regra deste algoritmo, mas não significando que ele tenha sido ineficiente na sua função de geração de regras.

3.3.1.3 Algoritmo PART (rules)

Este algoritmo apresentou bons resultados em seus indicadores como pode ser verificado na Figura 28, onde em seu índice kappa apresentou valor de 0.57 sendo considerado um valor bom pela literatura. Obteve um índice de instâncias classificadas corretamente de 59,71% contra 40,29%

classificadas erroneamente, dados estes não satisfatórios mais que foram compensados se analisarmos isoladamente cada empresa conforme podemos verificar a seguir.

Exibiram índices consideráveis se forem analisadas as regras individualmente formadas e as melhores classificações efetuadas por empresa, também vistas nas Figuras 28 e 29. No entanto na fase de validação por relevância do conhecimento gerado seu desempenho não foi tão satisfatório.

Apresentou regras persistentes e confiáveis, mas diminuiu sua qualidade na importância das regras obtidas, onde analisando uma por uma das 46 geradas não houve alguma que se destaque por sua significância ou que trouxesse algum valor agregado diferenciado. Assim sendo, não foi selecionada nenhuma regra deste algoritmo, mas não significando que ele tenha sido ineficiente na sua função de geração de regras.