An´ alise de impacto dos non-fitting

Os gr´aficos das figuras anteriores apresentaram os resultados da assertividade em fun¸c˜ao dos modelos usando os atributos do ranking. Os pr´oximos trar˜ao a mesma informa¸c˜ao, por´em com a inclus˜ao do percentual de casos que n˜ao puderam ser mapeados diretamente a um caminho existente dentro do sistema de transi¸c˜ao anotado gerado na fase de treinamento. S˜ao portanto varia¸c˜oes do processo de neg´ocio para as quais o modelo n˜ao chegou a ser treinado.

O gr´afico da figura 20 traz os resultados para o horizonte 1. Como previamente mencionado, uma vez que a representa¸c˜ao nas trˆes abstra¸c˜oes de conjunto ´e a mesma quando o horizonte ´e 1, por simplifica¸c˜ao est˜ao no gr´afico apenas os dados para sequˆencia.

Como ´e poss´ıvel observar, o percentual de casos non-fitting aumenta muito rapi- damente, `a medida em que os atributos s˜ao adicionados, a ponto de que quinto cen´ario ela j´a ´e de quase 90%. Visando facilitar a visualiza¸c˜ao, o percentual de non-fitting est´a representado pela linha azul.

Resultados an´alogos podem ser observados para os demais horizontes, como visto nas figuras 21, 22 e 23 que trazem respectivamente os horizontes 3, 5 e 7. Os horizontes 6 e infinito s˜ao t˜ao an´alogos ao horizonte 7 que se julgou desnecess´ario inclu´ı-los aqui. Por´em, esse alto percentual de casos n˜ao encontrados n˜ao ´e necessariamente um problema. Concei- tualmente, ´e esperado que um bom modelo possua uma boa capacidade de generaliza¸c˜ao.

Figura 20 – Exp. 1 - Erro de predi¸c˜ao (RMSPE) (barras) e Percentual de Casos non-fitting (NF) (linha) no horizonte 1 para os 15 cen´arios (eixo horizontal), abstra¸c˜ao

sequˆencia (SEQ)

Fonte: Alexandre Gastaldi Lopes Fernandes, 2019

Portanto, se o modelo ´e capaz de responder adequadamente a um conjunto de valida¸c˜ao que difere quase que por completo dos dados a que foi exposto durante seu treinamento, essa ´e uma caracter´ıstica sem d´uvida muito positiva. O problema reside justamente na quest˜ao do “adequadamente”. O que se espera realmente ´e que o modelo seja capaz de responder com uma assertividade que seja aceit´avel para o contexto em quest˜ao.

Figura 21 – Exp. 1 - Erro de predi¸c˜ao (RMSPE) (barras) e Percentual de Casos non-fitting (NF) (linhas) no horizonte 3 para os 15 cen´arios (eixo horizontal), abstra¸c˜oes

SET, MSET e SEQ

Figura 22 – Exp. 1 - Erro de predi¸c˜ao (RMSPE) (barras) e Percentual de Casos non-fitting (NF) (linhas) no horizonte 5 para os 15 cen´arios (eixo horizontal), abstra¸c˜oes

SET, MSET e SEQ

Fonte: Alexandre Gastaldi Lopes Fernandes, 2019

Figura 23 – Exp. 1 - Erro de predi¸c˜ao (RMSPE) (barras) e Percentual de Casos non-fitting (NF) (linhas) no horizonte 7 para os 15 cen´arios (eixo horizontal), abstra¸c˜oes

SET, MSET e SEQ

Fonte: Alexandre Gastaldi Lopes Fernandes, 2019

Na pr´atica, o modelo sempre ir´a responder com uma predi¸c˜ao. Quando um caso em progresso ´e avaliado pelo modelo preditivo e o mesmo identifica que se trata de um caminho conhecido, a probabilidade de que a predi¸c˜ao seja mais precisa ´e maior. Mas

quando se trata de um caso non-fitting, essa assertividade depender´a do tratamento que se d´a quando ocorre essa situa¸c˜ao.

O pr´oximo passo da avalia¸c˜ao consistiu ent˜ao em dividir os casos fitted dos casos non-fitting e obter-se o erro de predi¸c˜ao para esses cen´arios em separado. Para isso, foi utilizado um subconjunto reduzido dos dados, contendo 8.000 casos, sendo 6.400 casos para treinamento e 1.600 casos para a valida¸c˜ao. Os resultados dessa an´alise podem ser visualizados nos gr´aficos das figuras 24 e 25, que trazem respectivamente os n´umeros para os horizontes 3 e 5. Explicando melhor o gr´afico, apenas as medi¸c˜oes do erro usando RMSPE para os cen´arios com dois at´e dez atributos foram inclu´ıdas pois se por um lado o objetivo ´e discutir o cen´ario de m´ultiplos atributos, por outro o que foi verificado ´e que a partir do d´ecimo atributo os valores s˜ao realmente muito pr´oximos, n˜ao agregando informa¸c˜oes novas para essa an´alise. Para cada um dos cen´arios (CEN. 2 at´e CEN. 10), as trˆes primeiras colunas trazem os resultados para todo o conjunto de valida¸c˜ao, para SET, MSET e SEQ. As pr´oximas trˆes colunas trazem os erros de predi¸c˜ao considerando apenas os casos fitted, ou seja, que seguiram o mesmo processo que casos aos quais o modelo foi exposto durante o treinamento. Finalmente, as ´ultimas trˆes colunas trazem os erros de predi¸c˜ao considerando apenas os casos non-fitting.

Observando-se o gr´afico da figura 24 ´e poss´ıvel perceber que a partir do sexto atributo, o erro da predi¸c˜ao aumenta bastante, assim como o erro para os casos non-fitting. Esse comportamento se confirma para o horizonte 5 tamb´em (Figura 25), no qual isso j´a ´e vis´ıvel a partir do cen´ario 3, para as abstra¸c˜oes MSET e SEQ. Dado o volume desses casos nesses cen´arios apresentado nos gr´aficos das figuras 20 a 23, fica claro o quanto a assertividade para esses casos impacta a assertividade geral do modelo. Outro cen´ario em que essa rela¸c˜ao fica evidente ´e para a abstra¸c˜ao SET, no qual tanto a assertividade para os casos non-fitting quanto a assertividade geral tiveram o mesmo padr˜ao at´e o cen´ario oito. O comportamento observado para o horizonte 5 se repete tamb´em nos horizontes 6, 7 e infinito, com varia¸c˜oes muito pequenas, raz˜ao pela qual optou-se por n˜ao incluir os respectivos gr´aficos.

Figura 24 – Exp. 1 - Erro de predi¸c˜ao (RMSPE) para cen´arios 2 a 10 no horizonte 3 em subconjunto parcial (8.000 casos) para SET, MSET e SEQ; “Sem NF”: RMSPE apenas dos casos fitted ; “Somente NF”: RMSPE apenas dos casos non-fitting

Fonte: Alexandre Gastaldi Lopes Fernandes, 2019

Figura 25 – Exp. 1 - Erro de predi¸c˜ao (RMSPE) para cen´arios 2 a 10 no horizonte 5 em subconjunto parcial (8.000 casos) para SET, MSET e SEQ; “Sem NF”: RMSPE apenas dos casos fitted ; “Somente NF”: RMSPE apenas dos casos non-fitting

Fonte: Alexandre Gastaldi Lopes Fernandes, 2019

Essas observa¸c˜oes confirmaram que o m´etodo necessitava lidar melhor com os casos non-fitting, adotando alguma estrat´egia que pudesse melhorar a assertividade da predi¸c˜ao

para esses casos em espec´ıfico, e como consequˆencia, para o modelo como um todo. A pr´oxima se¸c˜ao detalha essa parte do trabalho.