Avaliac¸˜ao de desempenho

Para validar a abordagem de an´alise proposta, foi realizado um conjunto de experimentos anal´ıticos sobre as amostras de dados relativos `as trajet´orias de trens extra´ıdos da base de dados ferrovi´arios e dados simulados. Ambas as amostras foram constru´ıdas por um procedimento de amostragem estratificada efetuado sobre a populac¸˜ao global, isto ´e, a base completa.

A qualidade das classes de trajet´orias obtidas pela abordagem deste trabalho foi comparada com a qualidade das classes identificadas nas bases de dados fornecidas e simuladas, ou seja,

validac¸˜ao com os pr´oprios dados dos cen´arios.

Dado que o objetivo da abordagem para a an´alise de dados sequenciais ´e de fornecer re- sultados interpret´aveis e explor´aveis pelo usu´ario, usou-se algumas medidas objetivas para uma melhor avaliac¸˜ao dos resultados. Os seguintes dois ´ındices de qualidade foram ent˜ao conside- rados:

1. ´Indice de desempenho de previs˜ao (DP)

Este ´ındice foi utilizado para examinar a taxa de boa previs˜ao da evoluc¸˜ao das sequˆencias

SI = (gi,1,gi,2, . . . ,gi,Ti), onde (gi, j = (GHAi, j,V Mi, j)) em um conjunto de dados se-

quenciais Y . A principal ideia desse processo de avaliac¸˜ao consiste em selecionar as sequˆencias Siseparadamente e em:

– Eliminar o ´ultimo estado gi,Ti da sequˆencia Si

– Classificar a nova sequˆencia truncada (Str) nas k classes existentes, usando a Equac¸˜ao 7.1. Onde nota-se cia classe escolhida.

ci= argmax1≤c≤k{P(Str| ci= c, φc)} (7.1) – Prever o estado q mais prov´avel de ocorrer ou aparecer na extremidade desta sequˆencia

truncada. Isto ´e realizado utilizando a matriz de transic¸˜ao Aci associada `a classe ci

escolhida. Este estado q sera, em seguida, comparado com o estado real gi,Ti que foi

suprimido da sequˆencia como segue:

DPX = ∑_i∈|x|ωi |X| (7.2) Onde ωi= (

1, segi,Ti= argmax1≤q≤maci(gi,Ti−1,q)

0, caso contr´ario

Os desempenhos de previs˜ao foram examinados para duas amostras de circulac¸˜oes de trens, com os dados reais e simulados. Os resultados s˜ao obtidos com o aux´ılio de um processo de validac¸˜ao cruzado. Na pr´atica, cada conjunto de dados sequenciais (tra- jet´orias de trens) foi dividido em quatro partes distintas. Duas destas partes (50% das trajet´orias (reais e simulados)) foram usadas como um conjunto de treinamento e o resto (50% (reais e simulados)) para a fase de teste. Este processo foi repetido seis vezes e, em seguida, definiu-se a m´edia dos resultados. A amostra de aprendizagem serve para gerar uma tipologia de trajet´orias e modelar as classes obtidas a partir da abordagem apli- cada. A amostra de teste ´e em seguida utilizada para avaliar os resultados de previs˜ao.

Para uma boa estimativa dos resultados obtidos, o desempenho de previs˜ao tamb´em foi avaliado para a base de aprendizagem.

2. ´Indice de homogeneidade Intraclasse (HI)

Proposto por (ESTACIO-MORENO et al., 2004), este ´ındice tem um papel fundamental para a validac¸˜ao de um problema de classificac¸˜ao autom´atica de dados sequenciais. Neste trabalho, a homogeneidade intraclasse ´e considerada como um ´ındice probabil´ıstico que reflete a estabilidade, a coes˜ao e a facilidade de interpretac¸˜ao das classes obtidas por um processo de classificac¸˜ao automatizada. Onde, quanto maior o valor de homogenei- dade intraclasse, maior a possibilidade das classes de partic¸˜ao serem compactas e de f´acil interpretac¸˜ao.

O ´ındice HI ´e dado como: para uma partic¸˜ao p em k classes _{C1, . . . ,Ck} do conjunto de sequˆencias S=_{S1, . . . ,Sn}, a homogeneidade intraclasse HI(P) ´e definida pela m´edia das homogeneidades intraclasse das k classes da partic¸˜ao P como segue:

HI(P) = ∑ k c=1HIc k (7.3) Ou HIc=

∑

– _{φ = {φ}1, . . . ,φk} representa os parˆametros de todas as classes.

As tabelas 7.14 e 7.15 mostram os resultados obtidos sobre as amostras de trajet´orias de dados reais e simulados em termo de desempenho de previs˜ao e homogeneidade intraclasse. Este resultado indica com clareza que a abordagem proposta mostrou bom desempenho.

Outrossim, pˆode-se confirmar a efic´acia dos modelos decisionais da classificac¸˜ao e de pre- vis˜ao propostos. A presente abordagem permite fornecer uma tipologia de trajet´orias com as classes homogˆeneas e de f´acil interpretac¸˜ao para um processo de previs˜ao.

HI DP (d. aprend-real) DP (d. aprend-simul) DP (d. teste reais) DP (d. de teste simul)

87,0% 72,6% 75,2% 69,8 % 73,1%

Tabela 7.14: Desempenho relativo `a base de dados com 217

HI DP (d. aprend-real) DP (d. aprend-simul) DP (d. teste reais) DP (d. de teste simul)

92,0% 74,2% 79,7% 73,8 % 75,3%

Tabela 7.15: Desempenho relativo `a base de dados com 623

Os trabalhos correlatos (MOHAMMAD et al., 2012; ANNABELL et al., 2011; KECMAN et al., 2015b, 2015a) tamb´em foram realizados neste contexto, entretanto, estes tratam apenas os trens de passageiros, de alta velocidade e nas regi˜oes onde as infra-estruturas s˜ao consi- deras melhores e plataformas impec´aveis. Al´em disto, embora tenham utilizados os m´etodos estoc´asticos que tamb´em foram utilizados neste trabalho, n˜ao consideram fatores como ´agua na malha, folhagem na malha, diferentes intensidades da chuva e vento, os quais foram estudados neste trabalho. Al´em do mais, este trabalho tratou especialmente o contexto de trens de cargas, os quais tˆem mais restric¸˜oes. A tabela da Figura 7.16 ilustra a comparac¸˜ao entre os trabalhos sobrejacentes e o presente trabalho. O ´unico trabalho que forneceu o desempenho resultante da validac¸˜ao ´e o de (KECMAN et al., 2015a), portanto, no presente trabalho foram utilizadas as mesmas m´etricas a fim de comparar o desempenho dos dois trabalhos.

Onde RD e SD significam dados reais e dados simulados respectivamente.

A avaliac¸˜ao dos experimentos realizados, assim como a comparac¸˜ao com os trabalhos cor- relatos, mostrou a utilidade da abordagem proposta nesta dissertac¸˜ao como uma ferramenta de apoio `a tomada de decis˜ao no contexto ferrovi´ario do tipo estudado, permitindo responder aos problemas de classificac¸˜ao e previs˜ao de trajet´orias ou comportamentos dos ve´ıculos. Al´em do mencionado, o setor operacional pode, com base nesta ferramenta, prever os comportamentos futuros do tr´afego, o que permitir´a uma boa organizac¸˜ao a n´ıvel operacional do tr´afego, gest˜ao do material e roteamento ou planejamento de rotas.