Comparações entre DCIAGSA e suas modificações

As comparações estatísticas visam verificar se o desempenho obtido com o DCIAGSA é estatisticamente equivalente aos desempenhos obtidos pelas suas duas modificações. Um teste de normalidade é executado para os desempenhos de cada algoritmo em cada base de dados. Caso todos os desempenhos façam parte de uma distribuição normal um teste paramétrico é executado. Caso contrário é executado um teste não-paramétrico.

A Figura 24 apresenta uma comparação visual entre as médias e desvios-padrões dos três algoritmos nas vinte e uma bases de dados. Cada marcação corresponde a uma mé- dia de desempenho, enquanto as barras correspondem aos desvios-padrões associados às médias.

Tabela 10 – Resultados das comparações estatísticas entre DCIAGSA e suas modificações.

Base Hipótese Aceita p-value

Abalone Todos os desempenhos estatisticamente equivalentes 0,6220 Arrhythmia Todos os desempenhos estatisticamente equivalentes 0,6519 Balance Scale Todos os desempenhos estatisticamente equivalentes 0,1451 Car Evaluation Todos os desempenhos estatisticamente equivalentes 0,7788 Contraceptive Todos os desempenhos estatisticamente equivalentes 0,3074

Dermatology DCIAGSA.M1 ≡ DCIAGSA.M2 0,7072

E.coli Todos os desempenhos estatisticamente equivalentes 0,8145

Gene Todos os desempenhos estatisticamente equivalentes 0,9278

Glass Todos os desempenhos estatisticamente equivalentes 0,8950

Hayes-Roth Todos os desempenhos estatisticamente equivalentes 0,4409

Horse Todos os desempenhos estatisticamente equivalentes 0,5597

Nursery Todos os desempenhos estatisticamente equivalentes 0,0822

Page Blocks DCIAGSA.M1 ≡ DCIAGSA.M2 0,9848

Post Operative Todos os desempenhos estatisticamente equivalentes 0,9125 Satimage Todos os desempenhos estatisticamente equivalentes 0,5737

Shuttle DCIAGSA é o melhor —

Soybean Todos os desempenhos estatisticamente equivalentes 0,7928

Thyroid DCIAGSA.M1 ≡ DCIAGSA.M2 0,5567

Wine DCIAGSA.M1 ≡ DCIAGSA.M2 0,8128

Yeast Todos os desempenhos estatisticamente equivalentes 0,6556

Zoo Todos os desempenhos estatisticamente equivalentes 0,8550

forma análoga aos testes executados com o VDBC, a coluna Hipótese Aceita apresenta a conclusão dos testes, i.e., quais algoritmos são os melhores e/ou são estatisticamente equivalentes.

Na maioria das bases (i.e., em 16 das 21) não houve diferença estatística significativa entre os desempenhos dos três algoritmos. Em quatro das cinco bases restantes, a primeira modificação realizada sobre o DCIAGSA conseguiu produzir um aumento substancial de desempenho do modelo de classificação. Devido a isto, a normalização dos dados foi adotada em todos os demais algoritmos. Na base Shuttle, contudo, o algoritmo original teve o melhor desempenho. Entretanto, as diferenças entre os desempenhos dos três algoritmos é muito pequena, e todos possuem um desempenho superior a 97% na métrica MAUC.

A segunda modificação, i.e., dividir os dados com DOB-SCV, foi estatisticamente equivalente à primeira modificação em todas as bases. A partir desse ponto um pequeno estudo foi feito a fim de se descobrir se há outras diferenças entre o DOB-SCV e o SCV que justifique, de alguma forma, a escolha de algum dos métodos de partição.

Tabela 11 – Médias das distâncias entre centroides do conjunto de treinamento e teste na base Balance Scale.

Método Classe 1 Classe 2 Classe 3 Médias

SCV Média 0,8479 0,2537 0,3015 0,4677

Desvio-Padrão 0,2699 0,1334 0,1094 0,1709

DOB-SCV Média 0,4378 0,1729 0,1518 0,2541

Desvio-Padrão 0,1292 0,0926 0,0633 0,0950

ções dos conjuntos de treinamento e teste. Então, para cada classe de cada base foram calculados centroides em ambos os conjuntos e a distância entre os mesmos. A quanti- dade de folds continuou a mesma que foi usada nos experimentos anteriores, ou seja, cinco. Portanto, para cada classe de cada base foram calculadas a média e o desvio-padrão das distâncias entre os centroides de treinamento e teste. A média das médias das classes e a média dos desvios-padrões também foram calculados para resumirem as distâncias de cada base.

Para melhor entendimento do processo, a Tabela 11 apresenta um exemplo das mé- dias calculadas para a base Balance Scale. Esta base possui três classes. Para cada uma das classes foram calculados a média e o desvio-padrão da distância entre os centroides de treinamento e teste. A última coluna apresenta a média das médias e a média dos desvios-padrões. Os valores na última coluna são vistos como um resumo do método de particionamento na referida base.

Em posse dos resumos dos métodos de particionamento em todas as bases, foi possível calcular que em média o SCV deixa os centroides de treinamento das classes distantes em 1,5858 dos centroides de teste, com desvio-padrão de 0,7853. O DOB-SCV diminui esses valores para 1,3713 e 0,6912 respectivamente. Os valores conseguidos por ambos os métodos são estatisticamente equivalentes, porém, o DOB-SCV aparentemente é mais estável, ao possuir, em média, um valor menor de desvios-padrões.

Foram calculadas também as correlações lineares entre as médias obtidas por cada base e seus respectivos valores de IR, MIR e 𝐹𝑔𝑒𝑛. Para as médias obtidas com o SCV, as correlações são, respectivamente: 0,1317, 0,0815 e -0,0739. Para o DOB-SCV os valores são, respectivamente: 0,0291, -0,0037 e -0,0595. Os valores das correlações sugerem que ambos os métodos não são influenciados pelo grau de desbalanceamento, ou por quão próximas estão as classes umas das outras.

Por fim, foram calculadas as correlações lineares entre as médias de distância de cada classe e seus respectivos tamanhos. A Tabela 12 apresenta os valores das correlações para cada base. Quanto mais próximo de 1 é o valor apresentado, maior é a correlação linear positiva, i.e., quanto mais instâncias uma classe tiver maior é a distância entre seus centroides nos conjuntos de treinamento e teste. Do contrário, quanto mais próximo

Tabela 12 – Correlações lineares entre as distâncias médias dos centroides de treinamento e teste e o tamanho das classes

Base SCV DOB-SCV Base SCV DOB-SCV

Abalone -0,5694 -0,5610 Nursery -0,9072 -0,7485

Arrhythmia -0,4817 -0,4870 Page Blocks -0,8618 -0,7124

Balance Scale -0,9974 -0,9978 Post Operative -0,5988 -0,8143

Car Evaluation -0,8041 -0,6620 Satimage -0,7897 -0,8313

Contraceptive -0,8852 -0,6185 Shuttle -0,3394 -0,3227 Dermatology -0,5945 -0,6094 Soybean -0,7477 -0,7255 E.coli -0,5608 -0,5836 Thyroid -0,8747 -0,7699 Gene -0,9982 -0,9995 Wine 0,0370 0,3149 Glass -0,7274 -0,7983 Yeast -0,5232 -0,7169 Hayes-Roth -0,9994 -0,9992 Zoo -0,4869 -0,5239 Horse -0,9309 -0,9705

o valor for de -1, maior é a correlação linear negativa. Em outras palavras, quanto mais instâncias houver em uma classe menor será a distância entre seus centroides nos conjuntos de treinamento e teste. Por fim, quanto mais próximo de 0, menor é a correlação entre os dois fatores.

Quando uma classe possui muitas instâncias é natural que, após o processo de partici- onamento, os conjuntos de treinamento e teste sejam bastante similares. Logo, centroides da classe em cada conjunto tendem a ficar mais próximos neste caso. Por outro lado, quanto menos instâncias existem em uma classe, fica mais difícil manter as distribuições o mais similar possível. Por isso, nesses casos, pode ser mais comum que centroides da classe nos conjuntos de treinamento e teste fiquem mais distantes. Apesar de contribuir bastante, o tamanho da classe não é o único fator que influencia na distância dos centroides. A va- riação dos valores também possui um papel importante. Quanto mais densa é uma classe, ou seja, quanto menor o desvio-padrão, maior é a possibilidade de os centroides estarem mais próximos.

Na Tabela 12 a maior parte das correlações é negativa. A partir disso é possível perceber a tendência dos centroides ficarem mais próximos se as classes possuem muitas instâncias. A correlação se torna positiva, normalmente, quando as instâncias das maiores classes são mais dispersas, ou seja, possuem um valor maior de desvio-padrão. Contudo, talvez seja interessante que tal correlação seja o mais próximo possível de zero, principal- mente no caso de classes desbalanceadas. Desta forma os centroides de todas as classes nos conjuntos de treinamento e teste estariam mais próximos independente do tamanho da classe.

A média e desvio-padrão das correlações obtidos com SCV é −0, 6972 ± 0, 2580. A média e desvio-padrão obtidos com DOB-SCV é −0.6732 ± 0, 2892. A base Wine foi a

única em que ambos os métodos de particionamento obtiveram uma correlação positiva, apesar de quase nula ou fraca. Nesta base, após o particionamento com o SCV a média das distância para todas as classes é bem próxima. O DOB-SCV, contudo, foi um pouco afetado pela dispersão das instâncias da maior classe, resultando em uma maior correlação positiva, ainda que fraca. Ao se considerar a correlação obtida na base Wine como outlier, as médias e desvios-padrões obtidos pelo SCV e DOB-SCV se tornam, respectivamente: −0.7339 ± 0.2007 e −0.7226 ± 0.1845. As médias são estatisticamente equivalentes com

𝑝 − 𝑣𝑎𝑙𝑢𝑒= 0, 8538.

Em conclusão, para as bases testadas, que possuem três ou mais classes desbalancea- das, o DOB-SCV não apresentou qualquer tipo de melhoria evidente em relação ao SCV. Apesar disso, o novo método aparenta ser um pouco mais estável. Portanto, as bases tes- tadas não possuem um covariate shift natural, e também não sofrem desse problema após o particionamento. Contudo, essa conclusão diz respeito somente às vinte e uma bases testadas, quando divididas em cinco conjuntos.