Testes Não Paramétricos

Por outro lado, os procedimentos de testes estatísticos que não supõem conhecimento nenhum acerca das distribuições das populações subjacentes são denominados métodos não paramétricos. Dessa forma, estes métodos podem ser utilizados em inferências que não dependam do conhecimento dos parâmetros populacionais. A maioria dos analistas considera que os cálculos implicados neste tipo de métodos são atraentes e intuitivos (WALPOLE; MYERS; YE, 2012).

A seguir denotam-se o testes não paramétricos utilizados como referência no trabalho. 3.3.3.1 Teste de Friedman

O teste de Friedman é utilizado para comparar dados amostrais aparelhados, ou seja, quando o mesmo indivíduo é avaliado mais de uma vez. Este método estatístico não utiliza os dados numéricos diretamente, mas sim os postos ocupados por eles após a ordenação feita para cada grupo separadamente. Após a ordenação é testada a hipótese de igualdade da soma dos postos de cada grupo (FRIEDMAN, 1937).

Em vista de um entendimento com mais claridade do funcionamento do método, e sua aplicação nos resultados da dissertação, apresenta-se a explicativa do teste com as variações da metodologia prequential utilizadas como exemplo.

O desempenho das variações de prequential testadas em conjuntos de dados múltiplos pode ser organizado pela matriz 3.7,

Datasets Variations 𝑋11 𝑋12 ... 𝑋1𝑛 𝑋21 𝑋21 ... 𝑋2𝑛 ... ... ... ... 𝑋𝑚1 𝑋𝑚2 ... 𝑋𝑚𝑛 (3.7)

onde 𝑋𝑖𝑗 denota o desempenho do i-ésimo conjunto de dados na j-ésima variação (para

𝑖= 1, ..., 𝑚 e 𝑗 = 1, ..., 𝑛).

As observações (diferenças percentuais entre as médias) nas diferentes colunas são assumidas como independentes. O primeiro passo é ordenar as entradas 𝑋𝑖𝑗 da matriz 3.7

Capítulo 3. AVALIAÇÃO PREQUENTIAL E TESTES ESTATÍSTICOS 43

(posição) em relação às outras observações na j-ésima coluna como pode-se apreciar na expressão matricial 3.8, onde 𝑅𝑖𝑗 é o posto do conjunto de dados 𝑖 na j-ésima variação.

𝑅 = ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 𝑅11 𝑅12 ... 𝑅1𝑛 𝑅21 𝑅22 ... 𝑅2𝑛 ... ... ... ... 𝑅𝑚1 𝑅𝑚2 ... 𝑅𝑚𝑛 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ (3.8)

Por conseguinte, é feita a soma dos postos resultantes por coluna para obter os res- pectivos ranks. Não obstante, vale ressaltar que a soma da j-ésima coluna 𝑅𝑗 =∑︀𝑚𝑖=1𝑅𝑖𝑗,

∀ 𝑗 = 1, ..., 𝑛, depende de como o j-ésimo conjunto de dados comporta-se em relação aos outros conjuntos de dados (𝑛 − 1). Assim, sobre a hipótese nula do método de Friedman (não há diferença entre as variações), é realizado o cálculo da estatística do teste defi- nido pela equação 3.9, onde 𝑛 e 𝑚 aludem ao número de filas e colunas da matriz 3.8 respectivamente, e 𝑅𝑗 é o rank pertencente a cada coluna.

𝑆 = 12 𝑛𝑚(𝑚 + 1) 𝑛 ∑︁ 𝑗=1 [︃ 𝑅𝑗− 𝑛(𝑚 + 1) 2 ]︃2 (3.9) Finalmente procura-se o valor crítico associado ao resultado do valor 𝑆 na tabela de distribuição de qui-quadrado com 𝑚 − 1 graus de liberdade para determinar se a hipótese nula é rejeitada, uma vez que o valor critico seja menor que 𝑆. No caso contrário, a hipótese nula não será rejeitada.

3.3.3.2 Pós-Teste de Nemenyi

Se o teste de Friedman rejeitar a hipótese nula, é preciso estabelecer quais são as diferenças significativas entre as variações. Para isso, procede-se com a execução de um pós-teste – teste realizado depois que outro teste global foi executado.

O pós-teste de Nemenyi (NEMENYI, 1963) é usado para fazer múltiplas comparações

entre os algoritmos avaliados em questão. No exemplo em particular, o método é apli- cado para fazer uma comparação múltipla entre as variações de prequential. Portanto, o desempenho de duas variações é significativamente diferente, se os ranks das diferenças percentuais entre as médias correspondentes diferem ao menos da diferença crítica 𝐶𝐷 definida pela equação 3.10

𝐶𝐷 = 𝑞𝛼

√︃

𝑚(𝑚 + 1)

6𝑛 , (3.10)

onde os valores críticos 𝑞𝛼 são baseados na estatística do intervalo estudado (Studentized

Range Statistic) (RAFTER; ABELL; BRASELTON, 2002) dividida por

√ 2 .

Por último, a estatística do teste para comparar o i-ésimo conjunto de dados e a j-ésima variação usando este método é determinado pela equação 3.11

Capítulo 3. AVALIAÇÃO PREQUENTIAL E TESTES ESTATÍSTICOS 44

𝑧 = (𝑅𝑖 − 𝑅𝑗)

⧸︃√︃

𝑚(𝑚 + 1)

6𝑛 (3.11)

O valor calculado de 𝑧 é usado para encontrar a probabilidade correspondente da tabela de distribuição normal, que é então comparado com um 𝛼 apropriado. Outros testes diferem na forma como eles ajustam o valor de 𝛼 para compensar comparações múltiplas (DEMŠAR, 2006).

3.4

Conclusões

Neste capítulo foi descrita a metodologia de avaliação prequential que formou a base para a realização desta pesquisa. Também foi exibido como são atualizados os modelos de decisão evolutivos nas diferentes variações de prequential, baseado no estimador do erro. Tais estimadores discutidos até agora aplicam-se na maior parte do tempo a processos estacionários mas, com as modificações feitas aos estimadores, o desempenho dos modelos de decisão tende a melhorar com mais dados etiquetados (𝑟𝑜𝑡𝑢𝑙𝑎𝑑𝑜𝑠). Daí o interesse em experimentar estas variações de prequential, mas com cenários não estacionários onde ocorrem as mudanças de conceito. É muito importante destacar que esta metodologia do Prequential é incapaz de fornecer uma significância estatística ao comparar classificadores (BIFET et al., 2015). Além disso, percebe-se a versatilidade da precisão prequential descrita

para avaliar estas variações.

Adicionalmente, foram definidas as principais particularidades da estatística paramé- trica e não paramétrica que foram aplicadas durante a realização do trabalho. Com esta descrição demostrou-se a confiabilidade de usar o teste 𝑧 para a comparação entre médias na visão paramétrica e a utilidade da aplicação do teste de Friedman e o pós-teste de

45

4 ESTUDO EMPÍRICO E RESULTADOS

Este capítulo descreve todas as informações importantes sobre os experimentos realiza- dos como parte desta dissertação. Da mesma forma, são reveladas as particularidades fundamentais dos conjuntos de dados artificias usados nas experimentações. Logo depois apresentam-se os resultados obtidos, tomando como base a análise dos métodos esta- tísticos aplicados às variações da metodologia prequential em cenários onde acontecem mudanças de conceito abruptas, graduais, muito graduais e, por conseguinte, combinando esses tipos de mudanças de conceito.