Testes Estatísticos

Considerando a redução de dimensionalidade obtida, nos tópicos anteriores fize- mos algumas observações quanto aos resultados obtidos após o processo de seleção de características (erros de classificação). Desta forma, para verificarmos se estas observações são estatisticamente válidas, adicionamos ao trabalho alguns testes de hipóteses. Para isso, utilizamos a função ttest2 da toolbox de estatística da ferra- menta MATLAB. Esta função implementa um teste denominado Teste t ou Teste de Student para duas amostras oriundas de distribuições normais.

Este teste usa conceitos estatísticos para rejeitar ou não uma hipótese nula (H0) de que os dois grupos possuem médias iguais e variâncias iguais porém desconhecidas, ou seja, que não há diferença significativa ou real entre eles. A hipótese alternativa (HA) é que os dados dos dois grupos vem de populações com médias diferentes.

Desta forma, dado duas amostras de tamanho n1 e n2, médias x1 e x2 e variâncias s2

1. Calcula-se a variância ponderada (s2) dada por:

s

=

2. Calcula-se o valor de t definido por:

t =

s2( 1

n1+n21 )

3. Calcula-se o Grau de Liberdade dado por: n1+ n2− 2

4. Compara-se o resultado calculado de t com o valor da tabelado da Distribuição t de Student considerando o Grau de Liberdade e um percentual de Nível de Significância. Se o valor calculado de t for igual ou maior ao tabelado, conclui-se que as médias não são iguais, considerando o nível de significância estabelecido.

No MATLAB a função ttest2 recebe como parâmetro dois arrays com as amostras a serem analisadas. Como saída a função retorna um valor h que assume 1, caso a hipótese nula seja rejeitada e 0 se for aceita, considerando o nível de significância estabelecido. A função retorna ainda um valor p que é a probabilidade de se obter uma estatística de teste igual ou mais extrema quanto aquela observada em uma amostra, assumindo verdadeira a hipótese nula.

Desta forma, um total de 14 Testes de Student, divididos em três grupos, foram realizados. Em cada grupo existe um conjunto de Hipóteses Alternativas, frutos de nossas indagações sobre os resultados obtidos. Para os testes utilizamos o número de erros de classificação obtidos utilizando todas as características e os conjuntos de melhores características para cada fold da validação cruzada. Mantivemos o padrão de 5% para o nível de significância.

Grupo 1

Nos testes realizados neste grupo procuramos verificar se existe diferença estatisti- camente relevante entre os resultados obtidos utilizando as melhores características selecionadas pelo método proposto e os resultados obtidos sem seleção de caracte- rísticas. Segue as hipóteses do grupo:

• H1A(Teste 1): Nos experimentos com manuscritos e utilizando kNN, os re-

sultados obtidos aplicando o método proposto são melhores que os resultados sem seleção de características;

• H2A(Teste 2): Nos experimentos com impressos e utilizando kNN, os resulta-

dos obtidos aplicando o método proposto são melhores que os resultados sem seleção de características;

• H3A(Teste 3): Nos experimentos com manuscritos e utilizando Redes Neurais

MLP, os resultados obtidos aplicando o método proposto são melhores que os resultados sem seleção de características;

• H4A(Teste 4): Nos experimentos com impressos e utilizando Redes Neurais

MLP, os resultados obtidos aplicando o método proposto são melhores que os resultados sem seleção de características;

A Tabela 7.17 traz os resultados obtidos deste grupo. Os testes mostram que, uti- lizando kNN, os resultados obtidos com textos impressos não possuem diferença estatística relevante em comparação aos resultados obtidos utilizando todas as carac- terísticas (Teste 2). Para os demais casos, entretanto, os testes confirmam melhorias dos resultados (h = 1).

Resultado Teste Hipótese Erros por Fold h p

1 H1A Melhores 1 6 2 0 2 1 5 1 4 1 1 0,0038 Sem Sel. 7 5 4 7 5 1 11 6 6 5 2 H2A Melhores 0 1 2 0 2 1 1 3 1 1 0 0,5120 Sem Sel. 2 1 1 1 1 4 2 2 0 1 3 H3A Melhores 2 1 0 0 1 1 5 1 2 0 1 0,0393 Sem Sel. 3 2 7 2 5 1 5 3 3 0 4 H4A Melhores 2 0 0 0 2 1 2 2 1 2 1 0,0181 Sem Sel. 3 1 2 3 1 5 7 2 3 2

Tabela 7.17: Resultados dos Testes Estatísticos - Grupo 1

Grupo 2

O objetivo dos testes desse grupo é comparar os classificadores utilizados e verificar se os resultados obtidos para cada um são estatisticamente diferentes. Segue as hipóteses propostas para esse grupo:

• H5A(Teste 5): Nos experimentos com manuscritos, os resultados obtidos uti-

lizando Redes Neurais MLP são melhores dos que os resultados utilizando kNN;

• H6A(Teste 6): Nos experimentos com impressos, os resultados obtidos utili-

zando Redes Neurais MLP são melhores dos que os resultados utilizando kNN; Os resultados dos testes desse grupo estão na Tabela 7.18. Pelos resultados, podemos verificar que não existe uma diferença estatisticamente relevante quando comparado os resultados obtidos utilizando kNN e Redes Neurais MLP.

Resultado Teste Hipótese Erros por Fold h p

5 H5A kNN 1 6 2 0 2 1 5 1 4 1 0 0,2218 RNA 2 1 0 0 1 1 5 1 2 0 6 H6A kNN 0 1 2 0 2 1 1 3 1 1 0 1 RNA 2 0 0 0 2 1 2 2 1 2

Tabela 7.18: Resultados dos Testes Estatísticos - Grupo 2

Grupo 3

Neste grupo comparamos os resultados obtidos pelo método proposto com o estado da arte observando os artigos com menores taxas de erro (Silva et al. [4] e por Shirdhonkar e Kokare [3]).

• H7A(Teste 7): Nos experimentos com manuscritos e utilizando kNN, os re-

sultados obtidos aplicando o método proposto são melhores que os resultados obtidos por Silva et al. [4];

• H8A(Teste 8): Nos experimentos com impressos e utilizando kNN, os resul-

tados obtidos aplicando o método proposto são melhores que os resultados obtidos por Silva et al. [4];

• H9A(Teste 9): Nos experimentos com manuscritos e utilizando Redes Neurais

MLP, os resultados obtidos aplicando o método proposto são melhores que os resultados obtidos por Silva et al. [4];

• H10A(Teste 10): Nos experimentos com impressos e utilizando Redes Neurais

MLP, os resultados obtidos aplicando o método proposto são melhores que os resultados obtidos por Silva et al. [4];

• H11A(Teste 11): Nos experimentos com manuscritos e utilizando kNN, os

resultados obtidos aplicando o método proposto são melhores que os resultados obtidos por Shirdhonkar e Kokare [3];

• H12A(Teste 12): Nos experimentos com impressos e utilizando kNN, os re-

sultados obtidos aplicando o método proposto são melhores que os resultados obtidos por Shirdhonkar e Kokare [3];

• H13A(Teste 13): Nos experimentos com manuscritos e utilizando Redes Neu-

rais MLP, os resultados obtidos aplicando o método proposto são melhores que os resultados obtidos por Shirdhonkar e Kokare [3];

• H14A(Teste 14): Nos experimentos com impressos e utilizando Redes Neurais

MLP, os resultados obtidos aplicando o método proposto são melhores que os resultados obtidos por por Shirdhonkar e Kokare [3];

Os resultados da Tabela 7.17 mostram que, considerando o artigo de Silva et al.[4], apenas a hipótese alternativa 10 foi confirmada, ou seja, os resultados obtidos com textos impressos e utilizando Redes Neurais são melhores no método proposto. Nos demais casos não existe diferença relevante.

Resultado Teste Hipótese Erros por Fold h p

7 H7A Método Proposto 1 6 2 0 2 1 5 1 4 1 0 0,3730 Silva et al. 2 2 1 2 5 3 5 2 7 2 8 H8A Método Proposto 0 1 2 0 2 1 1 3 1 1 0 0,2862 Silva et al. 1 2 0 5 2 5 1 1 0 2 9 H9A Método Proposto 2 1 0 0 1 1 5 1 2 0 0 0,2281 Silva et al. 3 0 2 3 1 1 4 2 4 1 10 H10A Método Proposto 2 0 0 0 2 1 2 2 1 2 1 0,0110 Silva et al. 3 2 2 3 2 2 1 2 3 2 11 H11A Método Proposto 1 6 2 0 2 1 5 1 4 1 0 0,1922 Shirdhonkar e Kokare 8 2 1 2 4 4 4 4 4 2 12 H12A Método Proposto 0 1 2 0 2 1 1 3 1 1 1 0,0008 Shirdhonkar e Kokare 3 1 3 6 8 6 3 4 2 6 13 H13A Método Proposto 2 1 0 0 1 1 5 1 2 0 0 0,2235 Shirdhonkar e Kokare 1 3 2 0 0 4 8 2 2 2 14 H14A Método Proposto 2 0 0 0 2 1 2 2 1 2 1 0,0021 Shirdhonkar e Kokare 4 1 2 4 4 4 2 4 2 7

No que se refere ao artigo de Shirdhonkar e Kokare [3], as hipóteses 11 e 13 foram rejeitadas. Desta forma, não é relevante a diferença de resultado entre o erro obtido com o método proposto e o obtido utilizando as características do artigo.