Tempo de Execução

significativa se comparado a árvore aleatória, ambos tiveram a média em 95%, mediana em 96.8% além da mesma área interquartil. Contudo o ​bagging ​dentre os quatro, possui os melhores resultados de acurácia. A caixa mostrou uma menor variabilidade, além de possuir uma média de 98.5% e mesmo o ​outlier​inferior apresentou uma porcentagem alta de acerto, sendo 89.7%.

Figura 4.5:​ Resultados da árvore aleatória e dos metaclassificadores aplicados.

Fonte: Autor.

Com a análise de todos os diagramas de caixa, pode se afirmar que as MLPs possuem as melhores taxas de acerto seguidas pelo ​bagging​, florestas aleatórias de 10 a 100, árvore aleatória e ​voting, stacking​, rede bayesiana e por fim as SVMs.

A escala do tempo de execução é em milissegundos para todos os gráficos desta seção.

Ao contrário da seção anterior onde quanto maiores os valores, melhor o resultado, pois implica numa melhor taxa de acerto. Para esta variável, quanto menores os valores, melhor o resultado, uma vez que implica num algoritmo mais rápido.

A Figura 4.6 e 4.7 mostra os diagramas das florestas aleatórias de 10 a 100 árvores, assim como na seção anterior. A primeira diferença na Figura 4.6 é que a média dos diagramas cresce de maneira linear ao aumentar o número de árvores. Para 10 árvores a média é 4.8 ms, para 20 árvores a média aumenta para 9.5 ms, para 30, o valor vai para 13.2 ms, depois 18.6 ms e 22.9 ms para 40 e 50 árvores respectivamente. Outra diferença é o formato das caixas; para os diagramas com 10 e 20 árvores os limites superior e inferior são iguais ao terceiro e primeiro quartil respectivamente e com a mesma área interquartil, ao subir o número para 30 árvores a caixa é achatada no valor de 15.6 ms, o mesmo valor do limite superior para 10 e 20 árvores, e apenas possui o limite inferior em 0 ms. Para 40 este formato é invertido, a caixa continua com a área interquartil 0 pois possui os valores do primeiro e terceiro quartil iguais em 15.6 ms, mas ao invés de possui um limite inferior diferente, esta possui um limite superior em 31.2 ms, valor este do terceiro quartil para 50 árvores que volta a repetir o formato de 10 e 20 árvores. Na Figura 4.7 os valores da média continuam crescendo linearmente de acordo com o aumento da quantidade de árvores da floresta, variando em 28.2 ms, 31.8 ms, 36.5 ms, 41.4 ms, 46.2 ms para 60 a 100 árvores. O formato das caixas também seguem o mesmo padrão da Fig 4.6, onde para 60 árvores a área interquartil é 0 com os valores do primeiro e terceiro quartil em 31.2 ms e o limite inferior em 15.6 ms, para 70 a área permanece 0 e possui um ​outlier​inferior com o valor de 15.6 ms e um superior com o valor de 46.9 ms, valor este que é o do terceiro quartil para 80 e 90 árvores.

Em geral, apesar de possuir uma variabilidade maior do que o diagrama de uma floresta com 30 árvores, por exemplo, o classificador de uma floresta com 10 árvores apresenta o melhor resultado, pois uma vez que possui uma menor média, o algoritmo irá executar em um menor tempo.

Figura 4.6​: Diagrama de caixas para florestas aleatórias com 10 a 50 árvores.

Fonte: Autor.

Figura 4.7:​ Diagrama de caixas para florestas aleatórias com 60 a 100 árvores.

Fonte: Autor.

A Figura 4.8 apresenta os resultados dos classificadores: árvore aleatória, rede bayesiana, e SVMs de grau 3 e RBF. O pior algoritmo neste quesito, fica a SVM RBF que apresenta o primeiro e terceiro quartil com o valor de 46.9 ms e limite superior em 62.5 ms e inferior em 31.3 ms, com uma média de 48.5 ms, resultados estes superiores aos dos demais.

Os classificadores árvore aleatória e SVM grau 3 possuem a mesma área interquartil com o primeiro e terceiro quartil com valor 0 ms, porém SVM grau 3 possui um limite superior de valor 15.8 ms e um ​outlier ​31.5 ms, além da média 1.5 ms, enquanto árvore aleatória possui o ​outlier em 15.8 ms e média 0.8 ms. Por fim a rede bayesiana mostra uma variabilidade maior, pois destes algoritmos é a única que não apresenta uma área interquartil igual a zero. O primeiro quartil possui valor 0 ms e o terceiro 15.8 ms, com uma média 3.9

ms. Com isso, a conclusão é que a árvore aleatória apresenta os melhores resultados, possui uma baixa variabilidade, além da média ser o menor dos valores.

Figura 4.8:​ Diagrama de caixas para SVMs de grau 3 e RBF, rede bayesiana e árvore aleatória.

Fonte: Autor.

A Figura 4.9 traz os resultados das MLPs e das outras duas SVMs (grau 2 e linear).

Diferente dos outros gráficos, para estes classificadores o tempo de execução foram grandes e por isso serão citados no formato de segundos.

A MLP de 50 neurônios apresenta o primeiro quartil em 5.4 s, terceiro quartil em 6.5 s, mediana 5.76 s e média em 6.07 s. Resultados estes que são piores do que os resultados dos outros classificadores já comentados nesta seção. Da mesma forma que há uma relação entre

as médias com o número de árvores no classificador floresta aleatória, há uma relação das médias com a quantidade de neurônios em uma MLP, a diferença é que enquanto na floresta o valor da média cresce linearmente com o aumento da quantidade de árvores, para as MLPs o aumento da quantidade de neurônios resulta em um aumento exponencial no tempo de execução. Para MLP com 100 neurônios a média vai para 10.9 s com 150 neurônios, a média é 20.6 s. Para efeito de comparação as médias das SVMs de grau 2 e linear são 15 s e 10 s respectivamente. A MLP com 100 neurônios apresenta a menor variabilidade dos 5 classificadores em questão e mesmo os ​outliers apresentam valores próximos aos limites superior e inferior, entre 10.6 s e 11.2 s. A MLP com 150 neurônios possui a maior variabilidade dos 5, com o terceiro quartil em 23.7 s e o primeiro em 16.3 s, além do limite superior medido em 27.4 s. A SVM linear possui resultado melhor que a SVM com grau 2, ambas possuem a área interquartil com valores aproximados, o que quer dizer que possuem uma variabilidade praticamente igual, porém os tempos de execução da SVM linear são em geral menores que os da SVM de grau 2. Para efeito de comparação, o ​outlier​da SVM linear é 21 s, este valor é inferior ao limite superior da SVM grau 2 (22.2 s), enquanto seu ​outlier é medido em 29.2 s, maior que o ​outlier ​da MLP com 150 neurônios.

Finalizando a MLP com 50 neurônios possui o melhor resultado dentre os 5, e a MLP com 150 o pior. A MLP com 100 entretanto possui a menor variabilidade, logo há uma confiabilidade maior. Todos os 5 algoritmos apresentam piores resultados comparados a qualquer outro desta seção.

Figura 4.9:​ Diagrama de caixas das MLPs e SVMs de grau 2 e linear.

Fonte: Autor.

Para finalizar esta seção, a Figura 4.10 traz os resultados gráficos dos metaclassificadores. ​Bagging ​e ​stacking ​possuem a mesma área interquartil, com primeiro quartil em 0 ms e terceiro em 15.6 ms, entretanto a média dos dois diferem, onde a do primeiro é 8.4 ms e a do segundo 7.5 ms. Além disso o ​outlier ​do ​baggingpossui um valor superior, medido em 47 ms, enquanto o do ​stacking ​foi medido em 31.3 ms. O ​voting​possui os melhores tempos de execução comparado aos dois. O primeiro e terceiro quartil têm valor 0, com o limite superior em 15.6 ms, além de possuir a média em 1 ms. Vale comentar que por causa da média superior e do ​outlier, ​o ​bagging ​possui o pior resultado dentre os três.

Figura 4.10:​ Diagrama de caixas dos metaclassificadores.

Fonte: Autor.

Como conclusão desta seção o melhor método é a árvore aleatória, pois possui os menores tempo de execução, seguida dos metaclassificadores. Vale ressaltar que os metaclassificadores foram aplicados em cima da árvore aleatória, logo o tempo de execução precisa ser maior ou igual ao tempo do classificador em questão.