Análise dos Experimentos Computacionais
7.3 Gráficos BoxPlot
Tabela 7.6: Resultado para o Teste de Kruskal-Wallis acerca da Instância h65, com Kruskal-Wallis qui-quadrado χ2
= 80, 53 e significância P -valor= 2, 35 Metaheurísticas Diferença Observada Diferença Crítica Diferença
GRASP - IGS 70,8 23,69 Sim
GRASP - ILS 3,0 23,69 Não
GRASP - VNS 29,4 23,69 Sim
IGS - ILS 67,8 23,69 Sim
IGS - VNS 41,4 23,69 Sim
ILS - VNS 26,4 23,69 Sim
Tabela 7.7: Resultado para o Teste de Kruskal-Wallis acerca da Instância h90, com Kruskal-Wallis qui-quadrado χ2
= 70, 34 e significância P -valor= 3, 60 Metaheurísticas Diferença Observada Diferença Crítica Diferença
GRASP - IGS 70,8 23,69 Sim
GRASP - ILS 14,4 23,69 Não
GRASP - VNS 22,8 23,69 Não
IGS - ILS 56,4 23,69 Sim
IGS - VNS 48,0 23,69 Sim
ILS - VNS 8,4 23,69 Não
Por meio dos resultados apresentados pelas Tabelas7.2,7.3,7.4,7.5,7.6e7.7, percebe-se que, considerando o valor do makespan, em todas as instâncias testadas, houve uma diferença significativa entre os resultados alcançados. Em todas as instâncias testadas observa-se uma diferença estatística significativa. As maiores ocorrências destas diferenças aparecem entre os algoritmos GRASP - IGS e entre os algoritmos IGS - ILS, com um total de seis aparições, para cada par, entre as instâncias testadas. Em segundo lugar, aparecem os algorítmos IGS - VNS, com um total de cinco aparições, e em terceiro lugar, aparecem os algoritmos GRASP - VNS, com um total de três aparições. Já os algoritmos GRASP-ILS e ILS-VNS têm apenas uma aparição cada, demonstrando que os resultados encontrados por estes não apresenta diferenças significativas.
7.3 Gráficos BoxPlot
Utilizou-se também, com o intuito de comparar os resultados alcançados, os gráficos
boxplot, os quais permitem uma melhor visualização das diferenças de resultados alcançados
pelos diferentes algoritmos implementados. Para construção dos mesmos, são necessários alguns dados, como: Primeiro Quartil, Mediana (ou Segundo Quartil), Terceiro Quartil e o Intervalo Interquartil.
Os quartis são estatísticas que dividem os seus dados ordenados em quatro conjuntos com a mesma quantidade de dados. A mediana é o valor que divide os dados no centro. São seis valores antes dele e seis valores depois dele. O Primeiro Quartil (Q1) divide no centro os seis primeiros valores e o Terceiro Quartil (Q3) divide no meio os seis últimos valores. Já o Intervalo Interquartil (IIQ) é a diferença entre Q3 e Q1.
O gráfico consiste em uma caixa cujos limites correspondem a Q1 e Q3, uma linha representando a Mediana e duas linhas, que demarcam duas possibilidades: caso não existam
outliers, as duas linhas demarcam os valores máximo e mínimo do conjunto de dados. Caso
existam outliers, estas duas linhas demarcam o maior valor não outlier e o menor valor não
outlier.
As Figuras 7.7, 7.8, 7.9, 7.10,7.11 e 7.12 apresentam os gráficos boxplot relativos à variabilidade dos resultados alcançados com a implementação das quatro metaheurísticas,
7.3 Gráficos BoxPlot 62
a saber, GRASP, IGS, ILS e VNS. Utilizou-se as mesmas instâncias utilizadas no teste de probabilidade empírica.
Para a instância h15, o teste Kruskal-Wallis, apresentado na Tabela 7.2, verificou-se que houve uma diferença significativa entre as metaheurísticas GRASP-IGS, GRASP-VNS e IGS-ILS. A maior diferença ocorre entre as metaheurísticas GRASP-IGS. Esta diferença é mais facilmente visualizada no gráfico boxplot apresentado na Figura 7.7, na qual pode-se afirmar que a metaheurística IGS aprepode-senta os melhores resultados para esta instância. Verifica-se que o IGS alcança a menor mediana e também a menor média (apenas 114 slots de tempo). Além disto, alcança os menores valores de makespan (109 slots de tempo, apro-ximadamente), e seu terceiro quartil não ultrapassa 119 slots de tempo. Já a metaheurística GRASP apresenta mediana igual a 119 slots de tempo. Observe que este valor corresponde ao valor do terceiro quartil no IGS. O GRASP alcança os piores valores de makespan para esta instância, atingindo 125 slots de tempo no seu terceiro quartil.
A diferença diminui comparando as metaheurísticas IGS-VNS. Nota-se, neste caso, que o VNS apresenta mediana e média de 116 slots de tempo, aproximadamente. Porém, chega a atingir valores máximos de makespan de 124 slots de tempo.
Figura 7.7: Gráfico BoxPlot acerca da instância h15.
Para a instância h25, ao se comparar os resultados dos algoritmos GRASP, IGS, ILS e VNS, verificou-se claramente que a metaheurística IGS apresentou os melhores resultados isoladamente. Não houve, neste caso, qualquer outro resultado de valor de makespan que interferisse nos valores alcançados por esta metaheurística. Lembrando que, em se tratando do objetivo de minimização, os melhores resultados se encontram na parte inferior do gráfico. A Tabela 7.3 já apresentava uma diferença significativa entre as metaheurísticas GRASP-IGS, IGS-ILS e IGS-VNS, o que é evidenciado no gráfico boxplot da Figura 7.8.
Ao analisar o gráfico, pode-se afirmar que, de acordo com a distribuição dos resultados, os valores apresentados pelo IGS são praticamente todos inferiores se comparados com os valores das outras três metaheurísticas. Nota-se que o terceiro quartil da metaheurística IGS
7.3 Gráficos BoxPlot 63
atinge apenas 106 slots de tempo, aproximadamente. O IGS também apresenta, para esta instância, a menor variabilidade nos resultados encontrados. Já a metaheurística GRASP apresenta resultados compreendidos entre 119 e 123 slots de tempo, e mantém os resulta-dos de mediana e média em 120 slots de tempo. De igual forma, o ILS apresenta também diferenças significativas quando comparadas com a metaheurística IGS. Observe que o ILS alcança os piores resultados para esta instância, chegando a atingir, no seu terceiro quartil, 135 slots de tempo; e que, além disto, alcança a maior mediana entre todas as metaheurís-ticas testadas (131 slots de tempo, aproximadamente) e chega a atingir o valor máximo de 136 slots de tempo, ou seja, o pior resultado encontrado.
A diferença diminui em relação ao IGS-VNS. Analisando o gráfico, verifica-se que o VNS mantém a mediana e média de 125 slots de tempo, aproximadamente. Por meio do gráfico, nota-se a presença de valores outliers para as metaheurísticas IGS e VNS.
Figura 7.8: Gráfico BoxPlot acerca da instância h25.
Para a instância h35, o teste Kruskal-Wallis, apresentado na Tabela 7.4, mostra que os resultados da instância h35 também possui diferenças significativas entre quase todas as metaheurísticas, a saber GRASP-IGS, GRASP-ILS, GRASP-VNS, IGS-ILS e IGS-VNS. Através do gráfico boxplot da Figura 7.9, pode-se confirmar que, de acordo com a distribui-ção dos resultados, os valores apresentados pelo IGS são praticamente todos inferiores, se comparados com as outras três metaheurísticas.
A maior diferença entre os resultados encontrados acontece entre as metaheurísticas IGS-VNS, pois nota-se que os valores de mediana e média alcançados pelo IGS atingem apenas 114 slots de tempo, aproximadamente. Já os valores de mediana da metaheurística VNS atinge 143 slots de tempo, aproximadamente. A metaheurística VNS apresenta, para esta instâncias, os piores resultados, chegando a atingir 155 slots de tempo, o pior makespan alcançado.
7.3 Gráficos BoxPlot 64
valores encontrados pelo VNS. Porém, o makespan máximo encontrado foi de 149 slots. A diferença diminui em relação ao IGS-VNS. Analisando o gráfico, verifica-se que o VNS mantém a mediana e média de 125 slots de tempo, aproximadamente. No gráfico, nota-se a presença de valores outliers para as metaheurísticas IGS e VNS.
Figura 7.9: Gráfico BoxPlot acerca da instância h35.
Para a instância h55, conforme a Tabela7.5, percebe-se que ocorreram diferenças signi-ficativas, ao se comparar os resultados encontrados pelas quatro metaheurísticas. Quando se analisa o gráfico boxplot da Figura7.10, observa-se que a maior diferença ocorre entre as metaheurísticas IGS-VNS. Analisando os valores de mediana, pode-se verificar que a me-taheurística IGS encontra a menor mediana para esta instância (120 slots de tempo), ao passo que a metaheurística VNS apresenta a maior mediana encontrada (132 slots de tempo, aproximadamente). A metaheurística VNS apresenta também o pior resultado, encontrando o maior makespan 146 slots de tempo, aproximadamente.
Os resultados da instância h65, apresenta na Tabela 7.6, mostra diferenças significa-tivas entre quase todas as metaheurísticas, a saber GRASP-IGS, GRASP-VNS, IGS-ILS, IGS-VNS e ILS-VNS. Através do gráfico boxplot da Figura 7.11, pode-se confirmar que todos os valores apresentados pelo IGS são inferiores, se comparados com as outras três me-taheurísticas. Os valores encontrados pelo IGS não sofrem qualquer interferência das outras metaheurísticas. A maior diferença entre as metaheurísticas testadas, para esta instância, ocorre entre as metaheurísticas GRASP-IGS, pois nota-se que os valores de mediana e média alcançados pelo IGS atingem apenas 113 slots de tempo, aproximadamente. Já os valores de mediana da metaheurística GRASP atingem 136 slots de tempo, aproximadamente.
A diferença diminui comparando-se as metaheurísticas IGS-ILS. Nota-se, neste caso, que o ILS apresenta mediana igual a 134 slots de tempo e média igual a 137 slots de tempo. Porém, chega a atingir o pior makespan, qual seja, 142 slots de tempo. Já a metaheurística VNS apresenta a menor diferença encontrada entre as metaheurísticas testadas,
apresen-7.3 Gráficos BoxPlot 65
Figura 7.10: Gráfico BoxPlot acerca da instância h55.
tando mediana de 133 slots de tempo aproximadamente. Esta metaheurísticas apresenta valores de outliers de 140 slots de tempo aproximadamente.
Analisando os resultados da instância h90, verifica-se, na Tabela 7.7, a existência de diferenças significativas entre as metaheurísticas, a saber GRASP-IGS, ILS e IGS-VNS. Por meio do gráfico boxplot da Figura 7.12, pode-se afirmar que todos os valores apresentados pelo IGS são inferiores, se comparados com as outras três metaheurísticas. Os valores encontrados pelo IGS não sofrem qualquer interferência das outras metaheurísticas. A maior diferença entre as metaheurísticas testadas, para esta instância, ocorre entre as metaheurísticas GRASP-IGS, pois nota-se que os valores de mediana e média alcançados pelo IGS atingem apenas 129 slots de tempo, aproximadamente. Já os valores de mediana da metaheurística GRASP atingem 147 slots de tempo, aproximadamente. Além disto, a metaheurística GRASP apresenta os piores resultados para esta instância, chegando a atingir um valor de makespan de 159 slots de tempo.
A diferença diminui comparando-se as metaheurísticas IGS-ILS. Nota-se, neste caso, que o ILS apresenta mediana e média igual a 144 slots de tempo e atinge um valor de makespan de 156 slots de tempo. Por meio do gráfico, observa-se que a menor diferença, então, ocorre entre as metaheurísticas IGS-VNS. A metaheurística VNS apresenta mediana de 140 slots de tempo e média de 141 slots de tempo aproximadamente.
7.3 Gráficos BoxPlot 66
Figura 7.11: Gráfico BoxPlot acerca da instância h65.