Nesta secção, procura-se apurar o impacto de cada configuração nos resultados obtidos. Cada um desses resultados é explicitado através de dois intervalos de confiança, a 95% para as médias: um para o custo total, outro para o tempo total de duração do projeto.
Quando observados, simultaneamente, os ditos intervalos formam uma região retangular. Para facilitar a observação comparativa, criou-se o que se chamou de diagramas de caixas. Tais diagramas foram projetados por forma a favorecer a observação relativa entre configurações, quer no mesmo teste quer em testes diferentes. Para conseguir-se tais objetivos, um diagrama de caixas recorre a:
Eixos implícitos:Como os valores concretos dos extremos de cada intervalo não importam na análise relativa, não se usam eixos. Implicitamente, o eixo do tempo está na horizontal enquanto o custo se orienta na vertical. O canto em baixo à esquerda representa o menor valor para ambos.
Enquadramento:Para ser possível a comparação visual mesmo em situações onde os intervalos têm ampli- tudes muito baixas (ou muito altas), é aplicado um factor de dilatação/contração enquadrando ambos os eixos de forma à sua amplitude máxima coincidir num quadrado. Isto inviabiliza a comparação de amplitudes entre tempo e custo. Porém, o interesse está na comparação combinada e ao aproximar as formas a um quadrado maximiza-se as áreas para observação.
Cores:É seguido um código de cores e tons. As cores laranja e azul correspondem à configuração da EMA pesada e ligeira, respetivamente. Da mesma forma, os tons escuro e claro estão para a p-EVA.
Por brevidade, apenas se apresentarão 3 conjuntos representativos de diagramas.
Observando o caso do grupo MP_Net01 representado na figura 8.2, constata-se que as amplitudes dos intervalos de confiança são manifestamente superiores na expB. Tal é consistente com o facto de terem sido recolhidos muito menos resultados (acima de 1000) na expB que na expA (acima de 10000). Este fenómeno é visível em todos os casos com todos os grupos.
MP_Net01_1_5 MP_Net01_2_31 MP_Net01_1_NAC MP_Net01_2_NAC
DD DL LD LL
Figura 8.2:Diagrama de caixa dos intervalos de confiança para as médias, do grupo MP_Net01.
É sabido que quando há sobreposição de intervalos de confiança não é possível concluir quanto à diferença entre as médias aferidas por cada um. Nesse sentido, pode-se concluir haver diferença entre as médias obtidas pelas configurações laranja (DD e DL) e as obtidas pelas azuis (LD e LL), nos projetos da expA: MP_Net01_1_5 e MP_Net01_2_31. Mais, essa diferença ocorre nos dois eixos.
Na expB, a configuração DD obtém média de custo menor que as configurações azuis de forma clara no MP_Net01_2_NAC e apenas marginalmente no MP_Net01_1_NAC. Embora o agrupamento em cores não possa ser afirmado, intuitivamente, é aparente que esse fenómeno se verificaria se as amplitudes dos retângulos fossem tão baixas quanto as verificadas na expA.
tempo. No entanto, para o MP_Net01_2_31 as laranjas comportam, consideravelmente, melhor custo e melhor tempo.
No grupo MP_Net05 (ver figura 8.3), nota-se agrupamento de cores sendo as configurações laranja a obterem valores melhores. Neste caso particular, na expA as DD e DL têm resultados melhores em tempo e em custo. Na expB, a relevância está mais no tempo, não tendo tanto significado tal diferença em termos de custo.
MP_Net05_1_1 MP_Net05_3_333 MP_Net05_1_NAC MP_Net05_3_NAC
DD DL LD LL
Figura 8.3: Diagrama de caixa dos intervalos de confiança para as médias, do grupo MP_Net05.
Em alguns grupos de projetos, como o caso do MP_Net12 representado na figura 8.4, há clara diferença entre as configurações laranja e as azuis em todos os quatro projetos. De facto, no projeto MP_Net12_2_13 as 4 configurações podem ser totalmente ordenadas, da melhor para a pior: DD< DL < LD < LL.
MP_Net12_1_5 MP_Net12_2_13 MP_Net12_1_NAC MP_Net12_2_NAC
DD DL LD LL
Figura 8.4:Diagrama de caixa dos intervalos de confiança para as médias, do grupo MP_Net12.
Nos casos aqui apresentados e nos restantes, nota-se uma tendência para os intervalos mantidos poderem ser agrupados por cores. As duas configurações laranja tendem a manter-se próximas e o mesmo acontece com as azuis. O mais comum é formarem-se dois grupos, cada um com duas configurações da mesma cor sobrepostos. Mesmo quando a amplitude dos intervalos é grande, e há mais sobreposição, aquele comportamento parece latente. Por outro lado, até nos casos em que não há qualquer sobreposição de intervalos se nota um comportamento mais próximo entre configurações da mesma cor. Os grupos dispõem-se segundo uma das diagonais do diagrama. De facto, à exceção dos MP_Net01_1_5, MP_Net01_1_NAC e MP_Net01_2_NAC (conforme figura 8.2 na página anterior) que se orientam na diagonal dos quadrantes pares, todos os outros casos seguem a outra direção.
Pelo agrupamento em cores, é evidente haver influência da configuração da heurística EMA. Como há grupos onde os retângulos – um escuro e outro claro – não se intersetam, pode concluir-se que a configuração
da p-EVA também tem impacto. Considerando os casos que se dispõem segundo a diagonal dos quadrantes ímpares, o grupo laranja surge aproximado ao canto inferior esquerdo que representa melhor tempo e melhor custo, contrastando com o azul que se aproxima do oposto. Isto significa que a configuração por defeito na EMA domina sobre as outras. Mais, quando aplicável, o retângulo escuro ocorre sempre abaixo e à esquerda do correspondente claro. Pelo que também a aplicação da configuração por defeito na p-EVA suporta valores, tendencialmente, melhores nos resultados, ainda que sem dominar sobre a do EMA.
Uma última observação permite notar que na expB, onde as amplitudes são grandes, o mais comum é haver grupos com sobreposição em custo mas distintos em tempo. Isto sugere que o Macra é mais eficiente a determinar melhor tempo de escalonamento que a avaliar o melhor custo.