Projeto de Experimento (Design of Experiments)

O Design of Experiments - DoE tem como principal objetivo determinar a quantidade máxima de informações sobre um sistema com o mínimo de esforço. Um experimento bem projetado ajuda a ter uma melhor orientação na hora de escolher que experimentos realmente precisam ser executados (LILJA, 2000). Uma análise adequada ajuda a separar os efeitos de vários fatores que podem afetar o desempenho. Além disso, permite determinar se um fator tem um efeito significativo ou se a diferença observada é simplesmente devido a variações aleatórias causadas por erros de medição e parâmetros que não foram controlados (JAIN, 1991).

A partir da obtenção dos resultados, é possível obter os efeitos sobre o desempenho de cada fator de entrada individualmente, e os efeitos causados por suas interações. A forma de concepção do projeto experimental também permite uma avaliação quantitativa do erro inerente às medições experimentais relativos à resposta geral do sistema (LILJA, 2000).

Uma premissa básica por trás do projeto de experimentos é que há um custo diferente de zero associados com a realização de um experimento. Este custo inclui o tempo e esforço para reunir os dados necessários, mais o tempo e esforço necessários para analisar esses dados para tirar algumas conclusões apropriadas. Por conseguinte, é importante minimizar o número de experiências que deve ser realizada enquanto maximiza a informação obtida. Segundo (LILJA, 2000), um projeto de experimento bem desenvolvido permite os seguintes itens:

 Isolar os efeitos de cada variável individual de entrada;

 Determinar os efeitos devido às interações das variáveis de entrada;

 Definir a relevância da mudança de uma variável na saída do sistema, devido ao erro experimental;

 Obter o máximo de informações com o mínimo de esforço limitando e controlando o número de experiências que devem ser executadas.

Em um projeto de experimento, frequentemente são utilizados alguns termos. Para explicar melhor o significado destes termos será mostrado um pequeno exemplo de um projeto de experimento de uma estação de trabalho. Na concepção de uma estação de trabalho em uma unidade de ensino, várias escolhas precisam ser feitas. Primeiro, um microprocessador tem que ser escolhido para a CPU. As alternativas são as seguintes: 68000, Z80, ou 8086. Em segundo lugar, um tamanho de memória de 512 Kbytes, 2 Mbytes, ou 8 Mbytes precisa ser escolhido. Em terceiro lugar, a estação de trabalho pode ter um, dois, três, ou quatro unidades de disco. Em quarto lugar, a carga de trabalho na estação de trabalho pode ser utilizada de três formas:

3.7. AVALIAÇÃO DE DESEMPENHO 50

secretariado, gestão ou uso científicos. O desempenho também depende das características do usuário, que podem ser alunos de ensino médio, graduação ou pós-graduação.

Variável Resposta: É o resultado de um experimento, a resposta é variável ao desempenho medido do sistema. Por exemplo, no estudo de concepção de uma estação de trabalho, variável resposta pode ser o tempo de resposta para as tarefas, ou qualquer outra métrica.

Fatores: São variáveis que tem alguma influência sobre a variável resposta. Por exemplo, existem cinco fatores no estudo de design de uma estação de trabalho. Os fatores são tipo de CPU, tamanho da memória, número de unidades de disco, carga de trabalho utilizado e grau de instrução do usuário. Os fatores também são chamados de variáveis de previsão ou preditores.

Níveis: São os valores assumidos por um fator. Cada nível de fatores estabelece uma alternativa para esse fator. Por exemplo, no estudo de design da estação de trabalho do tipo CPU tem três níveis: 68000, 8080, ou Z80. O tamanho da memória tem três níveis: 512 kbytes, 2 Mbytes, ou 8 Mbytes. O número de unidades de disco tem quatro níveis: 1, 2, 3 ou 4. A carga de trabalho tem três níveis: secretariado, de gestão, ou científicos. Os usuários poderiam ser colocados em um dos três níveis de escolaridade educacional: Ensino médio, universitários e pós-graduados.

Fatores principais: Também conhecidos como fatores primários, os fatores principais são aqueles cujos efeitos devem ser quantificados. Por exemplo, no estudo de projeto de experimento da estação de trabalho, podem ser qualificados o efeito do tipo de CPU, tamanho da memória, e o número de unidades de disco. Neste caso, existem três fatores primários.

Fatores secundários: São os fatores que impactam o desempenho, mas que o impacto causado não é de interesse do estudo em questão e não se queira qualificar. Por exemplo, no estudo da estação de trabalho onde não se tem o interesse em determinar se o desempenho com pós-graduados é melhor do que com os graduados universitários, assim como não queremos quantificar a diferença entre as três cargas de trabalho.

Replicação: São as repetições de todos ou apenas alguns experimentos que se planeje executar. Por exemplo, repetir três vezes todos os experimentos de um estudo, considera-se que foram feitas três repetições.

Projeto: Um projeto experimental consiste em especificar o número de experimentos, as combinações de nível do fator para cada experimento, e o número de repetições de cada experimento. Por exemplo, no estudo de concepção da estação de trabalho, neste estudo poderia ser realizado experimentos correspondentes a todas as combinações possíveis de níveis de cinco fatores. Isso exigiria 3 × 3 × 4 × 3 × 3, ou 324 experimentos. Cada experimento poderia ser repetido cinco vezes, isso daria um total de 1215 observações.

Unidade experimental: Em um experimento, qualquer entidade que for utilizado é chamado uma unidade experimental. Geralmente apenas as unidades experimentais são consideradas como um dos fatores de interesse. Por exemplo, enquanto as medições estão sendo realizadas na estação de trabalho e esta mesma estação estiver sendo utilizada, pode ser

3.7. AVALIAÇÃO DE DESEMPENHO 51

considerada a unidade experimental. Outros exemplos de unidades experimentais são pacientes em experiências médicas ou terras usadas em experimentos agrícolas. Em todos esses casos, não existe interesse em comparar as unidades experimentais, mesmo que eles afetem a resposta. Deste modo, pode-se dizer que um dos objetivos do projeto experimental é minimizar o impacto da variação entre as unidades experimentais.

Interação: É a interação existente entre dois fatores, onde o efeito de uma depende do nível do outro.

3.7.2.1 Tipos de Projetos Experimentais

Existem muitos tipos de projetos experimentais. Os três modelos utilizados mais frequentemente são Simple Design, Full Factorial Design e Fractional Factorial Design. Todos esses modelos apresentam vantagens e desvantagens que serão mostrados a seguir:

Simple Designs: Em um projeto simples, com uma configuração típica, varia um fator de cada vez para verificar a influência que esse fator tem no desempenho. Exemplo: no projeto da estação de trabalho discutido anteriormente, uma configuração típica pode ser baseada em uma CPU Z80 com duas unidades de disco para executar uma tarefa gerencial por um graduado. A primeira medição do desempenho desta configuração é realizada. Logo após, o primeiro fator que é CPU, será variado e, em seguida, o desempenho é comparado com outros processadores com a mesma configuração e carga de trabalho. Deste modo, é possível decidir a melhor CPU. Próximo passo é alterar o número de unidades de disco para um, três e quatro, comparando o desempenho com a finalidade de encontrar o número ideal.

Dado fatores k, com o iésimo fator tendo níveis ni, um projeto simples (Simple Design) requer apenas n experimentos, onde:

n= 1 + k

∑

No entanto, este projeto não é estatisticamente eficiente. Além disso, se os fatores possuírem uma interação, este projeto pode levar a conclusões erradas. Por exemplo, se o efeito da CPU também depender do tamanho da memória, não poderá ser determinada uma ótima combinação antes que todas as possibilidades sejam avaliadas.

Full Factorial Designs: Se refere a um projeto fatorial completo que utiliza todas as combinações possíveis em todos os níveis de todos os fatores. Um estudo de desempenho com fatores k, com o iésimo fator tendo níveis ni, requer n experimentos, onde:

n= k

∏

i=1

n_i 3.4

Ainda tendo como base o exemplo da estação de trabalho, o número de experimentos seria n = (3CPUs)(3 níveis de memória)(4 unidades de disco)(3 cargas de trabalho)(3 níveis educacionais) = 324 experimentos.

3.7. AVALIAÇÃO DE DESEMPENHO 52

A vantagem de um projeto fatorial completo é que todas as combinações possíveis de configuração e carga de trabalho são investigadas. Deste modo, é possível encontrar o efeito de cada fator, incluindo os fatores secundários e suas interações. A desvantagem é que esse tipo de projeto leva muito tempo e dinheiro até que o experimento seja completamente realizado, especialmente quando se leva em conta a possibilidade de repetições de cada um desses experimentos, já que é possível que eles precisem ser realizados várias vezes. JAIN (1991) descreve três maneiras de reduzir o número de experimentos: reduzir o número de níveis para cada fator, reduzir o número de fatores e utilizar fatoriais fracionários.

Reduzir o número de níveis para cada fator é a alternativa mais recomendada. Em alguns casos, pode-se tentar apenas dois níveis de cada um dos fatores e determinar a importância relativa de cada um desses fatores. Um planejamento fatorial completo em que cada um dos fatores k é usado em dois níveis e requer um projeto de experimentos muito popular chamado de 2k. Após reduzir a lista de fatores, é possível tentar mais níveis por fator.

Fractional Factorial Designs: A utilização de um projeto fatorial completo pode não ser possível devido aos custos ou tempo gasto. Isso acontece porque às vezes, o número de experimentos necessários para um projeto do tipo full factor é muito grande. Isso pode acontecer se o número de fatores ou os seus níveis são grandes. Nesses casos, é mais viável utilizar apenas uma fração do projeto full factor. Por exemplo, utilizando o exemplo da estação de trabalho, vamos considerar apenas quatro dos cinco fatores. Neste exemplo vamos ignorar o número de unidades de disco. Temos quatro fatores, cada um com três níveis. Portanto, o número de experimento necessário é: n = (3 CPUs)(3 níveis de memória)(3 cargas de trabalho)(3 níveis de ensino) = 81 experimentos.

O design fatorial completo composto por 81 experimentos é o chamado projeto 34. Um design34−2fracionário que consiste em apenas nove experiências é mostrado na Tabela. Cada um dos quatro fatores é usado três vezes em cada um dos três níveis.

Tabela 3.3: Fractional Factorial Design

Nº de experimentos CPU Memória Carga de trabalho Nível Educacional

1 68000 512K Gestão Ensino fundamental

2 68000 2M Científico Pós graduação

3 68000 8M Secretariado Graduação

4 Z80 512K Científico Graduação

5 Z9D 2M Secretariado Ensino fundamental

6 Z80 8M Gestão Pós graduação

7 8086 512K Secretariado Pós graduação

8 8086 2M Gestão Graduação

9 8086 8M Científico Ensino fundamental

Mesmo economizando tempo e despesa em relação ao full factor, a desvantagem é que as informações obtidas a partir de um planejamento fatorial fracionário são menores do que as obtidas a partir de um design fatorial completo. Um exemplo disso é que existe a possibilidade

3.7. AVALIAÇÃO DE DESEMPENHO 53

de não se obter as interações entre todos os fatores.