Três princípios básicos devem ser considerados ao analisar um metamodelo. O primeiro princípio afirma que deve existir uma função que relacione as entradas e saídas, independentemente do experimento efetuado. O segundo princípio a ser considerado é o fato de experimentos de computador serem apenas versões simplificadas da realidade. Nem todos os fenômenos físicos são perfeitamente modelados nas simulações computacionais. Por fim, o terceiro princípio afirma que mesmo os experimentos físicos são apenas versões da realidade. A presença de ruídos, os erros de medição e as imprecisões de instrumentação fazem com os experimentos físicos não retornem resultados idênticos aos simulados [64].
Considerando esses princípios, um desafio para o projeto de experimentos com- putacionais consiste na interpretação adequada do metamodelo desenvolvido. Convém destacar que, em geral, não existem modelos idealizados para permitir a comparação en- tre o experimento computacional e o fenômeno real. Dessa maneira, devem-se utilizar ferramentas de análise que permitam proceder com o estudo do fenômeno para fins de oti- mização ou de análise de sensibilidade, por exemplo [63]. Esse modelo pode ser considerado corrento e eficiente, dentro de uma margem pré-estabelecida de fidelidade.
A análise estatística promove um melhor entendimento do sistema, diferenciando bons modelos daqueles ineficientes. Através dessa interpretação, pode-se saber quão bem
o metamodelo representa o sistema modelado e qual a relação entre os dados de saída de diferentes projetos de experimentos efetuados [73]. No primeiro caso, precede-se com uma avaliação do metamodelo. No segundo caso, o teste de hipótese nula é indicado.
3.5.1
Avaliação do metamodelo
Sejam y1, . . . , yn as amostras em um experimento, ¯y a média dessas amostras e ˆyi o valor ajustado na i-ésima posição. Denotando a soma dos quadrados total (SSTO), soma dos quadrados dos erros (SSE), e a soma dos quadrados da regressão (SSR) por:
n X i=1 (yi−¯y) 2 | {z } SST O =Xn i=1 (yi−ˆyi) 2 | {z } SSE +Xn i=1 ˆy2 i | {z } SSR (3.20)
o coeficiente de determinação do modelo retorna uma medida da eficiência do mesmo e é definido como a raiz quadrada positiva de
R2 = 1 − SSE
SST O. (3.21)
Vale salientar que o coeficiente R2 aumenta com a adição de variáveis de predição no modelo de regressão. Assim, o parâmetro ajustado R2adj, dado na Equação 3.22, é uma melhor opção para comparar modelos com diferente número de preditores p [73].
R2adj = 1 − n −1 n − p ! SSE SST O. (3.22)
Define-se como tratamento uma condição imposta que se deseja medir ou avaliar em um experimento. Como exemplo, diferentes métodos de preenchimento de espaço resultam em diferentes saídas e, portanto, configuram diferentes tratamentos. Cada tipo de tratamento pode também ser chamado de um fator.
A Equação 3.20 mostra que a variabilidade dos dados, medidos pela soma de quadrados totais, pode ser particionada na soma dos quadrados das diferenças entre a média dos tratamentos e a soma dos quadrados das diferentes observações. Essa afirmação é conhecida como a identidade fundamental da análise de variância (Analysis of Variance - ANOVA) [73].
3.5.2
Teste de hipótese nula
A ANOVA é especialmente útil para comparar resultados de experimentos dife- rentes e determinar se esses resultados representam o mesmo fenômeno em estudo. Essa análise é particularmente importante em planejamento de experimentos computacionais porque ao construir dois metamodelos para explicar o mesmo fenômeno, não se tem infor- mação sobre qual desses metamodelos é o mais adequado, já que ambos são representações
aproximadas de um sistema real desconhecido.
Em um experimento, se i = 1, · · · , I e j = 1, · · · , J, cada observação Yij pode ser modelada da seguinte forma:
Yij = µ + τi+ εij (3.23)
em que Yij é a observação do i-ésimo tratamento na j-ésima parcela, µ é a média geral, τi é o efeito do i-ésimo tratamento e εij é o erro associado ao i-ésimo tratamento na j-ésima unidade experimental.
Uma hipótese estatística é uma afirmação sobre os parâmetros de uma ou mais po- pulações [84]. O teste de hipótese de nulidade é derivado da ANOVA e permite determinar se existe diferença nas médias do tratamento. Ou seja:
H0 : µ1 = µ2 = · · · = µI H1 : µi 6= µi0 (3.24) em que H1 é definido para pelo menos um par (i, i0), com i 6= i0. Além disso µi = µ + τi com i = 1, · · · , I.
Essa análise permite determinar se dois experimentos representam ou não um mesmo modelo em estudo. O teste estatístico de hipótese nula de não diferença entre tratamentos é dado por:
F0 = SSR/(a − 1)
SSE/(N − 1) = M ST
M SE (3.25)
em que a é o número de tratamentos, N é o número de observações, (a − 1) and (N − a) são os graus de liberdade de SSR e SSE, respectivamente. MST and MSE são as médias quadradas dos tratamentos e dos erros, respectivamente.
Se Fcalculado > F0, a hipótese de nulidade H0é rejeitada, o que significa que existem
evidências de diferença significativa entre as médias dos tratamentos, considerando um nível α de significância escolhido. Caso contrário, a hipótese de nulidade H0não é rejeitada, ou seja, não há evidências de diferença significativa entre os tratamentos considerando o nível α de significância.
Uma maneira mais prática de avaliar a significância do teste F consiste em obter o p − valor do teste. O p − valor é o menor nível de significância que conduz à rejeição da hipótese nula H0, com os dados fornecidos [84]. Utilizando esse parâmetro, o projetista pode retirar conclusões com qualquer nível de significância desejado. A Figura 3.3 ilustra o procedimento para análise gráfica.
Conforme mostrado na Figura 3.3(a), quando p−valor < α, a hipótese de nulidade é rejeitada. Caso contrário, conclui-se que não há evidências significativas nos tratamentos, considerando o nível α de significância (Figura 3.3(b)). Devido à complexidade, o cálculo
Não rejeita
0 H
Região de rejeição Região de rejeição
p-valor p-valor (a) Não rejeita 0 H Região de rejeição p-valor p-valor Região de rejeição (b)
Figura 3.3: Análise do p − valor a) Rejeita a hipótese de nulidade; b) Aceita a hipótese de nulidade.
detalhado do p−valor é feito utilizando ferramentas estatísticas computacionais presentes nos softwares matemáticos [73].