Métricas de qualidade de modelos

Através das técnicas quimiométricas discutidas até aqui, é possível construir um grande número de modelos com base em dados experimentais, buscando-se predizer propriedades físico-químicas com precisão, exatidão e confiabilidade. Para isso, não basta apenas a obtenção de modelos quimiométricos: é necessário a utilização de critérios adequados para avaliar esses modelos, a fim de verificar sua qualidade de predição.

2.3.1 Raiz quadrada do erro médio de predição e calibração (RMSEP e RMSEC)

Dentre os parâmetros métricos úteis nessa avaliação, a raiz quadrada do erro médio de predição (RMSEP – Root-Mean-Square Error of Prediction) e o coeficiente de determinação R² são os mais utilizados. O RMSEP é calculado de acordo com a equação 2.3, onde representa a variável predita pelo modelo, a variável medida e o número de amostras contidas no grupo de amostras de teste. Este critério analisa o ajuste do modelo ao conjunto de dados de teste avaliando a reprodutibilidade dos dados.

2.3 Métricas de qualidade de modelos 29 Além destes, a raiz quadrada do erro médio de calibração (RMSEC) é a variação do RMSEP aplicada ao conjunto de dados do grupo de calibração, sendo crucial para a aplicação de rotinas de otimização que visam à diminuição deste como objetivo da função de otimização (Župerl et al., 2011).

2.3.2 Soma dos quadrados dos erros (SSE) e coeficiente de determinação R2

O coeficiente de determinação R2 é uma medida da proporção da variabilidade dos dados originais explicada pelo modelo ajustado. Sua definição baseia-se na análise de variância, que utiliza os conceitos de soma dos quadrados dos erros (SSE, equação 2.4), soma dos quadrados de regressão (SSR, equação 2.5) e soma dos quadrados totais (SST, equação 2.6). Essas parcelas são dadas pelas equações a seguir, onde é o erro amostral e é a média do vetor de dados medidos:

2.4 2.5 2.6

O SSE representa a variabilidade não explicada pelo modelo, enquanto o SST representa a variabilidade total que deveria ser explicada pelo mesmo. Assim, a quantidade de variabilidade efetivamente prevista pelo modelo é dada por:

2.7

O coeficiente de determinação R2 pode, então, ser definido como:

2.8

Esse coeficiente é usado com bastante frequência devido a sua simplicidade, porém apresenta algumas desvantagens em relação a sua interpretação. A confiança desse parâmetro, por exemplo, é uma função do tamanho do conjunto de dados de regressão. A adição de termos ao modelo diminui o SSE, consequentemente aumentando o R2. Dessa forma, este é um critério perigoso para comparação de modelos concorrentes, uma vez que pode se tornar artificialmente alto devido a um eventual overfitting (pela inclusão de muitos termos no modelo).

2.3.3 Coeficiente de determinação ajustado ( )

O coeficiente de determinação ajustado ( ) é uma variação do R2 que pode ser utilizado para solucionar o problema abordado anteriormente, uma vez que leva em conta o número de graus de liberdade associado ao SSE e ao SST (Walpole et al., 2012). Sendo o número de termos do modelo:

30 Revisão Bibliográfica 2.9

2.3.4 Coeficiente de determinação adaptado (RR)

Além dos coeficientes de determinação tradicionais, pode-se citar ainda citar uma adaptação destes, denominada RR e dado pela equação 2.10 (Silveira, 2012), como uma forma de salientar diferenças na correlação .

2.10

2.3.5 Teste de hipótese t-student

Os conceitos utilizados na análise de variância são muito úteis em testes de hipóteses. O uso de testes t-Student de significância, por exemplo, é capaz de indicar a importância de cada parâmetro no modelo e é, portanto, muito útil na busca pelo modelo ótimo. Fazendo-se uso da estatística t é possível testar hipóteses a respeito dos coeficientes e construir seus respectivos intervalos de confiança com base na suposição de que as observações são amostradas aleatoriamente a partir de uma distribuição normal (Wilcox, 2012). Basicamente, as hipóteses a serem testadas são:

2.11

onde é um determinado parâmetro do modelo, sendo .

A rejeição ou não da hipótese , denominada hipótese nula, depende do valor da estatística t. Esta, por sua vez, depende do nível de significância adotado, do parâmetro estimado e sua variância e do desvio padrão do erro.

Uma vez que a distribuição t-student é uma função do número de graus de liberdade, conforme visto na Figura 2.15, isso também deve ser levado em conta nos testes. Portanto, a hipótese não é rejeitada se o valor t obedece à inequação 2.12, onde representa o ponto associado a uma probabilidade em uma distribuição t-student com graus de liberdade.

, _2.12

Se isso ocorre, ou seja, se o coeficiente é considerado insignificante, conclui-se que tal variável explica uma quantidade insignificante de variabilidade da variável de saída na presença dos outros regressores do modelo.

2.3 Métricas de qualidade de modelos 31

Figura 2.15: Distribuição t-student para 1, 2 e 5 graus de liberdade e distribuição normal. Fonte: Adaptado de Bohm e Zech 7070(70)707070.

2.3.6 Intervalos de confiança

Mesmo considerando os estimadores de parâmetros como imparciais (valor esperado ou médio igual ao verdadeiro valor do parâmetro), é improvável que eles estimem os parâmetros de forma exata. Embora a precisão da estimativa aumente com o tamanho da amostra, não é razoável esperar que uma estimativa pontual de uma determinada amostra seja exatamente igual ao parâmetro da população. Assim, é preferível determinar um intervalo o qual seja possível assumir, com determinada confiança, conter o verdadeiro valor do parâmetro , chamado de intervalo de confiança.

Lembrando que a hipótese é válida e, portanto, o parâmetro é insignificante quando t recai no intervalo dado pela equação 2.12, é possível construir um intervalo de confiança para o parâmetro , dado pela equação 2.13, capaz de estabelecer, com determinado grau de confiança, que o verdadeiro valor deste parâmetro encontra-se no seu interior. De forma geral, quanto menor o intervalo de confiança, ou seja, a diferença entre o limite positivo e o negativo, mais confiável é a estimativa daquele parâmetro (Walpole et al., 2012).

2.13

Na equação acima, é o estimador do parâmetro e é a variância do parâmetro , dada pela diagonal da matriz de covariância dos dados.

O tamanho do intervalo de confiança é, portanto, dado por:

32 Revisão Bibliográfica

2.3.7 Adaptação do teste de hipótese F

Outra possibilidade de avaliação da contribuição de cada preditor para o resultado é a utilizada de testes F para comparação de subconjuntos de variáveis contra o modelo completo. Isso é alcançado utilizando-se a equação 2.15, na qual e são os erros obtidos por um submodelo e pelo modelo completo, respectivamente, e é o número de preditores que compõem o submodelo. Quanto maior o valor F, pior é o submodelo quando comparo ao original. Esta alternativa será melhor discutida no capítulo 3. 2.15

A utilização de testes deste tipo tem a vantagem de avaliar a contribuição de cada parâmetro separadamente, ao invés da adequabilidade do modelo como um todo. Métodos de otimização podem, portanto, utilizar essas informações em associação com estatísticas do modelo para identificar e selecionar as variáveis mais relevantes.