3.2. Espectroscopia vibracional
3.3.2. Máquinas de vetores de suporte
3.3.2.2. Métodos de otimização para máquinas de vetores de suporte
3.3.2.2.1. Pesquisa em grade
O método de otimização por pesquisa em grade (do inglês gridsearch) é um dos mais empregados na seleção de parâmetros dos modelos SVM. Este método permite uma avaliação uniforme de parâmetros e suas interações através do treinamento de diversos modelos. Estes modelos são, então, avaliados através de conjuntos de validação, gerando mapas de calor (do inglês heat map), revelando as regiões que fornecem as melhores combinações de parâmetros.56,57
A Figura 8 ilustra o processo da otimização por pesquisa em grade, onde as combinações dos parâmetros arbitrários A e B são identificadas pelos marcadores pretos. O parâmetro A foi avaliado entre 0e 5 com incrementos de 1. Já o parâmetro B foi avaliado entre 0e 0,5com incrementos de 0,1. Neste exemplo foi utilizado um incremento linear, mas pode ser utilizado, também, incrementos logarítmicos, exponenciais, polinomiais etc. Após o treinamento dos modelos, as combinações são avaliadas pelo conjunto de validação, onde pode ser construído o mapa de calor, ilustrado pela mesma figura. As melhores combinações fornecem valores altos de exatidão ou sensibilidade na avaliação dos conjuntos de validação, indicada pelas regiões com um vermelho intenso no mapa de calor.
Figura 8–Combinações de parâmetros pelo método de otimização de pesquisa em grade e seu mapa de calor de um exemplo.
3.3.2.2.2. Otimização Bayesiana
O método de otimização Bayesiana (BO – do inglês Bayesian optimization) foi proposto em 199858e tem o objetivo de realizar uma busca global iterativa para otimizações
de funções desconhecidas (do inglês black box). Entre diversos métodos, a otimização Bayesiana vem se destacando em muitos trabalhos publicados nos últimos anos59–62 devido
às suas diversas vantagens sobre outros métodos, evitando uma otimização manual, que pode ser limitada, lenta e laboriosa.
Alguns poucos trabalhos aplicaram otimização Bayesiana e SVM para tratamento de dados químicos. Bojarski e colaboradores utilizaram essas ferramentas para classificar compostos bioativos e compararam com outros métodos de otimização, como pesquisa aleatória e pesquisa em grade, onde a otimização Bayesiana superou todos eles.56 Laref e
colaboradores também aplicaram essa otimização na regressão por máquinas de vetores de suporte, além de comparar com outras ferramentas, como o algoritmo genético, que se mostraram inferiores à otimização Bayesiana.63 Portanto, é evidente que essa ferramenta
apresenta um grande potencial na otimização de modelos, sendo algo muito novo e ainda pouco explorado na química.
Uma das características mais úteis da otimização Bayesiana é a capacidade de otimização de variáveis contínuas, inteiras e categóricas, todas elas presentes no treinamento de modelos SVM.64 O parâmetro de compensação (C) e a largura da distribuição gaussiana
na função kernel RBF (γ) são as variáveis contínuas, o grau do polinômio da função kernel polinomial (d) é uma variável inteira e as funções kernel são variáveis categóricas. Além disso, a otimização Bayesiana permite que variáveis condicionais também possam ser avaliadas64, como o parâmetro γque apenas é avaliado caso a função kernel RBF também
seja avaliada na mesma iteração.
A otimização Bayesiana visa encontrar o vetor de N dimensões que otimize uma função objetivo f : ℝ → ℝ, como definido pela Equação (32).65–67
∗ argmax ∈ ℝ
f (32)
O processo de otimização é baseado no Teorema de Bayes68, definido na
para produzir uma nova estimativa de combinações de parâmetros que maximizem ou minimizem a função f(Figura 9).
P A|B P B|A P A
P B (33)
onde Ae Bsão eventos, P B ≠ 0, P A e P B são probabilidades a priori de Ae B, P A|B é a probabilidade a posteriori de Acondicional a Be P B|A é a probabilidade a posteriori de Bcondicional a A.
Figura 9– Estimativa dos valores da função f na otimização de parâmetros de um modelo SVM-DA para classificação de amostras de chá verde.
A performance da otimização Bayesiana está sujeita à seleção inteligente de parâmetros para avaliar a função f. Essa seleção inteligente é realizada por meio de uma função de aquisição (do inglês acquisition function) h . A função h codifica o valor da função f de acordo com o ponto de amostragem , fornecendo medidas probabilísticas que permitem decidir as localizações mais prováveis para o valor ótimo de f. Portanto, o problema começa a visar a otimização da função h, como indicado pela Equação (34), onde hé uma função conhecida e previamente definida.66
∗ argmax h
(34)
Portanto, ∗é aplicado na função f, gerando um ∗que vão compor e , compondo
um modelo probabilístico que permite a reavaliação do modelo até o número máximo de iterações previamente determinado.
As funções de aquisição possuem um papel fundamental na escolha dos parâmetros ótimos, uma vez que ela atua na seleção do ponto a ser avaliado na próxima iteração. Essas funções apresentam dois mecanismos de escolha, chamado de exploração (do inglês exploration) e aprofundamento (do inglês exploitation). A exploração ocorre em regiões desconhecidas e de alta incerteza em busca de compreender o funcionamento da função f naquela região. O aprofundamento, por sua vez, realiza avaliações em regiões já conhecidas e que apresentam valores ótimos, uma vez que nessa região existe uma alta probabilidade de se encontrar um ponto ótimo da função f. O equilíbrio entre a exploração e o aprofundamento é realizado pelas funções de aquisição, sendo a Expected Improvement uma das mais aplicadas na otimização Bayesiana e utilizada nesta dissertação.64,66
A função Expected Improvement mede a probabilidade de melhoria e a quantidade de melhoria é esperada ao avaliar o ponto da próxima iteração. Dessa forma, essa função é definida pela Equação (35).
h ∫ (f f + )ϕ μ f
+
σ f (35)
onde ϕ é a função de densidade de probabilidade que utiliza o Teorema de Bayes. O primeiro fator da multiplicação está relacionado à quantidade de melhoria obtida e o segundo termo à probabilidade dessa melhoria.