Uma regressão é uma representação alternativa para relação de causa e efeito. Por exemplo se 𝑦𝑘 é uma resposta escalar, também chamada de variável dependente, e z𝑘 uma
ou mais variáveis independentes, também chamadas de variáveis explicatórias ou regressores, quer sejam entradas exógenas, com ou sem atrasos, ou valores passados da saída, o modelo de regressão linear neste caso de múltiplos regressores e uma saída MISO (do inglês Multiple
Input - Single Output) pode ser representado por:
𝑦𝑘 = z𝑇𝑘𝜃 (2.14)
em que 𝜃 é um vetor de parâmetros desconhecidos do modelo. O modelo de regressão (2.14) é chamado de linear porque a resposta do modelo é uma combinação linear dos regressores. Os fatores que multiplicam os regressores na combinação linear, os parâmetros do modelo, devem ser aproximados, ou estimados, no processo de ajuste do modelo (PINDYCK; RUBINFELD, 1991; MADDALA, 2001; GRIFFITHS et al., 1993; KENDALL; STUART, 1973). Particular- mente, quando um modelo auto-regressivo tem um único regressor, o modelo é chamado de regressão linear simples. Neste caso a reta de regressão que representa o modelo linear pode ser representada usando um plano cartesiano de duas dimensões, onde um eixo é a saída 𝑦𝑘
e o outro é o único regressor 𝑧𝑘. Neste caso a inclinação dessa reta e a sua interseção com o
Figura 2 – Dados experimentais (pontos pretos) e de dois modelos de regressão linear que podem ajustar esses dados (linhas verde e azul).
na Fig. 2. Os modelos de regressão com mais de um regressor são chamados de modelos de regressão múltipla (MERRIMAN, 1900; YAN; SU, 2009).
Na Fig. 1, o sinal-causa 𝑢𝑘 produz sobre o sistema o sinal-efeito 𝑦𝑘. Se a causa e o
modelo são conhecidos, o efeito pode ser estudado. Por exemplo, em mecânica Newtoniana, quando uma força 𝐹𝑘 é aplicada sobre uma massa 𝑚, o efeito associado é a aceleração 𝑎𝑘.
Também, se o sistema e o efeito são conhecidos, a causa pode ser determinada por regressão. Esta ideia inspirou Fisher. Se a causa e o efeito são conhecidos, por identificação ou modela- gem de dados, pode-se determinar o modelo para o sistema. Este é o tema de interesse desta tese
No caso de sinal ou série temporal, ele constitui um efeito, aparentemente sem causa. Para determinar a dinâmica da série temporal, utilizamos o sistema, cujo efeito é o sinal, porém causado por ruído branco no caso estocástico, ou por um impulso no caso determi- nístico. Desta forma podemos modelar a dinâmica do sinal por função de transferência, por espaço de estado ou por regressão.
O ajuste do tipo de modelo escolhido, ou seja a determinação dos parâmetros deste modelo, depende dos dados experimentais e do critério que define o erro de aproximação. Por exemplo, para um modelo de regressão linear, para um único dado experimental, qualquer reta que passe por esse dado já é uma boa aproximação linear, obviamente com erro zero. No caso de dois dados experimentais, uma simples reta consegue passar exatamente por esses dados fazendo um ajuste perfeito, ou seja o erro também é zero. Já no caso de três dados experimentais, não colineares, nenhuma reta consegue passar exatamente por todos os pontos, neste caso a reta que ajusta os dados é aquela que melhor aproxima os dados, isto segundo algum critério que minimize o erro de ajuste, cuja forma precisa ser definida analiticamente. Intuitivamente, este valor de erro depende da distância vertical entre cada
dado experimental e a reta do modelo de regressão linear. Na literatura, o valor absoluto dessa distância é chamado erro de aproximação (MADDALA, 2001). Deste modo, o erro global de ajuste, considerando todas as observações, é simplesmente a soma dos valores absolutos dos erros de aproximação com respeito a cada dado experimental. Esta medição do erro global da aproximação é chamada de custo, e a função que a define chama-se de função de custo ou objetivo 𝒥 , que deve ser minimizada.
Agora, vamos formular analiticamente a função de custo. Para isto consideremos que temos 𝑘 dados experimentais de 𝑦𝑘, e o conjunto {^𝑦𝑘}
𝑡
𝑘=0 representa as saídas do modelo
de regressão linear. Se ^𝑦𝑘 é a estimativa da saída 𝑦𝑘 do modelo linear no 𝑘-ésimo instante,
definimos a função de custo baseada na soma dos valores absolutos como:
𝒥 = Σ𝑘
𝑘=0|𝑦𝑘− ^𝑦𝑘| (2.15)
Na fig. 2 se mostra um exemplo com 5 pontos que representam os dados experimentais com respeito à variável independente 𝑥𝑘 e à variável dependente 𝑦𝑘. Também são mostrados
dois modelos lineares representados pelas retas verde e azul. Para determinar qual das duas ajusta melhor os dados, primeiro é preciso calcular os resíduos de cada dado, depois somá-los e escolher a que tenha menor erro global. Fazendo isto, notamos que o valor absoluto do resíduo no instante 𝑘 = 1, para o modelo de regressão linear 𝐿1 é |𝑦1− ^𝑦𝐿1(𝑥1)| e o valor absoluto
do resíduo do segundo modelo de regressão linear 𝐿2 é |𝑦1− ^𝑦𝐿2(𝑥1)|. Da fig. 2 podemos ter
uma noção aproximada destes valores e notar que a reta azul ajusta melhor os dados quando
𝑘 = 1, . . . , 5. Deste modo, podemos concluir que o modelo linear representado pela reta azul
ajusta melhor os dados, segundo o critério da mínima soma de valores absolutos dos erros. Este processo geralmente não é tão simples de perceber visualmente. Assim, de forma geral, o processo de ajuste de um modelo de regressão linear consiste em determinar uma reta que tenha menor custo de aproximação, e uma forma ótima de fazer isto é mediante o algoritmo de mínimos quadrados a ser visto na seção 2.3.
É importante notar que esta função de custo penaliza os erros linearmente em função da distância entre a resposta real e a resposta estimada. Uma desvantagem desta função de custo, baseada no valor absoluto, é que não é muito apropriada analiticamente. Alter- nativamente, podemos considerar minimizar o quadrado das distâncias, para aumentar a penalização do erro de estimação e aproveitar que a derivada de uma função quadrática é fácil de obter. Neste caso a função de custo seria a da equação (2.16). Na Fig. 3 se mostra um exemplo deste tipo de erro quadrático, representado pelas áreas dos quadrados com lados iguais aos resíduos do modelo. Deste modo, o objetivo é ajustar a equação da reta de forma que a soma dessas áreas seja mínima (YAN; SU, 2009; LUTKEPOHL, 2013). Este exem-
plo constitui uma regressão linear simples, pois tem um único regressor, e então podemos representar o modelo de regressão com a estrutura: ^𝑦𝑘 = 𝑎0 + 𝑎1𝑥𝑘, onde 𝑎0 e 𝑎1 são os
parâmetros do modelo. No caso da regressão linear simples, o parâmetro 𝑎0 é a interseção
do modelo linear com o eixo 𝑦, e o parâmetro 𝑎1 é a inclinação da reta que define o modelo
de regressão, como se mostra na Fig. 3. Também podemos dizer que a resposta real do mo- delo é 𝑦𝑘 = ^𝑦𝑘 + 𝑒𝑘, onde 𝑒𝑘 é uma variável aleatória que representa a dispersão dos dados
experimentais com respeito ao modelo linear. Um método amplamente utilizado para obter os parâmetros do modelo de regressão linear, que definem a equação da reta, é o método dos mínimos quadrados (STIGLER, 1980; PLACKETT, 1950), mostrado na seção 2.3.
𝒥 = Σ𝑘
𝑖=0(𝑦𝑖− ^𝑦𝑖)2 (2.16)
Figura 3 – Erros residuais quadráticos representados pela área dos quadrados azuis e parâ- metros do modelo de regressão simples 𝑎0 e 𝑎1.