Método dos Mínimos Quadrados

O método dos mínimos quadrados

Algumas vezes temos em posse um conjunto de dados e queremos representar o comportamento deles através de uma expressão matemática, seja para fazer projeções fora do espaço amostral dos dados, para analisar interdependência ou, até mesmo, para confirmar hipóteses. Enfim, são muitas as aplicações para isso que podem surgir através da incrível capacidade cognitiva humana.

Conteúdo ocultar
1. Dados de entrada
2. O Método dos Mínimos Quadrados (MMQ)
3. Abordagem prática do Método dos Mínimos Quadrados
4. Considerações finais sobre o Método dos Mínimos Quadrados
4.1. Artigos relacionados

Aproximar um conjunto de pontos por uma curva de forma que o erro seja mínimo não é uma tarefa trivial, mas é justamente isso que o Método dos Mínimos Quadrados (em inglês, Least Squares Fitting) se propõe a fazer. Veremos no detalhe como o método funciona.

Dados de entrada

Antes de tudo, é necessário definir o conjunto de dados a ser aproximado pelo Método dos Mínimos Quadrados. De forma genérica, definamos n pontos no \mathbb{R}^2, como mostrado na tabela abaixo.

\textbf{x} \textbf{y}
x_{1} y_{1}
x_{2} y_{2}
\vdots \vdots
x_{n} y_{n}

Além disso, precisamos escolher as funções que definirão a expressão analítica de aproximação. De maneira genérica, definamos k funções para a aproximação e k respectivos coeficientes para essas funções. A expressão analítica da curva de aproximação será o somatório do produto entre o i-ésimo coeficiente e a i-ésima função. Parece confuso? A equação abaixo tem o propósito de eliminar quaisquer imprecisões e confusões em minhas palavras.

(1)   \begin{equation*} f(x)=\sum_{i=1}^{k} a_{i}\Phi_{i}(x)=a_{1}\Phi_{1}(x)+a_{2}\Phi_{2}(x)+\hdots+a_{k}\Phi_{k}(x) \end{equation*}

Onde:

a_{i} é o i-ésimo coeficiente; e

\Phi_{i} é a i-ésima função.

Para facilitar o entendimento com relação à função de aproximação, vejamos o simples exemplo a seguir onde se deseja aproximar um conjunto de pontos utilizando um polinômio do primeiro grau. Sabe-se que um polinômio do primeiro grau genérico se escreve da seguinte maneira:

(2)   \begin{equation*} f(x)=a_{1}+ a_{2}x \end{equation*}

Utilizando a estrutura apresentada na Equação 1, isto nada mais é do que

(3)   \begin{equation*} f(x)=\sum_{i=1}^{2} a_{i}\Phi_{i}(x)=a_{1}\Phi_{1}(x)+a_{2}\Phi_{2}(x) \end{equation*}

Onde:

\Phi_{1}=1;

\Phi_{2}=x; e

a_{1} e a_{2} os coeficientes a determinar.

Com isso, considera-se a parte de dados necessários para a realização da aproximação concluída. Prossigamos para a aplicação do Método dos Mínimos Quadrados sobre eles agora.

O Método dos Mínimos Quadrados (MMQ)

De maneira visual, vamos lançar os pontos da amostra no espaço cartesiano e fazer a representação da curva f que usaremos na aproximação passando por entre eles.

O parâmetro que mede quão boa é a aproximação realizada pela curva f em relação aos pontos conhecidos é a soma dos erros em cada um dos pontos. Matematicamente, o erro no ponto j-ésimo seria:

(4)   \begin{equation*} e_{j}=f(x_{j})-y_{j} \end{equation*}

Antes de fazer a soma desse erro para todos os pontos é importante observar que, a depender da posição do ponto em relação à curva (acima ou abaixo), o sinal do erro será diferente. Da forma que foi calculado o erro, se estiver acima será negativo e se estiver abaixo será positivo. Então, para que os erros negativos não compensem os erros positivos e tenhamos um somatório total de erros falseado, adota-se o valor absoluto do erro. 

Então, a soma do erro será:

(5)   \begin{equation*} E=\sum_{j=1}^{n}\parallel f(x_{j})-y_{j} \parallel \end{equation*}

Uma vez definido o erro total do problema, basta minimizá-lo. Por questões de facilidade de manipulação matemática, ao invés de usar o valor absoluto do erro, será considerado o quadrado do erro. Minimizar o quadrado do erro é equivalente a minimizar o próprio erro, então o resultado não será afetado adotando-se essa estratégia.

O erro quadrado fica então escrito da seguinte forma:

(6)   \begin{equation*} E^{2}=\sum_{j=1}^{n} (f(x_{j})-y_{j})^2 \end{equation*}

Substituindo a f pela expressão definidas anteriormente, temos:

(7)   \begin{equation*} E^{2}=\sum_{j=1}^{n} (\sum_{i=1}^{k} a_{i}\Phi_{i}(x_{j})-y_{j})^2 \end{equation*}

Assim, chegamos ao ponto onde a equação do erro quadrado está definida em função dos pares (x_{j};y_{j}), que são conhecidos no problema assim como o operador \Phi_{i} que é aplicado ao x_{j}, e dos coeficientes a_{i} que são as incógnitas do problema. Usando um conceito de mínimos e máximos da matemática diferencial (saiba mais), derivamos o quadrado do erro em relação a cada uma dos n coeficientes (que são as variáveis) e igualarmos a zero, gerando assim um sistema de n equações. O sistema é apresentado abaixo:

(8)   \begin{equation*} \frac{\partial E^{2}}{a_{m}}=\sum_{j=1}^{n}2(\sum_{i=1}^{k} a_{i}\Phi_{i}(x_{j})-y_{j})\Phi_{m}(x_{j})=0\hspace{20} para\hspace{4} m = 1, 2, 3, \hdots, k \end{equation*}

Como o sistema de equação apresenta valor nulo no lado direito, ele pode ser dividido por 2 para não termos mais o o valor 2 multiplicando o sistema. Além disso, passando o termo independente dos coeficientes a_{i} para o lado direito e direito, temos:

(9)   \begin{equation*} \sum_{j=1}^{n}\sum_{i=1}^{k} a_{i}\Phi_{i}(x_{j})\Phi_{m}(x_{j})=\sum_{j=1}^{n}y_{j}\Phi_{m}(x_{j})\hspace{20} para\hspace{4} m = 1, 2, 3, \hdots, k \end{equation*}

Passando para o formato matricial, então, temos a equação abaixo (se não acompanhou essa passagem, sugiro que “abra” com calma os somatórios da Equação 9).

(10)   \begin{equation*} \begin{bmatrix} \sum_{j=1}^{n} \Phi_{1}\Phi_{1} & \sum_{j=1}^{n} \Phi_{1}\Phi_{2} & \hdots & \sum_{j=1}^{n} \Phi_{1}\Phi_{k} \\ \sum_{j=1}^{n} \Phi_{2}\Phi_{1} & \sum_{j=1}^{n} \Phi_{2}\Phi_{2} & \hdots & \sum_{j=1}^{n} \Phi_{2}\Phi_{k}\\ \vdots & \vdots & \ddots & \\ \sum_{j=1}^{n} \Phi_{k}\Phi_{1} & \sum_{j=1}^{n} \Phi_{k} \Phi_{2} & & \sum_{j=1}^{n} \Phi_{k} \Phi_{k} \end{bmatrix} \begin{bmatrix} a_{1}\\ a_{2}\\ \vdots\\ a_{k} \end{bmatrix}= \begin{bmatrix} \sum_{j=1}^{n} y_{j}\Phi_{1}\\ \sum_{j=1}^{n} y_{j}\Phi_{2}\\ \vdots\\ \sum_{j=1}^{n} y_{j}\Phi_{k} \end{bmatrix} \end{equation*}

OBS.: Sabendo que \Phi = \Phi(x_{j}). O x_{j} só foi omitido para simplificar a apresentação da matriz.

Chamando a matriz de \Phi, o vetor de coeficientes de \vec{a} e o lado direito da equação \vec{b}, a equação pode ser escrita da seguinte forma:

(11)   \begin{equation*} \Phi\vec{a}=\vec{b} \end{equation*}

Assim, o vetor de coeficientes, que é a incógnita do problema, pode ser isolado. Para isso, basta pré-multiplicar os dois lados da Equação 11 pela inversa de \Phi. Com isso \Phi^{-1}\Phi do lado esquerdo resultará (por definição) na matriz identidade, que multiplicada pelo vetor \vec{a} resultará no próprio vetor e o lado direito ficará conforme mostrado abaixo.

(12)   \begin{equation*} \vec{a}=\Phi^{-1}\vec{b} \end{equation*}

Dessa forma, do ponto de vista  matemático, o problema está resolvido. No próximo tópico veremos uma abordagem prática para encontrar o vetor de coeficientes.

Abordagem prática do Método dos Mínimos Quadrados

Agora vamos por em prática o método aprendido! Como o processo será manual, faremos a aproximação para uma reta. Como sabemos (ver Equação 2), a equação da reta exige dois coeficientes a serem determinados, a_{1} e a_{2}. Associados à esses coeficientes estão as funções \Phi_{1}=1 e \Phi_{2}=x.

Dessa forma, montando o sistema temos:

(13)   \begin{equation*} \begin{bmatrix} \sum_{j=1}^{n} \Phi_{1}(x_{j})\Phi_{1}(x_{j}) & \sum_{j=1}^{n} \Phi_{1}(x_{j})\Phi_{2}(x_{j}) \\ \sum_{j=1}^{n} \Phi_{2}(x_{j})\Phi_{1}(x_{j}) & \sum_{j=1}^{n} \Phi_{2}(x_{j})\Phi_{2}(x_{j}) \end{bmatrix} \begin{bmatrix} a_{1}\\ a_{2} \end{bmatrix}= \begin{bmatrix} \sum_{j=1}^{n} y_{j}\Phi_{1}(x_{j})\\ \sum_{j=1}^{n} y_{j}\Phi_{2}(x_{j}) \end{bmatrix} \end{equation*}

Substituindo as expressões das funções \Phi_{1} e \Phi_{2}, temos:

(14)   \begin{equation*} \begin{bmatrix} \sum_{j=1}^{n} 1^2 & \sum_{j=1}^{n} x_{j} \\ \sum_{j=1}^{n} x_{j} & \sum_{j=1}^{n} x_{j}^2 \end{bmatrix} \begin{bmatrix} a_{1}\\ a_{2} \end{bmatrix}= \begin{bmatrix} \sum_{j=1}^{n} y_{j}\\ \sum_{j=1}^{n} y_{j}x_{j} \end{bmatrix} \end{equation*}

utilizando o formato apresentado na Equação 12, onde o vetor de coeficiente está isolado, o sistema de equações passa a ser:

(15)   \begin{equation*} \begin{bmatrix} a_{1}\\ a_{2} \end{bmatrix}= \begin{bmatrix} n & \sum_{j=1}^{n} x_{j} \\ \sum_{j=1}^{n} x_{j} & \sum_{j=1}^{n} x_{j}^2 \end{bmatrix}^{-1} \begin{bmatrix} \sum_{j=1}^{n} y_{j}\\ \sum_{j=1}^{n} y_{j}x_{j} \end{bmatrix} \end{equation*}

Operando a inversa da matriz \Phi, a equação passa a ser (daqui para frente os limetes do somatório serão omitidos para despoluir as equações):

(16)   \begin{equation*} \begin{bmatrix} a_{1}\\ a_{2} \end{bmatrix}= \frac{1}{n\sum x_{j}^2-(\sum x_{j} )^2} \begin{bmatrix} \sum x_{j}^2 &- \sum x_{j} \\ -\sum x_{j} & n \end{bmatrix} \begin{bmatrix} \sum y_{j}\\ \sum y_{j}x_{j} \end{bmatrix} \end{equation*}

Daí, podemos retirar facilmente as equações para os coeficientes em função dos n pares (x_{j}, y_{j}) dados do problema.

(17)   \begin{equation*} a_{1}=\frac{\sum x_{j}^2 \sum y_{j}- \sum x_{j}\sum y_{j}x_{j} }{n\sum x_{j}^2-(\sum x_{j} )^2} \end{equation*}

(18)   \begin{equation*} a_{2}=\frac{-\sum x_{j}\sum y_{j}+n\sum y_{j}x_{j}}{n\sum x_{j}^2-(\sum x_{j} )^2} \end{equation*}

Feito! Dado um conjunto de pontos, somos capazes de obter o coeficiente angular (a_{2}) e linear (a_{1}) da reta que melhor aproxima esses pontos segundo o Método dos Mínimos Quadrados.

Considerações finais sobre o Método dos Mínimos Quadrados

O Método dos Mínimos Quadrados é uma importante ferramenta para os mais diversos profissionais, uma vez que permite a modelagem matemática de dados experimentais. Isso é essencial, pois com modelos matemáticos os dados passam a ter maior valor para análises e previsões.

Artigos relacionados

Sem artigos relacionados.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *