Mínimos cuadrados no lineales

Considere un conjunto de ${\displaystyle m}$ observaciones, ${\displaystyle (x_{1},y_{1}),(x_{2},y_{2}),\dots ,(x_{m},y_{m}),}$ y una curva (función del modelo) ${\displaystyle y=f(x,{\boldsymbol {\beta }}),}$ que además de la variable ${\displaystyle x}$ también depende de ${\displaystyle n}$ parámetros, ${\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}$ con ${\displaystyle m\geq n.}$ Se desea encontrar el vector ${\displaystyle {\boldsymbol {\beta }}}$ de parámetros tales que la curva se ajuste mejor a los datos dados en el sentido de mínimos cuadrados, es decir, la suma de cuadrados

${\displaystyle S=\sum _{i=1}^{m}r_{i}^{2}}$

esta es minimizada cuando los errores r_i están dados por

${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})}$

para ${\displaystyle i=1,2,\dots ,m.}$

El mínimo valor de S se produce cuando el gradiente es cero. Dado que el modelo contiene n parámetros hay n ecuaciones de gradiente:

${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0\quad (j=1,\ldots ,n).}$

En un sistema no lineal, los derivados ${\displaystyle {\frac {\partial r_{i}}{\partial \beta _{j}}}}$ son funciones tanto de la variable independiente y los parámetros, por lo que estas ecuaciones gradiente no tienen una solución cerrada. En lugar de ello, los valores iniciales deben ser elegidos para los parámetros. Entonces, los parámetros se refinan iterativamente, es decir, los valores se obtienen por aproximación sucesiva,

${\displaystyle \beta _{j}\approx \beta _{j}^{k+1}=\beta _{j}^{k}+\Delta \beta _{j}.\,}$

Aquí, k es un número de iteración y el vector de incrementos, ${\displaystyle \Delta {\boldsymbol {\beta }}\,}$ que se conoce como el vector de desplazamiento. En cada iteración del modelo se linealiza por aproximación a un primer orden en serie de Taylor de expansión sobre ${\displaystyle {\boldsymbol {\beta }}^{k}\!}$

${\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }}^{k})}{\partial \beta _{j}}}\left(\beta _{j}-\beta _{j}^{k}\right)\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}J_{ij}\,\Delta \beta _{j}.}$

El jacobiano , J, es una función de las constantes, la variable independiente y los parámetros, por lo que cambia de una iteración a la siguiente. Por lo tanto, en términos del modelo linealizado, ${\displaystyle {\frac {\partial r_{i}}{\partial \beta _{j}}}=-J_{ij}}$ y los residuos se dan por

${\displaystyle r_{i}=\Delta y_{i}-\sum _{s=1}^{n}J_{is}\ \Delta \beta _{s};\ \Delta y_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k}).}$

Sustituyendo estas expresiones en las ecuaciones de gradiente, se convierten

${\displaystyle -2\sum _{i=1}^{m}J_{ij}\left(\Delta y_{i}-\sum _{s=1}^{n}J_{is}\ \Delta \beta _{s}\right)=0}$

que, en el reordenamiento, convertido en n ecuaciones lineales simultáneas, las ecuaciones normales

${\displaystyle \sum _{i=1}^{m}\sum _{s=1}^{n}J_{ij}J_{is}\ \Delta \beta _{s}=\sum _{i=1}^{m}J_{ij}\ \Delta y_{i}\qquad (j=1,\dots ,n).\,}$

Las ecuaciones normales se escriben en notación matricial como

${\displaystyle \mathbf {\left(J^{T}J\right)\Delta {\boldsymbol {\beta }}=J^{T}\ \Delta y} .}$

Cuando las observaciones no son igualmente fiable, una suma ponderada de los cuadrados puede ser minimizado,

${\displaystyle S=\sum _{i=1}^{m}W_{ii}r_{i}^{2}.}$

Cada elemento de la matriz de peso diagonal W debería, idealmente, ser igual al recíproco de la varianza de error de la medida.^[1] Las ecuaciones normales son entonces:

${\displaystyle \mathbf {\left(J^{T}WJ\right)\Delta {\boldsymbol {\beta }}=J^{T}W\ \Delta y} .}$

Estas ecuaciones forman la base para el algoritmo de Gauss-Newton para un problema de mínimos cuadrados no lineal.

Summarize Timeline Fact Check

En mínimos cuadrados lineales la función objetivo, S, es una función cuadrática de los parámetros.

${\displaystyle S=\sum _{i}W_{ii}\left(y_{i}-\sum _{j}X_{ij}\beta _{j}\right)^{2}}$

Cuando sólo hay un parámetro, la gráfica de S con respecto a ese parámetro será una parábola. Con dos o más parámetros, los contornos de S con respecto a cualquier par de parámetros serán elipses concéntricas (suponiendo que la matriz de ecuaciones normales ${\displaystyle \mathbf {X^{T}WX} }$ es definida positiva). Los valores de los parámetros mínimos se encuentran en el centro de las elipses. La geometría de la función objetivo general puede describirse como el elíptico paraboloide. En NLLSQ la función objetivo es cuadrática con respecto a los parámetros sólo en una región cercana a su valor mínimo, donde la serie truncada de Taylor es una buena aproximación al modelo.

${\displaystyle S\approx \sum _{i}W_{ii}\left(y_{i}-\sum _{j}J_{ij}\beta _{j}\right)^{2}}$

Cuanto más los valores de los parámetros difieren de sus valores óptimos, más los contornos se desvían de la forma elíptica. Una consecuencia de esto es que las estimaciones de parámetros iniciales deben ser lo más cercanas posible a sus valores óptimos (desconocidos!). También explica cómo la divergencia puede surgir como el algoritmo de Gauss-Newton es convergente sólo cuando la función objetivo es aproximadamente cuadrática en los parámetros.