Función de valor

En un sistema dinámico controlado, la función de valor representa el resultado óptimo del sistema en el intervalo [t, t₁] cuando se inicia la variable de estado en el momento t x(t)=x.^[3] Si la función objetivo representa algún costo que debe minimizarse, la función de valor puede interpretarse como el costo para terminar el programa óptimo y, por lo tanto, se la denomina "función de costo pendiente".^[4][5] En un contexto económico, donde la función objetivo generalmente representa la utilidad obtenida, la función de valor es conceptualmente equivalente a la función de utilidad indirecta.^[6][7]

En un problema de control óptimo, la función de valor se define como el elemento supremo e ínfimo de la función objetivo tomada sobre el conjunto de controles admisibles. Dado ${\displaystyle (t_{0},x_{0})\in [0,t_{1}]\times \mathbb {R} ^{d}}$, un problema típico de control óptimo es:

${\displaystyle {\text{maximizar}}\quad J(t_{0},x_{0};u)=\int _{t_{0}}^{t_{1}}I(t,x(t),u(t))\,\mathrm {d} t+\phi (x(t_{1}))}$

sujeto a

${\displaystyle {\frac {\mathrm {d} x(t)}{\mathrm {d} t}}=f(t,x(t),u(t))}$

con variable de estado inicial ${\displaystyle x(t_{0})=x_{0}}$.^[8] La función objetivo ${\displaystyle J(t_{0},x_{0};u)}$ debe maximizarse sobre todos los controles admisibles ${\displaystyle u\in U[t_{0},t_{1}]}$, donde ${\displaystyle u}$ es una función medible de Lebesgue dependiente de ${\displaystyle [t_{0},t_{1}]}$ sobre algún conjunto arbitrario prescrito en ${\displaystyle \mathbb {R} ^{m}}$. La función de valor se define entonces como:

${\displaystyle V(t,x(t))=\max _{u\in U}\int _{t}^{t_{1}}I(\tau ,x(\tau ),u(\tau ))\,\mathrm {d} \tau +\phi (x(t_{1}))}$

con ${\displaystyle V(t_{1},x(t_{1}))=\phi (x(t_{1}))}$, donde ${\displaystyle \phi (x(t_{1}))}$ es el "valor residual". Si el par óptimo de trayectorias de control y estado es ${\displaystyle (x^{\ast },u^{\ast })}$, entonces ${\displaystyle V(t_{0},x_{0})=J(t_{0},x_{0};u^{\ast })}$. La función ${\displaystyle h}$ que proporciona el control óptimo ${\displaystyle u^{\ast }}$ en función del estado actual ${\displaystyle x}$ se denomina política de control de retroalimentación,^[4] o simplemente función de política.^[9]

El principio de optimización de Bellman establece aproximadamente que cualquier política óptima en el momento ${\displaystyle t}$, tomando ${\displaystyle t_{0}\leq t\leq t_{1}}$ como el estado actual ${\displaystyle x(t)}$ tratado como condición inicial "nueva" debe ser óptima para el problema restante. Si la función de valor resulta ser continuamente diferenciable,^[10] esto da lugar a una ecuación en derivadas parciales importante, conocida como ecuación de Hamilton-Jacobi-Bellman

${\displaystyle -{\frac {\partial V(t,x)}{\partial t}}=\max _{u}\left\{I(t,x,u)+{\frac {\partial V(t,x)}{\partial x}}f(t,x,u)\right\}}$

donde el maximizador en el lado derecho de la ecuación también se puede reescribir como un hamiltoniano, ${\displaystyle H\left(t,x,u,\lambda \right)=I(t,x,u)+\lambda (t)f(t,x,u)}$, como

${\displaystyle -{\frac {\partial V(t,x)}{\partial t}}=\max _{u}H(t,x,u,\lambda )}$

con ${\displaystyle \partial V(t,x)/\partial x=\lambda (t)}$ desempeñando el papel de las variables de costo.^[11] Dada esta definición, se tiene además que ${\displaystyle \mathrm {d} \lambda (t)/\mathrm {d} t=\partial ^{2}V(t,x)/\partial x\partial t+\partial ^{2}V(t,x)/\partial x^{2}\cdot f(x)}$, y después de diferenciar ambos lados de la ecuación de Hamilton-Jacobi-Bellman con respecto a ${\displaystyle x}$,

${\displaystyle -{\frac {\partial ^{2}V(t,x)}{\partial t\partial x}}={\frac {\partial I}{\partial x}}+{\frac {\partial ^{2}V(t,x)}{\partial x^{2}}}f(x)+{\frac {\partial V(t,x)}{\partial x}}{\frac {\partial f(x)}{\partial x}}}$

que, tras reemplazar los términos apropiados, recupera la ecuación de costes

${\displaystyle -{\dot {\lambda }}(t)=\underbrace {{\frac {\partial I}{\partial x}}+\lambda (t){\frac {\partial f(x)}{\partial x}}} _{={\frac {\partial H}{\partial x}}}}$

donde ${\displaystyle {\dot {\lambda }}(t)}$ se expresa según la notación de Newton de la derivada con respecto al tiempo.^[12]

La función de valor es la única solución de viscosidad de la ecuación de Hamilton-Jacobi-Bellman.^[13] En un control óptimo aproximado de bucle cerrado en línea, la función de valor también es una función de Liapunov que establece la estabilidad asintótica global del sistema de bucle cerrado.^[14]