Regresión isotónica

La regresión isotónica tiene aplicaciones en inferencia estadística. Por ejemplo, puede usarse para ajustar una curva isotónica a las medias de un conjunto de resultados experimentales cuando se espera un aumento en esas medias según un orden particular. Una ventaja de la regresión isotónica es que no está restringida por ninguna forma funcional, como la linealidad impuesta por la regresión lineal, siempre que la función sea monótona creciente.

Otra aplicación es el escalamiento multidimensional no métrico,^[1] donde se busca un encaje de baja dimensión para puntos de datos tal que el orden de las distancias entre puntos en el encaje coincida con el orden de disimilitud entre puntos. La regresión isotónica se usa iterativamente para ajustar distancias ideales que preserven el orden relativo de disimilitud.

La regresión isotónica también se utiliza en clasificación probabilística para calibrar las probabilidades predichas de modelos de aprendizaje automático supervisado.^[2]

La regresión isotónica para el caso simplemente ordenado con variables univariadas ${\displaystyle x,y}$ se ha aplicado a la estimación de relaciones dosis-respuesta continuas en campos como la anestesiología o la toxicología. Estrictamente hablando, la regresión isotónica solo proporciona estimaciones puntuales en los valores observados de ${\displaystyle x.}$ La estimación de la curva completa de dosis-respuesta sin suposiciones adicionales generalmente se realiza mediante interpolación lineal entre las estimaciones puntuales. ^[3]

Se ha desarrollado software para calcular la regresión isotónica (monótona) para R,^[4][5][6] Stata y Python.^[7]

Summarize Timeline Top Qs Fact Check

Sean ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$ un conjunto dado de observaciones, donde los ${\displaystyle y_{i}\in \mathbb {R} }$ y los ${\displaystyle x_{i}}$ pertenecen a algún conjunto parcialmente ordenado. Para generalizar, cada observación ${\displaystyle (x_{i},y_{i})}$ puede tener un peso ${\displaystyle w_{i}\geq 0}$, aunque comúnmente ${\displaystyle w_{i}=1}$ para todo ${\displaystyle i}$.

La regresión isotónica busca un ajuste por mínimos cuadrados ponderados ${\displaystyle {\hat {y}}_{i}\approx y_{i}}$ para todo ${\displaystyle i}$, sujeto a la restricción de que ${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}}$ siempre que ${\displaystyle x_{i}\leq x_{j}}$. Esto da lugar la siguiente suma de cuadrados en las variables ${\displaystyle {\hat {y}}_{1},\ldots ,{\hat {y}}_{n}}$:

${\displaystyle \min \sum _{i=1}^{n}w_{i}({\hat {y}}_{i}-y_{i})^{2}}$ sujeto a ${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}{\text{ para todo }}(i,j)\in E}$

donde ${\displaystyle E=\{(i,j):x_{i}\leq x_{j}\}}$ especifica el orden parcial de las entradas observadas ${\displaystyle x_{i}}$ (y puede considerarse como el conjunto de aristas de algún grafo acíclico dirigido (DAG) con vértices ${\displaystyle 1,2,\ldots n}$). Problemas de esta forma pueden resolverse con técnicas genéricas de programación cuadrática.

En el caso usual donde los valores ${\displaystyle x_{i}}$ pertenecen a un conjunto totalmente ordenado como ${\displaystyle \mathbb {R} }$, podemos asumir, sin pérdida de generalidad, que las observaciones se han ordenado de modo que ${\displaystyle x_{1}\leq x_{2}\leq \cdots \leq x_{n}}$, y tomar ${\displaystyle E=\{(i,i+1):1\leq i<n\}}$. En este caso, un simple algoritmo iterativo para resolver el programa cuadrático es el algoritmo de violaciones adyacentes agrupadas. Por otro lado, Best y Chakravarti^[8] estudiaron el problema como un problema de identificación de conjunto activo y propusieron un algoritmo primal. Estos dos algoritmos pueden verse como duales entre sí, y ambos tienen una complejidad computacional de ${\displaystyle O(n)}$ en datos ya ordenados.^[8]

Para completar la tarea de regresión isotónica, podemos elegir cualquier función no decreciente ${\displaystyle f(x)}$ tal que ${\displaystyle f(x_{i})={\hat {y}}_{i}}$ para todo i. Cualquier función así obviamente resuelve

${\displaystyle \min _{f}\sum _{i=1}^{n}w_{i}(f(x_{i})-y_{i})^{2}}$ sujeto a que ${\displaystyle f}$ sea no decreciente

y puede usarse para predecir los valores de ${\displaystyle y}$ para nuevos valores de ${\displaystyle x}$. Una elección común cuando ${\displaystyle x_{i}\in \mathbb {R} }$ sería interpolar linealmente entre los puntos ${\displaystyle (x_{i},{\hat {y}}_{i})}$, como se ilustra en la figura, dando lugar a una función continua lineal por tramos:

${\displaystyle f(x)={\begin{cases}{\hat {y}}_{1}&{\text{si }}x\leq x_{1}\\{\hat {y}}_{i}+{\frac {x-x_{i}}{x_{i+1}-x_{i}}}({\hat {y}}_{i+1}-{\hat {y}}_{i})&{\text{si }}x_{i}\leq x\leq x_{i+1}\\{\hat {y}}_{n}&{\text{si }}x\geq x_{n}\end{cases}}}$