Autocodificador

Summarize Timeline Top Qs Fact Check

Un autocodificador se define por los siguientes componentes:

• Dos conjuntos: el espacio de los mensajes descodificados ${\displaystyle {\mathcal {X}}}$; el espacio de los mensajes codificados ${\displaystyle {\mathcal {Z}}}$. Casi siempre, ambos ${\displaystyle {\mathcal {X}}}$ y ${\displaystyle {\mathcal {Z}}}$ son espacios euclidianos, es decir, ${\displaystyle {\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}}$ para algunos ${\displaystyle m,n}$.
• Dos familias de funciones parametrizadas: la familia de codificadores ${\displaystyle E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}}$ parametrizado por ${\displaystyle \phi }$ y la familia de decodificadores ${\displaystyle D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}}$, parametrizado por ${\displaystyle \theta }$.

Para cualquier ${\displaystyle x\in {\mathcal {X}}}$, normalmente escribimos ${\displaystyle z=E_{\phi }(x)}$, y nos referiremos a él como el código variable latente, la representación latente, el vector latente, etc. A la inversa, para cualquier ${\displaystyle z\in {\mathcal {Z}}}$, normalmente escribimos ${\displaystyle x'=D_{\theta }(z)}$ y nos referirnos a él como el mensaje (descodificado).

Usualmente, tanto el codificador como el descodificador se definen como perceptrones de múltiples capas. Por ejemplo, un codificador MLP de una capa ${\displaystyle E_{\phi }}$ es:

${\displaystyle E_{\phi }(\mathbf {x} )=\sigma (Wx+b)}$

Donde ${\displaystyle \sigma }$ es una función de activación por elementos, como una función sigmoidea o una unidad lineal rectificada, ${\displaystyle W}$ es una matriz denominada "peso", y ${\displaystyle b}$ es un vector llamado "sesgo".

Un autocodificador, por sí mismo, es simplemente una tupla de dos funciones. Para juzgar su calidad, necesitamos una tarea. Una tarea se define mediante una distribución de probabilidad de referencia ${\displaystyle \mu _{ref}}$ sobre ${\displaystyle {\mathcal {X}}}$ y una función de "calidad de la reconstrucción ${\displaystyle d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]}$ de forma que ${\displaystyle d(x,x')}$ mide cuánto ${\displaystyle x'}$ difiere de ${\displaystyle x}$.

Con ellos, podemos definir la función de pérdida para el autocodificador como:

${\displaystyle L(\theta ,\phi ):=\mathbb {\mathbb {E} } _{x\sim \mu _{ref}}[d(x,D_{\theta }(E_{\phi }(x)))]}$

El autocodificador óptimo para una tarea determinada ${\displaystyle (\mu _{ref},d)}$ es entonces ${\displaystyle \arg \min _{\theta ,\phi }L(\theta ,\phi )}$. La búsqueda del autocodificador óptimo puede llevarse a cabo mediante cualquier técnica matemática de optimización, pero normalmente es realizado mediante el descenso de gradiente. Este proceso de búsqueda se denomina "entrenamiento del autocodificador". En la mayoría de las situaciones, la distribución de referencia es simplemente la distribución empírica dada por un conjunto de datos ${\displaystyle \{x_{1},...,x_{N}\}\subset {\mathcal {X}}}$, de forma que:

${\displaystyle \mu _{ref}={\frac {1}{N}}\sum _{i=1}^{N}\delta _{x_{i}}}$

Donde ${\displaystyle \delta _{x_{i}}}$ es la medida de Dirac, y la función de calidad es sólo la pérdida L2: ${\displaystyle d(x,x')=\|x-x'\|_{2}^{2}}$ y ${\displaystyle \|\cdot \|_{2}}$ es la norma euclidiana. Entonces, el problema de buscar el autocodificador óptimo no es más que una optimización por mínimos cuadrados:

${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi ),{\text{where }}L(\theta ,\phi )={\frac {1}{N}}\sum _{i=1}^{N}\|x_{i}-D_{\theta }(E_{\phi }(x_{i}))\|_{2}^{2}}$

Un autocodificador consta de dos partes principales, una parte que convierte el mensaje en un código y una parte que reconstruye el mensaje a partir del código. Un autocodificador óptimo realizaría una reconstrucción lo más perfecta posible, definida como "casi perfecta" por la función de calidad de la reconstrucción ${\displaystyle d}$.

La forma más sencilla de realizar perfectamente la tarea de copia sería duplicar la señal. Para suprimir este comportamiento, el espacio del código ${\displaystyle {\mathcal {Z}}}$ suele tener menos dimensiones que el espacio de mensajes ${\displaystyle {\mathcal {X}}}$.

Un autocodificador de este tipo se denomina subcompleto. Puede interpretarse como una compresión del mensaje o una reducción de su dimensionalidad.^[1][10]

En el límite de un autocodificador incompleto ideal, cada código posible ${\displaystyle z}$ en el espacio del código se utiliza para codificar un mensaje ${\displaystyle x}$ que realmente aparece en la distribución ${\displaystyle \mu _{ref}}$ y el decodificador también es perfecto: ${\displaystyle D_{\theta }(E_{\phi }(x))=x}$. Este autocodificador ideal puede utilizarse para generar mensajes indistinguibles de los reales, alimentando su decodificador con código arbitrario ${\displaystyle z}$ y obtener ${\displaystyle D_{\theta }(z)}$, que es un mensaje que realmente aparece en la distribución ${\displaystyle \mu _{ref}}$.

Si el espacio de código ${\displaystyle {\mathcal {Z}}}$ tiene una dimensión mayor (sobrecompleta) o igual al espacio de mensajes ${\displaystyle {\mathcal {X}}}$, o las unidades ocultas tienen suficiente capacidad, un autocodificador puede aprender la función de identidad y volverse inútil. Sin embargo, los resultados experimentales han demostrado que los autocodificadores sobrecompletos pueden aprender características útiles.^[11]

En un escenario ideal, la dimensión del código y la capacidad del modelo podrían establecerse en función de la complejidad de la distribución de datos que se desea modelar. Una forma estándar de hacerlo es añadir modificaciones al autocodificador básico, que se detallarán a continuación.^[3]

El autocodificador fue propuesto por primera vez por Kramer como una generalización no lineal del análisis de componentes principales (ACP) .^[1] El autocodificador también ha sido llamado autoasociador,^[12] o red Diábolo.^[11][13] Sus primeras aplicaciones datan de principios de los años 90.^[3][14][15] Su aplicación más tradicional fue la reducción de dimensionalidad o el aprendizaje de características, pero el concepto se generalizó para el aprendizaje de modelos generativos de datos.^[16][17] Algunas de las IA más potentes de la década de 2010 involucraban autoencoders apilados dentro de redes neuronales profundas.^[18]

Summarize Timeline Top Qs Fact Check

Existen varias técnicas para evitar que los autocodificadores aprendan la función de identidad y para mejorar su capacidad de captar información importante y aprender representaciones más ricas.

Inspirados en la hipótesis de la codificación dispersa en neurociencia, los autocodificadores dispersos son variantes de los autocodificadores, tales que los códigos ${\displaystyle E_{\phi }(x)}$ o mensajes tienden a ser códigos dispersos, es decir, ${\displaystyle E_{\phi }(x)}$ es cercano a cero en la mayoría de las entradas. Los autocodificadores dispersos pueden incluir más (en lugar de menos) unidades ocultas que entradas, pero sólo se permite que un pequeño número de unidades ocultas estén activas al mismo tiempo.^[18] Fomentar la dispersión mejora el rendimiento en tareas de clasificación.^[19]

Hay dos formas principales de imponer la dispersión. Una consiste simplemente en fijar en cero todas las activaciones del código latente excepto las k más altas. Este es el autocodificador k-sparse.^[20]

El autocodificador k-sparse inserta la siguiente "función k-sparse" en la capa latente de un autocodificador estándar:

${\displaystyle f_{k}(x_{1},...,x_{n})=(x_{1}b_{1},...,x_{n}b_{n})}$

Donde ${\displaystyle b_{i}=1}$ si ${\displaystyle |x_{i}|}$ se encuentra entre los k primeros, y 0 en caso contrario.

La retropropagación a través de ${\displaystyle f_{k}}$ es simple: se fija el gradiente en 0 para ${\displaystyle b_{i}=0}$ y se mantiene el gradiente para ${\displaystyle b_{i}=1}$ entradas.

Se trata esencialmente de una función ReLU generalizada.

La otra forma es una versión relajada del autocodificador k-sparse. En lugar de forzar la dispersión, añadimos una pérdida de regularización por dispersión y optimizamos para:

${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{sparsity}(\theta ,\phi )}$

Donde ${\displaystyle \lambda >0}$ mide cuánta dispersión queremos imponer.^[21]

La arquitectura del autocodificador tiene ${\displaystyle K}$ capas. Para definir una pérdida de regularización de la dispersión, necesitamos una dispersión "deseada" ${\displaystyle {\hat {\rho }}_{k}}$ para cada capa, un peso ${\displaystyle w_{k}}$ para determinar en qué medida debe aplicarse cada dispersión, y una función ${\displaystyle s:[0,1]\times [0,1]\to [0,\infty ]}$ para medir cuánto difieren dos esparcimientos.

Para cada entrada ${\displaystyle x}$, dejar que la dispersión real de la activación en cada capa ${\displaystyle k}$ sea

${\displaystyle \rho _{k}(x)={\frac {1}{n}}\sum _{i=1}^{n}a_{k,i}(x)}$

Donde ${\displaystyle a_{k,i}(x)}$ es la activación en la neurona ${\displaystyle i}$ de la capa ${\displaystyle k}$ a la entrada ${\displaystyle x}$. La pérdida de dispersión en la entrada ${\displaystyle x}$ para una capa es ${\displaystyle s({\hat {\rho }}_{k},\rho _{k}(x))}$, y la pérdida de regularización de la dispersión para todo el autocodificador es la suma ponderada esperada de las pérdidas de dispersión:

${\displaystyle L_{sparsity}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}s({\hat {\rho }}_{k},\rho _{k}(x))\right]}$

Usualmente la función ${\displaystyle s}$ es la divergencia de Kullback-Leibler (KL), como:^{[19] [21][22][23]}

${\displaystyle s(\rho ,{\hat {\rho }})=KL(\rho ||{\hat {\rho }})=\rho \log {\frac {\rho }{\hat {\rho }}}+(1-\rho )\log {\frac {1-\rho }{1-{\hat {\rho }}}}}$

O la pérdida L1, como ${\displaystyle s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|}$, o la pérdida L2, como ${\displaystyle s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}}$

Alternativamente, la pérdida por regularización de la dispersión puede definirse sin referencia a ninguna "dispersión deseada", sino simplemente forzando tanta dispersión como sea posible. En este caso, se puede definir la pérdida de regularización de la dispersión como:

${\displaystyle L_{sparsity}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}\|h_{k}\|\right]}$

Donde ${\displaystyle h_{k}}$ es el vector de activación en la capa ${\displaystyle k}$ del autocodificador. La norma ${\displaystyle \|\cdot \|}$ suele ser la norma L1 (para obtener el autocodificador disperso L1) o la norma L2 (para obtener el autocodificador disperso L2).

Los autocodificadores de eliminación de ruido (DAE, por sus siglas en inglés) intentan conseguir una buena representación cambiando el criterio de reconstrucción.^[3][4]

Una DAE, originalmente denominada "red autoasociativa robusta",^[2] se entrena corrompiendo intencionadamente las entradas de un autocodificador estándar durante el entrenamiento. Un proceso de ruido se define por una distribución de probabilidad ${\displaystyle \mu _{T}}$ sobre las funciones ${\displaystyle T:{\mathcal {X}}\to {\mathcal {X}}}$. Es decir, la función ${\displaystyle T}$ toma un mensaje ${\displaystyle x\in {\mathcal {X}}}$ y lo corrompe a una versión ruidosa ${\displaystyle T(x)}$. La función ${\displaystyle T}$ se selecciona aleatoriamente, con una distribución de probabilidad ${\displaystyle \mu _{T}}$.

Dada una tarea ${\displaystyle (\mu _{ref},d)}$, el problema de entrenamiento de un DAE es el problema de optimización:

${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X},T\sim \mu _{T}}[d(x,(D_{\theta }\circ E_{\phi }\circ T)(x))]}$

Es decir, el DAE óptimo debe tomar cualquier mensaje ruidoso e intentar recuperar el mensaje original sin ruido, de ahí el nombre de "denoising".

Normalmente, el proceso de ruido ${\displaystyle T}$ sólo se aplica durante el entrenamiento y las pruebas, no durante el uso posterior.

El uso del DAE depende de dos supuestos:

• Existen representaciones de los mensajes que son relativamente estables y robustas frente al tipo de ruido que es probable que encontremos;
• Dichas representaciones captan estructuras en la distribución de entrada que son útiles para nuestros fines.^[4]

Algunos ejemplos de procesos ruidosos son:

• ruido gaussiano isótropo aditivo,
• ruido de enmascaramiento (una fracción de la entrada se elige aleatoriamente y se pone a 0)
• ruido de sal y pimienta (una fracción de la entrada se elige al azar y se fija aleatoriamente en su valor mínimo o máximo).^[4]

Un autocodificador contractivo añade la pérdida de regularización contractiva a la pérdida del autocodificador estándar:

${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{contractive}(\theta ,\phi )}$

Donde ${\displaystyle \lambda >0}$ mide el grado de contracción que queremos imponer. La pérdida de regularización contractiva se define como la norma de Frobenius esperada de la matriz jacobiana de las activaciones del codificador con respecto a la entrada:

${\displaystyle L_{contractive}(\theta ,\phi )=\mathbb {E} _{x\sim \mu _{ref}}\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}}$

Para entender lo que ${\displaystyle L_{contractive}}$ mide, tenga en cuenta que:

${\displaystyle \|E_{\phi }(x+\delta x)-E_{\phi }(x)\|_{2}\leq \|\nabla _{x}E_{\phi }(x)\|_{F}\|\delta x\|_{2}}$

Para cualquier mensaje ${\displaystyle x\in {\mathcal {X}}}$, y pequeña variación ${\displaystyle \delta x}$ en él. Por lo tanto, si ${\displaystyle \|\nabla _{x}E_{\phi }(x)\|_{F}^{2}}$ es pequeño, significa que una pequeña vecindad del mensaje se corresponde con una pequeña vecindad de su código. Se trata de una propiedad deseada, ya que significa que una pequeña variación en el mensaje conduce a una variación pequeña, incluso nula, en su código, al igual que dos imágenes pueden parecer iguales aunque no lo sean exactamente.

El DAE puede entenderse como un límite infinitesimal del CAE: en el límite de un ruido de entrada gaussiano pequeño, los DAE hacen que la función de reconstrucción resista perturbaciones de entrada pequeñas pero de tamaño finito, mientras que los CAE hacen que las características extraídas resistan perturbaciones de entrada infinitesimales.

El autocodificador concreto está diseñado para la selección de características discretas.^[25] Un autocodificador concreto fuerza al espacio latente a consistir sólo en un número de características especificado por el usuario. El autocodificador concreto utiliza una relajación continua de la distribución categórica para permitir que los gradientes pasen a través de la capa de selección de características, lo que hace posible utilizar la retropropagación estándar para aprender un subconjunto óptimo de características de entrada que minimicen la pérdida de reconstrucción.

Los autocodificadores variacionales (VAE, por sus siglas en inglés) pertenecen a la familia de los métodos bayesianos variacionales. A pesar de las similitudes arquitectónicas con los autocodificadores básicos, los VAE son arquitecturas con objetivos diferentes y con una formulación matemática completamente distinta. En este caso, el espacio latente está compuesto por una mezcla de distribuciones en lugar de un vector fijo.

Dado un conjunto de datos de entrada ${\displaystyle x}$ caracterizada por una función de probabilidad desconocida ${\displaystyle P(x)}$ y un vector de codificación latente multivariante ${\displaystyle z}$ el objetivo es modelar los datos como una distribución ${\displaystyle p_{\theta }(x)}$, con ${\displaystyle \theta }$ definido como el conjunto de los parámetros de la red de forma que ${\displaystyle p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz}$.

Los autocodificadores suelen entrenarse con un codificador de una sola capa y un decodificador de una sola capa, pero el uso de codificadores y decodificadores de muchas capas (profundos) ofrece muchas ventajas.^[3]

• La profundidad puede reducir exponencialmente el coste computacional de representar algunas funciones.
• La profundidad puede reducir exponencialmente la cantidad de datos de entrenamiento necesarios para aprender algunas funciones.
• Experimentalmente, los autocodificadores profundos ofrecen una mejor compresión en comparación con los autocodificadores superficiales o lineales.^[10]

Geoffrey Hinton desarrolló la técnica de red de creencia profunda para entrenar autocodificadores profundos de muchas capas. Su método consiste en tratar cada conjunto vecino de dos capas como una máquina de Boltzmann restringida para que el pre-entrenamiento se aproxime a una buena solución y, a continuación, utilizar la retropropagación para afinar los resultados.^[10]

Los investigadores han debatido si el entrenamiento conjunto (es decir, el entrenamiento de toda la arquitectura junto con un único objetivo de reconstrucción global para optimizar) sería mejor para los autocodificadores profundos.^[26] Un estudio de 2015 mostró que el entrenamiento conjunto aprende mejores modelos de datos junto con características más representativas para la clasificación en comparación con el método por capas.^[26] Sin embargo, sus experimentos mostraron que el éxito del entrenamiento conjunto depende en gran medida de las estrategias de regularización adoptadas.^[26][27]