Perplejidad

A menudo se intenta extraer un modelo de una distribución de probabilidad desconocida p, basándose en un conjunto de entrenamiento generado por p. Dado un modelo probabilístico propuesto q, se puede evaluar q preguntando cómo predice éste otro conjunto separado de prueba x₁, x₂,..., x_N generado también por p. La perplejidad del modelo q se define como

${\displaystyle 2^{-\sum _{i=1}^{N}{\frac {1}{N}}\log _{2}q(x_{i})}}$

Los buenos modelos q de la distribución desconocida p tienden a asignar altas probabilidades q(x_i) a los eventos de prueba. De esta manera, tendrán una menor perplejidad: se "sorprenden" menos por el conjunto de prueba.

El exponente de la anterior fórmula puede considerarse como el número medio de bits necesarios para representar un evento de prueba x_i usando una codificación óptima basada en q. Los modelos con baja perplejidad pueden comprimir mejor el conjunto de prueba, debido a que se necesitan pocos bits de media por cada elemento ya que q(x_i) tiende a ser alto.

El exponente puede considerarse también como la entropía cruzada,

${\displaystyle H({\tilde {p}},q)=-\sum _{x}{\tilde {p}}(x)\log _{2}q(x)}$

donde ${\displaystyle {\tilde {p}}}$ denota la distribución empírica del conjunto de prueba (i.e., ${\displaystyle {\tilde {p}}(x)=n/N}$ si x aparece n veces en un conjunto de prueba de tamaño N).

En procesamiento del lenguaje natural, la perplejidad es usada frecuentemente a la hora de evaluar modelos de lenguaje. Un modelo de lenguaje es una distribución de probabilidad sobre un conjunto de textos.

Usando la definición anterior, se puede encontrar que una frase x_i en el conjunto de prueba puede ser codificada de media mediante 190 bits (p.e, si las frases de prueba tienen una media de probabilidad logarítmica de -190). Este valor nos daría un valor enorme de perplejidad de 2¹⁹⁰ por frase. Sin embargo, es más común normalizar por la longitud de la frase y considerar sólo el número de bits por palabra. De esta manera, si las frases de un conjunto de entrenamiento constan de un total de 1,000 palabras, y éstas se codifican mediante 7,950 bits, se da la perplejidad del modelo como 2^7.95 = 247 por palabra. En otras palabras, el modelo se confunde en el conjunto de prueba como si tuviese que elegir uniforme e independientemente entre 247 posibilidades por cada palabra.

La menor perplejidad que se ha publicado del Brown Corpus (1 millón de palabras de inglés americano de distintos temas y géneros) es de 247 por palabra, una entropía cruzada de log₂247 = 7.95 bits por palabra o 1.75 por letra.^[1] Es posible conseguir una menor perplejidad en corpus de textos más especializados, ya que éstos son más predecibles.