Núcleo definido positivo

Summarize Timeline Top Qs Fact Check

Sea ${\displaystyle {\mathcal {X}}}$ un conjunto no vacío, a veces denominado conjunto índice. Una función simétrica ${\displaystyle K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$ se denomina núcleo definido positivo (d.p.) en ${\displaystyle {\mathcal {X}}}$ si

$${\displaystyle \sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})\geq 0}$$

(1.1)

se cumple para cualquier ${\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}}$, dado ${\displaystyle n\in \mathbb {N} ,c_{1},\dots ,c_{n}\in \mathbb {R} }$.

En la teoría de la probabilidad, a veces se hace una distinción entre núcleos definidos positivos, para los cuales la igualdad en (1.1) implica ${\displaystyle c_{i}=0\;(\forall i)}$, y núcleos semidefinidos positivos (s.d.p.), que no imponen esta condición. Téngase en cuenta que esto es equivalente a exigir que cualquier matriz finita construida mediante evaluación por pares, ${\displaystyle \mathbf {K} _{ij}=K(x_{i},x_{j})}$, tenga autovalores completamente positivos (d.p.) o no negativos (s.d.p.).

En la literatura matemática, los núcleos suelen ser funciones de valores complejos, pero en el presente artículo figuran funciones de valores reales, que es la práctica común en las aplicaciones de núcleos d.p.

• Para una familia de núcleos d.p. ${\displaystyle (K_{i})_{i\in \mathbb {N} },\ \ K_{i}:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$
  • La suma cónica ${\displaystyle \sum _{i=1}^{n}\lambda _{i}K_{i}}$ es d.p., dado ${\displaystyle \lambda _{1},\dots ,\lambda _{n}\geq 0}$
  • El producto ${\displaystyle K_{1}^{a_{1}}\dots K_{n}^{a_{n}}}$ es d.p., dado ${\displaystyle a_{1},\dots ,a_{n}\in \mathbb {N} }$
  • El límite ${\displaystyle K=\lim _{n\to \infty }K_{n}}$ es d.p. si el límite existe.
• Si ${\displaystyle ({\mathcal {X}}_{i})_{i=1}^{n}}$ es una secuencia de conjuntos y ${\displaystyle (K_{i})_{i=1}^{n},\ \ K_{i}:{\mathcal {X}}_{i}\times {\mathcal {X}}_{i}\to \mathbb {R} }$ es una secuencia de núcleos d.p., entonces tanto

$${\displaystyle K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\prod _{i=1}^{n}K_{i}(x_{i},y_{i})}$$

como

$${\displaystyle K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\sum _{i=1}^{n}K_{i}(x_{i},y_{i})}$$ son núcleos d.p. en ${\displaystyle {\mathcal {X}}={\mathcal {X}}_{1}\times \dots \times {\mathcal {X}}_{n}}$.

• Sea ${\displaystyle {\mathcal {X}}_{0}\subset {\mathcal {X}}}$. Entonces la restricción ${\displaystyle K_{0}}$ de ${\displaystyle K}$ a ${\displaystyle {\mathcal {X}}_{0}\times {\mathcal {X}}_{0}}$ también es un núcleo d.p.

• Ejemplos comunes de núcleos d.p. definidos en el espacio euclídeo ${\displaystyle \mathbb {R} ^{d}}$ incluyen:
  • Núcleo lineal: ${\displaystyle K(\mathbf {x} ,\mathbf {y} )=\mathbf {x} ^{T}\mathbf {y} ,\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d}}$.
  • Núcleo polinómico: ${\displaystyle K(\mathbf {x} ,\mathbf {y} )=(\mathbf {x} ^{T}\mathbf {y} +r)^{n},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},r\geq 0,n\geq 1}$.
  • Núcleo gaussiano (función núcleo de base radial): ${\displaystyle K(\mathbf {x} ,\mathbf {y} )=e^{-{\frac {\|\mathbf {x} -\mathbf {y} \|^{2}}{2\sigma ^{2}}}},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\sigma >0}$.
  • Núcleo laplaciano: ${\displaystyle K(\mathbf {x} ,\mathbf {y} )=e^{-\alpha \|\mathbf {x} -\mathbf {y} \|},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\alpha >0}$.
  • Núcleo de Abel: ${\displaystyle K(x,y)=e^{-\alpha |x-y|},x,y\quad \in \mathbb {R} ,\alpha >0}$.
  • Núcleo que genera espacios de Sóbolev ${\displaystyle W_{2}^{k}(\mathbb {R} ^{d})}$: ${\displaystyle K(x,y)=\|x-y\|_{2}^{k-{\frac {d}{2}}}B_{k-{\frac {d}{2}}}(\|x-y\|_{2})}$, donde ${\displaystyle B_{\nu }}$ es la función de Bessel de tercera especie.
  • Núcleo que genera el espacio de Paley-Wiener: ${\displaystyle K(x,y)={\mbox{sinc}}(\alpha (x-y)),x,y\in \mathbb {R} ,\alpha >0}$.
• Si ${\displaystyle H}$ es un espacio de Hilbert, entonces su producto interno correspondiente ${\displaystyle (\cdot ,\cdot )_{H}:H\times H\to \mathbb {R} }$ es un núcleo d.p. De hecho, se tiene que $${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}(x_{i},x_{j})_{H}=\left(\sum _{i=1}^{n}c_{i}x_{i},\sum _{j=1}^{n}c_{j}x_{j}\right)_{H}=\left\|\sum _{i=1}^{n}c_{i}x_{i}\right\|_{H}^{2}\geq 0}$$
• Núcleos definidos en ${\displaystyle \mathbb {R} _{+}^{d}}$ e histogramas: los histogramas se encuentran con frecuencia en aplicaciones de problemas de la vida real. La mayoría de las observaciones suelen estar disponibles en forma de vectores de conteo no negativos que, si se normalizan, producen histogramas de frecuencias. Se ha demostrado^[1] que la siguiente familia de métricas al cuadrado, respectivamente la divergencia de Jensen, el cuadrado ${\displaystyle \chi }$, la variación total y dos variaciones de la distancia de Hellinger: $${\displaystyle \psi _{JD}=H\left({\frac {\theta +\theta '}{2}}\right)-{\frac {H(\theta )+H(\theta ')}{2}},}$$$${\displaystyle \psi _{\chi ^{2}}=\sum _{i}{\frac {(\theta _{i}-\theta _{i}')^{2}}{\theta _{i}+\theta _{i}'}},\quad \psi _{TV}=\sum _{i}\left|\theta _{i}-\theta _{i}'\right|,}$$$${\displaystyle \psi _{H_{1}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|,\psi _{H_{2}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|^{2},}$$ se pueden utilizar para definir núcleos d.p. utilizando la siguiente fórmula $${\displaystyle K(\theta ,\theta ')=e^{-\alpha \psi (\theta ,\theta ')},\alpha >0.}$$

Summarize Timeline Top Qs Fact Check

Los núcleos definidos positivos, como se definen en (1.1), aparecieron por primera vez en 1909 en un artículo sobre ecuaciones integrales de James Mercer.^[2] Varios otros autores hicieron uso de este concepto en las siguientes dos décadas, pero ninguno de ellos usó explícitamente núcleos ${\displaystyle K(x,y)=f(x-y)}$, es decir, funciones d.p. (de hecho, M. Mathias y S. Bochner parecen no haber estado al tanto de estos estudios). El trabajo de Mercer surgió del artículo de Hilbert de 1904^[3] sobre las ecuaciones integrales de Fredholm del segundo tipo:

$${\displaystyle f(s)=\phi (s)-\lambda \int _{a}^{b}K(s,t)\phi (t)\ \mathrm {d} t.}$$ (1.2)

En particular, Hilbert había demostrado que:

$${\displaystyle \int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\mathrm {d} t=\sum {\frac {1}{\lambda _{n}}}\left[\int _{a}^{b}\psi _{n}(s)x(s)\mathrm {d} s\right]^{2},}$$ (1.3)

donde ${\displaystyle K}$ es un núcleo simétrico real continuo, ${\displaystyle x}$ es continuo, ${\displaystyle \{\psi _{n}\}}$ es un sistema completo de orthonormal eigenfunctions y los ${\displaystyle \lambda _{n}}$ son los correspondientes autovalores de (1.2). Hilbert ideó la definición de un núcleo definido como uno para el cual la integral doble

$${\displaystyle J(x)=\int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\;\mathrm {d} t}$$

satisface que ${\displaystyle J(x)>0}$ excepto para ${\displaystyle x(t)=0}$. El objeto original del artículo de Mercer era caracterizar los núcleos que son definidos en el sentido de Hilbert, pero pronto descubrió que la clase de tales funciones era demasiado restrictiva para caracterizarlas en términos de determinantes. Por lo tanto, definió un núcleo simétrico real continuo ${\displaystyle K(s,t)}$ como de tipo positivo (es decir, definido positivo) si ${\displaystyle J(x)\geq 0}$ para todas las funciones continuas reales ${\displaystyle x}$ sobre ${\displaystyle [a,b]}$, y demostró que (1.1) es una condición necesaria y suficiente para que un núcleo sea de tipo positivo. Luego demostró que para cualquier núcleo d.p. la expansión

$${\displaystyle K(s,t)=\sum _{n}{\frac {\psi _{n}(s)\psi _{n}(t)}{\lambda _{n}}}}$$

se mantiene absoluta y uniformemente.

Aproximadamente al mismo tiempo, W. H. Young,^[4] motivado por una pregunta diferente en la teoría de ecuaciones integrales, demostró que para núcleos continuos la condición (1.1) es equivalente a ${\displaystyle J(x)\geq 0}$ para todo ${\displaystyle x\in L^{1}[a,b]}$.

E.H. Moore^[5][6] inició el estudio de un tipo muy general de núcleo d.p. Si ${\displaystyle E}$ es un conjunto abstracto, llama a las funciones ${\displaystyle K(x,y)}$ definidas en ${\displaystyle E\times E}$ matrices hermíticas positivas si cumplen (1.1) para todo ${\displaystyle x_{i}\in E}$. Moore estaba interesado en la generalización de ecuaciones integrales y demostró que para cada ${\displaystyle K}$ existe un espacio de Hilbert ${\displaystyle H}$ de funciones tales que, para cada ${\displaystyle f\in H,f(y)=(f,K(\cdot ,y))_{H}}$. Esta propiedad se denomina propiedad de reproducción del núcleo y resulta ser importante en la solución de problemas de valores de frontera para ecuaciones diferenciales parciales elípticas.

Otra línea de desarrollo en la que los núcleos d.p. jugaron un papel importante fue la teoría de los armónicos en espacios homogéneos, iniciada por E. Cartan en 1929, y continuada por H. Weyl y S. Ito. La teoría más completa sobre núcleos d.p. en espacios homogéneos es la de Mark Krein^[7] que incluye como casos especiales el trabajo sobre funciones d.p. e irreducibles representaciones unitarias de grupos localmente compactos.

En la teoría de la probabilidad los núcleos d.p. surgen como núcleos de covarianza de procesos estocásticos.^[8]

Summarize Timeline Top Qs Fact Check

Los núcleos definidos positivos proporcionan un marco que abarca algunas construcciones espaciales básicas de Hilbert. A continuación, se presenta una estrecha relación entre los núcleos definidos positivos y dos objetos matemáticos, a saber, la reproducción de núcleos de espacios de Hilbert y mapas de características.

Sea ${\displaystyle X}$ un conjunto, ${\displaystyle H}$ un espacio de Hilbert de funciones ${\displaystyle f:X\to \mathbb {R} }$ y ${\displaystyle (\cdot ,\cdot )_{H}:H\times H\to \mathbb {R} }$ el producto interno correspondiente en ${\displaystyle H}$. Para cualquier ${\displaystyle x\in X}$, la evaluación funcional ${\displaystyle e_{x}:H\to \mathbb {R} }$ está definida por ${\displaystyle f\mapsto e_{x}(f)=f(x)}$. Primero se define un espacio de Hilbert del núcleo de reproducción (EHRN):

Definición: Un espacio ${\displaystyle H}$ es denominado espacio de Hilbert con reproducción del núcleo si los funcionales valoración son continuos.

Cada EHRN tiene una función especial asociada, a saber, el núcleo reproductor:

Definición: El núcleo reproductor es una función ${\displaystyle K:X\times X\to \mathbb {R} }$ tal que

1. ${\displaystyle K_{x}(\cdot )\in H,\forall x\in X}$, y
2. ${\displaystyle (f,K_{x})=f(x)}$, para todo ${\displaystyle f\in H}$ y ${\displaystyle x\in X}$.

La última propiedad se llama la propiedad de reproducción.

El siguiente resultado muestra la equivalencia entre EHRN y la reproducción de los núcleos:

Cada núcleo reproductor ${\displaystyle K}$ induce un único EHRN, y cada EHRN posee un único núcleo reproductor.

Ahora, la conexión entre los núcleos definidos positivos y los EHRN viene dada por el siguiente teorema

Todo núcleo reproductor es definido positivo, y todo núcleo definido positivo define un EHRN único, del cual es el núcleo reproductor único.

Por lo tanto, dado un núcleo definido positivo ${\displaystyle K}$, es posible construir un EHRN asociado con ${\displaystyle K}$ como núcleo reproductor.

Como se indicó anteriormente, los núcleos definidos positivos se pueden construir a partir de productos internos. Este hecho se puede utilizar para conectar los núcleos d.p. con otro objeto interesante que surge en las aplicaciones de aprendizaje automático, a saber, el mapa de características. Sea ${\displaystyle F}$ un espacio de Hilbert y ${\displaystyle (\cdot ,\cdot )_{F}}$ el producto interno correspondiente. Cualquier mapa ${\displaystyle \Phi :X\to F}$ se denomina mapa de características. En este caso se denomina ${\displaystyle F}$ al espacio de características. Es fácil ver^[9] que cada mapa de características define un único núcleo d.p. por

$${\displaystyle K(x,y)=(\Phi (x),\Phi (y))_{F}.}$$

De hecho, la definición positiva de ${\displaystyle K}$ se deriva de la propiedad del producto interior definido positivo. Por otro lado, cada núcleo d.p. y su EHRN correspondiente tienen muchos mapas de características asociados. Por ejemplo: sean ${\displaystyle F=H}$, y ${\displaystyle \Phi (x)=K_{x}}$ para todo ${\displaystyle x\in X}$. Entonces ${\displaystyle (\Phi (x),\Phi (y))_{F}=(K_{x},K_{y})_{H}=K(x,y)}$, por la propiedad de reproducción. Esto sugiere una nueva visión de los núcleos d.p. como productos internos en espacios de Hilbert propios, o en otras palabras, los núcleos d.p. se pueden ver como mapas de similitud que cuantifican de manera efectiva lo similares que son dos puntos ${\displaystyle x}$ e ${\displaystyle y}$ a través del valor ${\displaystyle K(x,y)}$. Además, mediante la equivalencia de núcleos d.p. y su correspondiente EHRN, cada mapa de características se puede utilizar para construir un EHRN.

Summarize Timeline Top Qs Fact Check

Los métodos del núcleo a menudo se comparan con los métodos basados en la distancia, como vecinos más próximos. En esta sección se discuten los paralelismos entre sus dos ingredientes respectivos, a saber, los núcleos ${\displaystyle K}$ y las distancias ${\displaystyle d}$.

Aquí, por una función de distancia entre cada par de elementos de algún conjunto ${\displaystyle X}$, se hace referencia a una métrica definida en ese conjunto, es decir, cualquier función de valor no negativo ${\displaystyle d}$ en ${\displaystyle {\mathcal {X}}\times {\mathcal {X}}}$ que satisfaga

• ${\displaystyle d(x,y)\geq 0}$ y ${\displaystyle d(x,y)=0}$ si y solo si ${\displaystyle x=y}$,
• ${\displaystyle d(x,y)=d(y,x)}$,
• ${\displaystyle d(x,z)\leq d(x,y)+d(y,z)}$.

Un enlace entre distancias y núcleos d.p. está dada por un tipo particular de núcleo, llamado núcleo definido negativo, caracterizado de la siguiente manera

Definición: Una función simétrica ${\displaystyle \psi$ :{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} } se denomina núcleo definido negativo (d.n.) sobre ${\displaystyle {\mathcal {X}}}$ si

$${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}\psi (x_{i},x_{j})\leq 0}$$ (1.4)

mantiene para cualquier ${\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in {\mathcal {X}},}$ y ${\displaystyle c_{1},\dots ,c_{n}\in \mathbb {R} }$ tales que ${\textstyle \sum _{i=1}^{n}c_{i}=0}$.

El paralelismo entre núcleos d.n. y distancias es el siguiente: siempre que un núcleo d.n. desaparece en el conjunto ${\displaystyle \{(x,x):x\in {\mathcal {X}}\}}$, y es cero solo en este conjunto, entonces su raíz cuadrada es una distancia para ${\displaystyle {\mathcal {X}}}$.^[10] Al mismo tiempo cada distancia no corresponde necesariamente a un núcleo d.n. Esto solo es cierto para distancias hilbertianas, en las que la distancia ${\displaystyle d}$ se llama hilbertiana si se puede embeber el espacio métrico ${\displaystyle ({\mathcal {X}},d)}$ isométricamente en algún espacio de Hilbert.

Por otra parte, los núcleos d.n. se pueden identificar con una subfamilia de núcleos d.p. conocidos como núcleos infinitamente divisibles. Se dice que un núcleo ${\displaystyle K}$ de valor no negativo es infinitamente divisible si para cada ${\displaystyle n\in \mathbb {N} }$ existe un núcleo ${\displaystyle K_{n}}$ definido positivo tal que ${\displaystyle K=(K_{n})^{n}}$.

Otra relación es que un núcleo d.p. induce una pseudométrica, donde la primera restricción en la función de distancia se relaja para permitir que ${\displaystyle d(x,y)=0}$ para ${\displaystyle x\neq y}$. Dado un núcleo definido positivo ${\displaystyle K}$, se puede definir una función de distancia como:

$${\displaystyle d(x,y)={\sqrt {K(x,x)-2K(x,y)+K(y,y)}}}$$