Rprop

Rprop, abreviatura de retropropagación resiliente, es una heurística de aprendizaje para redes neuronales artificiales alimentadas hacia adelante en el contexto del aprendizaje supervisado. Es un algoritmo de optimización de primer orden creado por Martin Riedmiller y Heinrich Braun en 1992.^[1]

Similar a la regla de actualización de Manhattan, Rprop solo considera el signo de la derivada parcial en todos los patrones (no la magnitud) y actúa independientemente en cada "peso". Para cada peso, si hubo un cambio de signo en la derivada parcial de la función de error total en comparación con la última iteración, el valor de actualización de ese peso se multiplica por un factor η⁻, donde η⁻ es menor que 1. Si la última iteración produjo el mismo signo, el valor de actualización se multiplica por un factor de η⁺, donde η⁺ es mayor que 1. Finalmente, cada peso se ajusta en la dirección opuesta a su derivada parcial para minimizar la función de error total. Empíricamente, η⁺ se establece en 1.2 y η⁻ en 0.5.^{[cita requerida]}

Rprop puede producir incrementos o decrementos muy grandes en los pesos si los gradientes son grandes, lo que es un problema al usar mini-lotes en lugar de lotes completos. RMSprop aborda este problema manteniendo un promedio móvil de los gradientes cuadrados para cada peso y dividiendo el gradiente por la raíz cuadrada del promedio cuadrático.^{[cita requerida]}

Rprop es un algoritmo de actualización por lotes. Junto con el algoritmo de correlación en cascada y el algoritmo de Levenberg-Marquardt, Rprop es uno de los mecanismos de actualización de pesos más rápidos.^{[cita requerida]}