Modelo de razonamiento

A diferencia de los modelos de lenguaje tradicionales que generan respuestas inmediatamente, los modelos de razonamiento asignan tiempo de cálculo adicional, o tiempo de reflexión, antes de producir una respuesta para resolver problemas de varios pasos. OpenAI introdujo esta terminología en septiembre de 2024 con el lanzamiento de la serie o1, describiendo los modelos como diseñados para "dedicar más tiempo a pensar" antes de responder. La compañía definió o1 como un reajuste en la nomenclatura de modelos que aborda tareas complejas en ciencias, programación y matemáticas, y comparó el rendimiento de o1 con GPT-4o en pruebas de referencia como AIME y Codeforces. Un informe independiente publicado esa misma semana resumió el lanzamiento y destacó la afirmación de OpenAI de que o1 automatiza el razonamiento en Iingeniería de instrucciones para lograr grandes mejoras en exámenes difíciles. ^{[3] [4] [5]}

En funcionamiento, los modelos de razonamiento generan cadenas internas de pasos intermedios y luego seleccionan y refinan una respuesta final. OpenAI informó que la precisión de o1 mejora a medida que el modelo recibe más aprendizaje por refuerzo durante el entrenamiento y más cómputo en tiempo de prueba durante la inferencia. Inicialmente, la compañía optó por ocultar las cadenas sin procesar y, en su lugar, devolver un resumen escrito por el modelo, afirmando que "decidió no mostrar" los pensamientos subyacentes para que los investigadores pudieran monitorearlos sin exponer contenido no alineado a los usuarios finales. Las implementaciones comerciales documentan "tokens de razonamiento" independientes que miden el pensamiento oculto y un control del "esfuerzo de razonamiento" que ajusta la cantidad de cómputo que utiliza el modelo. Estas características hacen que los modelos sean más lentos que los sistemas de chat convencionales, a la vez que permiten un mejor rendimiento en problemas difíciles. ^{[4] [6]}

La trayectoria de investigación hacia los modelos de razonamiento combinó avances en aprendizaje supervisado, ingeniería de instrucciones y árbol de búsqueda.

Los primeros trabajos de alineación sobre aprendizaje por refuerzo a partir de la retroalimentación humana demostraron que los modelos pueden ajustarse para seguir instrucciones con "retroalimentación humana" y recompensas basadas en preferencias. ^{[7] [8]} En 2022, los científicos de Google Research, Jason Wei y Denny Zhou, demostraron que la estimulación de la ingeniería de instrucciones "mejora significativamente la capacidad" de los modelos grandes en tareas de razonamiento complejo.^[9]

$${\displaystyle {\text{Input}}\rightarrow \underbrace {{\text{Step}}_{1}\rightarrow {\text{Step}}_{2}\rightarrow \cdots \rightarrow {\text{Step}}_{n}} _{\text{Reasoning chain}}\rightarrow {\text{Answer}}}$$

Un resultado complementario demostró que la simple instrucción "Pensemos paso a paso" puede generar razonamiento de cero intentos. ^[10] Trabajos posteriores introdujeron la decodificación de autoconsistencia, que potencia el rendimiento de la cadena de pensamiento al muestrear diversas rutas de solución y elegir el consenso, y métodos mejorados con herramientas como ReAct, un acrónimo de Reason y Act, que induce a los modelos a generar tanto rastros de razonamiento como acciones. ^{[11] [12]} Posteriormente, la investigación generalizó la cadena de pensamiento a la búsqueda de múltiples planes candidatos. El marco de la ingeniería de instrucciones del informático de Princeton Shunyu Yao, propone que los modelos toman decisiones deliberadas explorando y retrocediendo en un árbol de pensamientos intermedio. ^[13]

El avance de OpenAI se centró en la supervisión de los procesos de razonamiento, no solo de los resultados. En el artículo "Verifiquemos paso a paso" de Lightman et al., se afirma que recompensar cada paso correcto "supera significativamente la supervisión de resultados" en problemas matemáticos complejos y mejora la interpretabilidad al alinear la cadena de pensamiento con el juicio humano. ^{[14] [15]} El anuncio o1 de OpenAI vincula estos aspectos con un algoritmo de aprendizaje por refuerzo a gran escala que entrena al modelo para refinar su propia cadena de pensamiento, e informa que la precisión aumenta con un mayor cómputo de entrenamiento y más tiempo dedicado a la inferencia. ^[4]

En conjunto, estos desarrollos definen la esencia de los modelos de razonamiento. Utilizan señales de supervisión que evalúan la calidad de los pasos intermedios, aprovechan la exploración en tiempo de inferencia, como el consenso o la búsqueda de árboles, y exponen controles para la asignación de cómputo interno al pensamiento. La familia o1 de OpenAI puso este enfoque a disposición a escala en septiembre de 2024 y popularizó el término "modelo de razonamiento" para los LLM que piensan deliberadamente antes de responder. ^{[16] [17]}

El desarrollo de modelos de razonamiento ilustra la amarga lección de Richard S. Sutton: el escalado computacional suele superar a los métodos basados en ideas diseñadas por humanos. ^[18] Este principio fue demostrado por investigadores del Laboratorio de Investigación de IA Generativa (GAIR), quienes intentaron replicar las capacidades de o1 mediante métodos sofisticados, como la búsqueda de árboles y el aprendizaje por refuerzo, a finales de 2024. Sus hallazgos, publicados en la serie "Viaje de Replicación de o1", revelaron que la destilación de conocimiento, una técnica relativamente sencilla que entrena un modelo más pequeño para imitar los resultados de o1, produjo un rendimiento inesperadamente alto. Este resultado ilustró cómo los enfoques de escalado directo pueden, en ocasiones, superar a soluciones de ingeniería más complejas. ^[19]

Los modelos de razonamiento siguen el preentrenamiento a gran escala habitual para los modelos de lenguajes de frontera, y luego divergen en el postentrenamiento y la optimización. OpenAI informa que o1 se entrena con un algoritmo de aprendizaje por refuerzo a gran escala que enseña al modelo a usar y refinar una cadena de pensamiento antes de responder. La empresa enfatiza dos palancas acopladas: mayor aprendizaje por refuerzo durante el entrenamiento y mayor tiempo dedicado a la inferencia, y documenta mejoras graduales a medida que cada una aumenta. OpenAI también afirma que decidió no mostrar cadenas sin procesar a los usuarios finales y, en su lugar, devuelve un resumen escrito por el modelo, una elección de producto vinculada a la supervisión de la seguridad y a las consideraciones competitivas. ^[42]

Un ingrediente central es la supervisión de procesos, que recompensa los pasos intermedios en lugar de solo la respuesta final. El estudio de OpenAI introdujo un modelo de recompensa de procesos entrenado con etiquetas a nivel de paso y descubrió que la supervisión de procesos supera significativamente a la supervisión basada únicamente en resultados en problemas matemáticos complejos. El proyecto también publicó el conjunto de datos de retroalimentación a nivel de paso PRM800K y argumentó que las recompensas a nivel de proceso mejoran la interpretabilidad porque los humanos pueden verificar cada paso. Estos resultados proporcionaron una fórmula práctica para supervisar cadenas de pensamiento que posteriormente se adaptó al entrenamiento de producción. ^[15]

Este entrenamiento difiere significativamente de los modelos de frontera tradicionales que no se centran en el razonamiento. Los sistemas estándar se preentrenan en corpus a escala de internet con un objetivo de predicción del siguiente token, y luego se alinean mediante el ajuste de instrucciones y la optimización de preferencias. La receta canónica InstructGPT primero utiliza un ajuste fino supervisado en demostraciones humanas, luego entrena un modelo de recompensa a partir de preferencias por pares y, finalmente, optimiza la política con aprendizaje de refuerzo, típicamente PPO con una penalización KL. Variantes como la optimización directa de preferencias eliminan el paso RL explícito y optimizan el modelo directamente con los datos de preferencia, pero el objetivo de supervisión sigue siendo el resultado final evaluado por los evaluadores, en lugar de la calidad de los pasos internos. Los informes técnicos de GPT-4 resumen este proceso convencional como un preentrenamiento del siguiente token seguido de un postentrenamiento de estilo RLHF para moldear el comportamiento.

En cambio, los modelos de razonamiento están optimizados para producir, criticar y revisar cadenas de varios pasos durante el entrenamiento. OpenAI afirma que el aprendizaje por refuerzo se aplica a la propia cadena, lo que enseña al modelo a reconocer errores, dividir los problemas en pasos más simples y cambiar de estrategia cuando el enfoque actual falla. OpenAI también documenta que oculta las cadenas en la inferencia y devuelve una respuesta que resume las ideas útiles del rastro interno. Estas decisiones de diseño reflejan el objetivo de entrenamiento del modelo y su monitorización prevista. ^[4]

Zelikman et al. introdujeron STaR (Self-Taught Reasoner), que exploró el arranque de razonamientos mediante la generación y el filtrado iterativo de cadenas, y el posterior ajuste fino de dichas trazas. Se observaron mejoras con respecto al ajuste fino basado únicamente en resultados. Una variante de este método proporcionó mecanismos adicionales para producir señales de entrenamiento que se refieren al razonamiento intermedio, no solo a las respuestas finales. ^[43]

DeepSeek informó que los sistemas R1 y R1-Zero entrenados con aprendizaje automático puro generan cadenas largas, autoverificación y reflexión, argumentando que las recompensas explícitas a nivel de cadena pueden inducir comportamientos de razonamiento general. Estos resultados indican que el postentrenamiento centrado en la calidad de la cadena se ha convertido en un régimen distinto, independiente de la alineación basada únicamente en resultados. ^[44]

Los modelos de razonamiento generalmente alcanzan puntuaciones más altas que los modelos sin razonamiento en muchos puntos de referencia, en particular en tareas que requieren razonamiento de varios pasos. ^{[60] [61] [62] [63] [64] [65] [66]}

El modelo de referencia del El Último Examen de la Humanidad (HLE) (HLE) evalúa el razonamiento experto en matemáticas, humanidades y ciencias naturales, revelando importantes brechas de rendimiento entre los modelos. Los modelos de razonamiento de vanguardia actuales obtienen puntuaciones relativamente bajas en HLE, lo que indica un amplio margen de mejora. Por ejemplo, el modelo de razonamiento completo o3 obtuvo un 26,6%,^[38] mientras que el modelo más ligero o3-mini-high (en preguntas de solo texto) alcanzó un 13%. ^[67]

En el Examen Americano de Matemáticas por Invitación (AIME), una exigente competencia matemática, los modelos sin razonamiento suelen resolver menos del 30 % de los problemas. En cambio, los modelos que emplean métodos de razonamiento alcanzan tasas de éxito de entre el 50 % y el 80 %. ^{[68] [69] [70]} Mientras que el modelo o1 de OpenAI mantuvo o mejoró ligeramente su precisión entre los resultados reportados en 2024 y los resultados del AIME de 2025, el modelo o3-mini-high logró una precisión del 80 % a un costo significativamente menor, aproximadamente 12 veces más económico. ^[71]

Algunos puntos de referencia minoritarios o independientes excluyen los modelos de razonamiento debido a sus tiempos de respuesta más largos y mayores costos de inferencia, incluidos los puntos de referencia para la detección de eventos complejos en línea en sistemas ciberfísicos, la evaluación general del cómputo en tiempo de inferencia, las tareas de ingeniería de Verilog y las evaluaciones de seguridad de la red. ^[72]

• Razonamiento automatizado
• Modelo de lenguaje grande