OpenAssistant

Los desarrolladores de OpenAssistant intentaban obtener un producto viable mínimo inicial siguiendo los tres pasos descritos en el documento de InstructGPT.^[6][7]

1. Recopilación de muestras de cumplimiento de instrucciones de alta calidad generadas por humanos (mensaje + respuesta), con el objetivo de alcanzar más de 50.000 muestras de este tipo. Luego, diseñar un proceso colaborativo para recopilar y revisar las indicaciones. Para evitar capacitaciones sobre inundación de red, temas tóxicos, spam, basura (junk data), datos de información personal, los desarrolladores tienen una tabla de clasificación para motivar a la comunidad de voluntarios, que muestra el progreso y los usuarios más activos.
2. Muestreo de múltiples finalizaciones para cada una de las indicaciones recopiladas. Se muestra luego aleatoriamente a los usuarios la finalización de un aviso (prompt) para clasificarlos de mejor a peor. Se deben recopilar múltiples votos de usuarios independientes para medir el acuerdo general. Los datos de clasificación recopilados se utilizarán para entrenar un modelo de recompensa.
3. Seguimiento de la fase de entrenamiento RLHF^{[N 1]} basada en las indicaciones y el modelo de recompensa.

A continuación, se obtendrá el modelo resultante y se continuará con el paso de muestreo completo, es decir, el segundo paso anterior para la siguiente iteración.^[1]

El 10 de marzo de 2023, los primeros modelos de OpenAssistant comenzaron a generar respuestas a las indicaciones de capacitación en el sitio web de OpenAssistant. Estas respuestas estaban abiertas para la clasificación del paso dos del documento InstructGPT anterior. Estos datos se introducirán en la base de datos de entrenamiento. Los modelos son específicamente iteraciones de modelos deduplicados de pythia-6.9B.^[8][9]

OpenAssistant se hizo público el 15 de abril de 2023.^[3]

A partir del 11 de mayo de 2023, Open Assistant apoya 40 idiomas, incluidos catalán, bávaro, esperanto y vasco .