Meta Movie Gen es la tercera generación de modelos fundacionales de Meta. El modelo utiliza un transformador de 30.000 millones de parámetros para producir videos de alta calidad de hasta 16 segundos para una velocidad de 16 fotogramas por segundo con una resolución de 1080p, a partir de una descripción de texto.[8][5] Como indica Meta, «estos modelos pueden razonar sobre el movimiento de los objetos, las interacciones sujeto-objeto y el movimiento de la cámara, y pueden aprender movimientos plausibles para una amplia variedad de conceptos, lo que los convierte en modelos de última generación en su categoría».[1]
El transformador tiene una estructura similar a la de LLaMa 3, su modelo de lenguaje más capaz, pero se han añadido módulos específicos para la generación de video, como un módulo de atención cruzada para incorporar la información del texto de entrada y un módulo de normalización adaptativa para manejar las diferentes etapas del proceso de generación.[5]Para generar videos de alta resolución (1080p HD), Movie Gen utiliza un modelo de supermuestreo espacial que toma como entrada videos de menor resolución y los mejora. Este modelo, también basado en un transformador, aprende a generar detalles finos y a mejorar la nitidez de las imágenes, lo que resulta en una mejor calidad visual.[5]
El modelo también es capaz de generar videos personalizados. El modelo toma como entrada la imagen de una persona y se combina con un prompt para generar un video que contiene a la persona de referencia y detalles visuales enriquecidos por la instrucción.[1][8] Según afirmó Meta, «nuestro modelo logra resultados de última generación cuando se trata de crear videos personalizados que preservan la identidad y el movimiento humanos».[1]
La variante de edición del mismo modelo toma como entrada tanto el vídeo como el prompt, ejecutando tareas para generar la salida deseada. Combina la generación de video con la edición avanzada de imágenes.[1]Trabaja sobre videos generados y sobre capturas del mundo real. Meta afirma que su modelo «preserva el contenido original» en tanto añade elementos al video, como telones de fondo o vestimenta para los personajes principales.[9]
El modelo de 13.000 millones de parámetros puede usar un vídeo y una descripción en texto para generar una pista de audio que se acople a lo que sucede en la imagen.[7]El resultado tiene una duración de hasta 45 segundos y engloba sonido ambiental, efectos de sonido y música instrumental de fondo. Este modelo también permite generar audio coherente para videos de duraciones arbitrarias, «logrando en general un rendimiento de vanguardia en calidad de audio, alineación de video a audio y alineación de texto a audio».[10][1]
