Luma AI lanza Dream Machine, la plataforma de conversión de texto a video impulsada por IA

Lanzamiento de Luma AI inteligencia artificial El modelo de conversión de texto a vídeo (IA), Dream Machine, se globaliza el miércoles. El sistema puede crear videos de hasta cinco segundos de duración con indicaciones de texto simples o descriptivas. El modelo de IA puede crear videos en diferentes estilos, como cinematográficos, animados, realistas y más. La compañía de inteligencia artificial afirma que Dream Machine está completamente entrenada en video y es capaz de producir “imágenes precisas, consistentes y llenas de acontecimientos”. Actualmente, el acceso y el uso de la plataforma son gratuitos, pero probablemente tendrá un límite de generación diario.

Luma AI lanza Dream Machine por primera vez

De acuerdo con la sitio webEl modelo de IA de Dream Machine se construyó sobre un modelo transformador y se entrenó directamente en videos. Por lo general, los modelos de lenguaje grande (LLM) se entrenan con texto e imágenes y luego se transfieren a videos, porque requieren una comprensión espacial y motora más profunda. “La Dream Machine es nuestro primer paso hacia la construcción de un motor de fantasía de clase mundial”, añadió la compañía.

Dream Machine se suma a plataformas de generación de vídeo como Runway AI y Pika 1.0 que también son de dominio público y ofrece creación de vídeo en tres a cinco segundos. Gadgets 360 puso a prueba la plataforma y descubrió que el compromiso inmediato con la plataforma era deficiente. Tiene problemas con varios personajes o cuando el mensaje es demasiado complejo. Sin embargo, en comparación con los otros dos, es capaz de producir vídeos cinematográficos de mayor calidad.

La plataforma de inteligencia artificial tarda 120 segundos en crear un vídeo que, según la compañía, contendrá 120 fotogramas diferentes. También se dice que Dream Machine comprende cómo las personas, los animales y los objetos interactúan con el mundo físico y crea videos con física precisa y consistencia de personajes.

Sin embargo, Luma AI también destacó varias limitaciones en la situación actual, como el movimiento, el texto, la transformación y el famoso problema de Janus, donde en lugar de mostrar una salida 3D consistente, el modelo de IA muestra múltiples vistas básicas de un objeto en diferentes direcciones.

Dream Machine de Luma AI crea un vídeo sobre Stormtroopers
Fuente de la imagen: Loma AI/Dream Machine

Luma AI no ha compartido ningún detalle técnico sobre el modelo de IA, por lo que se desconoce información sobre el tamaño de los parámetros, los parámetros, la arquitectura y los métodos de entrenamiento. La empresa tampoco compartió ningún detalle sobre la compra de datos de formación. En particular, Gadgets 360 ha logrado crear varios vídeos que contienen personajes protegidos por derechos de autor.

Para probar la plataforma, los entusiastas pueden ir al sitio web y hacer clic en el botón “Probar ahora”. Los usuarios deberán registrarse en la plataforma antes de poder crear videos.