El último generador de vídeo con IA de Runway da vida a monstruos gigantes de algodón de azúcar

El domingo, Runway anunció un nuevo modelo de síntesis de video de IA llamado Generación 3 Alfa Esto todavía está en desarrollo, pero parece crear videos de calidad similar a Sora Video de OpenAI, que debutó a principios de este año (y que tampoco se ha lanzado todavía). Puede crear videos nuevos y de alta resolución a partir de indicaciones de texto que van desde humanos realistas hasta monstruos surrealistas que deambulan por el campo.

A diferencia de la pista Mejor modelo anterior A partir de junio de 2023, que solo puede crear clips de 2 segundos, Gen-3 Alpha supuestamente puede crear videos de 10 segundos de personas, lugares y cosas que tienen una consistencia y coherencia que supera fácilmente a Gen-2. Si 10 segundos parecen cortos en comparación con el minuto completo de video de Sora, tenga en cuenta que la compañía está operando con un presupuesto informático reducido en comparación con OpenAI, generosamente financiado, y de hecho tiene un historial de brindar capacidad de creación de videos a usuarios comerciales.

Gen-3 Alpha no genera sonido para acompañar los videos, y las generaciones temporalmente consistentes (aquellas que mantienen la consistencia de su personalidad a lo largo del tiempo) tienen más probabilidades de depender de Materiales de formación similares de alta calidad.. Pero es difícil ignorar la mejora de Runway en fidelidad visual durante el año pasado.

La IA del vídeo se calienta

Han sido un par de semanas muy ocupadas con la instalación de videos de IA en la comunidad de investigación de IA, incluido el lanzamiento del modelo chino. kling, creado por Kuaishou Technology, con sede en Beijing (a veces llamado «Kwai»). Kling puede crear dos minutos de vídeo HD de 1080p a 30 fotogramas por segundo en un nivel Detalles y cohesión Se dice que coincide con Sora.

Mensaje Gen-3 Alpha: «Reflejos ocultos de una mujer en la ventana de un tren que se mueve a una velocidad vertiginosa en una ciudad japonesa».

Poco después del debut de Kling, la gente en las redes sociales empezó a ser creativa. Vídeos surrealistas de IA Usando Luma AI Máquina de sueños Luma. Estos videos eran nuevos y extraños pero en general geniales. Carece de cohesión; Probamos Dream Machine y nada de lo que vimos nos impresionó.

Mientras tanto, Runway, con sede en la ciudad de Nueva York y fundada en 2018, una empresa líder en conversión de texto a video, recientemente fue víctima de memes que mostraban que su tecnología Gen-2 ya no era popular en comparación con los modelos de composición de video más recientes. Esta es probablemente la motivación detrás del anuncio del Gen-3 Alpha.

Mensaje de Gen-3 Alpha: «Un astronauta corre por un callejón en Río de Janeiro».

Crear humanos realistas siempre ha sido difícil para los modelos de composición de video, por lo que Runway muestra específicamente la capacidad de Gen-3 Alpha para crear lo que sus desarrolladores llaman personajes humanos «expresivos» con una variedad de acciones, gestos y emociones. Sin embargo, la empresa Ejemplos proporcionados No es particularmente expresivo (la mayoría de las personas miran fijamente y parpadean lentamente), pero parece realista.

Los ejemplos humanos proporcionados incluyen videos generados de una mujer en un tren, un astronauta corriendo por la calle, un hombre cuyo rostro está iluminado por el brillo de un televisor, una mujer conduciendo un automóvil y una mujer corriendo, entre otros.

Mensaje Alfa Gen-3: «Primer plano de una mujer joven conduciendo un automóvil, mirando pensativa, un bosque verde borroso visible a través de la ventanilla del automóvil lluvioso».

Los videos de demostración creados también incluyen ejemplos de instalaciones de video más surrealistas, incluida una criatura gigante caminando por una ciudad en ruinas, un hombre hecho de rocas caminando por un bosque y el monstruo gigante de algodón de azúcar que se muestra a continuación, que es quizás el mejor video jamás visto. página.

Mensaje Alfa Gen-3: “Un humano gigante, hecho de algodón de azúcar azul esponjoso, pisotea el suelo, rugiendo hacia el cielo, con un cielo azul claro detrás de él”.

El Gen-3 impulsará varias herramientas de edición de Runway AI (uno de los mayores reclamos de fama de la compañía), que incluyen Cepillo multiacción, Controles avanzados de cámaraY Modo administrador. Puede crear videos a partir de mensajes de texto o imágenes.

Runway dice que el Gen-3 Alpha es el primero de una serie de modelos entrenados en una nueva infraestructura diseñada para entrenamiento multimodal a gran escala, dando un paso hacia el avance de lo que llama «Modelos globales generales“, que son sistemas virtuales de inteligencia artificial que construyen representaciones internas de entornos y las utilizan para simular eventos futuros dentro de esos entornos.