Kaiber: animaciones a golpe de prompt (III)

0
1828
Logo de Kaiber, herramienta de generación de vídeo a partir de descripciones de texto o prompts

Crea tus animaciones y composiciones visuales de forma fácil, rápida y sencilla con Kaiber. Tu prompt generará lo que te imagines. Tercera entrega de la serie de IAs generativas

Introducción

En esta nueva entrega de la serie, veremos qué es, cómo funciona y cómo utilizar esta herramienta de generación de vídeo a partir de descripciones en lenguaje natural, entre otras funciones.

Índice

    1. ¿Qué es?
    2. ¿Cómo funciona?
    3. ¿Cómo usarlo?
    4. El límite es tu imaginación
    5. Referencias
    6. Próximas paradas

¿Qué es?

Una plataforma de animación que utiliza inteligencia artificial para crear animaciones y videos a partir de otras imágenes o descripciones de texto en lenguaje natural, de la misma forma que hemos visto tanto en la primera como en la segunda entrega de la serie de IAs generativas pero enfocada en la creación artística.

Es una herramienta que te permitirá trabajar con el audio, como en la imagen. Permite a músicos y artistas mejorar sus vídeos generando animaciones musicales sincronizando los efectos visuales con el ritmo y la energía de la música.

kaiber Audioreactivity feature

También es un herramienta para generar animaciones según el prompt que introduzcas, como he mencionado antes.

Kaiber animation feature

Otra de las características de Kaiber es transformar la apariencia de los videos que introduces.

Kaiber Transform feature

Por último, una de las características que ofrece es la de storyboarding, permite crear narrativas con facilidad a través de prompts.

Kaiber storyboarding feature

Además, puedes elegir y personalizar los elementos de animación, ajustar el estilo y la apariencia de las animaciones con tan solo un par de clicks y crear una experiencia visual única a partir de un simple texto u otras imágenes.

Más adelante veremos cómo utilizar estos tres productos por separado y combinados.

¿Cómo funciona?

No hay mucha información disponible acerca del funcionamiento interno del modelo que potencia Kaiber. En el área de preguntas frecuentes, lo único que mencionan es esto: Es una plataforma creativa que utiliza la inteligencia artificial (IA) para generar vídeos e imágenes a partir de las entradas de los usuarios. Puedes introducir texto, lo que se conoce como «Prompts», para generar activos únicos desde cero. O puedes subir tus propias imágenes, música, vídeos y otros contenidos para incorporarlos a tus creaciones.

Sin embargo, en este artículo mencionan que es una red neuronal capaz de crear animaciones visualmente atractivas en cuestión de minutos. Pero no menciona nada acerca de cómo se ha entrenado, la arquitectura usada, el número de parámetros etc.

¿Cómo usarlo?

Puedes usarlo desde este enlace. Hay que mencionar que es una herramienta de pago, con versión de prueba de gratuita. Para acceder a cualquier producto de la web deberás crearte una cuenta o iniciar sesión si ya la tienes. En caso de que la necesites crear, lo podrás hacer a través de un formulario como este:

Formulario de login de Kaiber

También deberemos aceptar el inicio del periodo de prueba gratuito o pagar una suscripción mensual, puedes consultar los planes aquí:

kaiber aviso de aceptar periodo de prueba

Con la prueba gratuita podremos usar la herramienta 7 días con 60 créditos.

Una vez hecho esto, veremos un panel con el que poder empezar a usarlo:

Panel de inicio de Kaiber
Panel de inicio de Kaiber

Créditos

El sistema de pago lo han planteado como créditos que se canjean por tiempo de uso. Ya que ofrecen distintas modalidades, cada una tendrá un coste en créditos específicos. En resumen ofrecen:

  • 1 crédito por cada segundo usando text-to-video. Esto es la parte de introducir una descripción de texto en lenguaje natural y generar vídeo a partir de ello.
  • 5 créditos por cada segundo usando Transform. La herramienta que parte de una imagen o vídeo y a través del prompt la modificas.
  • En el caso de hacer upscaling (ampliar para mejorar la calidad del vídeo). Para 1080p consume 1 crédito por cada 10 segundos y para 4K el coste sería de 1 crédito por cada 5 segundos de uso.

Cada plan de pago ofrece una serie de créditos determinados.

Audioreactivity

En esta sección vamos a ver cómo usar la parte de generar animaciones musicales sincronizando los efectos visuales con el ritmo y la energía de la música.

Según el sitio oficial, Audioreactivity es una forma de arte que consiste en mezclar imágenes y música de manera que las imágenes respondan y resuenen con el audio. Añade una capa adicional de compromiso a los vídeos musicales al crear una conexión sincronizada entre los sentidos auditivo y visual.

También mencionan los beneficios que aporta esta herramienta al estado del arte de los editores de vídeo:

  • Experiencia inmersiva: Los efectos visuales reactivos enriquecen la experiencia del público al sumergirlos en el mundo de la música.
  • Actuaciones dinámicas: Al combinar los elementos visuales con la música, los artistas pueden producir espectáculos que agregan una dimensión adicional de emoción e involucramiento durante las presentaciones en vivo o la reproducción de vídeos.
  • Atractivo visual mejorado: Los efectos visuales sincronizados generan una poderosa sinergia con la música, elevando el atractivo general de la experiencia.

Para usarlo dentro de Kaiber, debemos ir al panel de inicio, añadir el audio que queramos y continuar al prompt. Yo he usado uno de un sitio web de sonidos gratuitos.

Panel de inicio de Kaiber con el sonido a usar
Añadir audio de nuestra elección

De ahí pasaremos a la pantalla en la que debemos indicar, la descripción en lenguaje natural de la animación que queremos generar sincronizada con el audio:

Panel de prompt con ajustes para generar el audio
Panel de edición del prompt y otros ajustes

Vemos que en la parte morada se incluye el sujeto de la acción, y en la parte verde se incluye el estilo o la estética que queramos. También observamos en la parte derecha una serie de opciones en formato burbuja, que nos ayudan a escribir un prompt más preciso.

En la parte superior derecha, vemos ejemplos de personas o sujetos a generar en morado. En cambio en la parte inferior, en verde, vemos ejemplos de estéticas que podemos aplicar a nuestro prompt para mejorar el rendimiento del modelo y la calidad de los resultados.

Una vez definidos los parámetros, continuamos con el siguiente paso que son los ajustes del vídeo, en la parte inferior derecha en Video settings.

En esta pantalla vamos a poder modificar la relación de aspecto, el movimiento de cámara, la evolución y la reactividad del audio al vídeo. La evolución se refiere a cómo el modelo va a modificar la entrada artificialmente, esto es especialmente útil cuando se da una imagen desde un inicio, que veremos más adelante.

Panel de ajustes de vídeo
Panel de ajustes de vídeo

En la parte inferior en morado, nos indica el grado de reactividad que queremos, en este caso he indicado un nivel alto de reactividad. Es importante tener en cuenta que por cada generación se nos va a cobrar una serie de créditos determinados. En el recuadro en rojo se muestra cuánto nos va a costar generar la animación, en este caso el coste será igual a la duración del audio que hemos introducido, que a la vez será la duración del vídeo generado. Una vez conforme con los ajustes, pasamos a la pre-visualización de frames a través del botón de la parte inferior derecha.

En el siguiente paso veremos esta pantalla de selección de keyframe. En este momento, el modelo ha generado 4 pre-visualizaciones en base al prompt indicado en la parte derecha. Aquí podemos seleccionar el estilo que queramos para nuestro vídeo final, de esta forma controlamos la generación.

Pre-visualización de los frames a generar en el video
Pre-visualización de keyframe para el vídeo final

En este momento solo nos queda esperar a que el modelo genere la animación:

Pantalla de carga de animación
Pantalla de carga de animación
Pantalla final con la animación generada
Pantalla final con la animación generada

Y este es el resultado, la calidad se ve un poco afectada al subirla a esta plataforma:

Este sería otro ejemplo:

Ejemplo de otra generación con el mismo audio
Ejemplo de otra generación con el mismo audio

Este es el resultado del prompt de arriba:

Animation

Ahora vamos a ver cómo generar animaciones únicamente con un prompt. Según comentan en el sitio web, dan una serie de consejos para mejorar las descripciones que se introducen en Kaiber, ya que estas juegan un papel vital en el rendimiento del mismo. Afirman que para empezar lo más efectivo es una idea simple y general, para materializar lo que queremos en un vídeo.

Con esta visión simplista de lo que queremos, haremos que el modelo se centre en los aspectos generales del vídeo que quieres generar, así el modelo aprenderá de forma iterativa y más precisa. Ya que podrás ir añadiendo detalles para que el modelo lo aprenda y entienda lo que quieres decir.

Vamos allá, igual que antes, puedes empezar desde el panel de inicio, en este caso simplemente tendrás que pulsar en el botón verde:

Panel de inicio de Kaiber

A partir de aquí el proceso es muy parecido al anterior:

Prompt para generar animación
Prompt para generar animación
Pantalla de ajustes de la animación a generar
Pantalla de ajustes de la animación a generar
Pre-visualización del keyframe a generar
Pre-visualización del keyframe a generar
Pantalla de carga
Pantalla de carga
Resutado final
Resultado final

Este es el resultado final:

Otro ejemplo:

person walking on the mountain, in the style of photo taken on film, film grain, vintage, 8k ultrafine detail, private press, associated press photo, masterpiece, cinematic

 

Transform

En esta última parte de la herramienta, veremos cómo partir de una imagen o vídeo y transformarla en base al prompt que le introduzcamos.

Partiendo de una imagen

Subimos la imagen
Subimos la imagen
Escribir el prompt
Escribimos el prompt
Ajustamos el estilo que queramos
Seleccionamos el mejor keyframe
Seleccionamos el mejor keyframe
Resultado final
Resultado final

Y este es el resultado final:

Partiendo de un vídeo

En este caso vamos a seguir el mismo proceso que antes pero partiendo de un vídeo como input. Yo he usado un video de una pareja tocando el piano, obtenido de esta web de videos gratuitos.

Los pasos a seguir son los mismos, con la diferencia de empezar con un vídeo:

Pantalla para subir el video
Subimos el vídeo
Definir el prompt
Definimos el prompt con lo que queremos modificar
Selección de keyframes
Seleccionamos el keyframe en la pre-visualización
Pantalla de carga de generacion
Esperamos a la generación

Y aquí está el resultado, el video original y el generado:

Storyboard

El objetivo principal de esta herramienta es ayudar a generar composiciones visuales y narrativas de forma fácil y sencilla de la mano de la inteligencia artificial. Cada vídeo debe generarse con la idea de pertenecer a una escena, esto es que cada video que se genere se haga con la perspectiva de realizar una composición visual.

Para poder hacer cada escena, Kaiber tiene la opción de añadir y ordenar los vídeos a generar:

foco en el botón de storyboard en la pantalla de selección de keyframe
Selección de storyboard

Gracias a esta opción podemos contar historias de principio a fin completamente generadas por inteligencia artificial. Podremos proporcionar bloques en forma de escenas para componer la narrativa visual que queramos, es importante señalar que tendremos un máximo de 5 escenas por storyboard.

Ahora es tu turno y como siempre gracias a estos modelos generativos, dejar que tu imaginación sea la que ponga el límite a lo que quieras transmitir.

Derechos de uso

En el sitio web, distinguen entre los tipos de cuenta que tienen disponibles: gratuito y de pago. En el caso de contar con el plan gratuito o estar en el periodo de prueba, todos los artefactos generados con Kaiber tendrán licencia Commons Noncommercial 4.0 Attribution International License, lo que implica que puedes usar las creaciones en todos los ámbitos no comerciales.

En cambio, si cuentas con uno de los planes de pago que ofrece la plataforma, tendrás la completa autoría de las generaciones. Afirman que tiene plenos derechos comerciales sobre ellos. Es decir, tienes completa libertad para utilizar los vídeos con fines comerciales sin ninguna limitación.

Puedes leer más acerca de los derechos de uso de Kaiber aquí.

Próximas paradas

El tren de las IAs generativas continúa después de haber parado en estas estaciones :

Referencias

DEJA UNA RESPUESTA

Por favor ingrese su comentario!

He leído y acepto la política de privacidad

Por favor ingrese su nombre aquí

Información básica acerca de la protección de datos

  • Responsable:
  • Finalidad:
  • Legitimación:
  • Destinatarios:
  • Derechos:
  • Más información: Puedes ampliar información acerca de la protección de datos en el siguiente enlace:política de privacidad