Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información
un equipo de Adobe Investigación y Universidad de Hong Kong de Ciencia y Tecnología (HKUST) ha desarrollado un sistema de inteligencia synthetic que podría cambiar la forma en que se crean los efectos visuales para películas, juegos y medios interactivos.
La tecnología, llamada TransPixaragrega una característica essential a los movies generados por IA: la capacidad de crear elementos transparentes como humo, reflejos y efectos etéreos que se mezclan naturalmente con las escenas. Las herramientas de vídeo de IA actuales normalmente sólo pueden generar imágenes sólidas, lo que convierte a TransPixar en un logro técnico importante.
“Los canales alfa son cruciales para los efectos visuales, ya que permiten que elementos transparentes como el humo y los reflejos se mezclen perfectamente en las escenas”, dijo Yijun Li, líder de proyecto en Adobe Analysis y uno de el papeles autores. “Sin embargo, generar vídeo RGBA, que incluye canales alfa para mayor transparencia, sigue siendo un desafío debido a los conjuntos de datos limitados y la dificultad de adaptar los modelos existentes”.
El avance llega en un momento crítico en el que la demanda de efectos visuales continúa aumentando en las industrias del entretenimiento, la publicidad y los juegos. El trabajo tradicional de VFX a menudo requiere un minucioso esfuerzo guide por parte de los artistas para crear efectos transparentes convincentes.
TransPixar: aportando transparencia a los efectos visuales de la IA
Lo que hace que TransPixar sea particularmente notable es su capacidad para mantener una alta calidad mientras trabaja con datos de entrenamiento muy limitados. Los investigadores lograron esto desarrollando un enfoque novedoso que amplía los modelos de IA de video existentes en lugar de construir uno desde cero.
“Presentamos nuevos tokens para la generación de canales alfa, reinicializamos sus incrustaciones posicionales y agregamos una incrustación de dominio con inicialización cero para distinguirlos de los tokens RGB”, explicó Luozhou Wang, autor principal e investigador de HKUST. “Utilizando un esquema de ajuste fino basado en LoRA, proyectamos tokens alfa en el espacio qkv preservando al mismo tiempo la calidad RGB”.
En las demostraciones, el sistema mostró resultados impresionantes generando diversos efectos a partir de simples mensajes de texto, desde nubes de tormenta y portales mágicos hasta cristales rotos y nubes de humo. La tecnología también puede animar imágenes fijas con efectos de transparencia, abriendo nuevas posibilidades creativas para artistas y diseñadores.
El equipo de investigación ha creado su código. disponible públicamente en GitHub y desplegó un demostración en abrazando la carapermitiendo a los desarrolladores e investigadores experimentar con la tecnología.
Transformando los flujos de trabajo VFX para creadores grandes y pequeños
Las primeras pruebas muestran que TransPixar podría hacer que la producción de efectos visuales sea más rápida y sencilla, especialmente para estudios más pequeños que no pueden permitirse trabajos de efectos costosos. Si bien el sistema todavía necesita una potencia informática significativa para procesar vídeos más largos, su impacto potencial en la industria creativa es claro.
La tecnología importa mucho más allá de las mejoras técnicas. A medida que los servicios de streaming necesitan más contenido y crece la producción digital, los efectos transparentes generados por IA podrían cambiar la forma en que operan los estudios. Los equipos pequeños podrían crear efectos que alguna vez requirieron grandes estudios, mientras que las producciones más grandes podrían terminar los proyectos mucho más rápido.
TransPixar podría resultar especialmente valioso para usos en tiempo actual. Los videojuegos, las aplicaciones de realidad aumentada y la producción en vivo podrían crear efectos transparentes al instante, algo que hoy requiere horas o días de trabajo.
Este avance llega en un momento clave para Adobe ya que empresas como Estabilidad IA y Pista competir para desarrollar herramientas de efectos profesionales. Los principales estudios ya están recurriendo a la IA para reducir costos, lo que hace que el momento de TransPixar sea ultimate.
La industria del entretenimiento enfrenta tres desafíos crecientes: Los espectadores quiero más contenido, los presupuestos son ajustadosy allí No hay suficientes artistas de efectos.. TransPixar ofrece una solución al hacer que los efectos sean más rápidos de crear, menos costosos y de calidad más consistente.
La verdadera pregunta no es si la IA transformará los efectos visuales, sino si los flujos de trabajo VFX tradicionales existirán dentro de cinco años.
