Wan

Wan constitueix una plataforma d'intel·ligència artificial orientada a la creació de contingut visual mitjançant models generatius. L'eina ofereix capacitats de generació d'imatges i vídeos a partir de diferents tipus d'entrada, incloent text, imatges de referència i àudio.

En l'àmbit de la generació de vídeo, la plataforma disposa de diversos models especialitzats. La funció Text to Video permet crear vídeos a partir de descripcions textuals amb interpretació d'instruccions cinematogràfiques. Image to Video transforma imatges estàtiques en seqüències animades mantenint coherència amb el contingut visual original. Reference to Video possibilita la transferència de personatges des de vídeos de referència a noves escenes, amb suport per a figures humanes o similars i capacitat de mantenir consistència en aparença i veu. Speech to Video genera vídeos de personatges des d'una imatge i un clip d'àudio, aplicant l'àudio per controlar expressions facials i moviments corporals en diferents tipus de personatges.

La generació d'imatges es realitza mitjançant el mòdul Text to Image, que processa descripcions textuals per produir contingut visual amb diferents estils estètics. El sistema incorpora interpretació d'instruccions per a la generació d'imatges coherents amb les especificacions proporcionades.

WanBox funciona com a espai de treball on s'inicien tasques de generació d'imatges, creació de vídeos i edició. La plataforma inclou un sistema de projectes amb línia de temps que facilita l'assemblatge de clips, edició de vídeo i generacions addicionals sobre el material existent.

La plataforma s'estructura com a servei web accessible mitjançant navegador, proporcionant interfície per a la configuració de paràmetres de generació i visualització de resultats.

Wan ofereix models de codi obert que inclouen capacitats d'animació i reemplaçament de personatges, generació de vídeo controlada per àudio, creació i edició de vídeo mitjançant models unificats, i generació de seqüències a partir de fotogrames inicial i final. Els models empren arquitectures basades en transformadors de difusió i tècniques com Mixture of Experts per al processament.