Wan

Wan constitue une plateforme d'intelligence artificielle orientée vers la création de contenu visuel au moyen de modèles génératifs. L'outil offre des capacités de génération d'images et de vidéos à partir de différents types d'entrée, incluant texte, images de référence et audio.

Dans le domaine de la génération vidéo, la plateforme dispose de plusieurs modèles spécialisés. La fonction Text to Video permet de créer des vidéos à partir de descriptions textuelles avec interprétation d'instructions cinématographiques. Image to Video transforme des images statiques en séquences animées en maintenant la cohérence avec le contenu visuel original. Reference to Video permet le transfert de personnages depuis des vidéos de référence vers de nouvelles scènes, avec support pour les figures humaines ou similaires et capacité de maintenir la cohérence d'apparence et de voix. Speech to Video génère des vidéos de personnages depuis une image et un clip audio, en utilisant l'audio pour contrôler les expressions faciales et les mouvements corporels sur différents types de personnages.

La génération d'images s'effectue via le module Text to Image, qui traite des descriptions textuelles pour produire du contenu visuel avec différents styles esthétiques. Le système incorpore l'interprétation d'instructions pour générer des images cohérentes avec les spécifications fournies.

WanBox fonctionne comme espace de travail où sont initiées les tâches de génération d'images, création de vidéos et édition. La plateforme inclut un système de projets avec ligne de temps qui facilite l'assemblage de clips, l'édition vidéo et des générations supplémentaires sur le matériel existant.

La plateforme se structure comme service web accessible via navigateur, fournissant une interface pour la configuration des paramètres de génération et la visualisation des résultats.

Wan propose des modèles open source qui incluent des capacités d'animation et remplacement de personnages, génération vidéo contrôlée par audio, création et édition vidéo via des modèles unifiés, et génération de séquences à partir d'images initiale et finale. Les modèles emploient des architectures basées sur des transformateurs de diffusion et des techniques comme Mixture of Experts pour le traitement.