Les modèles de diffusion sont une architecture d'
IA générative qui apprend à générer des images, de l'audio ou de la vidéo en ajoutant du bruit à des données réelles puis en s'entraînant à inverser ce processus. C'est comme apprendre à restaurer une photographie endommagée étape par étape jusqu'à récupérer l'image originale.
Ces modèles fonctionnent par un processus en deux phases. D'abord, pendant l'entraînement, ils prennent des images réelles et leur ajoutent du bruit graduellement jusqu'à les convertir en bruit pur, comme si nous floutions progressivement une photographie jusqu'à ce qu'elle soit méconnaissable. Ensuite, le modèle apprend à faire le chemin inverse : éliminer le bruit étape par étape (processus appelé denoising) pour récupérer des images nettes.
Une fois entraîné, le modèle peut partir de bruit aléatoire et le transformer graduellement en une image cohérente en suivant les instructions que vous lui donnez via des
prompts. C'est similaire à un sculpteur qui part d'un bloc informe et le raffine jusqu'à révéler la figure désirée, mais dans ce cas guidé par des descriptions textuelles et appliquant un denoising progressif.
Les modèles de diffusion ont révolutionné la génération de contenu visuel et sont la base d'outils populaires comme Stable Diffusion, DALL-E et Midjourney. Leur capacité à générer du contenu de haute qualité et diversité les a rendus standard pour les applications créatives, le design, l'édition photographique et la génération de contenu multimédia. Ils s'appliquent aussi avec succès à la génération d'audio, vidéo et modèles 3D.
Ils constituent actuellement l'architecture dominante pour la génération d'images, jouant un rôle équivalent à celui des
transformers dans le traitement du langage.