Sora 2 améliore la simulation physique et intègre la génération audio synchronisée

OpenAI a annoncé le lancement de Sora 2, la deuxième version de son modèle de génération vidéo et audio. Le système représente une évolution par rapport au modèle original présenté en février 2024, avec des améliorations dans la précision physique des simulations et de nouvelles capacités de contrôle.

L'entreprise souligne que Sora 2 peut générer des séquences complexes comme des routines de gymnastique olympique ou des mouvements acrobatiques sur des planches de paddle, en maintenant la cohérence dans des aspects tels que la flottabilité et la rigidité des objets. Contrairement aux versions précédentes qui modifiaient la réalité pour répondre aux instructions textuelles, le nouveau modèle respecte avec une plus grande fidélité les lois physiques. Dans l'exemple fourni par OpenAI, si un joueur de basket rate un tir, le ballon rebondit sur le panneau au lieu de se téléporter vers le panier.

Le modèle intègre la génération audio, incluant des paysages sonores, des dialogues et des effets sonores. Il permet également de suivre des instructions détaillées couvrant plusieurs plans tout en maintenant la cohérence de l'environnement virtuel. Parmi ses capacités figure l'insertion d'éléments réels dans des scènes générées, une fonction qu'OpenAI nomme "cameos" et qui permet d'incorporer des personnes, des animaux ou des objets issus de vidéos réelles dans des environnements créés par le système.

OpenAI a développé une application iOS appelée Sora où les utilisateurs peuvent créer du contenu, combiner les générations d'autres utilisateurs et utiliser la fonction cameos. Cette dernière nécessite un enregistrement initial vidéo et audio pour vérifier l'identité et capturer l'apparence de l'utilisateur, après quoi il peut être inséré dans n'importe quelle scène générée. L'application inclut un système de recommandation basé sur des modèles de langage qui peut être configuré via des instructions en langage naturel.

Concernant les mesures de sécurité, l'entreprise a établi des limites sur les générations quotidiennes visibles pour les adolescents et des contrôles parentaux via ChatGPT. Les utilisateurs conservent un contrôle total sur leur image numérique, pouvant révoquer les permissions ou supprimer les vidéos qui les incluent. OpenAI indique que le modèle de monétisation prévu consiste à offrir des générations supplémentaires payantes lorsque la demande dépasse la capacité de calcul disponible.

Sora 2 est initialement disponible aux États-Unis et au Canada gratuitement avec des limites d'utilisation, tandis que les abonnés ChatGPT Pro pourront accéder à une version expérimentale appelée Sora 2 Pro. L'entreprise prévoit d'étendre le service à d'autres pays et de lancer une API pour les développeurs. Le modèle précédent, Sora 1 Turbo, restera opérationnel.

Points clés

• Sora 2 améliore la précision de la simulation physique par rapport aux modèles précédents de génération vidéo.
• Le système génère vidéo et audio de manière synchronisée, incluant dialogues et effets sonores.
• La fonction "cameos" permet d'insérer des personnes ou objets réels dans des scènes générées après un enregistrement initial.
• OpenAI a lancé une application iOS sociale centrée sur la création et le partage de contenu.
• Le système de recommandation peut être configuré via des instructions en langage naturel.
• Les utilisateurs conservent le contrôle sur leur image numérique et peuvent révoquer les permissions à tout moment.
• Inclut des limites d'utilisation quotidienne pour les adolescents et des contrôles parentaux via ChatGPT.
• Disponible initialement aux États-Unis et au Canada gratuitement avec des limites d'utilisation.