Sora 2 millora la simulació física i integra generació d’àudio sincronitzat

OpenAI ha anunciat el llançament de Sora 2, la segona versió del seu model de generació de vídeo i àudio. El sistema representa una evolució respecte al model original presentat al febrer de 2024, amb millores en la precisió física de les simulacions i noves capacitats de control.

La companyia destaca que Sora 2 pot generar seqüències complexes com rutines de gimnàstica olímpica o moviments acrobàtics sobre taules de paddle surf, mantenint coherència en aspectes com la flotabilitat i la rigidesa dels objectes. A diferència de versions anteriors que modificaven la realitat per complir les instruccions textuals, el nou model respecta amb més fidelitat les lleis físiques. En l'exemple proporcionat per OpenAI, si un jugador de bàsquet falla un tir, la pilota rebota al tauler en lloc de teletransportar-se a la cistella.

El model integra generació d'àudio, incloent paisatges sonors, diàlegs i efectes de so. Permet també seguir instruccions detallades que abasten múltiples plans mentre manté la coherència de l'entorn virtual. Entre les seves capacitats figura la inserció d'elements reals en escenes generades, una funció que OpenAI anomena "cameos" i que permet incorporar persones, animals o objectes de vídeos reals en entorns creats pel sistema.

OpenAI ha desenvolupat una aplicació iOS denominada Sora on els usuaris poden crear contingut, combinar generacions d'altres usuaris i utilitzar la funció de cameos. Aquesta última requereix una gravació inicial de vídeo i àudio per verificar la identitat i capturar l'aparença de l'usuari, després del qual pot inserir-se en qualsevol escena generada. L'aplicació inclou un sistema de recomanació basat en models de llenguatge que pot configurar-se mitjançant instruccions en llenguatge natural.

Pel que fa a les mesures de seguretat, la companyia ha establert límits en les generacions diàries visibles per a adolescents i controls parentals a través de ChatGPT. Els usuaris mantenen control total sobre la seva imatge digital, podent revocar permisos o eliminar vídeos que els incloguin. OpenAI assenyala que el model de monetització previst consisteix a oferir generacions addicionals de pagament quan la demanda superi la capacitat de còmput disponible.

Sora 2 està disponible inicialment als Estats Units i el Canadà de forma gratuïta amb límits d'ús, mentre que els subscriptors de ChatGPT Pro podran accedir a una versió experimental denominada Sora 2 Pro. La companyia planeja expandir el servei a altres països i llançar una API per a desenvolupadors. El model anterior, Sora 1 Turbo, romandrà operatiu.

Punts clau

• Sora 2 millora la precisió en la simulació de física respecte a models anteriors de generació de vídeo.
• El sistema genera vídeo i àudio de forma sincronitzada, incloent diàlegs i efectes de so.
• La funció "cameos" permet inserir persones o objectes reals en escenes generades després d'una gravació inicial.
• OpenAI ha llançat una aplicació iOS social centrada en la creació i compartició de contingut.
• El sistema de recomanació pot configurar-se mitjançant instruccions en llenguatge natural.
• Els usuaris mantenen control sobre la seva imatge digital i poden revocar permisos en qualsevol moment.
• Inclou límits d'ús diari per a adolescents i controls parentals via ChatGPT.
• Disponible inicialment als Estats Units i el Canadà de forma gratuïta amb límits d'ús.