OpenAI lance des modèles d’IA open source avec raisonnement avancé

L'entreprise américaine a présenté deux nouveaux modèles d'intelligence artificielle open source qui intègrent des capacités de raisonnement avancées. Les modèles gpt-oss-120b et gpt-oss-20b représentent le premier lancement de modèles de langage avec des poids accessibles d'OpenAI depuis la publication de GPT-2.

Le modèle gpt-oss-120b compte 117 milliards de paramètres totaux et active 5,1 milliards par token, tandis que gpt-oss-20b dispose de 21 milliards de paramètres totaux et active 3,6 milliards par token. Les deux utilisent une architecture transformer avec mélange d'experts (MoE) pour réduire les paramètres actifs nécessaires pendant le traitement.

Les modèles sont optimisés pour fonctionner sur du matériel grand public. Le gpt-oss-120b fonctionne efficacement sur un GPU de 80 Go, tandis que le gpt-oss-20b peut s'exécuter sur des appareils edge avec seulement 16 Go de mémoire. Cette capacité technique les rend accessibles aux développeurs indépendants et aux organisations aux ressources limitées.

Dans les évaluations comparatives, gpt-oss-120b atteint des performances proches d'o4-mini dans les tests de raisonnement de base et surpasse o3-mini en programmation compétitive, mathématiques et utilisation d'outils. Le modèle plus petit, gpt-oss-20b, égale ou dépasse o3-mini dans les mêmes évaluations.

Les modèles intègrent un raisonnement en chaîne complet (CoT) sans supervision directe, une caractéristique qu'OpenAI considère comme fondamentale pour la détection de comportements inappropriés. Les développeurs peuvent ajuster l'effort de raisonnement sur trois niveaux (bas, moyen et élevé) pour équilibrer latence et performance selon leurs besoins.

OpenAI a mis en place des mesures de sécurité spécifiques pour les modèles ouverts. L'entreprise a effectué des tests en entraînant les modèles avec des données malveillantes pour évaluer les utilisations abusives potentielles, concluant que les modèles modifiés à des fins malveillantes n'atteignent pas des niveaux de capacité élevés selon leur cadre de préparation. Cette méthodologie a été examinée par trois groupes indépendants d'experts externes.

Pour favoriser la sécurité de l'écosystème, OpenAI a organisé un Red Teaming Challenge avec un fonds de prix de 500 000 dollars pour identifier de nouveaux risques de sécurité dans les modèles.

Le processus d'entraînement de ces modèles s'est basé sur un ensemble de données de haute qualité, principalement en anglais, avec un accent particulier sur les disciplines STEM (science, technologie, ingénierie et mathématiques), la programmation et les connaissances générales. Cette sélection de contenu vise à optimiser les capacités de raisonnement technique et scientifique des modèles.

Les fichiers sont disponibles gratuitement sur Hugging Face. L'entreprise a établi des collaborations avec des plateformes comme Azure, AWS, vLLM, Ollama et des fabricants de matériel comme NVIDIA, AMD, Cerebras et Groq pour faciliter l'implémentation. Microsoft apportera des versions optimisées du modèle gpt-oss-20b aux appareils Windows via ONNX Runtime.

Ce lancement vise à accélérer la recherche en intelligence artificielle et à réduire les barrières d'accès pour les marchés émergents et les organisations aux ressources limitées. OpenAI considère qu'un écosystème sain de modèles ouverts est fondamental pour rendre l'IA plus accessible et démocratique. L'entreprise évaluera si les avantages de ces modèles justifient de futurs investissements dans les développements open source.