Xiaomi MiMo

MiMo-7B est un modèle de langage de 7 milliards de paramètres développé par Xiaomi, axé sur les tâches de raisonnement mathématique et de programmation. Ce modèle combine une architecture avancée avec des techniques spécifiques pour maximiser sa capacité à résoudre des problèmes complexes malgré sa taille relativement compacte.

Le processus de création de MiMo-7B comprend deux étapes principales. Dans la première, il a été entraîné avec une collection de données soigneusement sélectionnées incluant du contenu académique, des textes techniques et des problèmes mathématiques. 70% de ces données étaient centrées sur les mathématiques et la programmation. Le modèle a traité 25 billions de tokens pendant cette phase et a utilisé des techniques de prédiction multiple pour améliorer son efficacité.

La deuxième étape a affiné le modèle via deux méthodes : l'apprentissage supervisé avec 500 000 exemples et l'apprentissage par renforcement avec 130 000 problèmes pratiques vérifiables. Pour ce dernier processus, un système a été développé qui évalue automatiquement l'exactitude des solutions proposées par le modèle et l'entraîne à s'améliorer progressivement. L'infrastructure d'entraînement a été optimisée pour accélérer ce processus de plus du double.

Lors d'évaluations standardisées, MiMo-7B a obtenu des scores remarquables dans les tests de raisonnement (BBH : 75,2), les compétitions mathématiques (AIME : 55,4) et la programmation (LiveCodeBench v5 : 57,8). Ces résultats démontrent sa compétitivité face à des modèles de taille similaire et même certains plus grands.

Le modèle est disponible en quatre versions (Base, SFT, RL-Zero et RL) qui représentent différentes étapes de son développement.