Xiaomi MiMo

MiMo-7B es un modelo de lenguaje de 7 mil millones de parámetros desarrollado por Xiaomi, enfocado en tareas de razonamiento matemático y programación. Este modelo combina una arquitectura avanzada con técnicas específicas para maximizar su capacidad de resolver problemas complejos a pesar de su tamaño relativamente compacto.

El proceso de creación de MiMo-7B consta de dos etapas principales. En la primera, se entrenó con una colección de datos cuidadosamente seleccionados que incluye contenido académico, textos técnicos y problemas matemáticos. El 70% de estos datos se centró en matemáticas y programación. El modelo procesó 25 billones de tokens durante esta fase y utilizó técnicas de predicción múltiple para mejorar su eficiencia.

La segunda etapa refinó el modelo mediante dos métodos: aprendizaje supervisado con 500,000 ejemplos y aprendizaje por refuerzo con 130,000 problemas prácticos verificables. Para este último proceso, se desarrolló un sistema que evalúa automáticamente la corrección de las soluciones propuestas por el modelo y lo entrena para mejorar progresivamente. La infraestructura de entrenamiento fue optimizada para acelerar este proceso más del doble.

En evaluaciones estandarizadas, MiMo-7B logró puntajes destacados en pruebas de razonamiento (BBH: 75.2), competiciones matemáticas (AIME: 55.4) y programación (LiveCodeBench v5: 57.8). Estos resultados demuestran su competitividad frente a modelos de tamaño similar e incluso algunos más grandes.

El modelo está disponible en cuatro versiones (Base, SFT, RL-Zero y RL) que representan diferentes etapas de su desarrollo.