MiMo-7B: el nuevo modelo de IA de Xiaomi destaca en razonamiento matemático

El equipo de Xiaomi LLM-Core ha desarrollado MiMo-7B, un modelo diseñado para resolver problemas complejos de razonamiento. Este enfoque contrasta con la tendencia actual hacia modelos cada vez más grandes, mostrando que una arquitectura eficiente con datos bien seleccionados puede lograr buenos resultados con menos recursos.

La estrategia de entrenamiento de MiMo-7B se divide en dos fases. En el preentrenamiento se utilizaron 25 billones de tokens enfocados en contenidos con estructuras lógicas y matemáticas, como textos técnicos y libros académicos. El equipo implementó un sistema de mezcla de datos en tres etapas para aumentar la densidad de patrones de razonamiento.

En la fase de postentrenamiento, el modelo fue afinado con técnicas de aprendizaje por refuerzo usando 130.000 problemas de matemáticas y programación. Se implementó un esquema de recompensas basado en la dificultad de las pruebas para mejorar la calidad del entrenamiento.

En las evaluaciones, MiMo-7B obtuvo resultados notables: en generación de código superó a OpenAI o1-mini con un 57,8% en LiveCodeBench v5 y un 49,3% en la versión v6. En razonamiento matemático, alcanzó un 55,4% en AIME 2025, superando por más de 4 puntos a modelos comerciales más grandes.

El modelo también demuestra competencia en comprensión de contexto largo y tareas generales de lenguaje. Esta combinación de especialización y versatilidad sugiere aplicaciones potenciales en educación y desarrollo de software.

Xiaomi ha publicado los puntos de control del modelo en GitHub como código abierto, facilitando que investigadores y desarrolladores puedan experimentar con la tecnología.

Este desarrollo señala una alternativa en la creación de modelos de IA, donde la eficiencia en el diseño y entrenamiento puede compensar un menor número de parámetros, permitiendo avances significativos sin depender exclusivamente de modelos de gran escala.