MiMo-7B: el nou model d’IA de Xiaomi destaca en raonament matemàtic

L'equip de Xiaomi LLM-Core ha desenvolupat MiMo-7B, un model dissenyat per resoldre problemes complexos de raonament. Aquest enfocament contrasta amb la tendència actual cap a models cada vegada més grans, mostrant que una arquitectura eficient amb dades ben seleccionades pot aconseguir bons resultats amb menys recursos.

L'estratègia d'entrenament de MiMo-7B es divideix en dues fases. En el preentrenament es van utilitzar 25 bilions de tokens enfocats en continguts amb estructures lògiques i matemàtiques, com textos tècnics i llibres acadèmics. L'equip va implementar un sistema de barreja de dades en tres etapes per augmentar la densitat de patrons de raonament.

En la fase de postentrenament, el model va ser afinat amb tècniques d'aprenentatge per reforç utilitzant 130.000 problemes de matemàtiques i programació. Es va implementar un esquema de recompenses basat en la dificultat de les proves per millorar la qualitat de l'entrenament.

En les avaluacions, MiMo-7B va obtenir resultats notables: en generació de codi va superar OpenAI o1-mini amb un 57,8% a LiveCodeBench v5 i un 49,3% a la versió v6. En raonament matemàtic, va assolir un 55,4% a AIME 2025, superant per més de 4 punts a models comercials més grans.

El model també demostra competència en comprensió de context llarg i tasques generals de llenguatge. Aquesta combinació d'especialització i versatilitat suggereix aplicacions potencials en educació i desenvolupament de programari.

Xiaomi ha publicat els punts de control del model a GitHub com a codi obert, facilitant que investigadors i desenvolupadors puguin experimentar amb la tecnologia.

Aquest desenvolupament assenyala una alternativa en la creació de models d'IA, on l'eficiència en el disseny i entrenament pot compensar un menor nombre de paràmetres, permetent avenços significatius sense dependre exclusivament de models de gran escala.