Xiaomi MiMo

MiMo-7B és un model de llenguatge de 7 mil milions de paràmetres desenvolupat per Xiaomi, centrat en tasques de raonament matemàtic i programació. Aquest model combina una arquitectura avançada amb tècniques específiques per maximitzar la seva capacitat de resoldre problemes complexos tot i la seva mida relativament compacta.

El procés de creació de MiMo-7B consta de dues etapes principals. A la primera, es va entrenar amb una col·lecció de dades curosament seleccionades que inclou contingut acadèmic, textos tècnics i problemes matemàtics. El 70% d'aquestes dades es va centrar en matemàtiques i programació. El model va processar 25 bilions de tokens durant aquesta fase i va utilitzar tècniques de predicció múltiple per millorar la seva eficiència.

La segona etapa va refinar el model mitjançant dos mètodes: aprenentatge supervisat amb 500.000 exemples i aprenentatge per reforç amb 130.000 problemes pràctics verificables. Per a aquest últim procés, es va desenvolupar un sistema que avalua automàticament la correcció de les solucions proposades pel model i l'entrena per millorar progressivament. La infraestructura d'entrenament es va optimitzar per accelerar aquest procés més del doble.

En avaluacions estandarditzades, MiMo-7B va aconseguir puntuacions destacades en proves de raonament (BBH: 75,2), competicions matemàtiques (AIME: 55,4) i programació (LiveCodeBench v5: 57,8). Aquests resultats demostren la seva competitivitat davant de models de mida similar i fins i tot alguns de més grans.

El model està disponible en quatre versions (Base, SFT, RL-Zero i RL) que representen diferents etapes del seu desenvolupament.