Granite 4.0 d’IBM, models híbrids amb 70% menys consum de memòria

IBM ha anunciat el llançament de Granite 4.0, una família de models de llenguatge de gran mida que incorpora una arquitectura híbrida dissenyada per reduir el consum de recursos computacionals en entorns empresarials. Els nous models combinen capes de l'arquitectura Transformer amb capes Mamba-2 en una proporció de 9:1, una configuració que segons IBM permet processar contextos llargs amb menor ús de memòria RAM. Els models Tiny i Small inclouen a més blocs de mixture of experts (MoE) amb experts compartits que milloren l'eficiència de paràmetres.

L'empresa ha presentat tres variants inicials: Micro, Tiny i Small. Cadascuna està disponible en versions Base i Instruct, pensades per a diferents casos d'ús empresarial i desplegaments corporatius. IBM planeja llançar versions addicionals, incloent models més grans (Medium) i més petits (Nano), abans de finals de 2025.

Un dels aspectes destacats d'aquesta generació és la certificació ISO 42001 que ha obtingut la família Granite, convertint-se en els primers models de llenguatge de codi obert a aconseguir aquesta acreditació. L'estàndard ISO 42001 avalua sistemes de gestió d'intel·ligència artificial en aspectes com privacitat de dades, explicabilitat i responsabilitat.

Els models Granite 4.0 han estat entrenats amb un corpus de 22 bilions de tokens procedents de fonts empresarials curades. L'arquitectura híbrida permet que els requisits de memòria es mantinguin constants independentment de la longitud del context, mentre que en models Transformer convencionals aquests requisits creixen de forma quadràtica. Això facilita el processament de documents extensos o converses llargues sense incrementar proporcionalment els recursos necessaris.

Quant a rendiment, Granite 4.0-H-Small obté resultats competitius en benchmarks com IFEval, que avalua la capacitat de seguir instruccions, i en Berkeley Function Calling Leaderboard v3, que mesura la precisió en l'execució de crides a funcions. IBM ha treballat amb empreses com EY i Lockheed Martin per validar el rendiment d'aquests models en casos d'ús reals.

L'empresa ofereix a més indemnització sense límit per reclamacions de propietat intel·lectual relacionades amb contingut generat per models Granite quan s'utilitzen en watsonx.ai.

Els models estan disponibles a IBM watsonx.ai i en plataformes de codi obert com Hugging Face, Ollama, NVIDIA NIM i Replicate. IBM ha establert col·laboracions amb fabricants de maquinari com Qualcomm i AMD per optimitzar el rendiment en diferents tipus de dispositius, des de servidors fins a equips mòbils.

Punts clau

• Granite 4.0 combina arquitectures Transformer i Mamba-2 en proporció 9:1 per reduir consum de memòria fins a un 70%
• Primers models de llenguatge open source en obtenir certificació ISO 42001 per a gestió d'IA
• Dissenyats específicament per a entorns empresarials amb tres variants: Micro, Tiny i Small
• Entrenats amb 22 bilions de tokens de fonts empresarials curades
• Arquitectura híbrida manté requisits de memòria constants independentment de la longitud del context
• Validats per empreses com EY i Lockheed Martin en casos d'ús reals
• Indemnització sense límit per reclamacions de propietat intel·lectual en watsonx.ai
• Disponibles en watsonx.ai, Hugging Face, Ollama, NVIDIA NIM i Replicate
• Col·laboracions amb Qualcomm i AMD per optimització en diferents dispositius