Granite 4.0 de IBM, modelos híbridos con 70% menos consumo de memoria

IBM ha anunciado el lanzamiento de Granite 4.0, una familia de modelos de lenguaje de gran tamaño que incorpora una arquitectura híbrida diseñada para reducir el consumo de recursos computacionales en entornos empresariales. Los nuevos modelos combinan capas de la arquitectura Transformer con capas Mamba-2 en una proporción de 9:1, una configuración que según IBM permite procesar contextos largos con menor uso de memoria RAM. Los modelos Tiny y Small incluyen además bloques de mixture of experts (MoE) con expertos compartidos que mejoran la eficiencia de parámetros.

La compañía ha presentado tres variantes iniciales: Micro, Tiny y Small. Cada una está disponible en versiones Base e Instruct, pensadas para diferentes casos de uso empresarial y despliegues corporativos. IBM planea lanzar versiones adicionales, incluyendo modelos más grandes (Medium) y más pequeños (Nano), antes de finales de 2025.

Uno de los aspectos destacados de esta generación es la certificación ISO 42001 que ha obtenido la familia Granite, convirtiéndose en los primeros modelos de lenguaje de código abierto en conseguir esta acreditación. El estándar ISO 42001 evalúa sistemas de gestión de inteligencia artificial en aspectos como privacidad de datos, explicabilidad y responsabilidad.

Los modelos Granite 4.0 han sido entrenados con un corpus de 22 billones de tokens procedentes de fuentes empresariales curadas. La arquitectura híbrida permite que los requisitos de memoria se mantengan constantes independientemente de la longitud del contexto, mientras que en modelos Transformer convencionales estos requisitos crecen de forma cuadrática. Esto facilita el procesamiento de documentos extensos o conversaciones largas sin incrementar proporcionalmente los recursos necesarios.

En cuanto a rendimiento, Granite 4.0-H-Small obtiene resultados competitivos en benchmarks como IFEval, que evalúa la capacidad de seguir instrucciones, y en Berkeley Function Calling Leaderboard v3, que mide la precisión en la ejecución de llamadas a funciones. IBM ha trabajado con empresas como EY y Lockheed Martin para validar el rendimiento de estos modelos en casos de uso reales.

La compañía ofrece además indemnización sin límite para reclamaciones de propiedad intelectual relacionadas con contenido generado por modelos Granite cuando se utilizan en watsonx.ai.

Los modelos están disponibles en IBM watsonx.ai y en plataformas de código abierto como Hugging Face, Ollama, NVIDIA NIM y Replicate. IBM ha establecido colaboraciones con fabricantes de hardware como Qualcomm y AMD para optimizar el rendimiento en diferentes tipos de dispositivos, desde servidores hasta equipos móviles.

Puntos clave

• Granite 4.0 combina arquitecturas Transformer y Mamba-2 en proporción 9:1 para reducir consumo de memoria hasta un 70%
• Primeros modelos de lenguaje open source en obtener certificación ISO 42001 para gestión de IA
• Diseñados específicamente para entornos empresariales con tres variantes: Micro, Tiny y Small
• Entrenados con 22 billones de tokens de fuentes empresariales curadas
• Arquitectura híbrida mantiene requisitos de memoria constantes independientemente de la longitud del contexto
• Validados por empresas como EY y Lockheed Martin en casos de uso reales
• Indemnización sin límite para reclamaciones de propiedad intelectual en watsonx.ai
• Disponibles en watsonx.ai, Hugging Face, Ollama, NVIDIA NIM y Replicate
• Colaboraciones con Qualcomm y AMD para optimización en diferentes dispositivos