Reinforcement Learning for Large Language Models

Este documento, escrito por Arun Shankar (Applied AI, Google), presenta una guía exhaustiva sobre el aprendizaje por refuerzo (RL) aplicado a modelos de lenguaje de gran tamaño. El texto adopta un enfoque pedagógico único que presenta cada concepto matemático en dos formatos paralelos: notación formal y lenguaje natural, permitiendo comprensión a diferentes niveles de profundidad técnica. El autor diseñó esta guía para eliminar la barrera de intimidación matemática que aleja a muchos ingenieros del RL, demostrando que los conceptos son accesibles cuando se explican correctamente.

La guía comienza estableciendo los fundamentos matemáticos necesarios, incluyendo probabilidad, logaritmos, valor esperado y funciones de pérdida, explicados de forma intuitiva con ejemplos numéricos detallados. Posteriormente aborda el problema central: por qué los modelos entrenados tradicionalmente para predecir palabras no son necesariamente útiles o seguros, introduciendo el concepto de alineación con preferencias humanas.

El núcleo del documento explora la revolución RLHF (Reinforcement Learning from Human Feedback) que transformó modelos como ChatGPT. Describe detalladamente sus tres etapas: ajuste fino supervisado para seguir instrucciones, entrenamiento de modelos de recompensa basados en comparaciones humanas, y optimización mediante algoritmos como PPO. Incluye análisis matemático completo con ejemplos paso a paso que ilustran cómo los modelos aprenden a generar respuestas preferidas por humanos.

El texto examina alternativas modernas como DPO (Direct Preference Optimization), que simplifica RLHF eliminando la necesidad de modelos de recompensa explícitos, reduciendo requisitos de memoria en 50%. Analiza el enfoque revolucionario de DeepSeek-R1 que omite el ajuste supervisado y aplica RL directamente, descubriendo espontáneamente estrategias de razonamiento paso a paso sin ejemplos humanos explícitos.

Cubre conceptos avanzados como test-time compute scaling (invertir más computación durante la inferencia para mejorar precisión), modelos de recompensa de proceso (PRM) que evalúan cada paso del razonamiento en lugar de solo resultados finales, y algoritmos modernos más allá de PPO y DPO, incluyendo GRPO, RLOO, KTO, IPO y ORPO, con análisis comparativo de sus ventajas.

El documento explora aplicaciones específicas por dominio: generación de código con retroalimentación de ejecución, matemáticas con verificadores formales, uso de herramientas con señales de éxito de APIs, y mejora de diálogos multi-turno. Examina técnicas de generación guiada por verificadores, búsqueda en árbol con Monte Carlo Tree Search, y estrategias de decodificación como rejection sampling y self-consistency.

Dirigido a profesionales de IA, investigadores, ingenieros y estudiantes, el material es accesible para lectores de secundaria interesados en IA hasta expertos construyendo sistemas de producción. Cada concepto se presenta con intuiciones, analogías del mundo real, ejemplos numéricos detallados y advertencias sobre dificultades comunes, permitiendo tres niveles de lectura según objetivos del lector.

Puntos clave

• Guía completa de RL para LLMs con enfoque matemático accesible mediante formato dual.
• RLHF transforma modelos mediante ajuste supervisado, modelos de recompensa y optimización PPO.
• DPO elimina modelos de recompensa explícitos, simplificando RLHF con 50% menos memoria.
• DeepSeek-R1 demuestra que el razonamiento emerge del RL puro sin ajuste supervisado previo.
• Test-time compute intercambia tiempo de inferencia por precisión sin reentrenar el modelo.
• Los PRM evalúan cada paso del razonamiento, superando modelos que solo miden resultados finales.
• Tres niveles de lectura: comprensión conceptual, implementación práctica o investigación avanzada.
• Cubre GRPO, RLOO, KTO, IPO y ORPO con casos de uso específicos para cada algoritmo.
• Aplicaciones verificables en código, matemáticas, herramientas y diálogos con recompensas automatizadas.
• Incluye estrategias avanzadas: verificadores, MCTS, rejection sampling y self-consistency.