LoRA es una técnica para especializar un
modelo de IA en una tarea específica de forma eficiente. En lugar de modificar todo el modelo original, se
entrena solo para añadir una pequeña capa de adaptación que ajusta el comportamiento del modelo original.
El funcionamiento de LoRA se puede entender como añadir un pequeño "módulo de
aprendizaje" al modelo principal. Este módulo actúa como un traductor que ajusta las respuestas del modelo original para la nueva tarea específica, sin necesidad de modificar sus conocimientos base.
A diferencia del
fine-tuning tradicional, que modifica todos los conocimientos ya
aprendidos del modelo original, LoRA permite mantener el modelo original intacto mientras añade nuevas capacidades específicas, siendo también un proceso mucho más rápido y económico.
Por ejemplo, en modelos de generación de imágenes, puedes usar LoRA para enseñar al modelo a crear imágenes en un estilo artístico específico usando pocas imágenes de ejemplo. Es como añadir un filtro especial a una cámara: la cámara mantiene todas sus funciones originales, pero el filtro permite obtener un efecto específico cuando lo necesitas.