LoRA és una tècnica per especialitzar un
model d'IA en una tasca específica de forma eficient. En lloc de modificar tot el model original, s'
entrena només per afegir una petita capa d'adaptació que ajusta el comportament del model original.
El funcionament de LoRA es pot entendre com afegir un petit "mòdul d'
aprenentatge" al model principal. Aquest mòdul actua com un traductor que ajusta les respostes del model original per a la nova tasca específica, sense necessitat de modificar els seus coneixements base.
A diferència del
fine-tuning tradicional, que modifica tots els coneixements ja
apresos del model original, LoRA permet mantenir el model original intacte mentre afegeix noves capacitats específiques, sent també un procés molt més ràpid i econòmic.
Per exemple, en models de generació d'imatges, pots fer servir LoRA per ensenyar al model a crear imatges en un estil artístic específic fent servir poques imatges d'exemple. És com afegir un filtre especial a una càmera: la càmera manté totes les seves funcions originals, però el filtre permet obtenir un efecte específic quan el necessites.