LoRA est une technique permettant de spécialiser efficacement un
modèle d'IA pour une tâche spécifique. Au lieu de modifier l'ensemble du modèle original, est
entraîné uniquement pour ajouter une petite couche d'adaptation qui ajuste le comportement du modèle original.
Le fonctionnement de LoRA peut être compris comme l'ajout d'un petit "module d'
apprentissage" au modèle principal. Ce module agit comme un traducteur qui ajuste les réponses du modèle original pour la nouvelle tâche spécifique, sans avoir besoin de modifier ses connaissances de base.
Contrairement au
fine-tuning traditionnel, qui modifie toutes les connaissances déjà
apprises du modèle original, LoRA permet de maintenir le modèle original intact tout en ajoutant de nouvelles capacités spécifiques, ce qui en fait un processus beaucoup plus rapide et économique.
Par exemple, dans les modèles de génération d'images, vous pouvez utiliser LoRA pour
apprendre au modèle à créer des images dans un style artistique spécifique en utilisant peu d'images d'exemple. C'est comme ajouter un filtre spécial à un appareil photo : l'appareil conserve toutes ses fonctions d'origine, mais le filtre permet d'obtenir un effet spécifique lorsque vous en avez besoin.