Le fine-tuning ou ajustement fin est un processus de spécialisation où l'on prend un
modèle d’IA pré-
entraîné et on l'affine avec un
entraînement utilisant des données spécifiques pour une tâche concrète. C'est comme donner une formation spécialisée à un modèle qui possède déjà des connaissances générales.
Pendant l'ajustement fin, un modèle qui a déjà été
entraîné avec de grandes quantités de données générales est adapté pour un usage spécifique en utilisant un
dataset plus petit et spécialisé. Par exemple, on peut prendre un
modèle de langage de grande taille entraîné avec des textes généraux et l'affiner avec des textes médicaux pour qu'il se spécialise dans la terminologie et les concepts médicaux.
Ce processus est plus efficace que d'
entraîner un modèle à partir de zéro, car il exploite la
transfert de connaissances du modèle préalable et y ajoute des connaissances spécifiques. Imaginez un modèle
entraîné pour reconnaître des objets dans des images qui peut être affiné avec des photos d'oiseaux pour devenir expert dans l'identification des espèces d'oiseaux, sans avoir à apprendre de zéro les concepts de base comme les formes, les couleurs ou les textures.
Contrairement à d'autres techniques de spécialisation des
modèles d'IA comme
LoRA, qui ajoute des couches adaptatives, le fine-tuning modifie le modèle complet pour incorporer les nouvelles connaissances spécifiques. Cela nécessite plus de capacité de calcul et de données d'
entraînement.