Un embedding convertit des informations complexes comme des mots ou des images en codes numériques qui capturent leur signification, permettant aux machines d'
apprendre des concepts en les transformant en langage mathématique.
Pendant l'
entraînement des
modèles d'IA, via le
traitement du langage naturel, les modèles convertissent des
tokens en embeddings, les transformant en
vecteurs numériques. Cette transformation permet de convertir des concepts abstraits comme le langage ou des images visuelles en
vecteurs mathématiques, permettant des opérations complexes pour extraire des
motifs d'information et trouver des relations sémantiques ou visuelles. Par exemple, des mots liés comme "roi" et "reine" auront des embeddings similaires et proches dans cet espace mathématique.
Ainsi, dans le cas des
modèles de langage larges, les embeddings leur permettent de comprendre les relations sémantiques, ce qui leur permet d'effectuer des tâches comme la traduction, la génération de texte ou répondre à des questions. Un modèle comme ChatGPT utilise des embeddings pour comprendre le contexte et générer des réponses cohérentes.