Un embedding converteix informació complexa com paraules o imatges en codis numèrics que capturen el seu significat, permettent que les màquines
aprenguin conceptes transformant-los en llenguatge matemàtic.
Durant l'
entrenament dels
models d'IA, a través del
processament del llenguatge natural, els models converteixen
tokens en embeddings, transformant-los en
vectors numèrics. Aquesta transformació permet convertir conceptes abstractes com el llenguatge o imatges visuals en
vectors matemàtics, possibilitant operacions complexes per extreure
patrons d'informació i trobar relacions semàntiques o visuals. Per exemple, paraules relacionades com "rei" i "reina" tindran embeddings similars i propers en aquest espai matemàtic.
Així, en el cas dels
models de llenguatge grans, els embeddings els permeten comprendre relacions semàntiques, la qual cosa els possibilita realitzar tasques com traducció, generació de text o respondre preguntes. Un model com ChatGPT usa embeddings per entendre el context i generar respostes coherents.