Les transformers sont une architecture d'IA qui a révolutionné le traitement de données séquentielles telles que le texte, l'audio ou le code. Leur innovation clé est le mécanisme "d'attention", qui leur permet d'analyser tous les éléments d'une séquence simultanément, captant des relations complexes même entre des éléments distants.
Contrairement aux architectures traditionnelles pour les séquences (comme RNN ou LSTM) qui traitaient l'information élément par élément, les transformers évaluent tous les éléments simultanément.. Cela leur permet de déterminer l'importance relative de chaque élément par rapport à tous les autres.
C'est comme si, au lieu de lire un texte mot par mot comme le faisaient les réseaux précédents, ils pouvaient voir toute la page simultanément et comprendre quels mots sont liés entre eux, même s'ils sont séparés par beaucoup de texte. Cette capacité leur permet de mieux saisir le
contexte complet.
Les transformers sont à la base des
modèles de langage comme GPT, Gemini, Claude et LLaMA. Leur impact s'étend au-delà du traitement de texte, à la vision par ordinateur, l'analyse audio, et d'autres domaines où il est nécessaire de capter des relations complexes dans les données.
Ils constituent actuellement l'architecture dominante pour le traitement du langage, jouant un rôle équivalent à celui des
modèles de diffusion dans la génération d'images.