La Mescla d'Experts és una forma d'organitzar un
model d'IA que combina múltiples sistemes especialitzats ("experts") amb un sistema que decideix quin expert és més adequat per a cada tasca, com un director que coordina un equip d'especialistes per resoldre problemes de manera més eficient.
En un sistema MoE, cada "expert" és una
xarxa neuronal entrenada per gestionar tipus específics de tasques o dades. Un component anomenat "router" o encaminador analitza cada entrada i decideix quin expert o combinació d'experts l'ha de processar, optimitzant així el rendiment i l'eficiència del sistema. Imagina un hospital on diferents especialistes atenen diferents tipus de casos mèdics, i un director mèdic decideix quin metge és el més apropiat per a cada pacient.
Aquesta arquitectura és més eficient que fer servir un únic model gran perquè només activa els experts necessaris per a cada tasca. Per exemple, en un
model de llenguatge gran que utilitzi MoE, seria com tenir experts especialitzats: alguns en gramàtica, altres en matemàtiques, altres en coneixement científic o en creativitat literària. Això permet resoldre problemes complexos de manera més efectiva i amb menys recursos computacionals.