Google desenvolupa una tècnica perquè la IA faci servir fins a sis vegades menys memòria

Els models d'intel·ligència artificial, com els que hi ha darrere dels assistents virtuals o els cercadors moderns, treballen processant quantitats enormes d'informació. Per fer-ho amb rapidesa, guarden part d'aquesta informació en una mena de memòria de treball, similar als apunts que hom pren mentre estudia per no haver de rellegir tot el llibre cada vegada. El problema és que aquesta memòria ocupa molt d'espai i es converteix en un coll d'ampolla que alenteix els sistemes i encareix la seva operació.

L'equip de Google Research ha desenvolupat TurboQuant, una tècnica que redueix dràsticament l'espai que ocupa aquesta memòria de treball sense que el model cometi més errors. En les proves realitzades, van aconseguir comprimir aquesta informació fins a sis vegades sense pèrdua de precisió, reduint les dades de 32 bits a només 3, i el sistema va arribar a funcionar vuit vegades més ràpid que la versió sense comprimir en maquinari especialitzat com les GPU H100 de Nvidia.

El funcionament es basa a combinar dues tècniques matemàtiques. La primera reorganitza les dades de manera més compacta, d'una manera comparable a descriure una ubicació amb un angle i una distància en lloc de coordenades X i Y: cal menys informació per dir el mateix. La segona utilitza només un bit addicional per corregir els petits errors que introdueix la compressió, actuant com un corrector automàtic que manté la precisió del resultat final.

Un dels avantatges pràctics més destacables és que no requereix reentrenar els models ni ajustar-los des de zero. TurboQuant s'aplica directament sobre models ja existents, la qual cosa facilita enormement la seva adopció. Google assenyala que la tècnica també millora els motors de cerca semàntica, que són els que permeten als cercadors entendre el significat d'una consulta en lloc de buscar paraules exactes.

El treball està avalat per demostracions teòriques que situen els resultats prop del límit màxim d'eficiència possible des d'un punt de vista matemàtic.

Punts clau

• Google Research presenta TurboQuant, un algorisme que comprimeix fins a sis vegades la memòria de treball dels models d'IA.
• La tècnica no redueix la precisió dels models ni requereix reentrenar-los.
• En proves, el sistema va funcionar fins a vuit vegades més ràpid en maquinari especialitzat.
• La compressió s'aconsegueix reduint les dades a només 3 bits, enfront dels 32 habituals.
• També millora la velocitat dels motors de cerca semàntica a gran escala.