Inkling, un model obert pensat per personalitzar-se, no per guanyar rànquings

Inkling no busca ser el model d'intel·ligència artificial més potent del mercat, sinó un de fàcil de prendre i modelar: Thinking Machines Lab el presenta com una base que altres empreses poden descarregar i adaptar als seus propis usos. La companyia publica els pesos complets del model ja entrenat -el que en la indústria es coneix com "pesos oberts"-, de manera que qualsevol pot descarregar-lo, executar-lo als seus equips i modificar-lo amb les seves dades, sense dependre d'un servei tancat. No és el mateix que el codi obert tradicional: l'empresa no va alliberar les dades ni el procés d'entrenament, però sí el model final.

El model processa de forma nativa text, imatges i àudio. És un model gran, amb 975.000 milions de paràmetres en total, tot i que només n'activa 41.000 milions a cada resposta gràcies a una arquitectura que reparteix la feina entre diversos subsistemes especialitzats, la qual cosa redueix el cost de cada consulta. Admet contextos de fins a un milió de tokens i es va entrenar amb 45 bilions de tokens de text, imatges, àudio i vídeo.

Permet regular quant de temps dedica a raonar abans de respondre: a més esforç, millors resultats, però també més cost i espera. Segons les proves de l'empresa, necessita menys recursos que altres models oberts per a un rendiment similar; en una prova de programació, iguala Nemotron 3 Ultra, de Nvidia, usant aproximadament un terç dels tokens. En una comparació d'aplicacions generades per diversos models i avaluades per persones, se situa entre els models de pesos oberts més ben valorats, encara que per darrere dels sistemes tancats més avançats.

Juntament amb Inkling, la companyia va avançar Inkling-Small, una versió més lleugera amb resultats similars en diverses proves, pensada per a tasques on pesa més la rapidesa que la potència màxima. El model ja es pot ajustar a Tinker, amb un 50% de descompte per temps limitat, i descarregar-se des de Hugging Face. L'empresa també va encarregar proves de seguretat externes, en les quals Inkling va rebutjar peticions perilloses millor que altres models comparables, sense bloquejar consultes legítimes.

Punts clau

• Primer model de pesos oberts de Thinking Machines Lab, pensat per personalitzar-se abans que per liderar rànquings
• Pesos complets publicats, però no les dades ni el procés d'entrenament: no és codi obert tradicional
• Processa de forma nativa text, imatges i àudio
• 975.000 milions de paràmetres totals, només 41.000 milions actius per resposta
• Context de fins a un milió de tokens; entrenat amb 45 bilions de tokens
• Nivell de raonament ajustable per equilibrar cost i rendiment
• Iguala Nemotron 3 Ultra en una prova de programació usant aproximadament un terç dels tokens
• Entre els models oberts més ben valorats en comparatives avaluades per persones, per darrere dels tancats més avançats
• Es presenta juntament amb Inkling-Small, una versió preliminar més lleugera i ràpida
• Va superar proves externes de seguretat, rebutjant peticions perilloses sense bloquejar consultes legítimes