NeuTTS Air : modèle vocal open source fonctionnant sur appareils sans internet

Neuphonic a lancé NeuTTS Air en tant que projet open source, un modèle de langage vocal qui fonctionne directement sur des appareils locaux. Contrairement aux systèmes avancés de synthèse vocale qui ont traditionnellement été disponibles uniquement via des API cloud, ce modèle fonctionne complètement sans connexion internet. L'entreprise indique qu'il s'agit du premier modèle de synthèse vocale avec ces caractéristiques de réalisme capable de s'exécuter entièrement sur l'appareil de l'utilisateur.

Le modèle est construit sur Qwen 0.5B, un modèle de langage léger optimisé pour la compréhension et la génération de texte, combiné avec NeuCodec, le codec audio neural propriétaire de Neuphonic. Cette architecture permet au système de fonctionner en temps réel même sur des appareils de milieu de gamme, y compris les ordinateurs portables, les téléphones mobiles et les cartes Raspberry Pi. L'entreprise a distribué NeuTTS Air au format GGML, conçu spécifiquement pour permettre une inférence efficace sur les appareils sans nécessiter de matériel spécialisé.

L'une des fonctionnalités remarquables du système est le clonage vocal instantané, qui permet de créer un profil vocal personnalisé avec seulement trois secondes d'audio de référence. Cette fonctionnalité fonctionne entièrement sur l'appareil local, ce qui signifie que les données vocales ne sont jamais transmises à des serveurs externes. Neuphonic souligne que cette approche répond aux préoccupations en matière de confidentialité et de conformité réglementaire, particulièrement pertinentes dans les applications traitant des données sensibles.

Le modèle génère des voix avec un haut degré de naturalité pour sa taille, équilibrant la qualité audio avec la vitesse de traitement et les besoins de stockage. L'architecture combine un modèle de langage compact avec un codec audio qui atteint une haute qualité à des débits binaires réduits grâce à l'utilisation d'un seul livre de codes. Selon l'entreprise, cet équilibre permet des applications en temps réel sur des appareils aux ressources limitées.

NeuTTS Air est disponible gratuitement sur Hugging Face sous licence open source. Les sorties audio du modèle incluent des filigranes pour faciliter leur identification. Neuphonic indique que la consommation énergétique du système a été spécifiquement optimisée pour les appareils mobiles et embarqués, permettant son utilisation dans des applications allant des assistants vocaux aux jouets interactifs et outils nécessitant une conformité stricte aux réglementations sur la confidentialité.

Points clés

• NeuTTS Air fonctionne entièrement sur des appareils locaux sans connexion internet.
• Les données vocales restent sur l'appareil pour garantir la confidentialité et la conformité réglementaire.
• Publié en open source gratuit sur Hugging Face.
• Le système permet le clonage vocal instantané avec seulement trois secondes d'audio de référence.
• Construit sur Qwen 0.5B et utilise NeuCodec, le codec audio neural propriétaire de Neuphonic.
• Fonctionne en temps réel sur des appareils de milieu de gamme, y compris portables, mobiles et Raspberry Pi.
• Les sorties audio incluent des filigranes pour identification.