Fugatto 1 de Nvidia peut synthétiser de l'audio pour créer de nouveaux sons

Nvidia a présenté un nouveau modèle d'IA générative capable de synthétiser de l'audio à partir de simples instructions textuelles et d'entrées audio contextuelles pour créer des sons uniques. Nvidia envisage Fugatto 1 "comme un outil pour les créatifs, leur permettant de donner rapidement vie à leurs fantaisies sonores et à des sons inédits - un instrument pour l'imagination, qui ne remplace pas la créativité"

Dans son document de recherche https://fugatto.github.io/FUGATTO_ICLR_2025.pdfl'équipe explique que les grands modèles de langage (LLM) formés sur du texte peuvent apprendre à déduire des instructions à partir d'entrées, mais que les LLM formés uniquement sur de l'audio ne peuvent pas le faire. Les données audio ne montrent pas comment elles ont été créées.

Fugatto 1 de Nvidia utilise un ensemble de données spécialisé qui tire parti d'une large gamme de sons et d'une méthode de compréhension et de contrôle des instructions appelée ComposeableART. Cela permet au modèle de créer un ensemble de données émergent qui peut l'aider à combiner différents sons, même ceux pour lesquels il n'a pas été formé.

Nvidia a présenté quelques exemples du modèle en action sur la page Github de Fugattonvidia a montré quelques exemples de modèles en action sur la page Github de Fugatto, comme la capacité de synthétiser le son d'un chien qui aboie en rythme avec de la musique électronique, une machine à écrire qui murmure chaque lettre tapée, et même un saxophone qui miaule ou aboie.

Pour l'instant, Nvidia n'a pas l'intention de rendre le modèle public.