NVIDIA dévoile le modèle d'IA générative texte-3D LATTE3D, baptisé "imprimante 3D virtuelle"
Alors que les modèles d'IA générateurs d'images et de vidéos dominent l'actualité depuis un certain temps, NVIDIA a fait un pas dans la direction logique suivante avec LATTE3D, un nouveau modèle d'IA génératif qui transforme des textes en modèles 3D complets en moins d'une seconde. Annoncé lors de l'événement NVIDIA GTC la semaine dernièrecette technologie est présentée comme une "imprimante 3D virtuelle", car elle peut fournir instantanément des modèles 3D "dans un format populaire utilisé pour les applications de rendu standard", prêts à être déployés dans le développement de jeux vidéo, la publicité, les projets de conception ou toute autre application nécessitant un environnement virtuel, y compris la VR et AR.
L'IA générative texte-3D n'est pas une nouvelle technologie, et le document de recherche de NVIDIA https://research.nvidia.com/labs/toronto-ai/LATTE3D/ oppose LATTE3D à plusieurs systèmes existants tels que MVDream, 3DTopia et LGM. L'avantage écrasant de LATTE3D est sa rapidité. Dans les tests comparatifs, d'autres modèles d'IA prennent entre 20 secondes et plus de 30 minutes pour générer un résultat, alors que LATTE3D produit un rendu comparable (et souvent de meilleure qualité) en seulement 400 millisecondes.
Il convient de noter que, comme pour l'impression 3D, la qualité des résultats de LATTE3D et d'autres modèles d'IA s'améliore avec le temps. L'avantage est que, contrairement à l'impression 3D, on peut choisir de donner la priorité à la vitesse plutôt qu'à la qualité dans un premier temps, et décider par la suite d'attendre un résultat plus raffiné, plutôt que de fixer les paramètres dès le départ.
Comme toute autre IA générative, LATTE3D a le potentiel de transformer de nombreux flux de travail. Alors qu'auparavant, il fallait parcourir une bibliothèque de ressources 3D ou consacrer de précieuses heures de travail pour créer un simple objet, avec la technologie de NVIDIA, il suffit de taper une brève description et d'importer le résultat généré dans l'application logicielle ou les plates-formes de l'utilisateur.
Jusqu'à présent, l'équipe de recherche n'a entraîné LATTE3D qu'à créer des modèles d'objets quotidiens et d'animaux, mais il est possible de l'étendre à d'autres catégories avec les bons ensembles de données. Le modèle a été entraîné à l'aide de GPU NVIDIA A100 Tensor Core et, dans la démo de la société, il a fonctionné sur un seul NVIDIA RTX A6000.
En tant que projet de recherche, LATTE3D est encore en cours de développement et il n'a pas encore été question de le commercialiser en tant que produit ou service. Le projet prévoit d'étendre ses capacités au "text-to-4D" ou à la génération d'animations 3D.
Explorez des environnements virtuels et de réalité mixte immersifs avec le casque Meta Quest 3 et les lunettes AR XREAL Air 2 Pro, tous deux disponibles sur Amazon.
Source(s)
