XAI d'Elon Musk met en ligne le cluster de formation Colossus 100k H100

GPU Hopper H100 de Nvidia (Source : Nvidia)

Au terme d'un effort de 122 jours, l'équipe de développement de xAI a réussi à mettre en ligne le système d'entraînement à l'IA le plus puissant au monde à ce jour. Pour l'instant, il dispose de 100 000 GPU H100, mais Musk affirme que ce nombre doublera dans quelques mois. Google a atteint 90 000 GPU, tandis que le système d'entraînement à l'IA haut de gamme d'OpenAI dispose de 80 000 GPU.

Codrut Nistor (traduit par Ninh Duy), Published 09/04/2024 🇺🇸 🇩🇪 ...

AI Nvidia GPU Science

Lancé fin septembre 2022, le GPU GPU Hopper H100 de Nvidia hopper H100 de Nvidia équipe actuellement les systèmes d'entraînement à l'IA les plus puissants au monde. Le week-end dernier, xAI, la société d'IA d'Elon Musk, a pris de l'avance sur ses concurrents grâce au système d'entraînement Colossus 100k H100, qui a nécessité 122 jours d'efforts entre le début de sa mise en œuvre et sa mise en ligne. Comme son nom l'indique, il utilise pas moins de 100 000 GPU H100. Ses principaux concurrents sont Google (90 000), OpenAI (80 000) et Meta (70 000). Microsoft et Nvidia occupent les deux places suivantes, avec 60 000 et 50 000 GPU.

Cette performance n'est toutefois pas suffisante pour Elon Musk, qui a déjà élaboré des plans pour l'avenir de l'IAO. Le génie de la technologie souhaite doubler la puissance du système d'entraînement de xAI le plus rapidement possible. Dans son message concernant le nouveau système d'entraînement Colossus AI, Elon Musk a indiqué que "sa taille doublera pour atteindre 200 000 (50 000 H200) dans quelques mois", sans mentionner l'objectif de cette expansion rapide.

En 2023, lors de la création de xAI, Elon Musk a déclaré que l'objectif de cette entreprise était de "comprendre la véritable nature de l'univers", et il reste à voir ce qui ressortira de cet effort. Les puces H200 qui seront probablement utilisées dans la prochaine vague d'expansion de xAI ont déjà un successeur, à savoir le Nvidia Blackwell. Par rapport au H200, il offre une capacité supérieure de 36,2 % et une bande passante totale améliorée de 66,7 %.

Pour l'instant, xAI peut utiliser librement le système d'entraînement à l'IA Colossus, mais les choses pourraient changer à partir du mois prochain si le gouverneur californien Gavin Newsom approuve le projet de loi sur la sécurité de l'IA. Pour en savoir plus sur la sécurité de l'IA, nous vous invitons à consulter l'ouvrage de Chris Ategeka intitulé Safeguarding Humanity : A Comprehensive Guide to AI Safety de Chris Ategeka, disponible au prix de 19,99 dollars en format de poche.