Le lama 4 de Meta s'entraîne sur plus de 100 000 GPU Nvidia H100

Meta a récemment publié une nouvelle mise à jour concernant Llama 4, son prochain grand modèle linguistique. Lors d'une récente conférence téléphonique sur les résultats, le PDG Mark Zuckerberg a indiqué que les modèles Llama 4 étaient entraînés sur un cluster composé de plus de 100 000 GPU Nvidia H100-soit plus que tout ce qu'il a vu dans les rapports sur ce que font les autres.

Ce nouveau grand modèle linguistique, qui devrait voir le jour au début de l'année 2025, sera d'abord décliné en versions plus petites. Bien qu'il n'y ait pas beaucoup de détails sur ses capacités spécifiques, Zuckerberg a laissé entendre que le Llama 4 aura de nouvelles fonctionnalités, de meilleures capacités de raisonnement et qu'il sera globalement plus rapide.

L'approche de Meta avec Llama 4 s'inscrit dans la continuité de son modèle de téléchargement gratuit des modèles, à la différence d'OpenAI et de Google, qui limitent l'accès aux API. Ce modèle est particulièrement populaire auprès des startups et des chercheurs qui souhaitent bénéficier d'une plus grande liberté dans l'utilisation de l'IA.

Avec une installation informatique aussi massive, la demande en énergie est tout aussi importante, estimée à 150 mégawatts, soit cinq fois la demande en énergie du plus grand superordinateur du laboratoire national américain. Le budget de Meta reflète cette ampleur : les dépenses d'infrastructure devraient atteindre 40 milliards de dollars en 2024, soit une augmentation de 42 % par rapport à 2023.

Malgré ces coûts importants, les finances de Meta sont solides, avec une augmentation de 22 % des ventes, en grande partie grâce aux recettes publicitaires, ce qui a permis d'équilibrer l'augmentation de 9 % des coûts d'exploitation.