Le processeur Cerebras CS-2 passe à 163 millions de cœurs pour battre la complexité du cerveau humain
Cerebras Systems est connu pour les plus grands processeurs du monde qui intègrent des centaines de milliers de cœurs par puce. Ces cœurs ne sont pas les cœurs X86 habituels que l'on trouve aujourd'hui dans les processeurs informatiques. Il s'agit plutôt de cœurs optimisés pour l'IA, semblables aux cœurs Tensor de Nvidia. Les puces sont donc conçues pour traiter des modèles de calcul complexes qui rivalisent avec la complexité du cerveau humain. Maintenant, le Cerebras CS-2 de Cerebras, qui détient actuellement le record du processeur monopuce le plus grand et le plus rapide au monde, a été introduit il y a quelques années, mais la société s'est efforcée d'améliorer son débit et est désormais en mesure de proposer un système basé sur le CS-2 capable de traiter 120 trillions de paramètres de modèles d'intelligence artificielle, battant ainsi théoriquement le cerveau humain qui peut produire 100 trillions de synapses. À titre de référence, les clusters GPU des superordinateurs actuels plafonnent à 1 trillion de paramètres.
Apparemment, un seul processeur CS-2 avec 850 000 cœurs peut maintenant battre le cerveau humain, mais Cerebras propose également une solution de mise à l'échelle qui permet à 192 systèmes CS-2 de travailler en tandem et de jongler avec encore plus de billions de paramètres grâce à 162 millions de cœurs optimisés pour l'IA. La puce CS-2 a la taille d'une grande tablette et est produite sur les Nœuds de 7 nm de TSMC avec 40 Go de SRAM sur la puce. Cette quantité de mémoire n'étant pas suffisante pour les modèles à l'échelle du cerveau, Cerebras a mis au point des boîtiers MemoryX externes qui fournissent davantage de mémoire et stockent les paramètres du modèle hors puce, libérant ainsi la mémoire sur puce pour le modèle lui-même. Cette approche, associée à la nouvelle structure SwarmX Fabric, permet à Cerebras de faire évoluer les performances de façon quasi-linéaire sur 192 systèmes CS-2.
La SwarmX Fabric intègre Ethernet au niveau PHY et compresse les données pour les transférer plus rapidement sur les nœuds existants, jusqu'à 32 systèmes CS-2, avec une bande passante d'environ 1 To par nœud. Tous les commutateurs SwarmX Fabric se connectent directement au boîtier MemoryX, qui peut prendre en charge jusqu'à 2,4 Po de mémoire (flash et DRAM). À pleine capacité de mémoire, le boîtier est capable de stocker jusqu'à 120 trillions de paramètres.
Ces systèmes coûtent probablement tellement cher que la liste des clients de Cerebras ne comprend que des entités militaires, de renseignement et scientifiques comme l'Argonne National Laboratory.
Source(s)
