Nvidia dévoile le GPU H100 pour l’IA et taquine le « supercalculateur d’IA le plus rapide au monde »

Nvidia a annoncé une multitude de produits d’entreprise axés sur l’IA lors de sa conférence annuelle GTC. Ils incluent des détails sur sa nouvelle architecture de silicium, Hopper ; le premier GPU de centre de données construit à l’aide de cette architecture, le H100 ; une nouvelle « superpuce » de processeur Grace ; et de vagues plans pour construire ce que la société prétend être le supercalculateur d’IA le plus rapide au monde, nommé Eos.

Nvidia a énormément profité du boom de l’IA de la dernière décennie, ses GPU se révélant parfaitement adaptés aux méthodes d’apprentissage en profondeur populaires et gourmandes en données. Alors que la demande du secteur de l’IA en matière de calcul de données augmente, explique Nvidia, il souhaite fournir plus de puissance de feu.

En particulier, la société a souligné la popularité d’un type de système d’apprentissage automatique connu sous le nom de Transformer. Cette méthode a été incroyablement fructueuse, alimentant tout, des modèles de langage comme GPT-3 d’OpenAI aux systèmes médicaux comme AlphaFold de DeepMind. Ces modèles ont augmenté de façon exponentielle en quelques années. Lorsque OpenAI a lancé GPT-2 en 2019, par exemple, il contenait 1,5 milliard de paramètres (ou connexions). Lorsque Google a formé un modèle similaire à peine deux ans plus tard, il a utilisé 1,6 mille milliards paramètres.

« La formation de ces modèles géants prend encore des mois », a déclaré le directeur principal de la gestion des produits de Nvidia, Paresh Kharya, lors d’un point de presse. « Donc, vous licenciez un travail et attendez un mois et demi pour voir ce qui se passe. Un défi majeur pour réduire ce temps de formation est que les gains de performances commencent à diminuer à mesure que vous augmentez le nombre de GPU dans un centre de données.

Nvidia affirme que sa nouvelle architecture Hopper aidera à améliorer ces difficultés. Nommée d’après l’informaticienne pionnière et contre-amiral de l’US Navy Grace Hopper, l’architecture est spécialisée pour accélérer la formation des modèles Transformer sur les GPU H100 de six fois par rapport aux puces de la génération précédente, tandis que le nouveau Nivida NVlink de quatrième génération peut connecter jusqu’à 256 GPU H100 avec une bande passante neuf fois supérieure à celle de la génération précédente.

Le GPU H100 lui-même contient 80 milliards de transistors et est le premier GPU à prendre en charge PCle Gen5 et à utiliser HBM3, permettant une bande passante mémoire de 3 To/s. Nvidia affirme qu’un GPU H100 est trois fois plus rapide que son A100 de génération précédente en calcul FP16, FP32 et FP64, et six fois plus rapide en calcul à virgule flottante 8 bits.

« Pour l’entraînement des modèles géants de transformateurs, le H100 offrira des performances jusqu’à neuf fois supérieures, en s’entraînant en quelques jours ce qui prenait auparavant des semaines », a déclaré Kharya.

La société a également annoncé un nouveau processeur de centre de données, le Grace CPU Superchip, qui se compose de deux processeurs connectés directement via un nouveau NVLink-C2C à faible latence. La puce est conçue pour « servir des applications HPC et AI à grande échelle » aux côtés des nouveaux GPU basés sur Hopper, et peut être utilisée pour les systèmes uniquement CPU ou les serveurs accélérés par GPU. Il dispose de 144 cœurs Arm et de 1 To/s de bande passante mémoire.

Image : Nvidia

En plus des nouvelles sur le matériel et l’infrastructure, Nvidia a également annoncé des mises à jour de ses divers services logiciels d’IA d’entreprise, notamment Maxine (un SDK pour apporter des améliorations audio et vidéo, destiné à alimenter des choses comme les avatars virtuels) et Riva (un SDK utilisé à la fois pour la reconnaissance vocale et synthèse vocale).

La société a également annoncé qu’elle construisait un nouveau supercalculateur d’intelligence artificielle, qui, selon elle, sera le plus rapide au monde une fois déployé. Le supercalculateur, nommé Eos, sera construit à l’aide de l’architecture Hopper et contiendra quelque 4 600 GPU H100 pour offrir 18,4 exaflops de « performances IA ». Le système sera utilisé uniquement pour la recherche interne de Nvidia, et la société a déclaré qu’il serait en ligne dans quelques mois.

Au cours des dernières années, un certain nombre d’entreprises fortement intéressées par l’IA ont construit ou annoncé leurs propres « supercalculateurs d’IA » internes pour la recherche interne, notamment Microsoft, Tesla et Meta. Ces systèmes ne sont pas directement comparables aux superordinateurs ordinaires car ils fonctionnent à un niveau de précision inférieur, ce qui a permis à un certain nombre d’entreprises de se dépasser rapidement en annonçant les plus rapides au monde.

Cependant, lors de son discours d’ouverture, le PDG de Nvidia, Jensen Huang, a déclaré qu’Eos, lors de l’exécution de tâches de supercalculateur traditionnelles, accumulerait 275 pétaFLOPS de calcul – 1,4 fois plus rapide que « l’ordinateur scientifique le plus rapide des États-Unis » (le Sommet). « Nous nous attendons à ce qu’Eos soit l’ordinateur IA le plus rapide au monde », a déclaré Huang. « Eos sera le modèle de l’infrastructure d’IA la plus avancée pour nos équipementiers et nos partenaires cloud. »