The Biggest Test Bench I’ve Ever Seen
ASUS dévoile son laboratoire R&D dédié aux infrastructures IA de nouvelle génération, où sont testés des racks de près de deux tonnes consommant plus de 100 000 watts, avec un focus sur le refroidissement liquide, la validation long terme et les logiciels de gestion pour les s...
SYNTHÈSE STRUCTURÉE
Un laboratoire conçu comme un mini data center
Ce laboratoire R&D est « un peu comme un mini data center, mais à une échelle plus réduite et avec plus de flexibilité ». Il combine une zone de refroidissement par air (air chaud aspiré vers le plafond) et une infrastructure de refroidissement liquide complète, avec une unité de distribution de liquide de refroidissement (CDU) dédiée. L’objectif est de pouvoir valider tous les types de déploiement que les clients pourraient utiliser.
Le GB300 : un nœud de calcul de 8 000 watts
Le cœur du sujet est le Grace Blackwell GB300, un nœud de calcul qui intègre deux cartes Nvidia Bianca. Chaque carte embarque un CPU ARM Grace 72 cœurs avec mémoire LP CAM, et deux GPU Blackwell Ultra dotés de 288 Go de HBM3e chacun, consommant jusqu’à 1 400 watts par GPU. La puissance totale du nœud atteint environ 8 000 watts, ce qui rend le refroidissement liquide indispensable.
Une architecture électrique repensée
Pour gérer ces puissances, Nvidia utilise une architecture en 54 V au lieu du 12 V classique des PC de bureau. « Pour améliorer l’efficacité et réduire la section des câbles, Nvidia utilise une architecture 54 V plutôt que le 12 V que nous utilisons dans les PC de bureau. » La conversion DC/DC vers le reste du système est assurée par une alimentation dédiée.
Refroidissement liquide : du GPU au réseau
Le module de refroidissement est entièrement codé par couleur : le fluide froid arrive, se divise en parallèle vers chaque GPU Blackwell, puis refroidit le CPU Grace et la mémoire LP DDR5X. Les GPU utilisent HBM3E directement sur le package, refroidis par une plaque unique. Même les cartes réseau sont refroidies par eau. Des capteurs de fuite sous forme de PCB flexibles détectent toute présence d’eau et alertent le logiciel de gestion ASUS.
Des tests proches de ceux d’un PC de bureau… mais à l’échelle du rack
« Les logiciels exacts diffèrent, mais la fonction est étonnamment similaire à ce que nous utilisons pour valider un PC de bureau à la maison. » ASUS combine ses propres outils avec des packages Nvidia pour charger artificiellement le système 24h/24 et 7j/7, en surveillant températures, erreurs de données, latences et débits entre GPU, réseau et stockage. Les modèles de raisonnement (reasoning models) sont particulièrement sensibles à la vitesse de transfert des données.
Un laboratoire à deux pas de la production de masse
Un atout clé : le laboratoire est situé « à quelques pâtés de maisons » de l’usine de production de masse. Cela facilite la collaboration pour reproduire des erreurs ou déployer des correctifs rapidement.
Une gestion thermique économe
Le chiller du laboratoire offre 1,3 MW de capacité de refroidissement, mais ASUS utilise une eau à environ 20 °C au lieu des 6-7 °C habituels dans les data centers. « Ce n’est pas ce que nous recommandons aux clients, mais c’est suffisant pour un banc de test et cela nous permet d’économiser environ 20 000 dollars par an en énergie. » De l’eau plus froide (7 °C) reste disponible pour les racks refroidis par air.
Une chambre environnementale surpuissante
ASUS dispose d’une chambre capable de dissiper jusqu’à 100 000 watts, avec une plage de température de -40 °C à +85 °C. Des serveurs GB200 y subissent des tests de vieillissement accéléré sous charges dynamiques et conditions extrêmes (jusqu’à -20 °C et 45 °C). Un second laboratoire thermique valide le comportement des ventilateurs à 45 °C, simulant un data center en Inde confronté à une panne de refroidissement.
Les logiciels de gestion : AIDC et ASUS CC
AIDC (pour la conception et le déploiement) permet de placer des serveurs en 3D, de calculer les besoins structurels, électriques et de refroidissement, et de gérer les déploiements OS, pilotes et firmware. ASUS CC (pour la gestion long terme) offre des tableaux de bord personnalisés (émissions carbone, qualité de service), le suivi des erreurs par machine, et la gestion des accès et notifications.
Vera Rubin : encore plus lourd et plus gourmand
La prochaine génération, Vera Rubin, sera « plus gourmande en énergie et plus lourde que le GB300 », chaque rack approchant les deux tonnes. ASUS devra renforcer le sol et augmenter la puissance électrique du laboratoire (actuellement 1,1 MW). « Si Nvidia fournit parfois les GPU et CPU pour le développement, c’est au fabricant du rack de se procurer, concevoir et construire tout le reste. »
CONCEPTS CLÉS
- Grace Blackwell GB300 : Plateforme de calcul Nvidia combinant un CPU ARM Grace 72 cœurs et deux GPU Blackwell Ultra, conçue pour l’IA et le HPC, avec une consommation de 8 000 watts par nœud.
- HBM3e : Mémoire à large bande passante de troisième génération, utilisée directement sur le package GPU, offrant 288 Go par GPU.
- LP CAM : Mémoire configurable à faible consommation, utilisée autour du CPU Grace pour des configurations mémoire flexibles.
- CDU (Coolant Distribution Unit) : Unité de distribution de liquide de refroidissement, cœur du système de refroidissement liquide.
- 54V architecture : Architecture électrique utilisant 54 volts au lieu de 12 volts, permettant de réduire les pertes et la section des câbles à haute puissance.
- Leak sensor : Capteur de fuite sous forme de PCB flexible qui détecte la présence d’eau et déclenche une alerte dans le logiciel de gestion.
- AIDC : Suite logicielle ASUS pour la conception et le déploiement de data centers, incluant planification 3D, déploiement OS et gestion des firmware.
- ASUS CC : Outil de gestion à long terme des infrastructures, avec tableaux de bord personnalisés et suivi des erreurs.
- Vera Rubin : Prochaine génération de plateforme Nvidia, plus puissante et plus lourde que le GB300, avec des racks approchant les deux tonnes.
CONCLUSION
Le message principal est que l’infrastructure de test pour les systèmes IA de nouvelle génération doit être à la hauteur de leur démesure énergétique et physique. ASUS montre qu’un laboratoire R&D moderne ne se limite pas à brancher des serveurs : il intègre refroidissement liquide, chambres environnementales, logiciels de gestion avancés et une proximité avec la production pour accélérer les cycles de validation. Alors que les racks approchent les deux tonnes et les 100 000 watts, la capacité à tester, mesurer et itérer devient un avantage concurrentiel décisif.