Introduction au refroidissement liquide dans le calcul à haute performance

De la modélisation climatique à la découverte de médicaments, ces systèmes effectuent des milliards de calculs par seconde, générant d'énormes quantités de chaleur comme sous-produit. Comme Moores Lentement de lois et densités de transistors augmentent, la densité thermique des processeurs, des GPU et des accélérateurs a dépassé la capacité du refroidissement à base d'air traditionnel pour maintenir des températures de fonctionnement sûres. Ce défi a poussé les opérateurs de centres de données et les architectes HPC à adopter le refroidissement liquide comme stratégie de gestion thermique primaire. En enlevant directement la chaleur à la source à l'aide de liquides ayant une conductivité thermique bien plus élevée que l'air, les installations peuvent obtenir une efficacité d'utilisation de puissance nettement plus faible (PUE), une densité de calcul plus élevée et une durée de vie matérielle étendue.

Qu'est-ce que le refroidissement liquide?

Le refroidissement liquide désigne toute méthode de gestion thermique utilisant un liquide de refroidissement, généralement de l'eau, du fluide diélectrique ou un réfrigérant, pour absorber et transporter la chaleur des composants générateurs de chaleur tels que les transformateurs, les modules de mémoire et les régulateurs de tension. Contrairement au refroidissement par air, qui repose sur la convection forcée par des puits de chaleur alésés, le refroidissement liquide exploite la capacité thermique spécifique supérieure et la conductivité thermique des liquides pour obtenir des vitesses de transfert de chaleur plus élevées par ordre de grandeur.

  • Refroidissement direct à la puce (plaque froide) : Le liquide de refroidissement traverse des blocs métalliques montés directement sur les processeurs et les GPU. La chaleur est transférée par conduction de la puce par un matériau d'interface thermique (TIM) à la plaque froide, puis emportée par le fluide circulant. C'est l'approche la plus courante dans les déploiements commerciaux de HPC.
  • Refroidissement par immersion:[ Des serveurs entiers ou des composants individuels sont immergés dans un liquide diélectrique non conducteur (p. ex. huile minérale ou fluides fluorocarbonés de génie). La chaleur est transférée directement du matériel au liquide, puis pompée par un échangeur de chaleur. L'immersion élimine le besoin de ventilateurs et peut supporter des densités de chaleur très élevées.
  • Échangeurs de chaleur à porte arrière:[ Le liquide se déverse dans les bobines montées au dos des supports de serveurs. L'air chaud épuisé du support passe au-dessus des bobines, où la chaleur est transférée au liquide plutôt que d'être expulsée dans la salle du centre de données.
  • Refroidissement en deux phases : Utilise la chaleur latente de la vaporisation – bouillie de refroidissement à la source de chaleur et condensations ailleurs – pour atteindre des coefficients de transfert de chaleur extrêmement élevés. Les systèmes en deux phases peuvent gérer des flux de chaleur dépassant 300 W/cm2, ce qui les rend idéales pour les puces d'accélérateur de prochaine génération.

Avantages du refroidissement liquide dans les grappes HPC

Le refroidissement liquide offre des avantages mesurables sur les plans des performances, de l'économie et de la fiabilité opérationnelle.

Efficacité accrue du refroidissement et performance soutenue

La conductivité thermique de l'eau est d'environ 0,6 W/m·K, contre seulement 0,026 W/m·K pour l'air, facteur supérieur à 20. Cette disparité permet au refroidissement liquide de supprimer la chaleur de manière beaucoup plus efficace, permettant aux transformateurs de maintenir des vitesses d'horloge plus élevées pour des durées plus longues sans étranglement thermique. Dans les groupes HPC fonctionnant à des simulations étroitement couplées, une performance soutenue est critique; toute réduction de fréquence due aux points chauds peut s'accentuer en une augmentation significative du temps de résolution.

Réduction de la consommation d'énergie et diminution de l'UEP

Les installations de refroidissement par air traditionnelles nécessitent des installations de refroidissement massives, des unités de traitement d'air par ordinateur (CRAH) et des ventilateurs à haute vitesse qui, ensemble, peuvent représenter 30 à 40 % de l'énergie totale de l'installation. Le refroidissement par liquide réduit considérablement ce coût. Par exemple, le refroidissement direct par l'eau chaude à la puce (avec des températures d'alimentation de 40 à 50 °C) élimine entièrement le besoin de refroidisseurs à base de compresseur, permettant le rejet de la chaleur par des refroidisseurs secs ou des tours de refroidissement.

Économies de locaux et densité de calcul accrue

Le refroidissement par air impose de fortes contraintes sur la densité du rack en raison de la nécessité de canaux de circulation d'air adéquats, de la rétention d'allées chaudes/froides et de l'espacement entre les lames. Avec le refroidissement par liquide, la chaleur est éliminée à la source à l'aide de tubes à petits diamètres, ce qui permet de empiler les lames du serveur plus étroitement.

Amélioration de la longévité et de la fiabilité du matériel

Le cycle de température, qui se répète, et la contraction des matériaux à mesure que les températures fluctuent, sont une cause majeure de fatigue des joints de soudure et de formation de microcrack dans les transformateurs. Le refroidissement liquide maintient des températures de jonction stables, variant souvent de moins de 2°C sous pleine charge, comparativement à 10°C ou plus de oscillations observées avec un refroidissement agressif par l'air à partir du ventilateur.

Réduction du bruit

Les systèmes de refroidissement liquide éliminent la plupart des ventilateurs; le refroidissement par immersion n'a besoin d'aucune, et les systèmes de traitement direct à la puce n'utilisent que des pompes à basse vitesse et des ventilateurs optionnels à faible bruit. Les niveaux de bruit peuvent descendre en dessous de 50 dB, créant un environnement plus productif pour le personnel qui a besoin d'accéder à la salle de la machine pour le diagnostic ou la recherche.

Évoluabilité pour les générations futures

Comme la puissance thermique de conception des puces (TDP) continue d'augmenter, les GPU récents dépassent 600 W par appareil, et les futurs modèles peuvent approcher 1 kW – le refroidissement de l'air devient physiquement peu pratique.Les balances de refroidissement liquides sont intrinsèquement : un système en boucle fermée peut être augmenté progressivement en ajoutant plus de plaques froides et en étendant la tuyauterie, sans remodeler l'ensemble de l'installation.

Comparaison du refroidissement liquide et du refroidissement par air : une perspective quantitative

Pour illustrer les différences, le tableau suivant résume les principales mesures de performance basées sur les repères de l'industrie (les valeurs sont représentatives pour un groupe de CHP de taille moyenne de 100 kW de charge de calcul):

  • Puissance de refroidissement en hauteur (air):[ 40-50 kW (chillers, ventilateurs, pompes). Liquid: 5-10 kW (pompes, ventilateurs de refroidisseur sec).
  • PUE classique (air):[ 1,35–1,50. Liquid:[ 1,03–1,10.
  • Densité maximale du support (air):[ 35 kW. Liquid:[ > 100 kW.
  • Niveau sonore à 1 mètre (air): 85 dB. Liquid: <50 dB.
  • Variation de la température du processeur sous charge (air):[ ±5°C. Liquid: ±1°C.
  • Taux de défaillance du matériel (normalisé selon le niveau de référence de l'air): Liquide <0,7×.

Si le refroidissement de l'air reste viable pour les configurations à faible densité et les rénovations antérieures, les avantages du refroidissement liquide deviennent décisifs car les densités de puissance dépassent 20 à 30 kW par rack.

Considérations et défis liés à la mise en œuvre

La transition de l'air au refroidissement liquide nécessite une planification minutieuse dans plusieurs domaines afin d'éviter les risques opérationnels et de maximiser le rendement des investissements.

Analyse des coûts : dépenses initiales et dépenses opérationnelles

Le coût initial d'une solution de refroidissement liquide – y compris les plaques froides, les tuyaux, les pompes, les échangeurs de chaleur, les systèmes de commande et le travail d'installation – ajoute généralement 10 à 25 % au coût total du matériel d'une grappe. Pour un système de CHP de 5 millions de dollars, cela équivaut à un supplément de 500 000 $ à 1,25 million de dollars.

Mesures de fiabilité et de sécurité

Les systèmes de refroidissement modernes comprennent des joints redondants, des capteurs de pression, des mèches d'humidité et des vannes automatiques d'arrêt qui isolent une fuite vers un seul segment de la grille. La sélection des liquides est importante : les systèmes de refroidissement direct à puce utilisent souvent de l'eau désionisée avec des inhibiteurs de corrosion et des biocides, tandis que les systèmes d'immersion nécessitent des fluides diélectriques non conducteurs et chimiquement inertes.

Compatibilité avec les infrastructures existantes

Pour remettre en état un centre de données refroidi par air pour le refroidissement liquide, il faut planifier la conduite d'alimentation en liquide et la conduite de retour, la gestion de la condensation (si les températures du liquide tombent sous le point de rosée) et le renforcement structurel pour supporter les racks plus lourds. De nombreux opérateurs optent pour une approche progressive : commencer par le refroidissement direct à la puce sur les nœuds les plus puissants tout en laissant des racks moins denses sur l'air.

Applications et études de cas dans le monde réel

Plusieurs centres de CHP ont adopté le refroidissement liquide et ont fait état d'avantages importants. Par exemple, le Centre national suisse de calcul (CSCS) a déployé le refroidissement liquide direct dans son superordinateur « Piz Daint », obtenant un PUE de 1,04 tout en maintenant le système parmi les plus rapides du monde. De même, le superordinateur « Summit » du Laboratoire national d'Oak Ridge utilise une approche hybride avec des plaques froides sur les GPU, lui permettant de soutenir 200 pétaflops. Dans le secteur hyperscale, Microsoft a testé le refroidissement par immersion dans ses centres de données Azure, démontrant des réductions spectaculaires de l'énergie de refroidissement et un chemin vers des opérations positives sur l'eau.

Tendances futures : où le refroidissement liquide est en tête

L'évolution du refroidissement liquide continue d'accélérer, sous l'impulsion de la demande inlassable de performances et d'objectifs de durabilité plus élevés.

  • Refroidissement par immersion en deux phases :[ L'utilisation de fluides qui s'évaporent à basse température (p. ex., Novec 7000) peut atteindre des coefficients de transfert de chaleur jusqu'à 10 000 W/m2·K, permettant ainsi le refroidissement passif de puces extrêmement puissantes sans pompes.
  • Réutilisation de chaleur d'origine: Le liquide de refroidissement chaud sortant d'un système de CHP peut être utilisé pour chauffer des bâtiments, des serres ou des procédés industriels.
  • Normement et maturité de l'écosystème:[ Des consortiums comme le projet Open Compute et l'Alliance des systèmes de refroidissement liquide élaborent des normes ouvertes pour les connecteurs, les compositions de liquide de refroidissement et les protocoles de surveillance, réduisant ainsi les barrières d'adoption des fournisseurs.
  • Intégration avec énergie renouvelable:[ Le refroidissement liquide réduit la puissance maximale de l'équipement de refroidissement, ce qui facilite la mise en relation des grappes de HPC avec la production solaire ou éolienne sur place en aplatissant les profils de charge.

Alors que l'industrie pousse vers l'informatique exascale et au-delà, le refroidissement liquide passera d'une spécialisation de niche à une exigence par défaut. La technologie est déjà compétitive par rapport aux coûts pour les nouvelles constructions et de plus en plus viable pour les rénovations.

Conclusion

Le refroidissement liquide a dépassé la phase expérimentale et est maintenant une option dominante pour les grappes informatiques à haute performance. Sa capacité à éliminer efficacement les charges élevées de chaleur, à réduire la consommation d'énergie, à améliorer la fiabilité du matériel et à permettre des architectures de systèmes plus denses répond directement aux défis les plus pressants auxquels sont confrontés les opérateurs de HPC aujourd'hui. Bien que les exigences initiales en matière d'investissement et de planification soient non-triviales, les économies d'exploitation à long terme, les gains de performance et les avantages de durabilité font une analyse de rentabilisation convaincante.

Pour de plus amples informations sur les meilleures pratiques de refroidissement, voir les Directives thermiques ASHRAE[, le ][National Energy Research Scientific Computing Center (NERSC).