Le rôle critique de l'analyse du flux de refroidissement dans le calcul à haute performance

Les serveurs de calcul haute performance (HPC) sont l'épine dorsale de la recherche scientifique moderne, de la formation en AI, de la modélisation financière et de l'analyse de données à grande échelle. Ces systèmes emballent des milliers de processeurs, de GPU et de modules de mémoire dans des racks denses, générant d'énormes charges de chaleur – souvent supérieures à 30 kW par rack. Sans gestion thermique efficace, les composants se dégradent, les gaz de performance et les vitesses de défaillance montent en flèche.

Cet article explore le flux complet de simulation du flux de liquide de refroidissement dans les serveurs HPC avec Ansys Fluent, de la préparation de la géométrie aux informations post-traitement, et explique pourquoi la conception CFD est indispensable pour les centres de données de nouvelle génération.

Le défi thermique dans les serveurs HPC modernes

Les processeurs modernes et les processeurs peuvent tirer de 300 à 700 W chacun, et un seul nœud HPC peut dissiper 1 à 2 kW. Lorsqu'il est densément peuplé dans les racks, le flux thermique total exige des stratégies de refroidissement sophistiquées.

  • La formation de points d'entrée:[ Un flux d'air inégal dû à l'emplacement des composants, aux obstructions de câbles ou à la défaillance du ventilateur conduit à des températures localisées dépassant les limites de sécurité.
  • Les gouttes de pression:[ Des espaces serrés et des dissipateurs de chaleur créent une résistance, réduisant le débit de liquide de refroidissement aux composants en aval.
  • Les sanctions en matière de bruit et d'énergie:[ Les ventilateurs à haute vitesse pour compenser le mauvais débit d'air consomment une puissance considérable, jusqu'à 15% de l'énergie totale du centre de données.
  • Choix des polluants :[ L'air, l'eau, les fluides diélectriques ou les réfrigérants biphasés ont chacun des propriétés thermiques et des caractéristiques d'écoulement uniques qui doivent être modélisées avec précision.

La simulation CFD permet une évaluation rapide et peu coûteuse de dizaines de configurations avant de construire du matériel.

Pourquoi Ansys est-il fluide pour la simulation du liquide de refroidissement HPC?

Ansys Fluent est l'un des résolveurs de CFD les plus largement adoptés dans l'industrie et le milieu universitaire.

  • Modèles physiques complets:[ Débit turbulent, transfert de chaleur (conduction, convection, rayonnement), débit multiphase et interaction fluide-structure.
  • Les capacités de calcul du parallélisme :[ s'échellent efficacement sur plusieurs cœurs/GPU, cruciales pour les modèles de serveurs de grande taille avec des millions de cellules.
  • Intégration avec CAD:[ Importations de géométries détaillées de SolidWorks, Creo, ou d'autres outils, préservant des caractéristiques complexes comme les ailerons et les lames de ventilateur.
  • Génération de mailles de roussure: Prend en charge les mailles structurées, non structurées et polyédriques avec raffinement local pour les couches limites.

Pour le refroidissement HPC, Fluent est utilisé pour simuler les systèmes refroidis à l'air (convection forcée sur les puits de chaleur) et les solutions refroidies par liquide (plaques froides, réservoirs d'immersion ou boucles pompées).

Le flux de travail de simulation: étape par étape

1. Création et simplification de la géométrie

La simulation commence par un modèle CAO 3D du châssis serveur, incluant cartes mères, processeurs, GPUs, dissipateurs de chaleur, ventilateurs et conduits. Cependant, un modèle complet de détails peut être calculable prohibitif.

  • Simplifiez les petites caractéristiques : vis, chanfreins et câbles qui n'affectent pas significativement le débit d'air.
  • Représenter les dissipateurs de chaleur comme des supports poreux ou des ailerons détaillés selon la précision souhaitée.
  • Utilisez des plans de symétrie lorsque la disposition du serveur est répétitive (p. ex. plusieurs emplacements identiques).

Pro tip: Pour les systèmes refroidis par liquide, modélisez séparément les canaux de la plaque froide et le bloc solide de la source de chaleur, en attribuant les conductivités thermiques appropriées.

2. Stratégie de mesure

La mesure divise la géométrie en éléments discrets (cellules) où les équations de débit sont résolues. Un maillage de qualité est essentiel pour des résultats précis.

  • Maille tétraédrique non structurée: Rapide à générer pour les géométries complexes, mais nécessite de nombreuses cellules pour la résolution des couches limites.
  • Réseau polyédral:[ Offre un bon compromis entre le nombre de cellules et la précision; Fluent=La conversion polyédrale native peut réduire le nombre de cellules de 3 à 5× par rapport au tétraédral.
  • Couches de prisme:[ Attachées à des parois solides pour capturer la sous-couche visqueuse (y+ ~1). Essentielle pour prédire avec précision les coefficients de transfert de chaleur.
  • Etude d'indépendance de la maille:[ Exécuter des simulations sur des mailles progressivement plus fines jusqu'à ce que les sorties clés (dépression, température maximale) changent moins de 2%.

Une simulation au niveau du serveur utilise 5-20 millions de cellules. Avec le résolveur parallèle Fluent, un fonctionnement en état d'équilibre peut se terminer en 1-4 heures sur un poste de travail de 64 cœurs.

3. Conditions de la frontière et propriétés du matériau

Pour un serveur refroidi par air, les conditions limites (BC) sont essentielles.

  • Inlet:[ Vitesse ou débit massique selon les spécifications du ventilateur, avec intensité de turbulence (p. ex. 5%) et diamètre hydraulique.
  • Outlet: Sortie de pression dans des conditions ambiantes (pression de jauge = 0 Pa ou une petite valeur négative pour simuler les gaz d'échappement).
  • Sources de chaleur: Production de chaleur volumétrique (W/m3) ou température fixe pour les puces. Utiliser la température maximale de jonction du fabricant (p. ex. 85°C pour les processeurs).
  • Talls: Condition sans glissement; transfert de chaleur conjugué par des composants solides (base d'évier de chaleur, châssis).
  • Zones de couverture: Modèle comme sources de mouvement ou régions de rotation détaillées (MRF ou maille coulissante).

Les propriétés du matériau (densité, chaleur spécifique, conductivité thermique, viscosité) doivent être dépendantes de la température pour les gaz comme l'air; Fluents incompressible loi idéale de gaz est adapté pour les faibles nombres de Mach.

4. Paramètres du solvant et modélisation de la turbulence

Les serveurs à l'intérieur du flux sont turbulents (Re > 104 dans la plupart des régions). Fluent propose plusieurs modèles de turbulences; les plus couramment utilisés pour le refroidissement HPC sont:

  • k-epsilon (standard ou réalisable):[ Robuste et calculablement économique; bon pour les régions de flux de cœur, mais peut sous-estimer le transfert de chaleur près de la paroi.
  • k-omega SST:[ Mélanger k-omega près des murs et k-epsilon en libre-échange; recommandé pour des prévisions précises du transfert de chaleur dans des géométries complexes.
  • Transition SST: Utile pour les flux avec transition laminaire-turbulente, comme autour des nageoires de dissipation de chaleur.

Pour les simulations en état d'équilibre, utilisez le résolveur à pression avec SIMPLE ou algorithme couplé. Activez l'équation énergétique pour le transfert de chaleur. Les facteurs de sous-relaxation (0,3–0,7) stabilisent la convergence. Surveillez les résidus (continuité, élan, énergie) et les températures de points clés pour juger de la convergence (généralement 1e-4 pour la continuité, 1e-6 pour l'énergie).

5. Traitement et interprétation postérieurs à la mise en oeuvre

Après convergence, les outils de post-traitement Fluent (ou CFD-Post) génèrent des idées :

  • Parcelles de contour:[ Température sur surfaces solides et plans internes – identifier les points chauds.
  • Velocity vectors/streamlines: Visualiser la recirculation du flux, la dérivation et les zones mortes.
  • Rapports de chute de pression:[ À travers le châssis, le dissipateur de chaleur ou le filtre.
  • Distribution des coefficients de transfert de chaleur:[ Sur les surfaces des puits de chaleur pour évaluer l'efficacité des nageoires.
  • Distribution des débits d'écoulement:[ Parmi les canaux parallèles (cPU/gPU) pour détecter le déséquilibre.

Exemple de perspicacité: Une constatation commune dans les simulations de serveurs est que les composants en amont reçoivent un débit d'air abondant, tandis que les fentes en aval sont affamées.

Sujets avancés dans la simulation de liquide de refroidissement HPC

Refroidissement liquide et débit en deux phases

Le refroidissement de l'air atteint sa limite pratique (de 40 à 50 kW par rack), les datacenters adoptent un refroidissement liquide direct. Ansys Fluent modélise le refroidissement liquide via:

  • Plaques froides: Transfert de chaleur conjugué entre le liquide de refroidissement (eau/glycol) et la base du dissipateur de chaleur; le solvant conjugué couple les régions solides et fluides.
  • Rafraîchissement par immersion:[ Liquide diélectrique dans un réservoir; les modèles multiphases (VOF) simulent le mouvement du fluide et la formation de bulles si l'ébullition survient.
  • Refroidissement en deux phases : Le changement de phase (évaporation/condensation) améliore le transfert de chaleur. Les modèles d'évaporation-condensation (modèle Lee) prédisent la production de vapeur et les changements de pression.

Ces simulations exigent des mailles plus fines (couches limites dans les canaux liquides), des propriétés de fluide dépendant de la température (viscosité, chaleur latente) et souvent des résolveurs transitoires pour capter les instabilités thermiques.

Meshing Meilleures Pratiques pour les Eviers de chaleur

Les puits de chaleur sont souvent la partie la plus complexe géométriquement du serveur. Pour une simulation thermique précise:

  • Résolution du fin :[ Utiliser au moins 3 à 5 cellules à travers l'écart de la nageoire pour résoudre le débit et la couche limite thermique.
  • Transfert de chaleur conjugué:[ Mèches et bases solides avec une zone solide séparée; couple à l'interface (pas de résistance thermique à moins qu'un TIM ne soit modélisé).
  • Apposition des médias poreux: Pour les grands réseaux (par exemple, les nageoires de broche), vous pouvez modéliser le dissipateur de chaleur comme une zone poreuse avec des résistances inertielles et visqueuses étalonnées, et une source de chaleur volumétrique.

Validation et corrélation expérimentale

Les résultats de la DFC doivent être validés par des mesures physiques.

  • Comparer les données de chute de pression prévues par rapport aux données mesurées à des débits connus.
  • Placer les thermocouples sur les composants clés et comparer les températures de jonction à l'état d'équilibre.
  • La vélocimétrie des images de particules (PIV) ou l'anémométrie par fil chaud peuvent valider les schémas de débit, bien que rarement utilisés dans la production.
  • Il faut procéder à l'intégration du modèle de mailles et de turbulences jusqu'à ce que l'accord se situe entre 5 et 10 % pour les quantités primaires.

Ressource externe:[ Ansys La page de produit officielle comprend des études de cas et des exemples de validation pour le refroidissement électronique.

Avantages de la simulation CFD pour les équipes de refroidissement HPC

Adopter un processus de conception de l'écoulement du liquide de refroidissement à l'aide de simulations offre des avantages mesurables:

  • Épargnes de coûts et de temps :[ Réduire les prototypes physiques de 50 à 80 %; évaluer 100 configurations+ dans le temps nécessaire pour construire une unité de test.
  • Optimisation du rendement :[ Vitesses du ventilateur à coupe fine, géométrie du canal et débits du liquide de refroidissement pour réduire la température des composants de 5 à 15 °C sans augmenter la puissance du système.
  • Efficacité énergétique: Optimiser le débit d'air réduit la consommation d'énergie du ventilateur; les simulations de refroidissement liquide aident à minimiser l'énergie de pompage tout en maintenant des températures sûres.
  • Prédiction de fiabilité:[ Identifier les modes de défaillance précoce tels que la famine, le risque de condensation ou la fatigue du cycle thermique.
  • Analyse de l'évolutivité :[ Simuler le flux d'air total du rack ou de la salle de données pour assurer une bonne interaction entre le refroidissement au niveau de la pièce et les flux au niveau du serveur.

Pour les centres de données visant l'EVP en dessous de 1,2, CFD – en particulier en utilisant des outils comme Ansys Fluent – n'est plus une pratique optionnelle mais une pratique d'ingénierie de base.

Pièges courants et comment les éviter

Même avec un ensemble d'outils robuste, les erreurs peuvent saper les résultats.

  • Mesure trop grossière sur les puits de chaleur: Des couches de bordure sous-solées surprévoient les températures de jonction. Effectuez toujours une étude d'indépendance du maillage.
  • L'utilisation de modèles de turbulences en mode standard k-epsilon dans un flux transitoire (par exemple, sur des nageoires plates) peut donner un transfert de chaleur inexact.
  • Radiation de neglage:[ Pour la convection naturelle ou la convection forcée à basse vitesse, le transfert de chaleur de rayonnement peut être important.
  • Propriétés incorrectes du matériau:[ Changement de viscosité et de conductivité de l'air avec la température; toujours utiliser des courbes dépendantes de la température.
  • En supposant un flux thermique uniforme:[ Les processeurs réels ont des cartes de puissance dynamique. Pour une plus grande précision, importer des cartes de puissance de niveau puce (p. ex., à partir d'outils Intel ou AMD) comme sources volumétriques.

Exemple d'applications Real-World : Optimisation du débit d'air dans un serveur 1U

Considérez un serveur à rack 1U avec quatre cartes GPU, chacune dessinant 300 W. La conception initiale a placé deux ventilateurs de 40 mm à l'arrière. La simulation à Ansys Fluent a révélé que les GPU avant atteignaient 95°C alors que les GPU arrière étaient à 75°C. Les rationalisations de vitesse ont montré que l'air est entré en douceur mais ensuite séparé derrière le support du mid-chassis, créant une zone de recirculation sur les GPU arrière.

En ajoutant un simple flux de redirection de conduit en plastique et en augmentant la vitesse du ventilateur arrière de seulement 10%, la température maximale arrière du GPU est tombée à 82°C, sans modifier l'empreinte du châssis. La simulation a été validée avec un prototype physique, montrant une erreur de corrélation de 6°C. La société a économisé trois semaines d'itérations de conception.

Référence externe:[ La bibliothèque de ressources Ansys contient de nombreuses notes d'application pour le refroidissement électronique.

Tendances futures : Simulation pilotée par l'IA et jumelles numériques

La prochaine frontière dans la simulation de liquide de refroidissement HPC implique le couplage Ansys Fluent avec l'apprentissage machine. Des modèles à commande réduite (ROM) formés sur des données CFD de haute fidélité peuvent prédire le comportement thermique en temps réel, permettant des jumelles numériques de supports de serveur. Cela permet un contrôle dynamique du ventilateur/pompe en fonction de la charge de travail réelle.

Les centres de données qui poussent vers 100 kW par rack, la nécessité de simulation précise et rapide du flux de liquide de refroidissement ne fera qu'intensifier. Les ingénieurs qui maîtrisent ces compétences seront essentiels pour concevoir l'infrastructure informatique durable à haute performance de la prochaine décennie.

Conclusion

La simulation du flux de réfrigérants dans les serveurs HPC utilisant Ansys Fluent est une méthode d'ingénierie mature, puissante et nécessaire. De la compréhension des modèles fondamentaux de débit d'air à la modélisation complexe de refroidissement liquide biphasé, Fluent fournit la fidélité et la flexibilité nécessaires pour optimiser les performances thermiques. En suivant un workflow structuré – création de géométrie, maillage de haute qualité, conditions de bordure correctes, modélisation de turbulence appropriée et post-traitement approfondi – les ingénieurs peuvent concevoir des systèmes de refroidissement qui maintiennent les composants en sécurité tout en minimisant la consommation d'énergie.

Investir dans la simulation de CFD rapporte des dividendes en réduisant le coût de développement, en réduisant le temps de mise en marché et en augmentant la fiabilité.

Pour en savoir plus: ASHRAE lignes directrices thermiques pour les centres de données et Ansys blog sur les meilleures pratiques de refroidissement électronique.