De kritische rol van de koelstroomanalyse bij het berekenen van hoge prestaties

High-performance computing (HPC) servers zijn de ruggengraat van modern wetenschappelijk onderzoek, AI-training, financiële modellering en grootschalige data-analyses. Deze systemen verpakken duizenden processoren, GPU's en geheugenmodules in dichte racks, waardoor enorme warmtebelasting wordt gegenereerd die vaak meer dan 30 kW per rack bedraagt. Zonder efficiënt thermisch beheer, componenten degraderen, prestatie gasstoten en storingen skyracket. Traditionele luchtkoeling bereikt zijn grenzen als vermogensklommen, waardoor vloeibare koeling en geavanceerde luchtstroomontwerpen essentieel zijn. Computational fluid dynamics (CFD) simulatie, met name met behulp van gereedschappen als Ansys Fluent[, is de standaard technische aanpak geworden om koelvloeistof te voorspellen en optimaliseren.

Dit artikel onderzoekt de complete workflow van het simuleren van koelvloeistofstroom in HPC-servers met Ansys Fluent, van geometrievoorbereiding tot post-processing inzichten, en legt uit waarom CFD-gedreven ontwerp onmisbaar is voor datacenters van de volgende generatie.

De thermische uitdaging in moderne HPC-servers

Moderne CPU's en GPU's kunnen elk 300

  • Hotspot vorming: Oneven luchtstroom als gevolg van component plaatsing, kabelobstructies, of ventilatoruitval leidt tot lokale temperaturen die de veilige grenzen overschrijden.
  • Drukdruppels: Strakke ruimten en koelputten zorgen voor weerstand, waardoor de koelvloeistofstroom naar downstreamcomponenten wordt verminderd.
  • Geluid en energiestraffen: De ventilatoren die hoge snelheden hebben om een slechte luchtstroom te compenseren verbruiken aanzienlijke stroom tot 15% van de totale datacenterenergie.
  • Koolse selectie: Lucht, water, diëlektrische vloeistoffen of tweefasen koelmiddelen hebben elk unieke thermische eigenschappen en stromingskenmerken die nauwkeurig moeten worden gemodelleerd.

Fysische prototypering van elke ontwerpiteratie is duur en tijdrovend. CFD simulatie maakt een snelle, goedkope evaluatie van tientallen configuraties mogelijk voordat hardware wordt gebouwd.

Waarom Ansys Fluent voor HPC Coolant Simulatie?

Ansys Fluent is een van de meest geaccepteerde CFD-oplossers in de industrie en de academische wereld.

  • Comprehensive physics models: Turbulente stroom, warmteoverdracht (conductie, convectie, straling), multifasestroom en vloeistof-structuur interactie.
  • Parallelle rekenmogelijkheden: Schaalt efficiënt over meerdere kernen/GPU's, cruciaal voor grote servermodellen met miljoenen cellen.
  • Integratie met CAD: Importeert gedetailleerde geometrieën van SolidWorks, Creo, of andere gereedschappen, met behoud van complexe kenmerken zoals vin arrays en ventilatorbladen.
  • Robuuste mesh-generatie: Ondersteunt gestructureerde, ongestructureerde en polyhedraal mazen met lokale verfijning voor grenslagen.

Voor HPC-koeling wordt Fluent gebruikt om zowel luchtgekoelde systemen (geforceerde convectie over koelbakken) als vloeistofgekoelde oplossingen (koude platen, dompeltanks of pomplussen) te simuleren.

De simulatie-workflow: Stap voor stap

1. Geometrie Creatie en vereenvoudiging

De simulatie begint met een 3D CAD model van het server chassis, inclusief moederborden, CPU's, GPU's, koelbakken, ventilatoren en kanaal. Echter, een volledig detail model kan computeronderbrekend zijn.

  • Vereenvoudig kleine functies: schroeven, schaatsen en kabels die geen significante invloed hebben op de luchtstroom.
  • Vertoning van warmteputten als poreuze media of gedetailleerde vin arrays afhankelijk van de gewenste nauwkeurigheid.
  • Gebruik symmetrievlakken wanneer de serverindeling repetitief is (bijv. meerdere identieke slots).

Pro tip: Voor vloeistofgekoelde systemen, modelleer de koude plaatkanalen en het vaste blok van de warmtebron afzonderlijk, waarbij de juiste thermische voordelen worden toegekend.

2. De strategie van de Messing

Meshing verdeelt de geometrie in discrete elementen (cellen) waar de stroomvergelijkingen worden opgelost. Een kwaliteitsmaas is cruciaal voor nauwkeurige resultaten. Gemeenschappelijke benaderingen in HPC-koelsimulaties:

  • Ongestructureerde tetrahedrale mesh: Snel te genereren voor complexe geometrieën, maar vereist veel cellen voor grenslaagresolutie.
  • Polyhedral mesh: Biedt een goede afweging tussen celtelling en nauwkeurigheid; Fluent... de inheemse polyhedral conversie kan het aantal cellen met 3
  • Prismlagen: Aan vaste wanden bevestigd om de viskeuze sublaag (y+ ~1) te vangen, essentieel voor het nauwkeurig voorspellen van warmteoverdrachtscoëfficiënten.
  • Mesh onafhankelijkheidsonderzoek: Start simulaties op geleidelijk fijnere mazen totdat belangrijke uitgangen (drukdaling, maximale temperatuur) minder dan 2% veranderen.

Een typische server-niveau simulatie maakt gebruik van 5

3. Grenzen en materiële eigenschappen

Het instellen van correcte grensvoorwaarden (BC's) is van vitaal belang. Voor een luchtgekoelde server zijn typische BC's onder meer:

  • Inlaat: Snelheid of massadebiet op basis van ventilatorspecificaties, met turbulentieintensiteit (bv. 5%) en hydraulische diameter.
  • Uitlaat: Drukuitlaat bij omgevingsomstandigheden (grootdruk = 0 Pa of een kleine negatieve waarde om uitlaat te simuleren).
  • Heatbronnen: Volumetrische warmteopwekking (W/m3) of vaste temperatuur voor chips. Gebruik de fabrikant maximale junctietemperatuur (bv. 85°C voor CPU's).
  • Wallen: Geen sliptoestand; geconjugeerde warmteoverdracht door vaste componenten (warmtespoelbakbasis, chassis).
  • Fanzones: Model als momentumbronnen of gedetailleerde roterende gebieden (MRF of glijdende mazen).

Materiaaleigenschappen (dichtheid, specifieke warmte, thermische geleidbaarheid, viscositeit) moeten temperatuurafhankelijk zijn voor gassen zoals lucht; Vloeibaar en oncompressibel ideale gaswet is geschikt voor lage Mach nummers.

4. Oplossende instellingen en Turbulentie Modellering

De stroom binnen servers is turbulent (Re > 104 in de meeste regio's). De Fluent biedt verschillende turbulentiemodellen; de meest gebruikte voor HPC koeling zijn:

  • k-epsilon (standaard of realiseerbaar): Robuust en computationeel economisch; goed voor kernstroomgebieden maar kan de warmteoverdracht nabij muren onderschatten.
  • k-omega SST: Mengt k-omega in de buurt van muren en k-epsilon in freestream; aanbevolen voor nauwkeurige warmteoverdracht voorspellingen in complexe geometrieën.
  • Transition SST: Nuttig voor stromen met een laminaire turbulente overgang, zoals rond de koelvinnen.

Voor steady-state simulaties, gebruik de druk-gebaseerde oplosmachine met SIMPLE of gekoppelde algoritme. Schakel de energievergelijking voor warmteoverdracht. Onder-ontspannen factoren (onvertaald) stabiliseren convergentie. Monitor reststoffen (continuïteit, momentum, energie) en belangrijke punt temperaturen om convergentie te beoordelen (meestal 1e-4 voor continuïteit, 1e-6 voor energie).

5. Post-Processing en interpretatie

Na convergentie genereert Fluent zijn post-processing tools (of CFD-Post) inzichten:

  • Contourploegen: Temperatuur op vaste oppervlakken en interne vlakken identificeren hotspots.
  • Veelocity vectors/streamlines: Visualiseer stroomrecirculatie, bypass en dode zones.
  • Druk drop rapporten: Over het chassis, de koelbak, of filter.
  • Verdeelcoëfficiënt voor de overdracht van de warmte: Op de oppervlakte van de warmteput om de efficiëntie van de vin te beoordelen.
  • Flow rate distributie: Tussen parallelle kanalen (CPU/GPU slots) om onbalans te detecteren.

Voorbeeld van inzicht: Een algemene bevinding in serversimulaties is dat upstream componenten overvloedige luchtstroom ontvangen, terwijl downstream slots verhongeren. Ingenieurs kunnen dan ventilatorcurves aanpassen, baffles toevoegen of kanaalgeometrie herontwerpen om de stroom in balans te brengen.

Geavanceerde onderwerpen in HPC-koelerimulatie

Vloeistofkoeling en tweefasestroom

Naarmate luchtkoeling zijn praktische limiet bereikt (ongeveer 40

  • Kouden platen: Vermeng warmteoverdracht tussen het koelvloeistof (water/glycol) en de koellichaambasis; geconjugeerde oplossing koppelt vaste en vloeibare gebieden.
  • Immersiekoeling: Diëlektrische vloeistof in een tank; multifasemodellen (VOF) simuleren vloeistofbeweging en luchtbelvorming als er kokend water optreedt.
  • Tweefasekoeling: Faseverandering (verdamping/condensatie) verbetert de warmteoverdracht. Vloeiende verdampingscondensatiemodellen (Lee-model) voorspellen dampproductie- en drukveranderingen. Vereist een zorgvuldige validatie tegen experimentele gegevens.

Deze simulaties vereisen fijnere mazen (grenslagen in vloeibare kanalen), temperatuurafhankelijke vloeistofeigenschappen (viscositeit, latente warmte) en vaak voorbijgaande oplossers om thermische instabiliteit vast te leggen.

Meshing Best Practices voor hittebakken

Warmteputten zijn vaak het meest geometrische complexe deel van de server. Voor nauwkeurige thermische simulatie:

  • Finresolutie: Gebruik ten minste 3
  • Verbindingswarmteoverdracht: Mesh vaste vinnen en basis met een afzonderlijke vaste zone; koppel aan de interface (geen thermische weerstand tenzij een TIM is gemodelleerd).
  • Pooreuze media benadering: Voor grote arrays (bv. pinvinnen) kunt u de warmte spoelbak modelleren als een poreuze zone met gekalibreerde traagheids- en viskeuze weerstanden, en een volumetrische warmtebron. Dit vermindert het aantal mazen maar verliest lokale detail. Beste voor vroege ontwerp exploratie.

Validatie en experimentele concordantietabel

De resultaten van CFD's moeten worden gevalideerd aan de hand van fysieke metingen.

  • Vergelijk voorspelde drukdaling vs. gemeten gegevens met bekende stroomsnelheden.
  • Plaats thermokoppels op belangrijke componenten en vergelijk steady-state knooppunt temperaturen.
  • Deeltjesbeeldvelocimetrie (PIV) of hot-wire anemometrie kunnen stroompatronen valideren, hoewel zelden gebruikt bij de productie.
  • Iterate on maas and turbulentie model totdat de overeenkomst binnen 5

Externe bron: Ansys Fluent officiële productpagina omvat casestudies en validatievoorbeelden voor elektronicakoeling.

Voordelen van CFD-imulatie voor HPC-koelteams

Het aannemen van een simulatiegestuurd ontwerpproces voor koelvloeistofstroom levert meetbare voordelen op:

  • Kosten en tijdbesparing: Verminder fysieke prototypes met 50
  • Prestatieoptimalisatie: Fine-tune ventilatorsnelheden, kanaalgeometrie en koelvloeistofdebieten om de componenttemperaturen met 5
  • Energie-efficiëntie: De luchtstroom optimaliseren vermindert het stroomverbruik van ventilatoren; simulaties voor vloeibare koeling helpen het pompvermogen te minimaliseren en veilige temperaturen te handhaven.
  • Betrouwbaarheidsvoorspelling: Identificeer de vroege uitvalmodi zoals koelvloeistofhonger, condensatierisico of thermische fietsmoeheid.
  • Schaalbaarheidsanalyse: Simuleer volledige luchtstroom van het rek of de datahal om te garanderen dat koeling op ruimteniveau goed met server-niveaustromen interageert.

Voor datacenters die op PUE onder 1.2 zijn gericht, is [51] met name het gebruik van gereedschappen zoals Ansys Fluent .

Vaak Pitfalls en hoe ze te vermijden

Zelfs met een robuuste toolset kunnen fouten de resultaten ondermijnen. Kijk naar deze problemen:

  • Te grof met warmteputten: Ondergedoken grenslagen overvoorspellen de knooppunttemperaturen. Voer altijd een maasonafhankelijkheidsonderzoek uit.
  • Ontwrichtmodellen die worden gebruikt voor het verwijderen van turbulenties: Met behulp van standaard k-epsilon in een overgangsstroom (bv. over platte vinnen) kan onjuiste warmteoverdracht worden gegeven. Prefereer k-omega SST voor wandgebonden stromen.
  • Neglecterende straling: Voor natuurlijke convectie of laagsnelheidsgeforceerde convectie kan stralingswarmteoverdracht significant zijn. Schakel het discrete ordinaten (DO) of oppervlakte-aan-oppervlakte (S2S) model in.
  • Onjuiste materiaaleigenschappen: Luchtviscositeit en geleidbaarheidsverandering met temperatuur; gebruik altijd temperatuurafhankelijke curven.
  • Als uniforme warmteflux wordt aangenomen: Echte processoren hebben dynamische vermogenskaarten. Voor een hogere nauwkeurigheid, importeer chip-niveau powermaps (bijv. van Intel of AMD-gereedschappen) als volumetrische bronnen.

Real-World Application Example: Het optimaliseren van de luchtstroom in een 1U-server

Beschouw een 1U rack server met vier GPU kaarten, elk tekening 300 W. Initiële ontwerp geplaatst twee 40 mm ventilatoren aan de achterzijde. Simulatie in Ansys Fluent bleek dat de voorkant GPU's bereikt 95°C terwijl de achter GPU's waren op 75°C. De snelheid stroomlijnen toonde dat lucht soepel ingevoerd, maar vervolgens gescheiden achter de mid-chassis ondersteuning beugel, waardoor een recirculatie zone over de achterkant GPU's.

Door het toevoegen van een eenvoudige kunststof kanaal omleidstroom en het verhogen van de achterventilator snelheid met slechts 10%, de achter GPU maximale temperatuur daalde tot 82 °C zonder wijziging van de chassis voetafdruk. De simulatie werd gevalideerd met een fysiek prototype, met een 6 °C correlatiefout. Het bedrijf bespaarde drie weken ontwerp iteraties.

Externe referentie: Ansys resource library bevat veel van dergelijke applicatie notes voor elektronicakoeling.

De volgende grens in HPC koelvloeistof simulatie omvat koppeling Ansys Fluent met machine learning. Verminderde-order modellen (ROMs) getraind op high-fidelity CFD data kunnen thermisch gedrag in real-time voorspellen, waardoor digitale tweelingen van server racks. Dit maakt dynamische ventilator / pomp controle op basis van de werkelijke werklast. Bovendien, GPU-versnelde CFD (Ansys Fluent op NVIDIA GPU's) is het verkorten van de simulatie doorlooptijden van uren naar minuten.

Als datacenters naar 100 kW per rek duwen, zal de behoefte aan nauwkeurige, snelle koelvloeistofstroomsimulatie alleen maar toenemen. Engineers die deze vaardigheden beheersen zullen een belangrijke bijdrage leveren aan het ontwerpen van de duurzame high-performance computerinfrastructuur van het komende decennium.

Conclusie

Het simuleren van de stroom van koelvloeistof in HPC-servers met Ansys Fluent is een volwassen, krachtige en noodzakelijke ingenieursmethodologie. Van het begrijpen van fundamentele luchtstroompatronen tot het modelleren van complexe tweefasenvloeistofkoeling, Fluent biedt de trouw en flexibiliteit die nodig zijn om de thermische prestaties te optimaliseren. Door een gestructureerde workflow te volgen, hoogwaardige masse-ing, correcte grensvoorwaarden, passende turbulentiemodellering, en grondige post-processing engineers kunnen koelsystemen ontwerpen die onderdelen veilig houden terwijl het energieverbruik wordt verminderd.

Investeren in CFD simulatie betaalt dividenden in lagere ontwikkelingskosten, kortere tijd tot markt, en verhoogde betrouwbaarheid. Als de rekenkracht blijft stijgen, zo zal de warmte die het genereert; degenen die simuleren effectief zal leiden tot de weg in thermische innovatie.

Verdere lezing: ASHRAE thermische richtlijnen voor datacenters en Antwoorden blog over elektronica koeling beste praktijken.