Auteur Sujet: OVH teste un refroidissement hybride, avec immersion dans du liquide  (Lu 16264 fois)

0 Membres et 2 Invités sur ce sujet

Leon

  • Abonné Bbox fibre
  • Modérateur
  • *
  • Messages: 7 073
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #12 le: 16 octobre 2022 à 17:11:22 »
Il se passe quoi, s'il y a une fuite de liquide ?
il y a 2 liquides
* Le liquide dans lequel baigne le serveur, c'est très certainement de l'huile minérale. Donc électriquement isolante. S'il y a fuite et que le bac se vide, le serveur va surchauffer (vu qu'aucune circulation d'air n'est possible) voire probablement s'arrêter. J'espère qu'ils prévoient une protection (coupure automatique) pour ce genre de cas.
* Le liquide de refroidissement, qui circule dans les tuyaux, c'est sans doute de l'eau déminéralisée avec additifs. Comme OVH a l'habitude de le faire. Là, si ça fuit, c'est la grosse merde. (cf https://lafibre.info/ovh-datacenter/ovh-incident-majeur-du-au-watercooling/ ). D'autant que les techniciens de maintenance n'ont pas le droit d'intervenir sur un serveur humide et sous tension dangereuse (220V).

Leon.

  • Invité
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #13 le: 16 octobre 2022 à 18:17:18 »
il y a 2 liquides
* Le liquide dans lequel baigne le serveur, c'est très certainement de l'huile minérale. Donc électriquement isolante. S'il y a fuite et que le bac se vide, le serveur va surchauffer (vu qu'aucune circulation d'air n'est possible) voire probablement s'arrêter. J'espère qu'ils prévoient une protection (coupure automatique) pour ce genre de cas.
* Le liquide de refroidissement, qui circule dans les tuyaux, c'est sans doute de l'eau déminéralisée avec additifs. Comme OVH a l'habitude de le faire. Là, si ça fuit, c'est la grosse merde. (cf https://lafibre.info/ovh-datacenter/ovh-incident-majeur-du-au-watercooling/ ). D'autant que les techniciens de maintenance n'ont pas le droit d'intervenir sur un serveur humide et sous tension dangereuse (220V).

Leon.
Cela me fais penser à certains transformateurs de moyenne tension, ou il fallait régulièrement changer l'huile, je ne sais pas si cela existe toujours.
J'ai jamais été très fan de faire passer des liquides à proximité électrique.
Il y en a qui aiment le risque, et en plus le vendre comme une avancée technologique.

Steph

  • Abonné K-Net
  • *
  • Messages: 8 710
  • La Balme de Sillingy 74
    • Uptime K-net
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #14 le: 16 octobre 2022 à 19:34:06 »
Il n'y a souvent pas le choix.
Ex turbo alternateur 1500MW à refroidir.
https://www.directindustry.fr/prod/shanghai-electric-heavy-machinery-co-ltd/product-230196-2384684.html#

Water-hydrogen-hydrogen, full-hydrogen cooling, dual water internal cooling, air cooling

butler_fr

  • Client Bbox adsl
  • Modérateur
  • *
  • Messages: 3 654
  • bzh
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #15 le: 17 octobre 2022 à 10:55:06 »
Comme OVH a l'habitude de le faire. Là, si ça fuit, c'est la grosse merde. (cf https://lafibre.info/ovh-datacenter/ovh-incident-majeur-du-au-watercooling/ ). D'autant que les techniciens de maintenance n'ont pas le droit d'intervenir sur un serveur humide et sous tension dangereuse (220V).

depuis 2017 ça a quand même bien changé dans les nouveaux dc / rack
l'installation est bien plus clean maintenant (il y a toujours des incidents de temps en temps ;) )

le truc avec OVH c'est qu'il ne faut pas considérer ton serveur comme un truc pouvant résister à n'importe quoi mais plus comme un truc semi jetable.
si tu pars de ce principe en ayant des serveurs sur plusieurs DC tu as très peu de risques de te retrouver coupé et d'avoir des pertes de données (hormis les pannes réseau)

ça tombe bien généralement le prix des offres permets de le faire pour pas trop cher

exemple entre jaguar network et ovh:
chez JN tu pourras te payer 1 site actif avec une sauvegarde externalisée
quand chez OVH tu pourras te payer 2 sites actifs avec sauvegarde sur un 3ème site.

seb30

  • Abonné Free fibre
  • *
  • Messages: 269
  • Nîmes (30)
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #16 le: 17 octobre 2022 à 13:01:47 »
Cela me fais penser à certains transformateurs de moyenne tension, ou il fallait régulièrement changer l'huile, je ne sais pas si cela existe toujours.

La joyeuse époque du pyralène !

e-TE

  • Abonné Free fibre
  • *
  • Messages: 1 148
  • Déville-les-Rouen (76)
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #17 le: 08 novembre 2022 à 17:15:11 »
c'est leurs réponses pour améliorer la gestion incendie dans leurs DC?

JeannotPlanche

  • Expert Scaleway
  • Abonné Free fibre
  • *
  • Messages: 158
  • 93
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #18 le: 08 novembre 2022 à 22:29:57 »
c'est leurs réponses pour améliorer la gestion incendie dans leurs DC?

Cela n'a pas de rapport...

vivien

  • Administrateur
  • *
  • Messages: 53 333
    • Bluesky LaFibre.info
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #19 le: 02 février 2023 à 21:15:42 »
La technologie Hybrid Immersion Liquid Cooling d'OVH a été évoquée lors de la Keynote de l'événement OVH "Very Tech Trip 2023" :


vivien

  • Administrateur
  • *
  • Messages: 53 333
    • Bluesky LaFibre.info
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #20 le: 24 mai 2023 à 15:29:16 »
Comparaison avec le refroidissement liquide du supercalculateur Jean-Zay du CNRS : l'eau tiède sort à 36°c




Crédit photo : Rafael Mederios




Crédit photo : Rafael Mederios

Schéma simplifié des systèmes de refroidissement du supercalculateur Jean-Zay :

Crédit photo : Rafael Mederios

Source : PDF du CNRS - Rafael Mederios (cliquez sur la miniature ci-dessous - le document est au format PDF)

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 13 492
  • Thoissey (01)
    • Twitter
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #21 le: 24 mai 2023 à 15:44:38 »
Excellent ce document, merci !

vivien

  • Administrateur
  • *
  • Messages: 53 333
    • Bluesky LaFibre.info
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #22 le: Aujourd'hui à 14:16:09 »
Je déterre un peu ce système de refroidissement OVH qui permet de monter l'eau en température

On voit de plus en plus une montée en température des systèmes de refroidissement liquides, pour atténuer la consommation d'électricité le refroidir ou pour utiliser la chaleur fatale.

Nvidia propose que le liquide entre dans ses serveurs à une température plus élevée que la normale, à 45 °C (La plupart des autres systèmes en circuit fermé fonctionnaient autour de 32 °C en 2024, selon l’Uptime Institute, c'est le cas pour le supercalculateur Jean Zay, voir slides juste au-dessus).

La température de l'eau en sortie de serveur peur atteindre 80 °C (176 °F), ce qui permet une réutilisation via un simple échangeur dans un circuit de chaleur. Le refroidissement à 45°c est possible sans consommation d'eau.






Source : Nvidia

alain_p

  • Abonné Free fibre
  • *
  • Messages: 18 838
  • Delta S 10G-EPON sur Les Ulis (91)
OVH teste un refroidissement hybride, avec immersion dans du liquide
« Réponse #23 le: Aujourd'hui à 14:29:41 »
45°C à 80°C, pour GPU NVidia, et aussi je suppose pour Ram HBM, SSDs etc..., cela me parait beaucoup. Je suis étonné que ces composants divers résistent longtemps à une telle chaleur. Et dans les allées, cela doit être un peu infernal...

P.S : après une courte recherche, je suis tombé sur un article de blog de Nvidia là dessus :
https://blogs.nvidia.com/blog/liquid-cooling-ai-factories/

Citer
Hotter Than a Hot Tub: The 45°C Breakthrough to Cool AI’s Biggest Machines

NVIDIA’s latest AI servers can run on coolant warmer than a hot tub — and that counterintuitive choice is one of the biggest efficiency leaps in data center history.

June 21, 2026 by Josh Parker

Hot tubs sit at about 38 to 40 degrees Celsius, warm enough that most people can only soak for about 15 minutes. NVIDIA’s newest AI servers can run their cooling liquid even hotter — up to 45 degrees Celsius, or 113 degrees Fahrenheit. That higher temperature limit is precisely what makes them more energy efficient.

The Rubin generation of NVIDIA AI infrastructure is the world’s first to achieve 100% liquid cooling — every chip, every networking component, cooled entirely by liquid in a closed loop with no fans anywhere in the system. This liquid cooling methodology is outlined in the NVIDIA DSX AI factory reference design, a guide that outlines best practices to design, build and operate the entire AI factory infrastructure stack.

Although each generation offers significantly more computing power for each watt, full liquid-cooled AI compute infrastructure enables data centers to dramatically reduce cooling energy consumption — making a meaningful difference to overall data center energy use at hyperscale.

“The NVIDIA DSX reference design for AI factories has zero water consumption — we have eliminated massive amounts of power usage and pretty much all water usage,” said Ali Heydari, director of data center cooling and infrastructure at NVIDIA. “With dry-cooler-based designs, it’s a closed-loop system with no evaporative water cooling — outside of maybe 1% of the year when we might need chillers in some climates.”

Historically, cooling alone has accounted for up to 40% of a data center’s electricity consumption, making it one of the most significant areas where efficiency improvements can drive down both operational expenses and energy demands.

Industry estimates suggest that raising chiller plant temperatures by just one degree can cut cooling energy costs by about 4%. At scale, those savings add up quickly. A 50-megawatt hyperscale facility can save over $4 million annually in cooling-related energy and water costs by moving to liquid-cooled infrastructure.

In favorable climates, NVIDIA’s 45-degree liquid-cooling architecture can enable chiller-less operation with dry coolers, reducing facility cooling water consumption from roughly 2.6 million gallons per megawatt per year for conventional cooling-tower-based systems to near zero — up to a 100% reduction in water use.

The reason: traditional air-cooled data centers depend on large volumes of cooled air to remove heat from IT equipment, often requiring energy-intensive cooling infrastructure during hot weather. With NVIDIA’s 45-degree liquid cooling, heat is captured directly at the chip and transported through liquid loops operating at much higher temperatures, allowing outdoor dry coolers to reject heat efficiently for much of the year while significantly reducing mechanical cooling requirements and facility water consumption.

The data center ambient temperature is flexible — warm summer air is fine — because nothing in the server depends on cool air. The liquid does all the work — and the same liquid can be recirculated in a closed loop so no new water is consumed to cool the chips.
...
No Fans, No Cold Aisles — A Fundamentally Different Machine

Walk into a traditional data center and notice two things: the noise — cooling fans contribute to total noise levels at or above 85 decibels, loud enough to require ear protection — and the physical choreography of hot aisles and cold aisles, carefully managed to push cooled air across components.

The Rubin architecture changes the picture.

Coolant — 75% water and 25% propylene glycol — flows through cold plates that sit directly on processors, pulling heat out at the source. Running that coolant at up to 45 degrees Celsius means that in many climates, the facility loop can reject heat without turning on mechanical chillers and noisy fans.
...