La Fibre
Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => 
OVHcloud => Discussion démarrée par: letsar le 14 octobre 2022 à 19:19:16
-
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_1.webp)
Le lien de l'article : https://blog.ovhcloud.com/new-hybrid-immersion-liquid-cooling-developments-at-ovhcloud/
-
Trés intéressant, voici l'article sur la technologie Hybrid Immersion Liquid Cooling d'OVH
J'ai réalisé une traduction du blog d'OVH https://blog.ovhcloud.com/new-hybrid-immersion-liquid-cooling-developments-at-ovhcloud/ du 13 octobre 2022 + proposé les images en haute résolution
Si vous y réfléchissez, l'architecture actuelle des centres de données n'a pas fondamentalement changé au cours des dernières décennies en matière de refroidissement. Bien que la puissance de calcul et l'efficacité se soient remarquablement améliorées au fil des ans, les centres de données reposent toujours sur des racks dont le refroidissement dépend de divers systèmes souvent composés de ventilateurs. La chaleur et plus particulièrement la chaleur mortelle reste une préoccupation majeure pour maintenir les serveurs opérationnels. Alors que certains DC ont opté pour des solutions gourmandes en énergie comme la climatisation (détente directe), d'autres ont une approche free cooling.
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_6.webp)
Chez OVHcloud, nous avons été les pionniers du free cooling en utilisant le refroidissement par eau à grande échelle pour refroidir nos serveurs depuis 2003. Cette approche unique nous a aidés à établir des normes élevées en matière d'indices PUE/WUE pour nos centres de données mondiaux tout en réduisant notre impact carbone global.
Avec l'évolution de la puissance des équipements informatiques, la R&D d'OVHcloud a travaillé sur une nouvelle génération de solution de refroidissement des datacenters. L'une des technologies les plus prometteuses aujourd'hui est le refroidissement par immersion grâce au contact direct du fluide avec les composants matériels. Il permet de construire des centres de données partout dans le monde en maintenant des indices PUE/WUE bas même dans des zones climatiques difficiles.
Dans cet article de blog, nous expliquerons comment nous avons développé notre propre race de refroidissement par immersion pour atteindre plusieurs objectifs, allant de l'amélioration de l'empreinte du centre de données à la réduction de la consommation d'énergie pour s'adapter aux nouvelles conditions de fonctionnement et améliorer la fiabilité globale.
-
Refroidissement liquide par immersion hybride OVHcloud
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_2.webp)
Le refroidissement par immersion est la pratique consistant à immerger des appareils électroniques dans un liquide thermiquement et non électriquement conducteur.
La solution typique de refroidissement par immersion utilise généralement des pompes, des structures de dissipateurs de chaleur, des échangeurs de chaleur, des condenseurs, des équipements d'évaporation scellés, etc. qui consomment de grandes quantités d'énergie pour fonctionner, nécessitent des boîtiers scellés ou occupent des surfaces relativement importantes qui limitent le nombre de serveurs qui peut être mis en œuvre.
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_3.webp)
OVHcloud a développé sa propre technique Hybrid Immersion Liquid Cooling. Il est composé d'un système de refroidissement par eau direct sur les copeaux et d'un système de refroidissement par immersion monophasé naturel passif contenant deux fluides :
- Eau : refroidissement d'un dissipateur thermique à travers des blocs d'eau disposés sur les CPU et GPU avec la même solution utilisée dans tous les serveurs OVHcloud aujourd'hui et une bobien de convection serpentine propriétaire connectée à une sous-station de pompage (PSS) et un refroidisseur sec pour évacuer la chaleur à l'extérieur du DC,
- Fluide Immersion Cooling (IC) : le fluide est contenu dans un réservoir et refroidit tous les équipements informatiques du serveur et pas seulement les CPU et GPU ; ce fluide remplace essentiellement l'air circulant dans les serveurs OVHcloud améliorant ainsi l'efficacité de tout composant non refroidi par le système de watercooling OVHcloud.
Il est livré avec une nouvelle conception de rack de serveurs à 3 étages, au format bibliothèque, que nous pouvons équiper jusqu'à 48 serveurs (1U) ou 24 serveurs (2U), au format livre. Chaque serveur est immergé dans son propre réservoir pour un refroidissement indépendant permettant des déploiements à grande échelle. De plus, chaque serveur bénéficie d'un système de surveillance spécifique de tous les facteurs environnementaux garantissant un fonctionnement sûr et sécurisé au niveau du serveur.
-
Avantages en termes de consommation d'énergie et d'efficacité
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_4.webp)
La technique OVHcloud Hybrid Immersion Liquid Cooling présente plusieurs avantages qui en font une solution efficace :
- La nouvelle conception de rack passif signifie qu'il n'y a ni pompes ni ventilateurs, ce qui entraîne une consommation électrique de refroidissement nulle au niveau du rack,
- Les racks haute puissance peuvent fonctionner avec des températures d'entrée du centre de données allant jusqu'à 45 °C, ce qui permet différentes charges de refroidissement dans différentes conditions climatiques,
- Reste économe en énergie en utilisant le free cooling disponible sur place,
- La consommation électrique et les CAPEX sont encore réduits grâce à l'élimination du système de refroidissement par évaporation (sans pompes) utilisé sur les aéroréfrigérants pour les centres de données situés dans des zones où les températures climatiques ambiantes de l'air sont inférieures à 43 °C,
- La différence entre la température fournie et récupérée de l'eau DC (DT) de 20K peut être obtenue grâce à des plaques froides CPU et GPU très efficaces et à une grande surface de contact thermique entre la serpentine et le fluide diélectrique. La conception serpentine en attente de brevet occupe une très petite zone dans le châssis du serveur, maximisant l'espace pour les composants,
- La consommation électrique globale de l'infrastructure de refroidissement du centre de données est réduite d'au moins 20,7 % par rapport au système de refroidissement par eau d'OVHcloud,
- La consommation énergétique d'un serveur par an est réduite d'au moins 20 % par rapport aux serveurs refroidis par air et de 7 % par rapport aux serveurs refroidis par eau,
- Une consommation d'énergie réduite signifie des dépenses d'exploitation réduites (OPEX),
Enfin, dans un contexte de TDP (Thermal Design Power) CPU/GPU toujours plus important, la solution supporte une densité de puissance de calcul plus élevée.
-
Nouvelle génération de Data Center
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_5.webp)
Notre nouvelle approche de refroidissement hybride avec immersion dans du liquide se distingue par plusieurs avantages clés pour les opérateurs de centres de données :
- Une empreinte réelle allant jusqu'à 37U/m2 peut être garantie sans systèmes de pompage et de condenseurs supplémentaires. La conception est évolutive jusqu'à deux ou trois fois son encombrement si des racks de refroidissement par immersion sont installés dans des conteneurs maritimes empilés,
- Sans étanchéité requise, ni échangeurs de chaleur et circuits de pompage sophistiqués, les dépenses d'investissement (CAPEX) restent faibles,
- Avec une température de sortie du centre de données de 65 °C, la chaleur fatale est mieux captée et des systèmes de récupération de chaleur abordables peuvent être envisagés,
- Plus de flexibilité et de liberté de conception chez OVHcloud, où le nouveau design de rack proposé nécessite un accès par la face avant contrairement aux racks classiques nécessitant un accès à la fois par la face avant et par la face arrière.
-
Redéfinir les centres de données
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_6.webp)
Avec une telle nouvelle technique qui change la donne, les indicateurs de performance habituels des centres de données évoluent de manière spectaculaire.
Améliorer le PPUE [1] à 1,004 : le PPUE ou l'efficacité partielle de l'utilisation de l'énergie définit une certaine partie du PUE global d'un DC dans une limite clairement définie. Le PUE de refroidissement de l'infrastructure est le suivant :
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_8.webp)
[1] : le PPUE, Partiel PUE est utilisé à la place du PUE. On s'attend à ce que le PUE global s'améliore selon une approche similaire qui inclut la puissance perdue dans le système de distribution d'énergie [Plus de détails sur le PPUE et le PUE ici (https://www.sciencedirect.com/science/article/abs/pii/S1359431122006779)]. Conformément à ses engagements de transparence, OVHcloud communiquera les valeurs PUE lors de la collecte de données significatives à long terme sur une base géographique spécifique.
Réduire la WUE à 0 pour les centres de données situés dans des zones où les températures climatiques de l'air ambiant sont inférieures à 43 °C : la WUE ou l'efficacité de l'utilisation de l'eau est une mesure de durabilité permettant de mesurer la quantité d'eau utilisée par les DC pour refroidir les équipements informatiques. La consommation annuelle d'eau du site comprend l'eau utilisée pour l'humidification et l'eau évaporée sur site pour la production d'énergie ou le refroidissement du DC et de ses systèmes de support. Il est défini comme suit :
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_9.webp)
-
Considérations environnementales
La technique Hybrid Immersion Liquid Cooling repose sur un fluide hydrocarbure diélectrique non volatil. La R&D d'OVHcloud a testé et qualifié le système avec une variété de fluides du marché. Bien que chaque fluide ait des propriétés différentes, nous avons porté une attention particulière à leur conformité aux considérations suivantes :
- Non corrosif
- Vaporisation ultra-faible
- Non toxique
- Non allergène
- Biodégradabilité en 30 jours
- Point éclair très élevé
- Rigidité diélectrique jusqu'à 42 kV
- GWP [2] =0
- ODP [3] =0
[2] : GWP signifie Global Warming Potential. Le fluide ne contribue pas au réchauffement climatique contrairement à la plupart des fluides gaz/liquide utilisés dans les technologies de refroidissement.
[3] : ODP signifie Ozone Depletion Potential. Le fluide ne contribue pas à l'appauvrissement de la couche d'ozone contrairement à la plupart des fluides gaz/liquide utilisés dans les technologies de refroidissement.
Technologie de watercooling utilisé par OVH depuis 2003 :
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_7a.webp)
Changements opérationnels au sein du centre de données
La nouvelle conception de rack au format bibliothèque à 3 étages est optimisée pour une haute densité de serveurs et accessoirement une puissance de calcul par mètre carré (U/m 2 ). Il pourrait être équipé d'un guidage manuel/automatisé pour extraire les serveurs, réduisant ainsi l'impact de la maintenance d'un serveur sur l'ensemble du rack.
La nouvelle technique Hybrid Immersion Liquid Cooling améliore également la fiabilité en réduisant le taux de défaillance jusqu'à 60 % en éliminant le risque de circulation de poussière. Il contribue à un DC silencieux avec la suppression de tout ventilateur au niveau du rack et du serveur. Enfin, plusieurs équipements ne sont plus nécessaires :
- Pas d'échangeurs de chaleur attachés aux racks (3 échangeurs de chaleur sont supprimés par rack),
- 36 ventilateurs habituellement installés par rack sont éliminés
- Tous les petits ventilateurs à l'intérieur des serveurs sont éliminés
- Les modules de refroidissement composés de pompes et d'échangeurs de chaleur à plaques sont éliminés
Technologie Hybrid Immersion Liquid Cooling testée depuis 2022 :
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_7b.webp)
(https://lafibre.info/images/ovh/202210_refroidissement_hybride_immersion_dans_du_liquide_7.webp)
Et après ?
Le nouveau refroidissement liquide par immersion hybride d'OVHcloud ouvre la voie à une puissance de calcul sans vergogne accrue dans les centres de données modernes grâce à une conception optimisée unique en instance de brevet qui reste durable tout en préservant la possibilité de valoriser la chaleur fatale due à des températures de fonctionnement plus élevées. De plus, une consommation d'énergie et d'eau réduite, ainsi qu'une empreinte écologique améliorée peuvent être obtenues avec l'avantage de s'adapter aux régions aux conditions climatiques difficiles. Nous sommes incroyablement enthousiasmés par les tout premiers cas d'utilisation du refroidissement liquide par immersion hybride dans les domaines de la recherche bancaire, médicale et scientifique, sans oublier les charges de travail de jeu. Nous avons hâte de partager plus avec vous à l'avenir.
Article publié sur le blog d'OVH le 13 octobre 2022 ( https://blog.ovhcloud.com/new-hybrid-immersion-liquid-cooling-developments-at-ovhcloud/ ) et traduit par Vivien
Article original réalisé par :
- Ali Chehadé Responsable R&D-Cooling chez OVHcloud
Ali Chehade est docteur ingénieur en mécanique des fluides et énergie thermique. Avec 12 ans d'expérience en R&D/Ingénierie, il a travaillé dans l'innovation des systèmes de refroidissement DC et des installations industrielles. Il a mené des projets portant sur leurs performances thermiques et leurs économies d'énergie et a mis en place des techniques/stratégies pour les rendre respectueuses de l'environnement. Au sein d'OVHcloud Ali, à la tête de la R&D-Cooling pendant 7 ans et entouré d'une dizaine d'ingénieurs, promeut et coordonne le développement de solutions pour améliorer la construction et la performance énergétique des DC.
- Mohamed Hnayno Ingénieur R&D chez OVHcloud
Mohamad est ingénieur R&D au département de refroidissement d'OVHcloud et doctorant en Thermique et Énergie à l'université de Reims Champagne-Ardenne-France. Il est titulaire d'un Master 2 en Mécanique Computationnelle et d'un Diplôme d'Ingénieur spécialité : Énergie.
Mohamad a une formation en R&D et en ingénierie, ce qui lui a donné l'opportunité d'exécuter des projets vitaux dans plusieurs technologies au cours de solides années d'expérience pratique. Ses domaines d'expertise comprennent les processus de transfert de chaleur, les composants matériels et logiciels, les produits industriels, les systèmes de refroidissement électroniques, les performances thermiques des centres de données et l'analyse des économies d'énergie.
- Julien Jay Responsable Communication et Relations Publiques chez OVHcloud
Julien est Responsable Communication et Relations Publiques chez OVHcloud. Avec plusieurs années d'expérience dans les relations publiques, Julien est un passionné de technologie de longue date et un ancien journaliste professionnel de la technologie. Avec plus de 20 ans d'expérience dans l'industrie informatique, il a vécu sa part de cycles informatiques, dirigé diverses équipes et rédigé de nombreux articles. Ses domaines d'expertise incluent les composants matériels et logiciels.
-
C'est très innovant, en effet. Difficile de savoir si c'est juste une expérimentation pour le fun (comme souvent avec OVH), ou s'il y a vraiment une idée de déploiement massif derrière.
S'ils font vraiment des salles entières avec ça, sans aucun ventilateur, ni aucun disque dur, ça doit être surprenant en terme de bruit.
Pour beaucoup d'entre nous, un datacenter, c'est caractérisé par le bruit strident des milliers de ventilateurs répartis dans des centaines de machines.
Là, il y aura sans doute le bruit des pompes, mais c'est très différent.
Il y a un autre sujet de fond à discuter avec le watercooling à la OVH. Est-ce que leur architecture de watercooling permet d'obtenir des serveurs de très haute disponibilité? En cas de problème sur le circuit du serveur, le serveur tombe. Contrairement à un serveur "air cooling" haute disponibilité, avec des ventilateurs redondants, avec climatisations (ou freecooling) redondants, etc...
J'aimerais bien savoir comment ça se traduit en terme de statistiques dans la pratique. OVH doit avoir les chiffres, mais ils ne seront jamais publics.
Leon.
-
Cela tournerait en Alpha depuis de nombreux mois selon le tweet d'Octave Klaba en juin 2022 : https://twitter.com/olesovhcom/status/1532802094662664193
J'imagine qu'il y a de nombreux détails à corriger / améliorer avant de passer à l'échelle industrielle.
-
J'imagine qu'il y a de nombreux détails à corriger / améliorer avant de passer à l'échelle industrielle.
Au delà des trucs à corriger... il faut voir si ça a un intérêt réel, par rapport à du freecooling ou du watercooling classique.
C'est quand même une grosse complication de l'infrastructure. Grosses contraintes. Les opérations d'installation et de maintenance deviennent beaucoup plus complexes.
Bref, est-ce que le jeu en vaut la chandelle?
Donc il est tout à fait possible que ça ne soit jamais industrialisé à grande échelle chez OVH, après cette phase de test.
Leon.
-
Il se passe quoi, s'il y a une fuite de liquide ?
-
Chaque serveur a son liquide et c'est l'eau dans le serpentent qui transporte les calories, donc cela limite les risques.
J'ai toutefois un doute sur le fait que le serpentin tout à gauche arrive à bien refroidir les alimentations électriques qui génèrent pas mal de calories et qui sont tout à droite.
-
Il se passe quoi, s'il y a une fuite de liquide ?
il y a 2 liquides
* Le liquide dans lequel baigne le serveur, c'est très certainement de l'huile minérale. Donc électriquement isolante. S'il y a fuite et que le bac se vide, le serveur va surchauffer (vu qu'aucune circulation d'air n'est possible) voire probablement s'arrêter. J'espère qu'ils prévoient une protection (coupure automatique) pour ce genre de cas.
* Le liquide de refroidissement, qui circule dans les tuyaux, c'est sans doute de l'eau déminéralisée avec additifs. Comme OVH a l'habitude de le faire. Là, si ça fuit, c'est la grosse merde. (cf https://lafibre.info/ovh-datacenter/ovh-incident-majeur-du-au-watercooling/ ). D'autant que les techniciens de maintenance n'ont pas le droit d'intervenir sur un serveur humide et sous tension dangereuse (220V).
Leon.
-
il y a 2 liquides
* Le liquide dans lequel baigne le serveur, c'est très certainement de l'huile minérale. Donc électriquement isolante. S'il y a fuite et que le bac se vide, le serveur va surchauffer (vu qu'aucune circulation d'air n'est possible) voire probablement s'arrêter. J'espère qu'ils prévoient une protection (coupure automatique) pour ce genre de cas.
* Le liquide de refroidissement, qui circule dans les tuyaux, c'est sans doute de l'eau déminéralisée avec additifs. Comme OVH a l'habitude de le faire. Là, si ça fuit, c'est la grosse merde. (cf https://lafibre.info/ovh-datacenter/ovh-incident-majeur-du-au-watercooling/ ). D'autant que les techniciens de maintenance n'ont pas le droit d'intervenir sur un serveur humide et sous tension dangereuse (220V).
Leon.
Cela me fais penser à certains transformateurs de moyenne tension, ou il fallait régulièrement changer l'huile, je ne sais pas si cela existe toujours.
J'ai jamais été très fan de faire passer des liquides à proximité électrique.
Il y en a qui aiment le risque, et en plus le vendre comme une avancée technologique.
-
Il n'y a souvent pas le choix.
Ex turbo alternateur 1500MW à refroidir.
https://www.directindustry.fr/prod/shanghai-electric-heavy-machinery-co-ltd/product-230196-2384684.html#
Water-hydrogen-hydrogen, full-hydrogen cooling, dual water internal cooling, air cooling
-
Comme OVH a l'habitude de le faire. Là, si ça fuit, c'est la grosse merde. (cf https://lafibre.info/ovh-datacenter/ovh-incident-majeur-du-au-watercooling/ ). D'autant que les techniciens de maintenance n'ont pas le droit d'intervenir sur un serveur humide et sous tension dangereuse (220V).
depuis 2017 ça a quand même bien changé dans les nouveaux dc / rack
l'installation est bien plus clean maintenant (il y a toujours des incidents de temps en temps ;) )
le truc avec OVH c'est qu'il ne faut pas considérer ton serveur comme un truc pouvant résister à n'importe quoi mais plus comme un truc semi jetable.
si tu pars de ce principe en ayant des serveurs sur plusieurs DC tu as très peu de risques de te retrouver coupé et d'avoir des pertes de données (hormis les pannes réseau)
ça tombe bien généralement le prix des offres permets de le faire pour pas trop cher
exemple entre jaguar network et ovh:
chez JN tu pourras te payer 1 site actif avec une sauvegarde externalisée
quand chez OVH tu pourras te payer 2 sites actifs avec sauvegarde sur un 3ème site.
-
Cela me fais penser à certains transformateurs de moyenne tension, ou il fallait régulièrement changer l'huile, je ne sais pas si cela existe toujours.
La joyeuse époque du pyralène !
-
c'est leurs réponses pour améliorer la gestion incendie dans leurs DC?
-
c'est leurs réponses pour améliorer la gestion incendie dans leurs DC?
Cela n'a pas de rapport...
-
La technologie Hybrid Immersion Liquid Cooling d'OVH a été évoquée lors de la Keynote de l'événement OVH "Very Tech Trip 2023" :
https://lafibre.info/videos/datacenter/202302_ovh_very_tech_trip_refroidissement_et_inovations.mp4
-
Comparaison avec le refroidissement liquide du supercalculateur Jean-Zay du CNRS : l'eau tiède sort à 36°c
(https://lafibre.info/images/datacenter/202303_cnrs_jean_zay_supercalculateur_eco-responsable_1.webp)
(https://lafibre.info/images/datacenter/202303_cnrs_jean_zay_supercalculateur_eco-responsable_2.webp)
Crédit photo : Rafael Mederios
(https://lafibre.info/images/datacenter/202303_cnrs_jean_zay_supercalculateur_eco-responsable_3.webp)
(https://lafibre.info/images/datacenter/202303_cnrs_jean_zay_supercalculateur_eco-responsable_5.webp)
Crédit photo : Rafael Mederios
Schéma simplifié des systèmes de refroidissement du supercalculateur Jean-Zay :
(https://lafibre.info/images/datacenter/202303_cnrs_jean_zay_supercalculateur_eco-responsable_4.webp)
Crédit photo : Rafael Mederios
Source : PDF du CNRS - Rafael Mederios (cliquez sur la miniature ci-dessous - le document est au format PDF)
(https://lafibre.info/images/datacenter/202303_cnrs_jean_zay_supercalculateur_eco-responsable.webp) (https://lafibre.info/images/datacenter/202303_cnrs_jean_zay_supercalculateur_eco-responsable.pdf)
-
Excellent ce document, merci !