Auteur Sujet: Visite du data center Scaleway DC5 (refroidissement adiabatique) (Lu 342369 fois)

vivien · « **le:** 10 janvier 2019 à 22:00:45 »

Visite du data center Scaleway DC5 (refroidissement adiabatique)

J’ai visité le data center DC5 de Scaleway (l’un des plus gros data center de France) pendant la canicule du 26 juillet 2018. C’est un data center où les serveurs sont maintenus à la même température été comme hiver sans utiliser le moindre bloc de climatisation. La technologie utilisée par DC5 est inédite eu Europe pour une telle puissance : chaque salle héberge 1,8 MW de puissance IT en très haute densité (6kw par baie en moyenne) et à terme DC5, c’est 12 salles pour une puissance maximum totale de 21,6 MW IT.

Un grand merci à Arnaud et Laurent de Scaleway pour la visite et la relecture attentive de ce reportage.

Version PDF du reportage : (cliquez sur la miniature ci-dessous - le document est au format PDF et fait 44 Mo)

C'est mon plus gros reportage jusqu'à aujourd'hui, j’inaugure une table des matières :

Table des matières

vivien · « **Réponse #1 le:** 10 janvier 2019 à 22:04:05 »

Scaleway DC5 - 1) Les différents types de « Green Data center »

Le data center DC5 de Scaleway est situé dans la zone industrielle de Saint-Ouen-l'Aumône (95), petite ville du nord-ouest de l’Île-de-France. C’est un ancien centre de tri postal qui a été racheté à bas prix par Scaleway. Comme presque tous les centres de tri postaux, il y a une antenne 4G SFR sur le site, cela ne fait exception ici et Scaleway l’a conservé. Il est probable qu’une antenne Free Mobile fasse son apparition dans le futur.

On parle souvent de « Green Data center », ce terme regroupe deux types de data center :

- Ceux qui utilisent la chaleur produite par le data center pour chauffer des logements voisins ou produire de l’eau chaude. Pour cela ils utilisent habituellement une climatisation standard et ont donc un PUE élevé.

- Ceux qui utilisent de free cooling. L’idée est d’utiliser la capacité calorifique de l’air pour refroidir.

Dans la catégorie free cooling, on distingue à nouveau deux grandes familles :

- Le Free cooling indirect, comme pour DC3. Ce n’est pas l’air extérieur qui refroidit les serveurs, mais l’air qui refroidit de l’eau qui va permettre de limiter la puissance absorbée des compresseurs des groupes frigorifiques. Il existe plusieurs types de Free cooling indirect dont certains utilisent un refroidissement adiabatique.

- Le Free cooling direct. Ici l’air extérieur rentre dans le data center pour refroidir directement les serveurs.

Cela se complique car il existe plusieurs types de data center utilisant du free cooling direct :

- Celui qui n’utilise free cooling sans aucun système pour refroidir l’air : C’est très peu cher (qualifié de « cabane au fond du jardin » par certains sur ce forum) mais, cela ne permet pas d’avoir un air frais l’été : si il fait 40°C l’été, l’air qui rentre dans les serveurs est déjà à 40°C. Pire il y a de forte variation de températures entre le jour et la nuit, ce qui dégrade la durée de vie des serveurs. Ce type de free cooling peut être associé ou non à du water cooling pour mieux refroidir les éléments les plus chauds des serveurs. Il est donc très économe en électricité, mais ne permet pas une grande fiabilité du matériel hébergé dans le temps.

- Celui qui utilise un free cooling avec un groupe frigorifique traditionnel et des automates pour avoir une température stable de l’air en entrée des serveurs. C’est le cas du data center Maxnod. Quand il fait moins de 28°C degrés extérieur c’est du free cooling, quand il fait plus de 28°C, l’air extérieur est refroidit avant d’être introduit dans le data center. L’hiver des automates récupèrent une partie de l’air du data center pour garder une température stable de 28°C. Ce type d’installation permet de garder une température stable 365 jours/an, ce qui est important pour la longévité des serveurs.

- Enfin, il y a les data center free cooling direct avec refroidissement adiabatique. Le rafraîchissement de l'air est basé sur l'évaporation de l'eau : L'air chaud et sec passe à travers un échangeur humide, ici c’est un média adiabatique. L'énergie nécessaire à l'évaporation de l'eau est extraite de l'air qui se refroidit en dissipant ses calories. Là aussi, il y a plusieurs type de data center adiabatique. Certains consomment beaucoup d’eau et ne savent pas maintenir une température stable. DC5 est la crème du data center adiabatique avec une faible consommation d’eau et une température stable de 30°C +/- 1°C dans les allées froides, tout en n’ayant pas besoin de terminaux de climatisation. Le reportage est destiné à expliquer comment Scaleway a réussi à mettre en œuvre cette technique. À noter que le refroidissement adiabatique peut ne pas bien fonctionner quand l’air chaud est très humide, ce qui est relativement peu fréquent.

Attention, à DC5 seul les salles serveurs sont refroidies par un processus adiabatique. Les locaux techniques et le local opérateurs sont refroidis par du free cooling direct avec terminaux de climatisation et groupes frigorifiques traditionnels. Mais même là Scaleway innove avec un énorme stockage de glace destiné à stocker l’énergie nécessaire au refroidissement de ces locaux. Si les serveurs fonctionnent parfaitement à 30°C, les batteries ont une durée de vie plus courte, d’où le choix de Scaleway de les maintenir à une température plus basse, à savoir 25°C +/- 2°C.

vivien · « **Réponse #2 le:** 10 janvier 2019 à 22:08:35 »

Scaleway DC5 - 2) Traitement de l’air extérieur utilisé pour le free cooling

Dans ce data center, un étage sur deux est une salle serveurs et un étage sur deux est vide, uniquement destiné à véhiculer des volumes importants d’air. L’air frais est injecté dans les allées froides des salles serveurs et l’air chaud est ensuite extrait des allées chaudes.

Les vantelles pare-pluie visibles sur la photo ci-dessous (face avant de DC5) permettent de faire passer l’air tout en évitant que l’eau de pluie et les volatiles ne pénètrent au travers.

Voici la vue intérieure de la face avant, ces espaces n’ont pas encore été aménagées, ce sont les futures tranches de DC5 : Un total de 12 salles sont prévues sur ce site (aujourd’hui une seule salle est réalisée)

DC5 est en effet constitué de 12 salles serveurs qui sont indépendantes (1,8 MW de puissance IT chacune, avec chacune ses 2 TGBT, 2 transformateurs, 2 groupes électrogènes,). La construction d’une salle serveurs, essais et commissionning compris est réalisée en 7 mois.

vivien · « **Réponse #3 le:** 10 janvier 2019 à 22:11:07 »

Voici une photo de la prise d’air pour la première salle. On note que des registres motorisés ont été rajoutés pour réguler et maintenir une température de soufflage stable en-dessous de 30°C extérieur (Plus il fait froid plus ils se ferment et inversement). À gauche, de la photo on devine les pièges à son.

Derrière sont installés des pièges à son (aussi bien pour l’air soufflé que l’air qui rejeté), qui va permettre au data center d’être très silencieux (certains ont eu des problèmes quand ils se sont installés dans une zone résidentielle – ici Scaleway a pris toutes les précautions pour respecter la réglementation en vigueur).

Voici une photo de ces pièges à son :

vivien · « **Réponse #4 le:** 10 janvier 2019 à 22:12:35 »

Des sondes pour mesurer la température et l'hygrométrie de l’air extérieur de façon à adapter le réglage des registres motorisés et médias adiabatiques sont présentes derrière ces pièges à son.

L’air passe ensuite dans une nouvelle série de volets, ici presque tous fermés.

Ces volets sont réglés précisèment pour assurer un débit d’air équivalent sur l’intégralité du mur de filtration. En effet naturellement le haut du mur a tendance à avoir un débit supérieur au bas du mur, qui demande à l’air de faire un détour.

vivien · « **Réponse #5 le:** 10 janvier 2019 à 22:15:39 »

D’immenses filtres à air industriels sont destinés à bloquer toutes les particules transportées par l’air, aussi bien poussières naturelles d'origine minérale (particules sableuses ou terreuses), les poussières d'origine végétale ou celles issues de la combustion des moteurs automobile (suies) et des activités industrielles. Ces filtres doivent être changés régulièrement.

Dans la photo ci-dessous, l’air neuf arrive par la droite. Les registres motorisés à gauche permettent la reprise de l’air chaud en provenance des allées chaudes du data center : c’est nécessaire pour garantir un air dans les allées froides qui est toujours à 30°C, quand il fait moins de 30°C à l’extérieur.

Tous ces filtres sont des filtres de classe F7, capables chacun de filtrer 3400m³/h à 65 Pa.

Les détails sont sur l’étiquette :

Voici les capacités des filtres de classe F7 :

J’ai été étonné que Scaleway n’utilise pas des préfiltres devant les filtres. Les préfiltres, moins cher, servent alors à enlever le gros des particules et permettent de changer moins fréquemment les filtres de classe F7. En effet, lors du printemps, l’air contient de nombreux pollens / graminées, mais ceci impacterait certainement le PUE, car rajouterait de la résistance à l’air et augmenterait la consommation électrique des ventilateurs de soufflage.

vivien · « **Réponse #6 le:** 10 janvier 2019 à 22:17:28 »

Scaleway DC5 - 3) Reprise de l’air chaud de la salle (température < 30°C)

Voici les volets qui permettent la reprise d’air chaud de la salle N°1.

Cette pièce est reliée aux couloirs d’extraction de l’air situé au-dessus des deux allées chaudes.

Quand on est en mode mélange, les volets s’ouvrent partiellement et l’air chaud de reprise se mélange à l’air frais extérieur pour être ensuite diffusé par le haut en salles serveurs.

Voici l’un des 53 moteurs capable de contrôler très précisèment l’ouverture des registres d’air. La défaillance de l’un d’entre eux n’a aucune incidence, le système étant prévu pour compenser la perte et garder un débit d’air identique avec une température qui respecte l’ordre donné.

vivien · « **Réponse #7 le:** 10 janvier 2019 à 22:20:54 »

Scaleway DC5 - 4) Refroidissement adiabatique de l’air

Le secret de DC5 se situe derrière : L’air passe au travers d’immenses médias adiabatiques. S’il faut faire baisser la température de l’air, cet échangeur est humidifié avec de l’eau osmosée.

L'énergie nécessaire à l'évaporation de l'eau est extraite de l'air qui se refroidit ainsi. Il est possible de refroidir de 10°C un air sec ou un peu humide. Il n’est par contre pas possible de refroidir un air hautement saturé en eau (cas d’un air tropical par exemple).

Le mélange d’air recyclé et d’air neuf arrive par les grilles situées sous nos pieds. Il y a également quelques filtres qui apportent l’air neuf, la matrice de filtrage d’air neuf fait plus d’un étage de haut, cumulant ainsi pas moins de 40m2 de filtration.

L’air rentre ensuite dans les médias adiabatiques situés à gauche sur la photo :

vivien · « **Réponse #8 le:** 10 janvier 2019 à 22:21:10 »

On voit ici des zones de la matrice humides et d’autres sèches, pour notre visite, l’automate n’a demandé qu’a certains médias adiabatiques de refroidir, ce qui permet de voir directement l’effet froid / chaud quand on passe derrière.

Le média adiabatique a une durée de vie théorique de 150 ans. Vous trouvez cela étonnant, car l’eau en s’évaporant laisse des résidus…
C’est en effet le cas lorsque de l’eau de ville non traitée est diffusée sur les médias adiabatiques. Ici, Scaleway a investi considérablement pour produire l’eau qui est diffusées sur les médias adiabatiques, on passera en revue la production d’eau.

Voici un zoom sur quelques centimètres carrés de média adiabatique :

vivien · « **Réponse #9 le:** 10 janvier 2019 à 22:23:23 »

Voici le dos des médias adiabatiques, là où sort l’air refroidi. On voit en haut les tuyaux violets d’alimentation en eau osmosée et à gauche les ventilateurs qui aspirent l’air refroidi. Les lames grises sur la droite sont des pare-gouttelettes chargées de supprimer les éventuelles gouttes d’eau sous forme liquide qui pourraient se disperser dans l’air.

Le débit de l’eau est réglé très finement : toute l’eau osmosée doit s’être évaporée quand le système est bien réglé.
Voici les 5 vannes d’eau osmosée qui permettent de contrôler précisèment le volume d’eau (au litre près) injecté de façon uniforme sur les médias adiabatiques :

Si il reste de l’eau osmosée non évaporée, un bac permet de la récupérer (pour la mettre aux égouts, impossible de réutiliser une eau tiède qui a pu être infectée par l’air), un tuyau évacue l’eau par le bas du bac.

Et que se passe-t-il si l’évacuation venait à se boucher ? Scaleway a tout prévu : il y a aussi une évacuation par le dessus. Vous allez voir, DC5 est rempli de petites sécurités de ce type.

À noter que l’installation n’est pas finalisée, les tuyaux d’évacuation seront bientôt recouverts par une plaque métallique pour éviter qu’ils ne se cassent si une personne marche par erreur dessus et une détection d’eau sera disposé au sol.

Quand le refroidissement adiabatique n’est plus utilisé, l’intégrité des circuits d’eau osmosée sont vidangés automatiquement (et mis à l’égout). Objectif : mettre l’installation hors gel et ne pas avoir d’eau stagnante dans des tuyaux, pour éviter tout risque de développement bactériologique, bien qu’avec ce système aucune particule d’eau n’est dispersée dans l’air, il n’y a donc pas de phénomène aérosol.

vivien · « **Réponse #10 le:** 10 janvier 2019 à 22:25:02 »

Scaleway DC5 - 5) Les ventilateurs pour injecter l’air dans les allées froides

Il y a ensuite derrière des ventilateurs qui aspirent l’air :

28 ventilateurs sont installés par salle serveurs. Ces 28 ventilateurs sont en configuration N+2, ce qui permet d’avoir deux pannes sans affecter le débit d’air : l’automate qui contrôle les ventilateurs configure alors les autres ventilateurs à une vitesse supérieure pour garder le même flux d’air.

Ces 28 ventilateurs sont équipés d’un moteur à courant continu et consomment environ 100 kW d’électricité au total, pour refroidir 1,8 MW de puissance IT. Ils sont tous variable en puissance et sont étagés pour être utilisés sur leurs plages de rendement maximales.

Voici le coté où l’air est expulsé vers la salle serveurs :

On a bien sur testé la mise hors-tension d’un ventilateur pour voir la réaction de l’automate : immédiatement les autres ventilateurs accélèrent pour compenser sa perte.

vivien · « **Réponse #11 le:** 10 janvier 2019 à 22:33:44 »

En face il y a les énormes gaines pour injecter l’air dans les couloirs froids qui sont à l’étage en dessous.

Les grilles au sol permettent la diffusion équilibrée de l’air frais.

À droite et à gauche ce sont les murs des gaines chaudes qui récupèrent l’air chaud des serveurs.

Schématiquement, cela donne ceci :

Auteur Sujet: Visite du data center Scaleway DC5 (refroidissement adiabatique) (Lu 342369 fois)

vivien

Visite du data center Scaleway DC5 (refroidissement adiabatique)

vivien

DC5 - 1 Les différents types de « Green Data center »

vivien

DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling

vivien

DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling

vivien

DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling

vivien

DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling

vivien

DC5 - 3 Reprise de l’air chaud de la salle (température < 30°C)

vivien

DC5 - 4 Refroidissement adiabatique de l’air

vivien

DC5 - 4 Refroidissement adiabatique de l’air

vivien

DC5 - 4 Refroidissement adiabatique de l’air

vivien

DC5 - 5 Les ventilateurs pour injecter l’air dans les allées froides

vivien

DC5 - 5 Les ventilateurs pour injecter l’air dans les allées froides