La Fibre

Datacenter et équipements réseaux => Datacenter => Opcore Opcore / Scaleway Datacenter => Discussion démarrée par: vivien le 10 janvier 2019 à 22:00:45

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 10 janvier 2019 à 22:00:45
Visite du data center Scaleway DC5 (refroidissement adiabatique)

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_01.jpg)

J’ai visité le data center DC5 de Scaleway (l’un des plus gros data center de France) pendant la canicule du 26 juillet 2018. C’est un data center où les serveurs sont maintenus à la même température été comme hiver sans utiliser le moindre bloc de climatisation. La technologie utilisée par DC5 est inédite eu Europe pour une telle puissance : chaque salle héberge 1,8 MW de puissance IT en très haute densité (6kw par baie en moyenne) et à terme DC5, c’est 12 salles pour une puissance maximum totale de 21,6 MW IT.

Un grand merci à Arnaud et Laurent de Scaleway pour la visite et la relecture attentive de ce reportage.

(https://lafibre.info/images/online/logo_scaleway_datacenter.svg)

Version PDF du reportage :
(cliquez sur la miniature ci-dessous - le document est au format PDF et fait 44 Mo)
(https://lafibre.info/images/online/201807_scaleway_dc5.png) (https://lafibre.info/images/online/201807_scaleway_dc5.pdf)



C'est mon plus gros reportage jusqu'à aujourd'hui, j’inaugure une table des matières :

Table des matières

Titre: DC5 - 1 Les différents types de « Green Data center »
Posté par: vivien le 10 janvier 2019 à 22:04:05
Scaleway DC5 - 1) Les différents types de « Green Data center »

Le data center DC5 de Scaleway est situé dans la zone industrielle de Saint-Ouen-l'Aumône (95), petite ville du nord-ouest de l’Île-de-France. C’est un ancien centre de tri postal qui a été racheté à bas prix par Scaleway. Comme presque tous les centres de tri postaux, il y a une antenne 4G SFR sur le site, cela ne fait exception ici et Scaleway l’a conservé. Il est probable qu’une antenne Free Mobile fasse son apparition dans le futur.

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_02.jpg)

On parle souvent de « Green Data center », ce terme regroupe deux types de data center :

- Ceux qui utilisent la chaleur produite par le data center pour chauffer des logements voisins ou produire de l’eau chaude. Pour cela ils utilisent habituellement une climatisation standard et ont donc un PUE élevé.

- Ceux qui utilisent de free cooling. L’idée est d’utiliser la capacité calorifique de l’air pour refroidir.


Dans la catégorie free cooling, on distingue à nouveau deux grandes familles :

- Le Free cooling indirect, comme pour DC3. Ce n’est pas l’air extérieur qui refroidit les serveurs, mais l’air qui refroidit de l’eau qui va permettre de limiter la puissance absorbée des compresseurs des groupes frigorifiques. Il existe plusieurs types de Free cooling indirect dont certains utilisent un refroidissement adiabatique.

- Le Free cooling direct. Ici l’air extérieur rentre dans le data center pour refroidir directement les serveurs.


Cela se complique car il existe plusieurs types de data center utilisant du free cooling direct :

- Celui qui n’utilise free cooling sans aucun système pour refroidir l’air : C’est très peu cher (qualifié de « cabane au fond du jardin » par certains sur ce forum) mais, cela ne permet pas d’avoir un air frais l’été : si il fait 40°C l’été, l’air qui rentre dans les serveurs est déjà à 40°C. Pire il y a de forte variation de températures entre le jour et la nuit, ce qui dégrade la durée de vie des serveurs. Ce type de free cooling peut être associé ou non à du water cooling pour mieux refroidir les éléments les plus chauds des serveurs. Il est donc très économe en électricité, mais ne permet pas une grande fiabilité du matériel hébergé dans le temps.

- Celui qui utilise un free cooling avec un groupe frigorifique traditionnel et des automates pour avoir une température stable de l’air en entrée des serveurs. C’est le cas du data center Maxnod. Quand il fait moins de 28°C degrés extérieur c’est du free cooling, quand il fait plus de 28°C, l’air extérieur est refroidit avant d’être introduit dans le data center. L’hiver des automates récupèrent une partie de l’air du data center pour garder une température stable de 28°C. Ce type d’installation permet de garder une température stable 365 jours/an, ce qui est important pour la longévité des serveurs.

- Enfin, il y a les data center free cooling direct avec refroidissement adiabatique. Le rafraîchissement de l'air est basé sur l'évaporation de l'eau : L'air chaud et sec passe à travers un échangeur humide, ici c’est un média adiabatique. L'énergie nécessaire à l'évaporation de l'eau est extraite de l'air qui se refroidit en dissipant ses calories. Là aussi, il y a plusieurs type de data center adiabatique. Certains consomment beaucoup d’eau et ne savent pas maintenir une température stable. DC5 est la crème du data center adiabatique avec une faible consommation d’eau et une température stable de 30°C +/- 1°C dans les allées froides, tout en n’ayant pas besoin de terminaux de climatisation. Le reportage est destiné à expliquer comment Scaleway a réussi à mettre en œuvre cette technique. À noter que le refroidissement adiabatique peut ne pas bien fonctionner quand l’air chaud est très humide, ce qui est relativement peu fréquent.

Attention, à DC5 seul les salles serveurs sont refroidies par un processus adiabatique. Les locaux techniques et le local opérateurs sont refroidis par du free cooling direct avec terminaux de climatisation et groupes frigorifiques traditionnels. Mais même là Scaleway innove avec un énorme stockage de glace destiné à stocker l’énergie nécessaire au refroidissement de ces locaux. Si les serveurs fonctionnent parfaitement à 30°C, les batteries ont une durée de vie plus courte, d’où le choix de Scaleway de les maintenir à une température plus basse, à savoir 25°C +/- 2°C.
Titre: DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling
Posté par: vivien le 10 janvier 2019 à 22:08:35
Scaleway DC5 - 2) Traitement de l’air extérieur utilisé pour le free cooling

Dans ce data center, un étage sur deux est une salle serveurs et un étage sur deux est vide, uniquement destiné à véhiculer des volumes importants d’air. L’air frais est injecté dans les allées froides des salles serveurs et l’air chaud est ensuite extrait des allées chaudes.

Les vantelles pare-pluie visibles sur la photo ci-dessous (face avant de DC5) permettent de faire passer l’air tout en évitant que l’eau de pluie et les volatiles ne pénètrent au travers.
(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_03.jpg)

Voici la vue intérieure de la face avant, ces espaces n’ont pas encore été aménagées, ce sont les futures tranches de DC5 : Un total de 12 salles sont prévues sur ce site (aujourd’hui une seule salle est réalisée)
(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_04.jpg)

DC5 est en effet constitué de 12 salles serveurs qui sont indépendantes (1,8 MW de puissance IT chacune, avec chacune ses 2 TGBT, 2 transformateurs, 2 groupes électrogènes,). La construction d’une salle serveurs, essais et commissionning compris est réalisée en 7 mois.


(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_03.jpg)
Titre: DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling
Posté par: vivien le 10 janvier 2019 à 22:11:07
Voici une photo de la prise d’air pour la première salle. On note que des registres motorisés ont été rajoutés pour réguler et maintenir une température de soufflage stable en-dessous de 30°C extérieur (Plus il fait froid plus ils se ferment et inversement). À gauche, de la photo on devine les pièges à son.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_01.jpg)

Derrière sont installés des pièges à son (aussi bien pour l’air soufflé que l’air qui rejeté), qui va permettre au data center d’être très silencieux (certains ont eu des problèmes quand ils se sont installés dans une zone résidentielle – ici Scaleway a pris toutes les précautions pour respecter la réglementation en vigueur).

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_02.jpg)

Voici une photo de ces pièges à son :


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_03.jpg)
Titre: DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling
Posté par: vivien le 10 janvier 2019 à 22:12:35
Des sondes pour mesurer la température et l'hygrométrie de l’air extérieur de façon à adapter le réglage des registres motorisés et médias adiabatiques sont présentes derrière ces pièges à son.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_04.jpg)

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_05.jpg)

L’air passe ensuite dans une nouvelle série de volets, ici presque tous fermés.

Ces volets sont réglés précisèment pour assurer un débit d’air équivalent sur l’intégralité du mur de filtration. En effet naturellement le haut du mur a tendance à avoir un débit supérieur au bas du mur, qui demande à l’air de faire un détour.


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_06.jpg)
Titre: DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling
Posté par: vivien le 10 janvier 2019 à 22:15:39
D’immenses filtres à air industriels sont destinés à bloquer toutes les particules transportées par l’air, aussi bien poussières naturelles d'origine minérale (particules sableuses ou terreuses), les poussières d'origine végétale ou celles issues de la combustion des moteurs automobile (suies) et des activités industrielles. Ces filtres doivent être changés régulièrement.

Dans la photo ci-dessous, l’air neuf arrive par la droite. Les registres motorisés à gauche permettent la reprise de l’air chaud en provenance des allées chaudes du data center : c’est nécessaire pour garantir un air dans les allées froides qui est toujours à 30°C, quand il fait moins de 30°C à l’extérieur.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_07.jpg)

Tous ces filtres sont des filtres de classe F7, capables chacun de filtrer 3400m3/h à 65 Pa.

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_05.jpg)

Les détails sont sur l’étiquette :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_08.jpg)

Voici les capacités des filtres de classe F7 :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_09.png)

J’ai été étonné que Scaleway n’utilise pas des préfiltres devant les filtres. Les préfiltres, moins cher, servent alors à enlever le gros des particules et permettent de changer moins fréquemment les filtres de classe F7. En effet, lors du printemps, l’air contient de nombreux pollens / graminées, mais ceci impacterait certainement le PUE, car rajouterait de la résistance à l’air et augmenterait la consommation électrique des ventilateurs de soufflage.
Titre: DC5 - 3 Reprise de l’air chaud de la salle (température < 30°C)
Posté par: vivien le 10 janvier 2019 à 22:17:28
Scaleway DC5 - 3) Reprise de l’air chaud de la salle (température < 30°C)

Voici les volets qui permettent la reprise d’air chaud de la salle N°1.

Cette pièce est reliée aux couloirs d’extraction de l’air situé au-dessus des deux allées chaudes.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_10.jpg)

Quand on est en mode mélange, les volets s’ouvrent partiellement et l’air chaud de reprise se mélange à l’air frais extérieur pour être ensuite diffusé par le haut en salles serveurs.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_11.jpg)

Voici l’un des 53 moteurs capable de contrôler très précisèment l’ouverture des registres d’air. La défaillance de l’un d’entre eux n’a aucune incidence, le système étant prévu pour compenser la perte et garder un débit d’air identique avec une température qui respecte l’ordre donné.


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_12.jpg)
Titre: DC5 - 4 Refroidissement adiabatique de l’air
Posté par: vivien le 10 janvier 2019 à 22:20:54
Scaleway DC5 - 4) Refroidissement adiabatique de l’air

Le secret de DC5 se situe derrière : L’air passe au travers d’immenses médias adiabatiques. S’il faut faire baisser la température de l’air, cet échangeur est humidifié avec de l’eau osmosée.

L'énergie nécessaire à l'évaporation de l'eau est extraite de l'air qui se refroidit ainsi. Il est possible de refroidir de 10°C un air sec ou un peu humide. Il n’est par contre pas possible de refroidir un air hautement saturé en eau (cas d’un air tropical par exemple).

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_13.jpg)

Le mélange d’air recyclé et d’air neuf arrive par les grilles situées sous nos pieds. Il y a également quelques filtres qui apportent l’air neuf, la matrice de filtrage d’air neuf fait plus d’un étage de haut, cumulant ainsi pas moins de 40m2 de filtration.

L’air rentre ensuite dans les médias adiabatiques situés à gauche sur la photo :


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_14.jpg)
Titre: DC5 - 4 Refroidissement adiabatique de l’air
Posté par: vivien le 10 janvier 2019 à 22:21:10
On voit ici des zones de la matrice humides et d’autres sèches, pour notre visite, l’automate n’a demandé qu’a certains médias adiabatiques de refroidir, ce qui permet de voir directement l’effet froid / chaud quand on passe derrière.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_15.jpg)

Le média adiabatique a une durée de vie théorique de 150 ans. Vous trouvez cela étonnant, car l’eau en s’évaporant laisse des résidus…
C’est en effet le cas lorsque de l’eau de ville non traitée est diffusée sur les médias adiabatiques. Ici, Scaleway a investi considérablement pour produire l’eau qui est diffusées sur les médias adiabatiques, on passera en revue la production d’eau.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_16.jpg)

Voici un zoom sur quelques centimètres carrés de média adiabatique :


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_17.jpg)
Titre: DC5 - 4 Refroidissement adiabatique de l’air
Posté par: vivien le 10 janvier 2019 à 22:23:23
Voici le dos des médias adiabatiques, là où sort l’air refroidi. On voit en haut les tuyaux violets d’alimentation en eau osmosée et à gauche les ventilateurs qui aspirent l’air refroidi. Les lames grises sur la droite sont des pare-gouttelettes chargées de supprimer les éventuelles gouttes d’eau sous forme liquide qui pourraient se disperser dans l’air.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_18.jpg)

Le débit de l’eau est réglé très finement : toute l’eau osmosée doit s’être évaporée quand le système est bien réglé.
Voici les 5 vannes d’eau osmosée qui permettent de contrôler précisèment le volume d’eau (au litre près) injecté de façon uniforme sur les médias adiabatiques :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_19.jpg)

Si il reste de l’eau osmosée non évaporée, un bac permet de la récupérer (pour la mettre aux égouts, impossible de réutiliser une eau tiède qui a pu être infectée par l’air), un tuyau évacue l’eau par le bas du bac.

Et que se passe-t-il si l’évacuation venait à se boucher ? Scaleway a tout prévu : il y a aussi une évacuation par le dessus. Vous allez voir, DC5 est rempli de petites sécurités de ce type.

À noter que l’installation n’est pas finalisée, les tuyaux d’évacuation seront bientôt recouverts par une plaque métallique pour éviter qu’ils ne se cassent si une personne marche par erreur dessus et une détection d’eau sera disposé au sol.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_20.jpg)

Quand le refroidissement adiabatique n’est plus utilisé, l’intégrité des circuits d’eau osmosée sont vidangés automatiquement (et mis à l’égout). Objectif : mettre l’installation hors gel et ne pas avoir d’eau stagnante dans des tuyaux, pour éviter tout risque de développement bactériologique, bien qu’avec ce système aucune particule d’eau n’est dispersée dans l’air, il n’y a donc pas de phénomène aérosol.
Titre: DC5 - 5 Les ventilateurs pour injecter l’air dans les allées froides
Posté par: vivien le 10 janvier 2019 à 22:25:02
Scaleway DC5 - 5) Les ventilateurs pour injecter l’air dans les allées froides

Il y a ensuite derrière des ventilateurs qui aspirent l’air :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_21.jpg)

28 ventilateurs sont installés par salle serveurs. Ces 28 ventilateurs sont en configuration N+2, ce qui permet d’avoir deux pannes sans affecter le débit d’air : l’automate qui contrôle les ventilateurs configure alors les autres ventilateurs à une vitesse supérieure pour garder le même flux d’air.

Ces 28 ventilateurs sont équipés d’un moteur à courant continu et consomment environ 100 kW d’électricité au total, pour refroidir 1,8 MW de puissance IT. Ils sont tous variable en puissance et sont étagés pour être utilisés sur leurs plages de rendement maximales.

Voici le coté où l’air est expulsé vers la salle serveurs :

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_06.jpg)

On a bien sur testé la mise hors-tension d’un ventilateur pour voir la réaction de l’automate : immédiatement les autres ventilateurs accélèrent pour compenser sa perte.


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_22.jpg)
Titre: DC5 - 5 Les ventilateurs pour injecter l’air dans les allées froides
Posté par: vivien le 10 janvier 2019 à 22:33:44
En face il y a les énormes gaines pour injecter l’air dans les couloirs froids qui sont à l’étage en dessous.

Les grilles au sol permettent la diffusion équilibrée de l’air frais.

À droite et à gauche ce sont les murs des gaines chaudes qui récupèrent l’air chaud des serveurs.

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_07.jpg)

Schématiquement, cela donne ceci :


(https://lafibre.info/images/online/201810_scaleway_dc5_schema.jpg)
Titre: DC5 - 6 Détection incendie
Posté par: vivien le 10 janvier 2019 à 22:34:18
Scaleway DC5 - 6) Détection incendie

On retrouve ici nos capteurs d’hygrométrie et de température (Il y en a pas loin d’une trentaine au total dispersés un peu partout) :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_23.jpg)

Vous avez noté sur plusieurs photos la présence d’un tube rouge au plafond ?

Ce sont des tuyaux de prélèvement d’air (il y a des petits trous aux endroits où ils prélèvent des échantillons d’air).

À l’autre bout des tuyaux de prélèvement d’air, un système de détection multi ponctuels de dernière technologie conforme aux exigences APSAD R7 qui est capable de détecter la moindre particule de fumée et de déclencher l’alerte.

Sur cette photo on voit 3 systèmes VESDA et les 3 tuyaux rouges qui partent vers 3 zones distinctes.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_24.jpg)

DC5 n’est pas équipé de système d’extinction automatique d’incendie :

- Il n’était pas possible d’utiliser un système d’extinction par gaz qui fonctionne par inhibition des radicaux libres, composés chimiques libérés lors d'une combustion. Pourquoi ? Car l’air du data center est renouvelé en quelques dizaines de secondes, les salles sont en environnement ouvert et non confinées comme les datacenters traditionnels,

- Il n’était pas possible d’utiliser un système d'extinction incendie par brouillard d'eau, comme c’est le cas sur DC3 vu la vitesse du déplacement de l’air.

Du personnel formé est par contre présent 24h/24 dans le data center. Par mesure d’économie, c’est le pompier qui est à l’accueil qui surveille en permanence les baies SSI, les caméras de vidéosurveillance et fait contrôle la sécurité d’accès au site.

Edit 12 mars 2021: depuis ma visite, un brouillard d’eau a ore-action est en cours d'installation dans les différentes salles de DC5.
Titre: DC5 - 7 L’automate qui contrôle le refroidissement adiabatique
Posté par: vivien le 10 janvier 2019 à 22:37:16
Scaleway DC5 - 7) L’automate qui contrôle le refroidissement adiabatique

Voici l’automate qui contrôle la centrale de traitement d’air de la salle informatique N°1 que nous venons de voir :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_25.jpg)

Mais que se passe-t-il si c’est l’automate qui tombe en panne ?

Il y a 10 ans une grande entreprise avait un data center avec toutes les sécurités avec des climatisations en configuration N+2 et des emplacements pour mettre des unités mobiles en cas de coup dur. Une nuit en plein hiver, c’est l’automate qui contrôlait tout le système de climatisation qui est tombé en panne, arrêtant toute la climatisation. La température alors augmenté d’un degré C. toutes les 6 minutes. 2 heures après une société d’astreinte était sur place et basculait les climatisations en mode autonome, mais trop tard, certains équipements s’étaient arrêtés.

En novembre 2017, un grand hébergeur a subit son plus gros incident et dans une chaîne complexe d’incidents, on note « Ce matin, le système de basculement motorisé n’a pas fonctionné. L’ordre de démarrage des groupes n’a pas été donné par l’automate. Il s’agit d’un automate NSM (Normal Secours Motorisé), fournit par l’équipementier des cellules haute-tension 20KV. Nous sommes en contact avec lui, afin de comprendre l’origine de ce dysfonctionnement. »

Pour revenir à DC5, Arnaud a tenu à vérifier les différents cas improbables où l’automate tombe en panne pour voir que tout se passe correctement. En cas d’absence de réponse de l’automate, un chien de garde (en anglais watchdog) prend le relais. C’est un circuit électronique qui s’assure en permanence que l'automate ne soit pas en panne. En cas d’absence de réponse, le watchdog va basculer les ventilateurs, le système adiabatique et les registres motorisés dans un mode manuel, le tout ajustable par des potentiomètres qui sont sur l’armoire pré-configurés d’avance. Nous ne sommes plus dans un mode contrôlé par les nombreuses sondes, mais un mode prédéfini à l’avance. Il faudra alors qu’un technicien intervienne pour adapter le réglage de la température manuellement en attendant la réparation.

Les potentiomètres de réglages sont sur la face de la porte de gauche :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_26.jpg)

Ce type de watchdog ne sera probablement jamais utilisé, car un automate est extrêmement fiable, ce n’est pas un équipement avec un processeur / ram / flash, mais une unité arithmétique et logique qui lit en boucle ses registres et ses accumulateurs. C’est donc du matériel très fiable, utilisés depuis des décennies dans l’industrie.
Titre: DC5 - 7 L’automate qui contrôle le refroidissement adiabatique
Posté par: vivien le 10 janvier 2019 à 22:39:39
Un système qui transpose les informations du protocole propriétaire vers l’IP est bien sur présent, mais sa panne n’affecte en rien l’automate.

On voit ci-dessous un petit switch industriel 5 ports, rackable et à double alimentation :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_27.jpg)

Coté alimentation, l’automate a bien sûr deux sources d’alimentation distinctes, je ne suis pas sûr que la seconde alimentation du switch soit câblée, vu les nombreuses sécurités sur l’étage d’alimentation.

L’affichage de l’automate est complètement indépendant et c’est l’écran qui intègre CPU / ram / flash nécessaire pour faire fonctionner l’interface graphique. La perte du CPU de l’écran n’affecte en rien l’automate.

Le jour où l’impensable se produit, on apprécie d’avoir mis cette sécurité. (Pour rappel, l’accident de Fukushima aurait pu être évité, si la centrale avait prévu de raccorder en urgence des groupes externes. Les groupes acheminés en urgence le jour même par hélicoptère n'ont pas pu être connectés, le refroidissement s’est arrêté quand les batteries se sont vidées et on connaît la suite. Les ingénieurs ont sûrement supposés qu’avec les six lignes d’alimentations électriques externes – toutes coupées par le séisme - et 12 groupes électrogènes de secours à moteur diesel, inondés par le tsunami, c’était inutile).
Titre: DC5 - 7 L’automate qui contrôle le refroidissement adiabatique
Posté par: vivien le 10 janvier 2019 à 22:40:40
Voici l’écran de l’automate de la CTA01 (centrale de traitement d'air de la salle informatique 01) :
La consigne est à 28,0°C pour ces tests. La cible est de 30 °C en production.
L’air neuf rentre à 29,6°C, l’air est injecté à 26,6°C dans les allées froides.
L’air dans les allées chaudes est à 46,3°C pour la première et 40,8°C pour la seconde.
Faute de température extérieure élevée à ce moment-là de notre visite, le système et les bancs de charge ont été forcés pour nous montrer l’efficacité de refroidissement des médias adiabatiques (d’où le non-respect de la consigne).

L’humidité est de 17,18 ge/kgas en entrée et de 20,67 ge/kgas après refroidissement : Le refroidissement adiabatique a donc rajouté 3,49 ge/kgas pour refroidir de 3°C l’air de 1,457 MW IT .

Vous pouvez voir l’état des différents systèmes de registres, ventilateurs, vannes et charge IT sur le schéma :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_28.jpg)

La photo ci-dessous est prise à un autre moment dans l’après-midi, avec un air neuf à 35,4°C, refroidit de 6,8°C en y injectant 5,29 gramme d’eau par kilogramme d’air.


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_29.jpg)
Titre: DC5 - 7 L’automate qui contrôle le refroidissement adiabatique
Posté par: vivien le 10 janvier 2019 à 22:41:22
L’automate a une protection, pour limiter les changements brusques de température et éviter que de la condensation ne se forme : celui-ci ajuste la température de consigne de soufflage au gré de la température extérieure. Celle-ci est limitée à 1 degrés C. par heure, indiqué sous forme d’une limite de 2°C par 120 minutes sur l’automate :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_30.jpg)

Il est possible de visualiser les alarmes, la dernière est le « défaut ventilateur 1 » apparu quand Arnaud a actionné l’interrupteur de proximité pour voir si l’automate allait bien augmenter le débit d’air des autres ventilateurs :


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_31.jpg)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:45:10
Scaleway DC5 - 8 ) Production d’eau osmosée: 25 000 litres d’eau par heure

L'eau osmosée répond à trois besoins :

- Pour que le média adiabatique ait une durée de vie de 150 ans, il faut une eau parfaitement limpide et pure, afin de ne pas laisser de résidus sur le média adiabatique en s’évaporant.

- Pour éviter les conséquences fâcheuses de certaines molécules présentes dans l'eau de ville, évaporées dans l'air, comme le chlore, le sodium, le brome etc... qui re-combinés dans l'air forment des acides et donc de la corrosion sur l'électronique

- Pour éviter que les bactéries présentes naturellement dans l'eau (exemple : Legionella) puisse exposer le voisinage du datacenter a de possibles infections.

Scaleway a investi considérablement pour produire de l’eau osmosée : Cela désigne une eau traitée par adoucisseurs et osmoseur, ce qui la différencie de l'eau distillée ou de l'eau déminéralisée, en donnant une eau pure à plus de 99,9% (constituée uniquement des molécules H2O). L'eau est privée de tous ses sels et minéraux en passant au travers d'une membrane d'osmose inverse.

Scaleway a prévu de nombreuses sécurités et possibilité de mode dégradé comme le montre ces différentes vannes de by-pass :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_01.jpg)

La consommation d’eau osmosée maximum est de 25 m3/h pour le data center quand les 12 salles serveurs seront en service. Cela permet le refroidissement de l’air de 10 degrés C. pour près de 22 MW de serveurs.
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:48:20
La production d’eau osmosée se décompose en 5 phases.

1/ adoucisseurs à permutation ionique

Un échange entre les ions calcium et magnésium d’une part, et ions sodium de l’autre permet de retirer le calcium et le magnésium.

Deux adoucisseurs d’eau sont présents (ballons bleus sur la photo) : un maître et un esclave.

À côté il y a pour chaque adoucisseur un bac à saumure blanc à coté :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_02.jpg)

La saumure (eau et sodium) sert à régénérer la résine échangeuse d'ions dans un adoucisseur.

La saumure débarrasse la résine saturée en calcaire des ions de calcium et la recharge en ions de sodium.

Pour préparer la saumure, l'adoucisseur doit être régulièrement alimenté de pastilles de sel.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_03.jpg)

Après la régénération de la résine par la saumure, les résidus de calcaire sont dirigés vers les égouts.
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:49:34
2/ Désinfection pour inactiver les micro-organismes

Pour inactiver les micro-organismes ​(bactéries principalement) mais aussi micro-algues, champignons, qui, outre le fait que certains peuvent être pathogènes, sont à l'origine d'un colmatage important des membranes appelés biofouling:
- soit directement par le développement d'une biomasse;
- soit indirectement par les métabolites produits par les micro-organismes.

C’est l’hypochlorite de sodium (eau de Javel) qui est utilisés ici pour la désinfection.

Son réservoir est ici :


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_11.jpg)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:50:12
3/ filtre à sédiments, d'une porosité de 1 ym

D’une contenance de 74 litres chacun et composés de charbon actif, ils travaillent à la pression de 6 bar :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_04.jpg)

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_05.jpg)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:51:18
4/ Dé-chloration

Compte tenu de la sensibilité des membranes d'osmose inverse en polyamide, il est indispensable d'assurer une de-chloration de l'eau en amont du passage dans les 4 membranes d'osmose inverse.

Du bisulfite de sodium est ajouté afin de réduire le chlore.

Le réservoir du bisulfite de sodium est à côté de celui de l’hypochlorite de sodium.


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_11.jpg)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:53:26
5/ Les 4 membranes d'osmose inverse et son automate :

À l’intérieur de ces tubes blanc, il y une membrane extrêmement fine, qui ne laisse passe que les molécules H2O.

Les 4 membranes fonctionnent en parallèle pour permettre un débit supérieur de production d’eau : il est possible de traiter jusqu’à 25 000 litres d’eau osmosée par heure avec cette installation, c’est la consommation des 12 salles de DC5, quand toutes les vannes d’eau osmosée sont ouvertes.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_06.jpg)

L’analyseur de pH :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_07.jpg)

La pompe de gavage destinée à augmenter la pression d'eau sur la membrane afin d'améliorer le rendement (les membranes fonctionnent à haute pression)

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_08.jpg)

L’eau osmosée sort à l’autre bout de la membrane :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_09.jpg)

Toutes les deux à quatre minutes, les membranes d'osmose inverse sont rincées : le principe consiste à faire circuler de l’eau dans l’autre sens pour rejeter les impuretés coincées dans la membrane.

L’eau de rinçage est dirigée vers les égouts.
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:54:37
Le schéma sur l’automate synthétise bien l’installation et permet de suivre le rendement de l’installation :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_10.jpg)

Le rendement global est de 70% : La consommation de 36 m3/h dont 25 m3/h produit et 11 m3/h rejeté à l’égout.
Titre: DC5 - 9 Stockage de l’eau osmosée : 234 000 litres
Posté par: vivien le 10 janvier 2019 à 22:55:10
Scaleway DC5 - 9) Stockage de l’eau osmosée : 234 000 litres

DC5 a une réserve de 234 000 litres d’eau osmosée, répartie en deux cuves de 117 mètres cubes (117 000 litres) situées sous terre. Cela permet au minimum 10 heures d’autonomies (cas extrême avec une température extérieure de 40 degrés C. et les 12 salles serveurs à pleine charge).

Pourquoi conserver autant d’eau osmosée ? Pour faire face à une coupure d’eau ou à une panne de l’osmoseur.

Un automate est dédié au stockage d l’eau osmosée et à la distribution de l’eau vers les médias adiabatiques.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_12.jpg)

L’automate permet de définir les seuils d’alertes (trop pleins, alarme niveau bas), mais aussi le seuil où l’automate déclenche l’osmoseur pour remplir la cuve et celui où il arrête l’osmoseur.


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_13.jpg)
Titre: DC5 - 10 Première salle informatique de DC5: 278 baies sur 550 m²
Posté par: vivien le 10 janvier 2019 à 23:02:43
Scaleway DC5 - 10) Première salle informatique de DC5: 278 baies sur 550 m²

À terme 12 salles informatiques, toutes identiques seront construites.
La puissance électrique moyenne installée est de 6kw par baie, c’est donc de la très haute densité.

La salle est constituée de 4 rangées de baies mises dos à dos : il y a donc deux allées chaudes et 3 allées froides.

C’est plus simple à montrer avec une photo : Les rangées de baies ne sont pas terminées, mais on distingue les deux allées chaudes cloisonnées temporairement pour le commissionning alors que le reste de la salle représente les allées froides (nous sommes donc dans un système de confinement d’air chaud)

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_01.jpg)

278 baies seront installées dans la salle et les espaces situés au-dessus des baies seront clôturés pour isolée l’allée froide de l’allée chaude.

L’arrivée de l’énergie, comme la fibre dans le futur se fait par le plafond des salles, vu que DC5 n’a pas de faux plancher.




Voici un coin de la salle prêt à accueillir les premières baies informatiques, seul l’armature autour de la future porte de l’allée chaude est présente. Les serveurs ne sont pas connectés au réseau, ils sont juste là pour faire de la charge et tester les différents scénarios de Scaleway à savoir entre autres : perte secteur ENEDIS, reprise sur groupes électrogènes, perte d’un onduleur, perte d’un automate GE, etc ...

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_08.jpg)
Titre: DC5 - 11 Injection de l’air frais dans la salle
Posté par: vivien le 10 janvier 2019 à 23:05:17
Scaleway DC5 - 11) Injection de l’air frais dans la salle

L’air frais est injecté par les grilles des deux coté du luminaire pour l’allée froide centrale :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_02.jpg)

Pour les allées froides situées sur les côtés de la salle, une seule série de grille est présente pour injecter l’air frais :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_03.jpg)

Le tuyau métallique visible sur la photo précédente transporte lui de l’air, mais de l’air à haute pression, pour les outils pneumatiques des techniciens.

Voici une des arrivées d’air pour les outils pneumatiques :


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_07.jpg)
Titre: DC5 - 12 Détecteur linéaire de fumée OSID
Posté par: vivien le 10 janvier 2019 à 23:08:15
Scaleway DC5 - 12) Détecteur linéaire de fumée OSID

Dans le coin, en haut, on distingue une caméra de vidéosurveillance.

À droite de la caméra, on distingue un drôle de boîtier, comme une caméra tournée vers le plafond : c’est un détecteur linéaire de fumée OSID.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_04.jpg)

Les avantages du système OSID :
    • Détection rapide et fiable avec étalonnage absolu
    • Résistance totale à la poussière, à la vapeur, au brouillard, à la condensation et autres obstructions
    • Immunité totale contre les réflexions
    • Performances homogènes quel que soit l'éclairage ambiant ou dans l'obscurité la plus totale
    • Immunité totale contre les vibrations et les mouvements du bâtiment




Voici le détecteur linéaire de fumée OSID en gros plan : C’est un èmetteur qui envoie des signaux lumineux infrarouges et ultraviolets à l’imageur (le récepteur).

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_05.jpg)

Voici le descriptif donné sur le site de xtralis : « La société qui a révolutionné la détection précoce de fumée avec VESDA vient de réinventer la détection de fumée dans les espaces ouverts grâce au système OSID (Open-area Smoke Imaging Detection). Le système OSID d’Xtralis garantit une détection fiable et économique de la fumée dans les espaces ouverts, où la détection d'incendie s’accompagne de défis uniques et l’avertissement précoce n’est pas toujours une priorité.

Dans sa configuration la plus simple, le système OSID d’Xtralis utilise un imageur, un appareil de type caméra disposant d’un large champ de vision, et un èmetteur câblé ou alimenté par batterie aligné de façon approximative sur le mur opposé au sein de la zone protégée. L’èmetteur envoie des signaux lumineux infrarouges et ultraviolets à l’imageur. En cas d’altération de la réception des signaux lumineux du fait de la présence de particules de fumée, l’imageur déclenche une alarme. L’utilisation révolutionnaire de deux fréquences lumineuses au sein d’un appareil ouvert permet au système OSID de distinguer la fumée réelle des autres objets, y compris les insectes, la vapeur, la condensation et la poussière, réduisant ainsi de façon significative les fausses alarmes. »


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_06.png)
Titre: DC5 - 13 Allée chaude et alimentation électrique des baies
Posté par: vivien le 10 janvier 2019 à 23:12:39
Scaleway DC5 - 13) Allée chaude et alimentation électrique des baies

On voit ici le plafond de l’allée chaude qui laisse l’air chaud passer dans la galerie supérieure.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_09.jpg)

Les deux arrivées électriques « Voie A » et « Voie B » chacune de 6kw (disjoncteur de 32 ampères). À DC5, la double alimentation est une nécessité : une seule voie est ondulée. Ce choix permet économie et simplicité : chaque salle a 2 transformateurs 20 000 volts de 1250 kVa dédiés, 2 groupes électrogènes de 1315 kW / 1650 kVa dédiés, 2 TGBT dédiés, 4 onduleurs de 500 kVa dédiés, 16 branches batteries dédiées...

Contrairement à DC3 qui a un système d’alimentation bien plus complexe avec 4 voies d’alimentations de 2,5 MW mutualisés pour l’ensemble des salles, toutes les 4 ondulées, mais réparties par deux de façon à obtenir en régime nominal sur chaque voie chargée à 75 % et 100 % en cas de perte d’une des 4 voies. (Se reporter à la visite de DC3 : Reportage photo de la visite du data center Scaleway DC3 - Mission N°4 d'un data center : Énergie (https://lafibre.info/online/dc3-iliad/36/))

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_10.jpg)

Ce choix entraîne un risque, dans le cas où une intervention sur la chaîne ondulée nécessite de la couper ET qu’une coupure Enedis intervient en même temps. Scaleway a prévu plusieurs dispositifs pour réduire ce risque : Il est possible de by-passer les onduleurs (Super by-pass) et via une gaine à barre dénommée « HQR » (Haute Qualité de Remplacement) de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante comprenant : 1 transformateur + 1 groupe électrogène + 2 onduleurs, tous de même puissance et dédiés à cette branche de secours HQR. Ainsi l’intervention sur la chaîne ondulée défaillante peut avoir lieu sans risque d’interruption de service pour les serveurs. Cette production ondulée indépendante est mutualisée pour l’ensemble des 24 TGBT du data center.

À noter que le risque est moindre que quand le data center dispose d’une unique voie d’alimentation (oui, cela existe, je ne donne pas de nom)

Il est également moindre que dans un data center situé près d’une centrale nucléaire qui a fait le choix de ne mettre ni groupes, ni onduleurs (cela existe aussi, je ne donne pas de nom).

Bref DC5 a un positionnement moyen de gamme, alors que DC3 est lui positionné sur le haut de gamme. Vous ne pourrez pas louer de baies à DC5, la commercialisation ne se fait que par espaces de 278 baies ou 550 m². DC5 vise l’hébergement de grands acteurs du cloud et la première salle sera occupée par les Dedibox et les services de Cloud Scaleway, mais d’autres grands acteurs internationaux sont fortement intéressés.
Titre: DC5 - 14 Galerie d’extraction de l’air chaud
Posté par: vivien le 10 janvier 2019 à 23:15:25
Scaleway DC5 - 14) Galerie d’extraction de l’air chaud

Cette galerie est située au-dessus de l’allée chaude. L’air chaud rentre dans la galerie par le plafond de l’allée chaude.

Le raccordement électrique des baies se fait via la pose d’un boîtier de raccordement « à chaud » sur une « Gaine à barre », un ensemble de 4 pôles en cuivre (3 phases et un neutre), qui conduisent une forte intensité d’électricité. Cette Gaine à barre est construite par EAE Voltadis. On retrouve nos deux voies, la voie avec les boîtiers rouge est celle qui est ondulée (HQ) et secourue par groupe électrogène. Les boîtiers blancs sont deux de la voie normale (non ondulée) et secourue par groupe électrogène.

Le chemin de câble jaune est dédié au passage des fibres optiques.
Le chemin de câble vert est dédié au passage des courants faibles. (Contrôle d’accès, vidéo-surveillance, GTB, etc …)
Le chemin de câble rouge est dédié au passage des câbles lié à la sécurité incendie.
Le chemin de câble gris situé en haut transporte les câbles d’alimentation des gaines à barre, en provenance des TGBT. On distingue clairement sur la photo les 2 rangées de baies informatiques formant le couloir chaud dans lequel nous nous trouvons.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_11.jpg)

À l’extrémité de cette galerie, on se trouve face à 12 gros ventilateurs, qui extraient l’air chaud en face arrière du bâtiment :


(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_10.jpg)
Titre: DC5 - 14 Galerie d’extraction de l’air chaud
Posté par: vivien le 10 janvier 2019 à 23:17:08
L’air chaud est extrait de ce côté du bâtiment (partie de centre de tri postal qui a été déconstruit pour être reconstruit différemment sur 4 niveaux)

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_11.jpg)

Comme pour l’entrée d’air, Scaleway a mis des pièges à son, visibles sur cette photo
(oups ! Une vantelle à remplacer visiblement) :


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_19.jpg)
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:21:39
Scaleway DC5 - 15) Gaine à barre pour l’alimentation électrique de la salle

Voici ci-dessous deux boîtiers de raccordement rouges, utilisés pour raccorder deux baies situées en dessous à la voie ondulée de la Gaine à barre EAE Voltadis. La puissance disponible est de 6kw par baie (disjoncteur 32 ampères) pour chaque voie.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_12.jpg)

La connexion se fait sans outil, à chaud, sans éteindre la gaine à barre :


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_13.jpg)
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:23:51
À l’intérieur, on retrouve un disjoncteur de 32 ampères, de quoi superviser ce disjoncteur et deux fusibles pour protéger le dispositif de supervision :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_14.jpg)

Le raccordement à la Gaine à barre ne se fait qu’une fois le boiter fermé : ces couteaux en cuivre permettent d’établir le contact :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_15.jpg)
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:25:21
Une seule phase + Neutre, est utilisée pour connecter les serveurs :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_16.jpg)

Pas de compteur de consommation, car le compte se fait sur l’ensemble de chaque Gaine à barre, louée à un même client.

Vous avez remarqué ? Il n'y a pas de protection différentielle à 30mA !

L’explication n’est pas économique la recherche de la fiabilité maximum.

Citation d’Arnaud « On n’élève pas des carottes dans un hangar, tout ce qui contribue positivement au taux de disponibilité doit être étudié, dérogé et mis en œuvre. Le meilleur exemple est les disjoncteurs différentiels, source de nombreux soucis (disjonctions inopinés) pour pas mal de clients. Votre fournisseur a des disjoncteurs différentiels, ou est en régime IT, posez-vous des questions. »

DC3, le data center haut de gamme de Scaleway, Certification Uptime Institute Tiers III, n’utilise pas non plus de différentiels, tout en étant bien conforme NF C 15-100 et au code du travail.
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:27:49
Les boîtiers arrivent pré-câblés d’usine :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_17.jpg)
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:29:25
Le bus de supervision, permettant de remonter lorsqu’un disjoncteur a disjoncté :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_18.jpg)
Titre: DC5 - 16 Tests de charge : 2 x 6kw par baie
Posté par: vivien le 10 janvier 2019 à 23:30:50
Scaleway DC5 - 16) Tests de charge : 2 x 6kw par baie

Pour tester son data center, Scaleway a choisi de louer de vrais bancs de charge, d’une société spécialisée : Rentaload, pour que chaque baies soit chargée à 2 x 6 kW. Ce matériel haut de gamme, à ventilation variable, permet de configurer un delta T° équivalent aux serveurs informatiques.

Rentaload est une société qui est spécialisée dans le matériel pour la recette de site industriel comme un data center. La location de ces bancs de charge pour un mois coûte particulièrement cher.

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_08.jpg)

À quoi ressemble un élèment de charge ? A un gros radiateur soufflant utilisé pour chauffer des entrepôts, mais c’est vraiment un outil de charge, avec double alimentation en contrôle de la charge par PC, variable de 0,5kW en 0,5kW (7 kW maximum par unité).


(https://lafibre.info/images/online/201807_scaleway_dc5_charge_01.jpg)
Titre: DC5 - 16 Tests de charge : 2 x 6kw par baie
Posté par: vivien le 10 janvier 2019 à 23:34:26
Je ne suis pas sûr que pour le prochain data center Scaleway reconduise l’opération avec ce matériel, car s’ils sont perfectionnés, ils ont un défaut : l’alimentation ne doit pas être coupée quand ils sont en service.

Pour réaliser des tests menant à une coupure d’alimentation, on a dû arrêter proprement la charge. Même avec cette précaution, de nombreux éléments ont disjoncté à la remise sous tension, obligeant de les démonter… pour notre plus grand plaisir, j’ai pris quelques photos :

[photo supprimée en attente d'autorisation de Rentaload]

La partie électronique et son disjoncteur ultra-sensible est en dessous :


[photo supprimée en attente d'autorisation de Rentaload]
Titre: DC5 - 16 Tests de charge : 2 x 6kw par baie
Posté par: vivien le 10 janvier 2019 à 23:34:36
Voici l’arrière d’un élèment une fois raccordé :

(https://lafibre.info/images/online/201807_scaleway_dc5_charge_04.jpg)

Dans chaque emplacement on trouve un élèment qui charge à 6kW et un second de 7kW, configuré pour une charge à 6kW, pour un total de 12kW de charge, connecté sur la voie ondulée. La seconde voie n’est pas raccordée.

(https://lafibre.info/images/online/201807_scaleway_dc5_charge_05.jpg)
Titre: DC5 - 16 Tests de charge : 2 x 6kw par baie
Posté par: vivien le 10 janvier 2019 à 23:37:20
L’espace de stockage pour les caisses qui permettent de transporter les bancs de charge :

(https://lafibre.info/images/online/201807_scaleway_dc5_charge_06.jpg)
Titre: DC5 - 17 La salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:39:10
Scaleway DC5 - 17) La salle opérateurs

DC5 ne contient pour le moment qu’une seule salle opérateurs, destinée à mettre des équipements de transmission, des switchs et éventuellement des routeurs. Scaleway a prévu la possibilité de rajouter une deuxième salle opérateurs à l’étage du bâtiment, identique à celle-ci.

Ce ne sera pas un lieu de peering comme DC3 ou DC4, cependant quelques opérateurs de boucle locale sont présents sur site pour livrer des clients dans la zone.

Voici une photo de la salle opérateurs qui est bien vide. En face c’est l’alimentation électrique (48V + 230V) voie B :


(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_01.jpg)
Titre: DC5 - 17 La salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:39:34
Pour la salle opérateurs, l’alimentation électrique est secourue par 2 voies, voie A et voie B.

• À gauche une baie de batteries permet de secourir le 48v en cas de panne.

• Les baies centrales contiennent les redresseurs 48v utilisés pour alimenter les équipements et charger les batteries si besoin. On est sur une architecture modulaire ou des redresseurs peuvent êtres rajoutés au fur et à mesure de la demande en énergie.

• À droite, la baie inverter avec les onduleurs pour produire du 230v et les disjoncteurs 230v, utilisé uniquement pour les équipements qui ne peuvent pas être alimentés en 48v. À noter que les onduleurs sont connectés derrière le 48v pour bénéficier des batteries. A noter qu’il y a peu de consommation en 230v : presque tous les équipements sont alimentés en 48v continu.


(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_02.jpg)
Titre: DC5 - 17 La salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:40:49
Le même schéma est dupliqué pour la voie d’alimentation « A » :

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_03.jpg)

La petite meet-me-room de DC5 où arrivent les fibres depuis l’extérieur du bâtiment et les fibres des salles serveurs :


(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_04.jpg)
Titre: DC5 - 17 La salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:41:19
Voici les premiers équipements de transmission installés :

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_05.jpg)
Titre: DC5 - 18 Climatisation de la salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:43:52
Scaleway DC5 - 18) Climatisation de la salle opérateurs

Pour le froid, ce n’est pas du free cooling direct avec refroidissement adiabatique comme pour les salles serveurs, mais du free cooling direct avec un groupe frigorifique traditionnel quand la température dépasse 25°C à l’extérieur. En dessous de cette température, l’air extérieur est injecté directement dans la salle après filtration.

Lorsque la température extérieure est trop faible, le système fonctionnera en circuit fermé et mélangera l’air recyclé avec une proportion d’air extérieur.

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_06.jpg)

Voici la prise d’air free-cooling à l’entrée du bâtiment pour la salle opérateurs :


(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_09.jpg)
Titre: DC5 - 18 Climatisation de la salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:45:49
On suit ici la prise d’air free-cooling extérieur pour la salle opérateurs :

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_10.jpg)

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_11.jpg)
Titre: DC5 - 19 Groupes frigorifiques pour les locaux techniques
Posté par: vivien le 10 janvier 2019 à 23:47:17
Scaleway DC5 - 19) Groupes frigorifiques pour les locaux techniques

La production d’eau glacée est utilisée uniquement pour les locaux techniques : TGBT où sont situés les batteries et les onduleurs et les deux salles opérateurs.

Deux groupes frigorifiques traditionnels de petite puissance sont installés à l’extérieur, à droite du bâtiment avec une capacité unitaire de 350 kW chacun.

L’eau glacée n’est utilisée uniquement quand la température extérieure est supérieure à 25 degrés C. Les locaux techniques sont en free-cooling direct, quand la température est inférieure.


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_01.jpg)
Titre: DC5 - 19 Groupes frigorifiques pour les locaux techniques
Posté par: vivien le 10 janvier 2019 à 23:48:12
Ci-dessous, au premier plan les deux premiers groupes frigorifiques.
Au second plan à gauche, un container de stockage de glace : C’est un accumulateur d’énergie frigorifique d’une capacité de 6 MWh.

Au second plan à droite, le local technique qui pilote la production d’eau glacée, avec les pompes, les vannes et l’échangeur thermique « stockage de glace » d’une puissance de 1100 kW.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_02.jpg)

Un emplacement pour un 3ème groupe frigorifique est prévu ainsi que des attentes pour raccordement d’un groupe frigorifique mobile en cas de nécessité :


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_03.jpg)
Titre: DC5 - 20 Stockage de glace
Posté par: vivien le 10 janvier 2019 à 23:49:46
Scaleway DC5 - 20) Stockage de glace

Le stockage de glace est pertinent pour DC5 : les besoins en froid sont principalement limités au mode de fonctionnement des onduleurs, donc en cas de perte de secteur ou une chute importante de tension et/ou de fréquence => les onduleurs basculent en mode « Online » et ont une efficacité de 94 %. Il y a donc production de chaleur.

Le stockage de glace permet ainsi de répondre rapidement à une demande de froid immédiate et évite les court-cycles sur les groupes frigorifiques. La recharge du stockage de glace a lieu la nuit, quand l’électricité est meilleur marché ce qui permet d’optimiser les coûts énergétiques. La capacité du stockage de glace est de 6MWh.

Le stockage de glace permet également d’avoir une redondance avec une grande autonomie en cas de perte d’un groupe frigorifique.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_04.jpg)

Le stockage de glace est maintenu en permanence entre 80 et 100% de charge. En-dessous de 80%, le groupe frigorifique s’enclenche en froid négatif et produit de la glace.

Le container est isolé thermiquement. La perte de glace lié au réchauffement (c’est un container tropicalisé, il est donc bien isolé) est de 1 % par jour, pour une température extérieure supérieure à 25°C
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:52:05
Scaleway DC5 - 21) Local de production d’eau glacée

Dans le local de production eau glacées se rejoignent circuit primaire (groupe / stockage de glace) et secondaire desservant les locaux techniques et la salle opérateurs.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_05.jpg)

Chaque circuit a deux pompes : une active et une en secours. Voici les pompes du circuit primaire :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_06.jpg)

Les pompes sont de marque Wilo, un spécialiste de solutions et de systèmes de pompage.

Elles permettent un débit de 105 mètres cubes par heure à puissance maximum.
Ces pompes sont alimentées en triphasé (400 V) et consomment 8,5 kW à puissance maximum.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_07.jpg)
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:52:44
L’échangeur à plaques (1100 kW) permet de mettre en contact les réseaux primaire et secondaire sans mélanger les fluides. Ainsi, les calories du circuit primaire vers le circuit secondaire sont échangées.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_08.jpg)

Un échangeur permet d’avoir des débits différents entre le primaire et le secondaire.

Ici l’eau froide est à 5°C dans le circuit primaire et à 7°C dans le circuit secondaire.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_09.jpg)

À noter qu’il n’y a qu’un seul circuit de froid et donc un seul échangeur, un seul circuit secondaire.

Scaleway a également prévu les attentes pour l’ajout d’un second échangeur à plaques.

Les besoins en froid étant très limités sur DC5 (salle opérateurs + TGBT principalement lors des coupures électriques), le risque est limité, sachant que le free-cooling direct est utilisé majoritairement lorsque la T° extérieure est inférieure à 25°C.
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:56:04
Voici deux des 4 pompes du circuit secondaire et à droite le groupe de maintien de pression automatique pour maintenir à la bonne pression dans le réseau.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_10.jpg)

Ici aussi les petites pompes sont doublées et le compteur d’eau monitoré à distance pour détecter une éventuelle fuite du réseau.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_11.jpg)

On retrouve la même installation pour le circuit primaire :


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_12.jpg)
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:57:46
À côté se trouve la réserve d’eau glycolée et la pompe d’injection ayant servi au remplissage des réseaux. Une eau glycolée est une eau du réseau de la ville à laquelle on a ajouté un pourcentage d’antigel (par exemple 30 % de glycol) afin que cette eau ne puisse geler. Ici l’eau de ville a été traitée et adoucie préalablement. Cela n’a rien à voir avec l’eau osmosée utilisée pour le refroidissement adiabatique uniquement.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_13.jpg)
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:58:44
Bien sûr comme partout, vous avez l’habitude, on retrouve un automate industriel pour piloter l’installation.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_14.jpg)

C’est lui qui pilote l’accumulateur, les groupes froids, les vannes motorisées et les pompes :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_15.jpg)

Ouverture de l’armoire automate :


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_16.jpg)
Titre: DC5 - 22 Les fourreaux pour rentrer dans le bâtiment
Posté par: vivien le 11 janvier 2019 à 00:01:20
Scaleway DC5 - 22) Les fourreaux pour rentrer dans le bâtiment

Un data center doit être connecté via des fibres, sinon son intérêt est presque nul.

Scaleway a créé des fourreaux pour le connecter à ses autres data center en boucle. Il y a donc deux arrivées distinctes empruntant des cheminements diamétralement opposés de façon à éviter un SPOF (single point of failure), un endroit où passe la fibre primaire et la fibre de secours.

Voici une des chambres de tirage verrouillables de la fibre :

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_01.jpg)

16 fourreaux ont étés posés de part et d’autre de chaque chambre de tirage. Les chambres de tirage d’une même arrivée fibre optique sont interconnectées entre elles.

Chaque fourreau permet de faire passer un gros câble de 720fo comportant 720 fibres optiques.
Titre: DC5 - 22 Les fourreaux pour rentrer dans le bâtiment
Posté par: vivien le 11 janvier 2019 à 00:02:53
Ici une première fibre optique a été tirée et raccordée. Les travaux pour tirer les suivantes vont bientôt démarrer (c’est sur le chemin critique pour la mise en production)

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_02.jpg)

Le site est sécurisé, mais pour éviter de voir un client autorisé à rentrer sur le site y mettre son nez, les chambres sont verrouillées par clé. C’est plus propre que les tiges métalliques avec un cadenas au bout utilisés dans certain data center pour gérer l’accès aux chambres.


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_03.jpg)
Titre: DC5 - 23 La Sécurité anti intrusion
Posté par: vivien le 11 janvier 2019 à 00:04:20
Scaleway DC5 - 23) La Sécurité anti intrusion

La sécurité, c’est aussi éviter les intrusions sur le site. Scaleway a mis le paquet sur DC5 :
- des barbelés électrifiés avec remontées d’alarmes au PCS
- des barrières infrarouges avec remontées d’alarmes au PCS
- deux sas (entrée / sortie) pour le passage de voitures, qui seront bientôt équipés d’un système anti-recul.
- des tourniquets installés en périphérie du site et à l’intérieur du bâtiment pour contrôler les flux piétons

DC2 et DC3 ont tous les deux de grand parking intérieur, mais il n’a pas été décidé de mettre de SAS faute de place.

Les deux portes du sas ne peuvent être ouvertes simultanèment (système anti pass-back), sauf exception pour laisser passer des camions trop longs.


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_04.jpg)
Titre: DC5 - 23 La Sécurité anti intrusion
Posté par: vivien le 11 janvier 2019 à 00:05:13
La clôture est électrifiée avec 3 câbles qui délivrent une tension de plus de 10 000 volts, mais avec une faible intensité, afin de ne pas mettre la vie en danger.

On visualise ci-dessous l’arrivée de l’électrification des 3 câbles :

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_05.jpg)


Un panneau, bien visible à l’extérieur signal le fait que la clôture est électrifiée :


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_06.jpg)
Titre: DC5 - 24 Aménagement de l’ancien centre de tri postal
Posté par: vivien le 11 janvier 2019 à 00:08:05
Scaleway DC5 - 24) Aménagement de l’ancien centre de tri postal

Il reste beaucoup d’espace, tout curé et non aménagé dans l’ancien centre de tri postal. Ils seront utilisés pour les 11 prochaines salles :

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_07.jpg)

Un espace, situé à côté de la salle opérateurs va même être utilisé pour une salle climatique : C’est une salle afin de réaliser des tests sur du matériel informatique dans différentes situations météorologiques recrées artificiellement depuis un automate de régulation, bref de la recherche et développement pour pousser le matériel au maximum de ses limites.

Les fenêtres utilisées à l’époque du centre de la Poste pour des bureaux sont déposées et en cours de condamnation.


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_08.jpg)
Titre: DC5 - 24 Aménagement de l’ancien centre de tri postal
Posté par: vivien le 11 janvier 2019 à 00:09:40
Voici la vue extérieure, avec à gauche les fenêtres avant intervention, ensuite la première peau du bardage qui est placée afin d’accueillir un isolant thermique et enfin la deuxième peau du bardage de finition rouge qui équipera l’ensemble du bâtiment excepté les espaces dédiés à la prise d’air neuf ou rejet d’air chaud.

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_09.jpg)

En plus de SFR qui était là de l’époque de la poste et qui restera là (peut-être rejoint par Free Mobile), Scaleway a mis de nombreuses caméras de vidéo surveillances sur le site :


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_10.jpg)
Titre: DC5 - 24 Aménagement de l’ancien centre de tri postal
Posté par: vivien le 11 janvier 2019 à 00:10:38
On distingue 3 caméras sur cette photo de la face avant de DC5 :

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_11.jpg)

Le futur quai de livraison de DC5 :


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_12.jpg)
Titre: DC5 - 24 Aménagement de l’ancien centre de tri postal
Posté par: vivien le 11 janvier 2019 à 00:12:28
Bassin de rétention des eaux pluviales

Scaleway a installé un limiteur de débit d’eau pour sa connexion aux égouts : impossible de dépasser 5 litres par seconde. En cas d’orage, le bassin fait office de tampon et se remplit provisoirement, puis l’eau est relâchée dans les égouts au débit de 5 litres par seconde. Cela permet de contenir l’eau issue des forts orages et de ne pas saturer les collecteurs de rejet des assainissements.

Scaleway a installé un séparateur d’hydrocarbure : Une éventuelle pollution hydrocarbure serait aussi filtrée et déclencherait une alarme au centre de supervision.


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_13.jpg)
Titre: DC5 - 25 Les groupes électrogènes de 1315 kW / 1650 kVa chacun
Posté par: vivien le 11 janvier 2019 à 00:13:25
Scaleway DC5 - 25) Les groupes électrogènes de 1315 kW / 1650 kVa chacun

Les groupes électrogènes sont situés à l’arrière du bâtiment, à droite sur la photo, dans la partie du bâtiment qui a été démolie et reconstruite.

Le petit local situé à gauche de la photo est le local de pompage et distribution du fioul. (un autre est prévu de l’autre côté du bâtiment)
Le grand local blanc devant le data center et le local des pompes / échangeur pour l’eau glacée.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_01.jpg)

Sur le sol, le caniveau béton refermé par des trappes métalliques renferment les tuyaux pour l’alimentation en fioul des 26 groupes électrogènes (aujourd’hui seul deux sont installés et un troisième en cours de livraison)

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_02.jpg)

L’installation se veut très simple : chaque salle a deux transformateurs 20 000 volts de 1250 kVa dédiés, deux groupes électrogènes de 1315 kW / 1650 kVa dédiés, deux TGBT dédiés, quatre onduleurs de 500 kVa dédiés, 16 branches batteries dédiées...


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_03.jpg)
Titre: DC5 - 25 Les groupes électrogènes de 1315 kW / 1650 kVa chacun
Posté par: vivien le 11 janvier 2019 à 07:46:01
Ce sont des groupes électrogènes basse tension (400 volts).Ce sont les mêmes que ceux de DC3 que Scaleway exploite depuis plusieurs années et qui ont passés la certification tier3 de l’uptime institute qui exige des groupes électrogènes de production (et non de secours) capables de fonctionner sans interruption de service à pleine charge et sans limitation de durée.
Particularité de DC5 : ils peuvent se synchroniser avec le réseau Enedis.

Cela offre de multiples avantages :

- Il est possible de faire des tests en charge sans couper l’alimentation électrique (sachant qu’une voie n’est pas secourue, il serait dommage de la couper pour des tests de groupe) : Le groupe électrogène débite sur le réseau électrique sans couper l’arrivée ENEDIS.

- L’hiver il est possible d’effacer la consommation du data center. Pendant les périodes de pointes de consommation l’hiver, RTE est en mesure de faire un gros chèque aux clients qui sont en mesure d’effacer leur consommation (certains industriels gros consommateurs d’électricité tel que des fonderies s’arrêtent, pour DC5 il s’agit juste de faire fonctionner les groupes électrogènes dimensionnés pour fonctionner en production continue)

Après une coupure de courant, le data center ne repasse pas immédiatement sur le secteur  avec une coupure le temps de la bascule : Les groupes électrogènes s’assurent de la stabilité et se synchronisent ensuite au réseau. Une fois bien synchronisés, la charge est transférée au réseau ENEDIS sans coupure puis les groupes électrogènes s’arrêtent. (Donc une seule coupure au lieu de deux, ce qui a un grand intérêt vu qu’une voie n’est pas ondulée)




L’alimentation en fioul visible sur cette photo, sous forme de flexible est provisoire. Une installation en acier inoxydable va être réalisée.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_04.jpg)
Titre: DC5 - 25 Les groupes électrogènes de 1315 kW / 1650 kVa chacun
Posté par: vivien le 11 janvier 2019 à 07:47:39
Ces groupes électrogènes sont préchauffés et reprennent la charge en 12 secondes. Les batteries onduleurs permettent de tenir à pleine charge 6 minutes fin de vie, c’est-à-dire au bout de 10 ans.

La porte ouverte est celle où est installé l’automate (il y a un automate par groupe)

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_05.jpg)

L’automate gère toutes les erreurs, mais il a un mode, qui permet de by-passer toutes les sécurités « marche ou crève » avec le risque de détruire mécaniquement le groupe électrogène.

Cela permet de ne pas se retrouver avec un data center éteint pour un problème de capteur bloquant la mise en marche du groupe.

Voici l’automate, dont un écran est déporté dans le TGBT afin de le contrôler ou le mettre en route sans sortir du bâtiment. En cas de panne de l’automate, un mode de mise en marche manuel est possible.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_06.jpg)

Les différents vumètres présents :


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_07.jpg)
Titre: DC5 - 25 Les groupes électrogènes de 1315 kW / 1650 kVa chacun
Posté par: vivien le 11 janvier 2019 à 07:48:49
Pour les prochaines salles, les emplacements des groupes électrogènes (et des transformateurs) et le caniveau qui permet son raccordement sont déjà réalisés :

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_08.jpg)

Une fois le site entièrement réalisé avec ses 12 salles il y aura un total de 26 groupes électrogènes + 1 groupe électrogène optionnel pouvant secourir n’importe quel autre groupe électrogène défaillant !

Les groupes électrogènes de l’étage R+2 seront placés sur les côtés est et ouest du bâtiment.

Coté poste de livraison Enedis, une fois les tranches optionnelles réalisées avec les 12 salles, la capacité sera de 24 MW.

DC5 sera donc un des plus gros data center de France.
Titre: DC5 - 26 Les cuves de fioul
Posté par: vivien le 11 janvier 2019 à 07:50:00
Scaleway DC5 - 26) Les cuves de fioul

Scaleway a prévu 2 cuves enterrées. 1 seule a été mise en œuvre.
Chaque une cuve est séparée en deux volumes indépendants : Chaque volume permet de stocker 40 000 litres de fioul.

Avec 80 000 litres DC5 est aujourd’hui presque au niveau de DC3 (100 000 litres de fioul)

Le camion qui remplit les cuves se positionne au-dessus de cette aire de dépotage qui permet de éventuelles fuites.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_09.jpg)

Les deux regards permettant l’accès au trou d’homme de chaque volume de 40 000 L :


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_10.jpg)
Titre: DC5 - 26 Les cuves de fioul
Posté par: vivien le 11 janvier 2019 à 07:51:06
Dans le local dédié au pompage, on retrouve une petite armoire de contrôle / commande :

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_11.jpg)

Les pompes sont doublées et redondantes pour les 2 volumes de la cuve.


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_12.jpg)
Titre: DC5 - 26 Les cuves de fioul
Posté par: vivien le 11 janvier 2019 à 07:51:55
Pour chaque volume de la cuve, il y a trois pompes : une active, une en back-up et une pompe manuelle ! On espère qu’elle ne sera jamais utilisée. Cela fait partie des petites sécurités optionnelles pas forcèment très onéreuses, mais qui peuvent un jour éviter un black-out.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_13.jpg)

En cas de fuite, un flotteur donne l’alerte :


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_14.jpg)
Titre: DC5 - 26 Les cuves de fioul
Posté par: vivien le 11 janvier 2019 à 07:52:50
Tous les tuyaux de distribution dans les caniveaux sont double-peaux, verte et noire. La double-peaux est maintenue sous vide et équipée d’un module détection de fuite. Cela permet de surveiller et alerter en cas de fuite d’une canalisation sans avoir à inonder les caniveaux.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_15.jpg)

Même les tuyaux de dépotage sont double-peaux :


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_16.jpg)
Titre: DC5 - 27 Postes de livraison électrique
Posté par: vivien le 11 janvier 2019 à 08:03:07
Scaleway DC5 - 27) Postes de livraison électrique

Le centre de tri postal avait déjà un poste de livraison 20 000 volts, nommé « CENTRIPRO » avec une arrivée Enedis en double dérivation qui a été réutilisé par Scaleway. Sa capacité est de 6 MW (mégawatt)

Il est prévu de changer la veille porte.

Trois postes de livraison supplèmentaires seront installés ultérieurement, chacun d’une puissance de 6 MW, pour faire face aux forts besoins énergétiques lors de la mise en place de nouvelles salles et porter la capacité du site à 24 MW.

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_01.jpg)

Voici le schéma du câblage entre poste de livraison 1 et poste de distribution 1 20 000 volts :


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_04.jpg)
Titre: DC5 - 28 Postes de distribution du 20 000 volts
Posté par: vivien le 11 janvier 2019 à 08:27:20
Scaleway DC5 - 28) Postes de distribution du 20 000 volts

Un fusible de 63 ampères (en 20 000 volts) est présent dans ces cellules pour protéger le transformateur de 1250 kVa qui est derrière :

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_02.jpg)

À terme, avec 12 salles serveurs de construite, le site comptabilisera 26 transformateurs.
3 autres postes de distribution déjà construits seront donc équipés.

Il sera possible d’alimenter un poste de distribution avec n’importe quel poste de livraison. Toutes les combinaisons sont possibles, dans la limite de 6 MW par poste de livraison.


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_03.jpg)
Titre: DC5 - 29 Les transformateurs 20 000 volt / 400 volt
Posté par: vivien le 11 janvier 2019 à 08:29:19
Scaleway DC5 - 29) Les transformateurs 20 000 volt / 400 volt

Le 20 000 volt arrive ensuite aux transformateurs à huile : Les transformateurs sont séparés par un mur coupe-feu, de sorte à ce que l’explosion ou l’incendie d’un transformateur (oui c’est déjà arrivé) ne détériore pas ses voisins.

Les transformateurs utilisés ont une capacité de 1250 kVa

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_09.jpg)

La zone sera bientôt grillagée, afin d’éviter l’infiltration d’une personne non habilitée.
Titre: DC5 - 29 Les transformateurs 20 000 volt / 400 volt
Posté par: vivien le 11 janvier 2019 à 08:30:13
On observe juste derrière le transformateur le rejet d’air (surpression) du free-cooling du TGBT attenant :

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_10.jpg)

Ce transformateur est celui qui alimente la salle opérateurs et une partie de la production eau glacée :


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_11.jpg)
Titre: DC5 - 30 TGBT de la salle opérateurs / production d’eau glacée
Posté par: vivien le 11 janvier 2019 à 08:32:48
Scaleway DC5 - 30) TGBT de la salle opérateurs / production d’eau glacée

Dans cette salle se trouve les disjoncteurs « Masterpack », du TGBT alimentant la salle opérateurs et une partie de la production eau glacée.

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_05.jpg)

Les câbles provenant du transformateur passent en enterré et atterrissent dans cette fosse :


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_06.jpg)
Titre: DC5 - 30 TGBT de la salle opérateurs / production d’eau glacée
Posté par: vivien le 11 janvier 2019 à 08:33:12
Le MTZ2-20 N1 de Schneider Electric se ferme en moins de 70ms :

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_07.jpg)

Ce type de produit a évolué, aujourd’hui un Masterpack est pré-équipé pour recevoir une adresse IPv4 ou IPv6 et/ou du Bluetooth (mais pour des raisons évidentes de sécurité, Scaleway a préféré ne pas prendre ces options de communication)


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_08.jpg)
Titre: DC5 - 31 TGBT de la première salle informatique
Posté par: vivien le 11 janvier 2019 à 08:34:55
Scaleway DC5 - 31) TGBT de la première salle informatique

Voici un des deux TGBT de la première salle. Il y a un TGBT par couloir chaud.

Chaque TGBT gère la moitié d’une salle de façon indépendante. Chaque TGBT a son transformateur 20 000 volts de 1250 kVa dédié, son groupe électrogène de 1315 kW / 1650 kVa dédié, 2 onduleurs de 500 kVa dédiés, 8 branches batteries dédiées.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_01.jpg)
Titre: DC5 - 32 Climatisation du TGBT
Posté par: vivien le 11 janvier 2019 à 08:35:58
Scaleway DC5 - 32) Climatisation du TGBT

Pour le froid, c’est comme pour la salle opérateurs: du free cooling direct est utilisé (via un groupe frigorifique traditionnel), quand la température dépasse 25°C à l’extérieur. En dessous de cette température, l’air extérieur est injecté directement dans la salle après filtration.

Lorsque la température extérieure est trop faible, le système fonctionnera en circuit fermé et mélangera l’air recyclé avec une proportion d’air extérieur. L’objectif est de maintenir dans le TGBT une température de 25°C +/- 2°C.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_02.jpg)

Ici, il fait plus de 25°C extérieur : les registres motorisés de la reprise d’air chaud sont ouverts pour recycler l’air et le refroidir via le circuit d’eau glacée, l’air chaud du TGBT étant plus frais que l’air extérieur :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_03.jpg)
Titre: DC5 - 32 Climatisation du TGBT
Posté par: vivien le 11 janvier 2019 à 08:37:46
Quand le free cooling injecte de l’air extérieur, voici la bouche où il est expulsé à l’extérieur :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_04.jpg)

Le TGBT est composé de nombreuses baies, remplies de disjoncteurs et outils de mesure :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_05.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:39:25
Scaleway DC5 - 33) Les Batteries

Voici les batteries qui fournissent l’énergie aux deux onduleurs de 500 kVa du TGBT. Chaque onduleur a 4 branches de batteries à sa disposition.

Chaque étage de batterie compose une branche : c’est un ensemble de batteries de 12 volts en série, afin d’atteindre une tension de 615 volts continue.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_06.jpg)

Les batteries utilisées : Ce sont des batteries au plomb étanche AGM SPRINTER XP12V3000 (350€ l’unité). D’une tension de 12 volts, elles ont chacune une capacité de 92.8Ah à 25°C.

Ce type de batteries est optimisé pour un usage en charge permanente avec une décharge extrêmement rapide. Sa puissance typique pour une décharge en 10 min est de 3040 Watts à 25°C. Sa durée de vie est de 10ans.

Pourquoi toujours indiquer une température ? Car la capacité d’une batterie diminue avec la température.

Pourquoi ne pas stocker les batteries à 30°C (température du couloir froid de la salle serveur) toute l’année afin d’avoir une autonomie supplèmentaire ? Car plus la température monte, plus la durée de vie de la batterie est réduite et plus il faut la remplacer régulièrement.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_07.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:41:27
Quelle autonomie permettent ces batteries ?

Au strict minimum 6 minutes. Cette durée est calculée dans le cas le plus défavorable : Pleine puissance (6 kW / baie de moyenne) et batteries en fin de vie, c’est-à-dire au bout de 10 ans.

Les 4 branches de batteries sont connectées à 4 interrupteurs (situés tout en bas de la baie).  Ils permettent d’isoler une branche en cas de batterie défectueuses ou pour remplacer une branche. En cas de coupure électrique pendant l’opération, les 3 autres branches permettent de tenir la charge, mais avec une autonomie moindre.

La partie haute de la baie est constituée d’un interrupteur-fusible et du départ vers l’onduleur de 500 kVa (chaque onduleur a sa baie et ses 4 branches de batteries dédiées).


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_09.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:42:28
Ici on voit Arnaud en train de simuler une panne de l’ensemble des batteries : Quand la photo a été prise le data center a une coupure de courant simulée et fonctionne sur groupe électrogène. Cela permet de vérifier la réaction de l’automate qui doit sortir du mode Online et basculer la charge directement sur le groupe électrogène, sans coupure.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_08.jpg)

Savez-vous ce que c’est ? Ce sont 4 fusibles de 650 ampères, pour les 4 branches de batteries. Le câble permet de monitorer si le fusible a fondu et le circuit est ouvert.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_10.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:43:22
Voici l’électronique à gauche du disjoncteur, qui est elle-même protégée par deux fusibles.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_11.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:44:44
Cette électronique permet de collecter les données des différentes sondes de température qui sont placées à proximités des batteries. La température est un paramètre utilisé pour optimiser le courant de floating et optimiser le temps de recharge.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_12.jpg)
Titre: DC5 - 34 Les onduleurs
Posté par: vivien le 11 janvier 2019 à 08:45:21
Scaleway DC5 - 34) Les onduleurs

Voici l’un des deux onduleurs de 500 kVa du TGBT :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_14.jpg)

Là, il n’apprécie pas nos tests…


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_13.jpg)
Titre: DC5 - 34 Les onduleurs
Posté par: vivien le 11 janvier 2019 à 08:46:10
En temps normal, l’affichage permet de voir la charge (310 kVA ci-dessous) et de voir quel circuit est alimenté.
Le mode éco, permet d’éviter une double conversion, en fonctionnement normal (réseau présent et dans les tolérances) :
La charge est ici alimentée par le by-pass automatique. Le réseau normal alimente la batterie, mais l’onduleur ne produit pas de courant.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_16.jpg)

Ci-dessous, nous avons une coupure de courant simulée et le data center fonctionne sur groupe électrogène. L’onduleur force le mode double conversion par mesure de sécurité. Dans ce mode, le rendement est de 94 %
Tandis qu’en « Éco mode » le rendement est proche de 99,9 % à pleine charge.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_15.jpg)
Titre: DC5 - 34 Les onduleurs
Posté par: vivien le 11 janvier 2019 à 08:49:54
Ci-dessous l’onduleur nous signale deux alarmes : « 1 » et « 2 », qui sont liées à un by-pass pour une maintenance :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_17.jpg)

Le détail des deux alarmes est disponible :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_18.jpg)

Vous vous souvenez que sur DC5, seul une voie est ondulée. Que se passe-t-il en cas de coupure électrique pendant une intervention qui impose de mettre l’onduleur en by-pass maintenance ?

DC5 comporte à terme 24 TGBT (transformateur / groupe / batteries / onduleurs) pour les 12 salles + 1 TGBT salles opérateurs / groupes frigorifiques et 1 TGBT « HQR » (Haute Qualité de Remplacement) : Il est possible via une gaine à barre dénommée HQR de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante comprenant : 1 transformateur + 1 groupe électrogène + 2 onduleurs, tous de même puissance et dédiés à cette branche de secours HQR. Ainsi l’intervention sur la chaîne ondulée défaillante peut avoir lieu sans risque d’interruption de service pour les serveurs. Cette production ondulée indépendante est mutualisée pour l’ensemble des 24 TGBT du data center.
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:51:15
Scaleway DC5 - 35) L’automate du TGBT

Les armoires du TGBT ont en façade des schémas simplifiés qui permettent de voir ce qui est sous tension.

Ci-dessous, nous sommes face à une coupure de courant et c’est le GE (groupe électrogène) qui alimente l’installation.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_19.jpg)

Voici une vue déportée de l’automate qui contrôle le groupe électrogène :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_20.jpg)
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:52:29
Le même écran est disponible dans le groupe électrogène, mais le fait d’avoir un écran déporté évite le besoin de se déplacer à l’extérieur.

Ici, le groupe électrogène fonctionne parfaitement : La tension (triphasé) est exactement de 400v, la fréquence est exactement 50,0 Hz. Le groupe est chargé à 65kw et le moteur tourne à 1500 tr/min. Un schéma indique les parties qui sont sous tension :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_21.jpg)

Il est possible d’avoir plus de détails sur tous les capteurs du groupe électrogène :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_22.jpg)
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:54:26
Voici l’armoire permettant le déport de l’automate :

Ce n’est pas un équipement avec un processeur / ram / flash, mais une unité arithmétique et logique qui lit en boucle ses registres et ses accumulateurs. C’est donc du matériel très fiable.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_23.jpg)
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:55:32
L’écran est connecté en Ethernet et intègre un processeur, de la mémoire flash et de la ram, pour gérer l’interface graphique :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_24.jpg)

Arnaud simule une panne en disjonctant l’arrivée électrique de l’automate :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_25.jpg)
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:56:09
L’écran affiche alors perte de connexion :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_26.jpg)

Mais en cas de panne sur l’automate, il est possible d’utiliser un mode dégradé, pour contrôler manuellement les interrupteurs et le groupe électrogène :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_27.jpg)
Titre: DC5 - 36 Super By-pass et centrales de mesure
Posté par: vivien le 11 janvier 2019 à 08:57:51
Scaleway DC5 - 36) Super By-pass et centrales de mesure

Interrupteur super by-pass DGHQ :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_28.jpg)

Centrale de mesure générale du TGBT :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_29.jpg)
Titre: DC5 - 36 Super By-pass et centrales de mesure
Posté par: vivien le 11 janvier 2019 à 08:59:00
Centrale pour mesurer la puissance sur les 4 voie HQ.  Chaque voie alimente une gaine à barre EAE Voltadis située dans l’allée chaude : Dans la galerie d’extraction de l’air chaud, il y a 4 gaine à barre HQ : deux à droite et deux à gauche, chacune connectant les baie sur la moitié de la longueur de la salle.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_30.jpg)

Les interrupteurs des voies :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_31.jpg)
Titre: DC5 - 36 Super By-pass et centrales de mesure
Posté par: vivien le 11 janvier 2019 à 09:00:32
C’est un interrupteur et non un disjoncteur : il ne coupe pas le courant en cas de dépassement de l’intensité. Cette fonction est déjà réalisée à un autre endroit sur le circuit.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_32.jpg)

Les câbles rejoignent la galerie d’extraction de l’air chaud par le plafond (l’extrémité de la galerie est juste au-dessus du TGBT)


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_33.jpg)
Titre: DC5 - 36 Super By-pass et centrales de mesure
Posté par: vivien le 11 janvier 2019 à 09:01:21
Le TGBT alimente également quelques circuits annexes permettant d’avoir une seconde source pour le traitement de l’eau. Ces circuits sont condamnés avec un cadenas pour éviter une mise en service par erreur.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_34.jpg)

L’écran visible ici est un déport de l’écran de l’automate qui contrôle la centrale de traitement d’air de la salle informatique, permettant de tout configurer, sans se déplacer à l’autre bout du bâtiment.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_35.jpg)
Titre: DC5 - 37 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 09:03:49
Scaleway DC5 - 37) Assemblage de baies informatiques sur DC5

DC5, c’est aussi le site où sont assemblés les différentes baies de serveurs Scaleway, qui partent dans les différents data center, en Ile-de-France comme à Amsterdam.

Voici des baies vides en attente sur le site :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_01.jpg)

Et voici des palettes de serveurs :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_02.jpg)
Titre: DC5 - 37 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 09:04:36
Le stock de serveurs :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_03.jpg)

Le stock de petits composants (disques dur, SSD, SDRAM DDR4, SFP+, XFP, QSFP+,…) :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_04.jpg)
Titre: DC5 - 37 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 09:05:31
Une ligne de montage :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_05.jpg)

Deux baies en cours d’assemblage :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_06.jpg)
Titre: DC5 - 38 Le switch Scaleway « Chouchou »
Posté par: vivien le 11 janvier 2019 à 09:09:20
Scaleway DC5 - 38) Le switch Scaleway « Chouchou »

Tout en haut de la baie on retrouve le switch maison :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_07.jpg)

Son petit nom est « Chouchou ». Il intègre 48 ports cuivre 1 Gb/s (pas de 2,5 Gb/s Ethernet comme je l’ai pensé à une époque) + deux cages pour des QSFP à 40 Gb/s chacun.
Voici sa carte mère, conçues par les équipes de Scaleway.

(https://lafibre.info/images/materiel/201601_online_switch_48x1g_2x40g_2.jpg)

Les deux cages qui vont accueillir deux QSFP à 40 Gb/s :

(https://lafibre.info/images/materiel/201601_online_switch_48x1g_2x40g_4.jpg)
Titre: DC5 - 39 Assemblage d’une baie qui part pour Amsterdam
Posté par: vivien le 11 janvier 2019 à 09:14:38
Scaleway DC5 - 39) Assemblage d’une baie qui part pour Amsterdam

Voici une baie qui va partir sur Amsterdam. Les espaces non utilisés resteront inutilisés, car on dépasserait la puissance électrique disponible par baie sur Amsterdam.

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_08.jpg)
Titre: DC5 - 39 Assemblage d’une baie qui part pour Amsterdam
Posté par: vivien le 11 janvier 2019 à 09:15:21
La face arrière : Les deux types de serveurs intègrent directement des cages SFP+ pour des connexions 10 Gb/s.

Note : Les serveurs en bas n’ont pas encore leur seconde alimentation, mais cela sera fait avant le départ pour Amsterdam. Il reste encore du travail, car ces baies sont expédiées pré-câblées : Les alimentations électriques, comme les réseaux sont pré-câblé sur DC5 avant expédition.


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_09.jpg)
Titre: DC5 - 40 Des serveurs 1u avec 144 To de disque dur + 6 SSD
Posté par: vivien le 11 janvier 2019 à 09:16:42
Scaleway DC5 - 40) Des serveurs 1u avec 144 To de disque dur + 6 SSD

Vous pensez que ces petits serveurs 1u intègrent 4 disques ? Erreur !

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_10.jpg)

En façade, il y a déjà 4 SSD extractibles à chaud :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_11.jpg)

Titre: DC5 - 40 Des serveurs 1u avec 144 To de disque dur + 6 SSD
Posté par: vivien le 11 janvier 2019 à 09:17:37
En face arrière, il y a de nouveau 2 SSD extractible à chaud :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_12.jpg)
Titre: DC5 - 40 Des serveurs 1u avec 144 To de disque dur + 6 SSD
Posté par: vivien le 11 janvier 2019 à 09:18:27
Et quand on ouvre la face avant, on découvre 12 disques dur de 12 To chacun soit 144 To !

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_13.jpg)

Voici comment on extrait un disque :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_14.jpg)
Titre: DC5 - 40 Des serveurs 1u avec 144 To de disque dur + 6 SSD
Posté par: vivien le 11 janvier 2019 à 09:19:28
Un serveur avec 12 disques dur SATA de 4 To en location sur le site de Scaleway :

(https://lafibre.info/images/online/201810_scaleway_store-2-l.png)
Titre: DC5 - 41 Les premières baies informatiques de DC5
Posté par: vivien le 11 janvier 2019 à 09:21:14
Scaleway DC5 - 41) Les premières baies informatiques de DC5

Dans la première salle de DC5, il y avait quelques baies. Les serveurs ne sont pas connectés au réseau, ils sont juste là pour faire de la charge et tester les différents scénarios de Scaleway.

Notez que les baies ont des roues, visible sur cette photo, pour faciliter la mise en place et le retrait en fin de vie.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_01.jpg)

Vous êtes curieux ?
Moi aussi !

Attention, c’est de la très haute densité…
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 11 janvier 2019 à 21:25:23
Scaleway DC5 - 42) Dell PowerEdge C6400

Le Dell PowerEdge C6400, c’est 4 serveurs à deux sockets et un stockage haute capacité dans un format rack de seulement 2U.

Une unité de rack (symbole U) désigne la hauteur normalisée d'un équipement électronique conçu pour être monté dans un rack. Une unité de rack mesure 1,75 pouce (soit 44,45 mm) de haut. Ici, le châssis Dell fait 8,9 cm de hauteur.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_02.jpg)
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 11 janvier 2019 à 21:26:40
Chaque serveur dispose de 6 emplacements disques dédiés (24 emplacement pour chaque châssis de 2u)

Scaleway fournit ici 2 SSD NVMe de 1 To chacun et un SSD SATA de 120 Go pour le système. 3 emplacements optionnels sont disponibles pour chaque serveur, afin d’installer des disques supplèmentaires.

Les 4 serveurs sont indépendants : il y a donc 4 boutons pour allumer les serveurs. À gauche se trouve les boutons pour les serveurs 1 et 2 et à droite se trouve les boutons pour les serveurs 3 et 4.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_03.jpg)

Ce type de serveur, en configuration haut de gamme (2x Xeon Gold 5120 soit au total 28 cœurs et 56 threads, 384 Go DDR4 ECC, 4x 1 To SSD NVMe, Bande passante Premium 750 Mbit/s) est loué 450 € HT par mois.

Ce type de serveur Dell est en mesure de fonctionner parfaitement avec un couloir froid à 40°c :


(https://lafibre.info/images/online/201810_dell_poweredge_c6400.png)
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 11 janvier 2019 à 21:28:22
Ce type de serveur est loué 450€/mois en configuration très haut de gamme avec 4 disques NVMe de 1 To :

(https://lafibre.info/images/online/201810_scaleway_core-5-l.png)

Chaque serveur à deux connexion 1 Gb/s dédiées : une pour Internet et une pour le RPN.
Le RPN est un réseau privé, dédié, câblé sur la deuxième interface de chaque serveur.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_04.jpg)
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 11 janvier 2019 à 21:30:02
Une seule alimentation est en mesure d’alimenter les 4 serveurs, soit 8 processeurs avec chacun 28 cœurs (total de 224 cœurs dans un format 2u !)

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_05.jpg)

Chaque serveur est connecté :
- A deux alimentations électriques (pour la redondance)
- Câble Ethernet blanc : accès Internet 1Gb/s via un switch Scaleway Chouchou (et prise de contrôle à distance via iDRAC9 Entreprise (un KVM IP intégré dans le serveur qui possède sa propre adresse IP)
- Câble Ethernet bleu : réseau « RPN » 10 Gb/s via un switch Cisco Nexus. Le réseau « RPN » est réseau privé, qui utilises les deuxièmes cartes réseau des machines et qui est indépendant du réseau public.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_06.jpg)
Titre: DC5 - 43 Cisco Nexus N9K C9364C
Posté par: vivien le 11 janvier 2019 à 21:31:37
Scaleway DC5 - 43) Cisco Nexus N9K C9364C

Ce switch agrège les données des switch de baies. Il est équipé de 64 cages QSFP28 à 40 ou 100-Gbps et 2 cages SFP+ à 10 Gb/s. Les fibres venant des baies sont à 40 Gb/s, ce qui est surdimensionné par rapport aux utilisations actuelles (les switchs où sont connectés les serveurs ont 48 ports 1 Gb/s)  tandis que celles qui partent vers le backbone sont en 100 Gb/s.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_07.jpg)

4 transceivers QSFP+ :


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_08.jpg)
Titre: DC5 - 43 Cisco Nexus N9K C9364C
Posté par: vivien le 11 janvier 2019 à 21:32:35
Ces switchs haut de gamme intègrent chacun 32 Go de RAM et un SSD de 256 Go. La table des adresses MAC gère 92 000 entrées. Deux alimentations de 1200 watts permettent d’alimenter le switch avec une redondance en cas de perte d’une alimentation. Le connecteur d’alimentation est différent de connecteurs habituels, car on peut dépasser les 10 ampères en 110 volts. La consommation typique donné par la documentation constructeur est de 429 watts.

Face arrière de 4 Cisco Nexus N9K C9364C : (vous ne pouvez pas sentir, mais les ventilateurs sont extrêmement puissants et bruyants)


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_09.jpg)
Titre: DC5 - 44 Scaleway BareMetal SSD Cloud Servers: 14 nodes dans seulement 3u
Posté par: vivien le 11 janvier 2019 à 21:36:06
Scaleway DC5 - 44) Scaleway BareMetal SSD Cloud Servers : 14 nodes indépendantes dans seulement 3u

Scaleway utilise pour le cloud des serveurs maisons. Le site internet de Scaleway dit :

Créé par et pour Scaleway pour offrir le meilleur rapport qualité-prix au monde. Les serveurs Scaleway BareMetal sont conçus pour optimiser la densité et l'efficacité. La conception et la fabrication de nos propres serveurs nous permettent d’optimiser nos coûts. Nous sélectionnons soigneusement chaque composant de nos serveurs, pour obtenir des serveurs de haute qualité au meilleur prix. Nous concevons et construisons des serveurs pour le Cloud et offrons le meilleur rapport qualité-prix au monde.

Pourquoi Scaleway utilise 14 serveurs mono-cpu et pas 7 serveurs bi-cpu ?

Le ratio performance / coût  sera plus intéressant avec 14 serveurs mono-cpu qu'avec 7 serveurs bi-cpu.
En effet, le prix d'un processeur n'est du tout le même à puissance égale, si il est limité a fonctionner sur un serveur mono-cpu, bi-cpu ou quad-cpu.

Voici à quoi ces serveurs ressemblent en face avant de ces serveurs maison :


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_10.jpg)
Titre: DC5 - 44 Scaleway BareMetal SSD Cloud Servers
Posté par: vivien le 11 janvier 2019 à 21:37:40
Physiquement, là où Dell met 4 serveurs bi-cpu dans un châssis de 2u, Scaleway place 14 serveurs (appelés node) mono cpu dans un châssis de 3u: 3 cartes de 2 serveurs à gauche et 4 cartes de 2 serveurs à droite. Par défaut, ces serveurs n’ont pas de disques en local et démarrent sur un disque réseau.

Quand le cache avant droit est enlevé, on observe 4 cartes mères, qui ont chacune deux serveurs mono CPU équipés de 2 ports SATA par serveur, afin de connecter jusqu’à 2 SSD en local par serveur (c’est appelé « Direct SSD » sur le site de Scaleway)

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_11.jpg)

Le processeur est de la série Denvorton (cf https://ark.intel.com/products/codename/63508/Denverton) qui ne peuvent que fonctionner que en mono-cpu.

Les serveurs sont appelés « Node » et il y a 2 canaux mémoire par serveur, avec chacun possibilité de mettre une barrette DDR4 par canal, soit 2 barrettes de DDR4 par serveur.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_12.jpg)

En face avant, on retrouve aussi cet écran LCD rétroéclairé qui permet voir quels serveurs parmi les 14 sont allumés, les alarmes,…
Il faut faire défiler vers le bas pour avoir accès aux 7 autres serveurs.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_13.jpg)
Titre: DC5 - 45 Connexion à 2,5 Gb/s Ethernet
Posté par: vivien le 11 janvier 2019 à 21:40:27
Scaleway DC5 - 45) Connexion à 2,5 Gb/s Ethernet

Coté réseau, contrairement à Dell qui oblige à avoir 8 câbles réseau par châssis de 4 serveurs (4 pour le RPN et 4 pour l’accès à Internet), ici il y a un switch interne pour connecter les 14 serveurs. Avec des câbles, 28 câbles Ethernet auraient été nécessaires !

Les serveurs sont connectés à 2,5 Gb/s à ce switch pour Internet et 2,5 Gb/s pour le RPN. Cela explique la mention « Internal Bandwidth 5 Gb/s » présent sur le site de Scaleway.
Le 2,5 Gb/s Ethernet est une évolution de la norme Ethernet récente qui devrait se démocratiser :

(https://lafibre.info/images/doc/201505_ethernet_2.5Gbps_and_5Gbp_1.png)

Le châssis est lui connecté à 20 Gb/s pour le RPN et 20 Gb/s pour l’Internet. Le risque de congestion est faible: les 14 cartes Ethernet de 2,5 Gb/s des serveurs permettent un trafic maximum de 35 Gb/s.

Un port RJ45 cuivre est également câblé, probablement pour de l’administration.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_14.jpg)
Titre: DC5 - 45 Connexion à 2,5 Gb/s Ethernet
Posté par: vivien le 11 janvier 2019 à 21:41:15
Face arrière de ces serveurs avec une double alimentation pour la redondance.

L’espace situé à droite et à gauche des alimentations permet de mettre des disque dur ou des SSD connectés aux ports SATA des serveurs qui sont derrières :  il est possible de mettre des câbles SATA en contournant les ventilateurs.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_15.jpg)

Sur cette photo, on voit clairement les 7 cartes mères équipées chacune de deux serveurs indépendants.
Trois ventilateurs puissants assurent le refroidissement de l’ensemble.
Au centre, il y a de l’espace libre avec ce qui ressemble aux composants du switch Ethernet 14x 2,5 Gb/s avec un uplink de 2x10 Gb/s :


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_16.jpg)
Titre: Reportage version PDF
Posté par: vivien le 11 janvier 2019 à 21:47:20
Version PDF du reportage : (cliquez sur la miniature ci-dessous - le document est au format PDF et fait 44 Mo)

(https://lafibre.info/images/online/201807_scaleway_dc5.png) (https://lafibre.info/images/online/201807_scaleway_dc5.pdf)
Titre: DC5 - 46 Depuis ma venue, Scaleway à mis en production DC5
Posté par: vivien le 11 janvier 2019 à 21:48:27
Scaleway DC5 - 46) Depuis ma venue, Scaleway à mis en production DC5

Les photos que je vous présentes sont les photos officiels de Scaleway, prises en décembre 2018.

(https://lafibre.info/images/online/201812_scaleway_dc5_92.jpg)

Suivez le guide...

(https://lafibre.info/images/online/201812_scaleway_dc5_06.jpg)
Titre: DC5 - 47 Intervention pour une panne matérielle
Posté par: vivien le 11 janvier 2019 à 21:56:04
Scaleway DC5 - 47) Intervention pour une panne matérielle

(https://lafibre.info/images/online/201812_scaleway_dc5_32.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_33.jpg)
Titre: DC5 - 47 Intervention pour une panne matérielle
Posté par: vivien le 11 janvier 2019 à 21:58:31
(https://lafibre.info/images/online/201812_scaleway_dc5_34.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_35.jpg)
Titre: DC5 - 47 Intervention pour une panne matérielle
Posté par: vivien le 11 janvier 2019 à 21:59:50
(https://lafibre.info/images/online/201812_scaleway_dc5_29.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_28.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:01:00
Scaleway DC5 - 48) D'autres types de serveurs Scaleway

(https://lafibre.info/images/online/201812_scaleway_dc5_30.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:01:54
(https://lafibre.info/images/online/201812_scaleway_dc5_37.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_39.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:02:58
(https://lafibre.info/images/online/201812_scaleway_dc5_22.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:03:19
(https://lafibre.info/images/online/201812_scaleway_dc5_21.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_23.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:04:07
(https://lafibre.info/images/online/201812_scaleway_dc5_18.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_19.jpg)
Titre: DC5 - 49 L'allée chaude avec des serveurs en fonctionnement
Posté par: vivien le 11 janvier 2019 à 22:06:08
Scaleway DC5 - 49) L'allée chaude avec des serveurs en fonctionnement

(https://lafibre.info/images/online/201812_scaleway_dc5_26.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_27.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_40.jpg)
Titre: DC5 - 50 Une salle vide
Posté par: vivien le 11 janvier 2019 à 22:07:56
Scaleway DC5 - 50) Une salle vide

Allée froide :

(https://lafibre.info/images/online/201812_scaleway_dc5_16.jpg)

Allée chaude :


(https://lafibre.info/images/online/201812_scaleway_dc5_17.jpg)
Titre: DC5 - 51 Emplacement de future salles
Posté par: vivien le 11 janvier 2019 à 22:09:57
Scaleway DC5 - 51) Emplacement de future salles

(https://lafibre.info/images/online/201812_scaleway_dc5_09.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_15.jpg)
Titre: DC5 - 52 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 22:11:53
Scaleway DC5 - 52) Assemblage de baies informatiques sur DC5

(https://lafibre.info/images/online/201812_scaleway_dc5_01.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_02.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_03.jpg)
Titre: DC5 - 52 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 22:12:27
(https://lafibre.info/images/online/201812_scaleway_dc5_04.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_05.jpg)
Titre: DC5 - 53 Salle climatique
Posté par: vivien le 11 janvier 2019 à 22:13:02
Scaleway DC5 - 53) Salle climatique

C’est une salle afin de réaliser des tests sur du matériel informatique dans différentes situations météorologiques recrées artificiellement depuis un automate de régulation, bref de la recherche et développement pour pousser le matériel au maximum de ses limites.

(https://lafibre.info/images/online/201812_scaleway_dc5_91.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_90.jpg)
Titre: DC5 - 54 La salle opérateurs en décembre 2018
Posté par: vivien le 11 janvier 2019 à 22:21:30
Scaleway DC5 - 54) La salle opérateurs en décembre 2018

(https://lafibre.info/images/online/201812_scaleway_dc5_60.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_54.jpg)
Titre: DC5 - 54 La salle opérateurs en décembre 2018
Posté par: vivien le 11 janvier 2019 à 22:21:55
Énergie (48v et 230v) de la salle opérateur :

(https://lafibre.info/images/online/201812_scaleway_dc5_53.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_55.jpg)
Titre: DC5 - 55 Une des deux meet-me room (MMR)
Posté par: vivien le 11 janvier 2019 à 22:27:22
Scaleway DC5 - 55) Une des deux meet-me room (MMR)

(https://lafibre.info/images/online/201812_scaleway_dc5_56.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_59.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:34:35
Scaleway DC5 - 56) Centrale de traitement d'air

Voici les volets qui permettent la reprise d’air chaud

Cette pièce est reliée aux couloirs d’extraction de l’air situé au-dessus des deux allées chaudes.


(https://lafibre.info/images/online/201812_scaleway_dc5_47.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_46.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:35:34
L'automate :

(https://lafibre.info/images/online/201812_scaleway_dc5_48.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_49.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:36:13
Les ventilateurs :

(https://lafibre.info/images/online/201812_scaleway_dc5_50.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_51.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:40:02
Prise d'air pour le free-cooling de la salle opérateur ?

(https://lafibre.info/images/online/201812_scaleway_dc5_82.jpg)

Cela ressemble à l'entrée d'air à l'étage, mais je ne comprends pas pourquoi il y a de l'eau glacée avec de quoi mettre des climatisation....


(https://lafibre.info/images/online/201812_scaleway_dc5_89.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:44:03
Extraction de l'air chaud pour le fair sortir du data center :

(https://lafibre.info/images/online/201812_scaleway_dc5_83.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_86.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:45:21
(https://lafibre.info/images/online/201812_scaleway_dc5_84.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_85.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:45:55
(https://lafibre.info/images/online/201812_scaleway_dc5_44.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_43.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:46:37
(https://lafibre.info/images/online/201812_scaleway_dc5_45.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_42.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_41.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:48:05
(https://lafibre.info/images/online/201812_scaleway_dc5_76.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_77.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_80.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:48:32
(https://lafibre.info/images/online/201812_scaleway_dc5_79.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_78.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:50:14
(https://lafibre.info/images/online/201812_scaleway_dc5_62.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_63.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:50:31
(https://lafibre.info/images/online/201812_scaleway_dc5_64.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:51:11
(https://lafibre.info/images/online/201812_scaleway_dc5_61.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:51:40
(https://lafibre.info/images/online/201812_scaleway_dc5_65.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_67.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_66.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:52:48
(https://lafibre.info/images/online/201812_scaleway_dc5_68.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_69.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:52:58
(https://lafibre.info/images/online/201812_scaleway_dc5_70.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_71.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:53:09
(https://lafibre.info/images/online/201812_scaleway_dc5_72.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:53:39
(https://lafibre.info/images/online/201812_scaleway_dc5_11.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_12.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:53:50
(https://lafibre.info/images/online/201812_scaleway_dc5_13.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_14.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:55:26
Ce reportage sur le data center Scaleway DC5 est terminé, à vos commentaires !

(https://lafibre.info/images/online/201812_scaleway_dc5_92.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 11 janvier 2019 à 23:01:59
Boulot de malade que tu as fait Vivien. Félicitations !
Peux-t'on avoir un plan pour s'y retrouver ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 11 janvier 2019 à 23:17:11
top!


ca valait le coup de patienter :)


impressionnant boulot de la part d'online pour la mise en place de ce nouveau DC :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: chiwawa_42 le 12 janvier 2019 à 01:56:57
Franchement Vivien, quand tu passes dans mon quartier, tu devrais me faire signe au moins pour en boire une bien fraîche.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Karl le 12 janvier 2019 à 01:59:18
Très intéressant!
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: acontios le 12 janvier 2019 à 02:04:43
Félicitations pour le boulot d'info, et les textes explicatifs, c'est tres sympa d'avoir pris le temps d'expliquer tout ca !
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 08:24:21
Peux-t'on avoir un plan pour s'y retrouver ?

Je n'ai que ça :
Schématiquement, cela donne ceci :

(https://lafibre.info/images/online/201810_scaleway_dc5_schema.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: alain_p le 12 janvier 2019 à 08:54:36
Bravo Vivien. Tu as fait un énorme travail avec ce reportage très intéressant. J'ai suivi au fur et à mesure que tu publiais, mais je n'ai pas encore tout lu. Très impressionnant leur solution de rafraichissement adiabatique. Ce qui est très étonnant, c'est qu'ils peuvent maintenir une température constante de 30°C. On verra cet été s'il y a une canicule (genre 40°C pendant plusieurs jours, l'évaporation de l'eau sera-t-elle suffisante ?).

On voit aussi que le multigigabit 2.5 et 5 Gb/s commence à être pas mal utilisé, en tout cas avec leurs serveurs.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 10:45:15
J'y ai été à DC5 pendant la canicule du 26 juillet 2018, un des jour les plus chaud de l'été et cela fonctionne bien.

Le refroidissement adiabatique permet de baisser la température de 10 degrés.

Il faut voir que quand il fait 42°c à Paris, il faut 40°c à Saint-Ouen-l'Aumône (95) et donc 30°c avec le refroidissement adiabatique.

Le risque c'est un 40°c avec une humidité très forte, mais ce type de climat n'existe presque pas en France : quand les orages de pluie éclatent, la température baisse immédiatement.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 12 janvier 2019 à 10:51:53
Merci Vivien pour tout ça!
C'est beau comme installation.
La 2ieme partie avec les photos "corporate", ça fait un peu trop photos trafiquées à mon gout, mais bon... c'est sympa quand même.

Très impressionnant leur solution de rafraichissement adiabatique. Ce qui est très étonnant, c'est qu'ils peuvent maintenir une température constante de 30°C. On verra cet été s'il y a une canicule (genre 40°C pendant plusieurs jours, l'évaporation de l'eau sera-t-elle suffisante ?).
En fait, je pense que Online-Scaleway tolère des variations de températures en entrée serveur. Dans les situations exceptionnelles, si la température dépasse de quelques degrés les 30°C de consigne, ça n'est pas bien grave.

Dans tous les cas, avec ce dispositif, on est bien meilleur que le freecooling d'OVH, où les salles sont juste ouvertes aux 4 vents quand il fait chaud.

Certains composants (disque durs notamment) sont sensibles aux variations importantes de température, mais tolèrent facilement de petits écarts de température.

Par le passé, dans les datacenter, on a souvent travaillé avec des concepts qui n'ont finalement pas beaucoup de sens : consigne de température et hygrométrie fixe avec des tolérances très serrées... Juste parce que les équipements (climatisation) savaient le faire.
Maintenant qu'on veut (enfin) économiser de l'énergie, je pense qu'on est plus pragmatique.

Par contre, j'imagine que si ponctuellement des travaux voisins ou un incendie voisin génère énormèment de poussières et particules, ça va énormèment gêner DC5, et encrasser les filtres... On sait comment ils comptent gérer ce genre de situation?
On sait s'ils savent laver les filtres à air sur place, avec des machines spécifiques?

Leon.
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 12 janvier 2019 à 11:03:48
Tout à fait de nombreux serveurs fonctionnent parfaitement avec un couloir froid de 40°c et même des pic (<1% du temps) à 45°c :

Ce type de serveur, en configuration haut de gamme (2x Xeon Gold 5120 soit au total 28 cœurs et 56 threads, 384 Go DDR4 ECC, 4x 1 To SSD NVMe, Bande passante Premium 750 Mbit/s) est loué 450 € HT par mois.

Ce type de serveur Dell est en mesure de fonctionner parfaitement avec un couloir froid à 40°c :


(https://lafibre.info/images/online/201810_dell_poweredge_c6400.png)

Mais certains datacenter continuent de mettre une température de 18°c fixe pour le couloir froid.

Mon record, c'est une petite salle informatique à Marseille (total de 8 baies, mais elle est quand même référencé sur DataCenter map) avec une température de 10°c. A priori l'unique climatisation, n'avait pas de thermostat et elle était soit allumée, soit éteinte et là je suis intervenu en hiver...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: alarig le 12 janvier 2019 à 13:12:51
Histoire de comparer avec un DC classique, est-ce que l’on connaît de coût énergétique global engendré pour le refroidissement ? En prenant en compte l’approvisionnement en eau, le traitement par Online, les ventilateurs et le traitement après évacuation dans les égouts.
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: fanning le 12 janvier 2019 à 13:41:54
Mais certains datacenter continuent de mettre une température de 18°c fixe pour le couloir froid.
Car tous les équipements ne suportent pas 40°C, dans le cadre des salles serveurs elle sont à 30°, mais la salle opérateur à une température plus basse.

Scaleway peut se le permettre, ce que d'autre ne peuvent pas, ex: Chez Interxion, Equinix, ... Tu va avoir dans les baies des routeurs, des switchs, de la transmission.

Le problème de Scaleway n'est pas tant le PUE, mais le cout de construction par Kw.
Comme expliqué déjà par Arnaud, les clim fonctionne au moment où l'électricité est la moins chère et fonctionne en Free-Cooling quand elle est la plus chère.
DC5 réponds uniquement l'usage d'un cout de construction /kw le plus bas possible, à l'image d'un OVH, mais est inadapté à de la colocation.

Car au final le marché est comme sa: en Cloud, Serveur Dédié, ... Tu n'en a rien à faire des conditions d'humidité, de température, tant que ton serveur fonctionne.
En colocation, vu que c'est ton matériel tu vas avoir une tendance à vouloir des conditions climatiques, électriques parfaites pour sécuriser ton investissement.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 13:47:01
Histoire de comparer avec un DC classique, est-ce que l’on connaît de coût énergétique global engendré pour le refroidissement ? En prenant en compte l’approvisionnement en eau, le traitement par Online, les ventilateurs et le traitement après évacuation dans les égouts.
C'est négligeable voir ridicule au vu de la puissance des salles, surtout que l'adiabatique ne fonctionne que quelques semaines par an (quand il fait > 30°C)

Ce qui faut plutôt retenir c'est qu'à l'inverse d'un DC Classique, tu n'a pas besoin d'investir plusieurs millions dans des armoires de refroidissement, des tours de refroidissement, ...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 13:54:41
Dans tous les cas, avec ce dispositif, on est bien meilleur que le freecooling d'OVH, où les salles sont juste ouvertes aux 4 vents quand il fait chaud.
L'unique chose qui fera dire si c'est mieux, c'est le taux de fiabilité des serveurs, étant des chiffres très confidentiels, nous ne le saurons jamais.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 13:58:37
@Arnaud: On se situe plus ou moins dans quel cout de construction par MW sur DC5 par rapport à un DC classique ?
 
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: abermingham le 12 janvier 2019 à 14:20:22
@Arnaud: On se situe plus ou moins dans quel cout de construction par MW sur DC5 par rapport à un DC classique ?

Tu te doutes bien, Vivien à essayé de me cuisiner sur le sujet :-)
Le coût de construction d'un DC est intimement lié à son architecture et à son niveau de redondance, qui représentent 85% des coûts d'investissement.
Ce qui coute cher, c'est pas le foncier ou le bâtiment en lui-même, ce sont les équipements techniques pour délivrer le service (élec, clim, incendie...)

Sans dévoiler de grands secrets, tant sur le le coût de construction au kW par rapport à des architectures plus classiques qu'au niveau maintenance, à niveau de redondance identique, c'est entre deux et trois fois plus économique.

Arnaud
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hell0 le 12 janvier 2019 à 15:42:48
Très beau reportage, gros travail de ta part vivien ! Merci pour ce partage :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Ilyazam le 12 janvier 2019 à 16:11:40
Merci pour le reportage très intéressant  :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 17:17:01
C'est négligeable voir ridicule au vu de la puissance des salles, surtout que l'adiabatique ne fonctionne que quelques semaines par an (quand il fait > 30°C)

En incluant dorénavant la réponse d'arnaud, si cela coute actuellement 2 à 3 fois moins cher, il faudra pas que les canicules durent de 2 à 3 fois plus longtemps qu'en 2018...

La prochaine étape sera de construire un nouveau DC dans le Noooooooorrrrrrrd pour perdre  1 ou 2°C comparé à Paris et voir...

Ce que je comprends pas c'est que peu d'opérateurs télécom penchent à se rapprocher des pays scandinaves pour y placer des DC de cold storage par exemple...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 18:13:50
Ce que je comprends pas c'est que peu d'opérateurs télécom penchent à se rapprocher des pays scandinaves pour y placer des DC de cold storage par exemple...
Car peu d'opérateur télécom ont de tel besoins en terme de puissance électrique.

Ce type de modèle ne s'applique qu'à des hébergeurs, cloud, ...
Hors le nombre d'acteur ayant la capacité financière de construire leur datacenter et le besoin se compte sur les doigts des mains (en Europe).

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 18:25:59
@Arnault: Tu as fait le même design que Facebook à Prineville (je parle de conception climatique). Tu avais évoqué il y a quelques années que ce modèle était difficilement applicable en milieu urbain (région Parisienne) en raison du cout de remplacement des filtres.

Le cout de construction / maintenance a du te faire changer d'avis. Sur les photos on ne voit pas de pré filtre (peu cher).
En raison de l'environement urbain, combien de fois par an dois tu les remplacer ? Ou sont-ils réutilisables ?


Pourquoi ne pas avoir fait du FreeCooling indirect dans la salle opérateur ainsi que les locaux techniques ?

Les busbar de chez EAE sont en Aluminium ou en Cuivre ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: gmillour le 12 janvier 2019 à 18:28:04
Super l'article ! Gros gg !  :D
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 18:36:23
@Arnault: Tu as fait le même design que Facebook à Prineville (je parle de conception climatique). Tu avais évoqué il y a quelques années que ce modèle était difficilement applicable en milieu urbain (région Parisienne) en raison du cout de remplacement des filtres.

Le cout de construction / maintenance a du te faire changer d'avis. Sur les photos on ne voit pas de pré filtre (peu cher).
En raison de l'environement urbain, combien de fois par an dois tu les remplacer ? Ou sont-ils réutilisables ?

Selon Arnaud, le coût du filtrage pour DC2 / DC3 situés à Vitry-sur-Seine (94) serait bien plus élevé que pour DC5 qui est en grande banlieue à Saint-Ouen-l'Aumône (95).

Pour les pré-filtres, tu as la réponses là :
J’ai été étonné que Scaleway n’utilise pas des préfiltres devant les filtres. Les préfiltres, moins cher, servent alors à enlever le gros des particules et permettent de changer moins fréquemment les filtres de classe F7. En effet, lors du printemps, l’air contient de nombreux pollens / graminées, mais ceci impacterait certainement le PUE, car rajouterait de la résistance à l’air et augmenterait la consommation électrique des ventilateurs de soufflage.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 18:44:31
Ce type de modèle ne s'applique qu'à des hébergeurs, cloud, ...

oui exact c'est des opérateurs cloud pas télécom... AMAZON pourrait le faire par exemple.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: oliviermis le 12 janvier 2019 à 18:54:53
Merci Vivien, très bel article
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 19:12:20
La prochaine étape sera de construire un nouveau DC dans le Noooooooorrrrrrrd pour perdre  1 ou 2°C comparé à Paris et voir...

Ce que je comprends pas c'est que peu d'opérateurs télécom penchent à se rapprocher des pays scandinaves pour y placer des DC de cold storage par exemple...
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content). Et quand un grand acteur demande un 100 Gb/s à OVH sur le CIV, le TH2 local où est implèmenté LilleIX, le a réponse d'OVH, c'est qu'ils ne savent pas faire.

En incluant dorénavant la réponse d'arnaud, si cela coûte actuellement 2 à 3 fois moins cher, il faudra pas que les canicules durent de 2 à 3 fois plus longtemps qu'en 2018...
J'ai un peu discuté sur ce qui réduit la durée de vie des serveurs, avec Arnaud, mais aussi avec Lionel (Maxnod) et c'est :
- Les variations de température
- Les poussières

DC5 sera un datacenter fiable, le doute n'est pas permis, au vu des température passées.
Si il fait 40°c 24h/24 365 jours par an, cela ne posera aucun problème à DC5, la température sera la même que si il fait -30°c dehors : 30°c dans l'allée froide.

Pour le risque de condensation,j'ai beaucoup interrogé Arnaud sur ce point, il faut absolument éviter une variation trop rapide de la température pour que l'humidité dans l'air lié au refroidissement adiabatique condense sur un matériel plus froid que l'air.

L’automate a une protection, pour limiter les changements brusques de température et éviter que de la condensation ne se forme : celui-ci ajuste la température de consigne de soufflage au gré de la température extérieure. Celle-ci est limitée à 1 degrés C. par heure, indiqué sous forme d’une limite de 2°C par 120 minutes sur l’automate :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_30.jpg)

Là où on a vu des problème de fiabilité du matériel, la température fait le yoyo... 'Toutes les barrettes de ram sont tombées en panne en même temps'
Je pense que c'est pas limité à Gravelines, car j'ai un serveur à Roubaix où la température monte bien aussi.
Graphique de la sonde du disque dur également, entre le 26 juin et aujourd'hui.


(https://lafibre.info/images/ovh/201607_temperature_dd_ovh_3.png)
Là, ce graphique m'inquiète vraiment! Plus de 18°C de variation de température, c'est énorme.
Je croyais que les disques durs étaient surtout sensible aux variations de température.
Et on voit qu'il n'y a aucune régulation. Ca semble être la température extérieure. Du coup, est-ce qu'on a des données sur la température en hiver?

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 19:43:33
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content).

ILIAD a un POP à Lille... Rien n'empeche de créer un NordIX/Hauts-de-FrancIX et de créer un DC pour du cold storage ;)

DC5 sera un datacenter fiable, le doute n'est pas permis, au vu des température passées.
Si il fait 40°c 24h/24 365 jours par an, cela ne posera aucun problème à DC5, la température sera la même que si il fait -30°c dehors : 30°c dans l'allée froide.

Dans le nord, il fait plus froid, on est proche des centrales de Gravelines et de Chooz, l'immobilier est moins cher... et OVH est a gravelines surtout pour se rapprocher de Londres qui est #1 en trafic Internet mondial.

Bref y'a du potentiel....


Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 19:51:46
Tous les opérateurs ont un ou des POP sur Lille.
La réalité du peering régional est tout autre.

Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.

Aucun gros opérateur ne peer en 2019 à Lille avec OVH.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 19:54:56
Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.

En mettant que du cold storage c'était pour moi et cela n'engage que moi pas un soucis. bon voilà j'ai dit mon idée... c'est tout ;)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 20:17:59
La réalité du peering régional est tout autre.
La réalité est que le trafic est <10G.

Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.
Citation de: willemijns
Dans le nord, il fait plus froid, on est proche des centrales de Gravelines et de Chooz, l'immobilier est moins cher... et OVH est a gravelines surtout pour se rapprocher de Londres qui est #1 en trafic Internet mond
La réalité est qu'il faut plein de wave 100G pour remonter sur Paris.
Sa coute un bras en équipement de transmission que tu remplacera tous les 5 ans (voir plus vite)
Au final la différence du foncier sera vite récupéré (ammortissement de +20ans de ton bâtiment, valeur résiduelle, ...)

Aucun gros opérateur ne peer en 2019 à Lille avec OVH.
Et ils ont raison ! Pourquoi tu devrais payer du transport jusqu'à Lille alors que tu l'a gratuitement sur Paris.
Après il faut pas oublier qu'actuellement un port 100G sur un routeur ISP sa coute > 15000 (full dfz), donc tu essaie de remplir ton port au maximum.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 20:21:29
En mettant que du cold storage c'était pour moi et cela n'engage que moi pas un soucis. bon voilà j'ai dit mon idée... c'est tout ;)
Du Cold storage par définition sa ne consomme que très peu de Kw, en 2019 c'est très facile de trouver une baie pas cher sans élec.
Par contre dès que tu veux >1kw (très vieux DC) >3kw (DC récent) sans devient très compliqué et très cher.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 20:24:44
@Arnault: Vu que le cout de construction/maintenance est inférieur, on peut s'attendre que les serveurs résilié seront déplacé sur DC5 afin de libérer de l'espace sur DC3 ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: jack le 12 janvier 2019 à 21:53:06
Je reviens sur les "BareMetal SSD Cloud Servers"
À deux reprises, tu dis que ce sont des 7 blades bi-sockets, dans un chassis 3RU

J'avais cru comprendre que ce n'était pas possible, principalement pour des raisons de dissipations de chaleur
À ma connaissance, ni Dell ni Supermicro ne propose se genre de matière, et les offres scaleway ne tirent pas non plus parti de cela (8 CPU x86 max par serveur)

Qu'est-ce que cela signifie ?
Est-ce une typo ?
Est-ce vraiment des serveurs bi-socket, mais qui ne supportent qu'un faible TDP global (il n'est pas possible de mettre n'importe quel CPU, mais seulement des "petits") ?
Titre: DC5 - 45 Connexion à 2,5 Gb/s Ethernet
Posté par: vivien le 12 janvier 2019 à 22:05:50
On vois bien 7 serveurs distinct bi-cpu sur les photos ci-dessous.

Pour la consommation électrique, si on prend une limite de 300w par serveur, ce qui permet de mettre des CPU haut de gamme avec un TDP de 120watts (il n'y a pas de disque et le principal composant qui consomme ce sont les 2 CPU), on arrive à 2100 watts, cela me semble réalisable.

Cela fait 32 cœurs 64 threads par machine avec un Xeon E5-2683V4 et au total sur 3u, cela fait 224 cœurs et 448 threads sur 3u.

Avec des Xeon Gold à 20 cœurs par CPU, on passe à 280 cœurs et 560 threads sur 3u.

Cela reste des suppositions, je ne sais pas ce qu'utilise Scaleway sur ces machines ni la puissances des alimentations.

Physiquement, là où Dell met 4 serveurs dans un châssis de 2u, Scaleway place 7 serveurs dans un châssis de 3u: 3 à gauche et 4 à droite. Par défaut, ces serveurs n’ont pas de disques en local et démarrent sur un disque réseau.

Quand le cache avant droit est enlevé, on observe 4 cartes mères de serveurs bi-CPU avec 4 ports SATA, afin de connecter jusqu’à 4 SSD en local par serveur (c’est appelé « Direct SSD » sur le site de Scaleway)

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_11.jpg)

Les serveurs sont appelés « Node » et il y a 2 canaux mémoire par processeur, avec chacun possibilité de mettre une barrette DDR4 par canal, soit 4 barrettes de DDR4  par serveur.

Sur cette photo, on voit clairement les 7 serveurs, avec chacun deux processeurs et 4 barrettes de DDR4.
Trois ventilateurs puissants assurent le refroidissement de l’ensemble.
Au centre, il y a de l’espace libre avec ce qui ressemble aux composants du switch Ethernet 7x 2,5 Gb/s avec un uplink de 2x10 Gb/s :


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_16.jpg)

Chez Dell, c'est 1600 watts sur 2u, donc plus dense en watts que 2100 watts sur 3u : (400 watts max par serveur)

Une seule alimentation est en mesure d’alimenter les 4 serveurs, soit 8 processeurs avec chacun 28 cœurs (total de 224 cœurs dans un format 2u !)

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_05.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Hugues le 12 janvier 2019 à 22:24:45
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content). Et quand un grand acteur demande un 100 Gb/s à OVH sur le CIV, le TH2 local où est implèmenté LilleIX, le a réponse d'OVH, c'est qu'ils ne savent pas faire.
LillIX, pas LilleIX. Et je ne vois pas le rapport, tu peux être à Lille sans peerer à Lille, juste en achetant 3 ou 4 FON vers Paris.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 22:37:04
c'est ce que je voyais aussi.... en plus ca pourrait être en plus des départs vers Londres de Paris...

https://www.iliad.fr/amf/2017/Iliad_Documentdereference2016.pdf
chez ILIAD page 55 ca passe via gravelines.... online doit passer à peu dechosesprés aussi par là.


Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 23:18:57
chez ILIAD page 55 ca passe via gravelines.... online doit passer à peu dechosesprés aussi par là.
Online n'a rien qui va vers Londres, Online n'utilise aucune wave de Free (uniquement Level3, Sipartech et Ielo)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 23:20:41
et vers Lille ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 23:24:38
et vers Lille ?
Il n'ont rien en propre en longue distance.
Forcèment sa passe par Lille mais à travers une société tierce avec des chemins redondés pour les nouveaux 100G (Théoriquement, si tu a une coupure sur chemin A sa passe par chemin B en 50ms)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Ptigarstheone le 13 janvier 2019 à 12:10:32
Bravo Vivien, très instructif, même pour un noob total comme moi. On se rends compte de toute l'ingéniérie nécessaire dans une infrastructure d'une telle complexité.
La très grande majorité des photos est réussie, elles sont nettes et bien éclairées ce qui n'est pas évident dans cet environnement avec des couloirs, des pièces avec peu de recul... Quel apn as-tu utilisé, smartphone, réflex/hybride... ?

Merci.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 13 janvier 2019 à 12:31:22
Bravo Vivien, très instructif, même pour un noob total comme moi. On se rends compte de toute l'ingéniérie nécessaire dans une infrastructure d'une telle complexité.
La très grande majorité des photos est réussie, elles sont nettes et bien éclairées ce qui n'est pas évident dans cet environnement avec des couloirs, des pièces avec peu de recul... Quel apn as-tu utilisé, smartphone, réflex/hybride... ?

Merci.
les exifs des photos trahissent un DMC-FZ1000, donc un bridge https://www.lesnumeriques.com/appareil-photo-numerique/panasonic-lumix-fz1000-p20811/test.html :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Ptigarstheone le 13 janvier 2019 à 12:42:19
J'avais la flemme de regarder les exifs  ;D Je n'ai fait que la page 12 et on voit Nikon D800 avec un 14-24mm, ce qui me semble plus conforme à la qualité des photos.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 13 janvier 2019 à 13:17:16
oui, page 12 on est sur les photos "corporate" made by Online, donc ca a du sens qu'ils aient utilisé du plus gros matos :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: coco le 13 janvier 2019 à 14:27:51
Bravo pour ce super reportage Vivien, c'est très bien à lire, super complet ! C'est très rare d'avoir des reportages aussi complet sans pub.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vincent0 le 13 janvier 2019 à 14:30:53
Super méga intéressant !
Bravo pour ce super reportage - bon nombre de site d'actu informatique pro peuvent en prendre de la graine !
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 13 janvier 2019 à 19:56:38
Le DMC-FZ1000 (Panasonic Lumix FZ1000) ce sont mes photos (licence Creative Commons BY-SA 4.0 n'hésitez pas à les réutiliser)

J'ai bien séparé mes photos prises en juillet 2018 des photos corporate en décembre 2018.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Ralph le 13 janvier 2019 à 20:39:10
Infrastructure très impressionnante (du moins pour moi dans le commun des mortels) tout comme le reportage, on y voit vraiment tout de DC5 et de son fonctionnement dans plein de domaines.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 13 janvier 2019 à 20:44:06
C'est surtout que le refroidissement adiabatique est aujourd'hui pas du tout utilisé en France dans les datacenter.

C'est une étape de plus dans un datacenter vraiment vert (car beaucoup de datacenter se disent vert, mais là, je vois une vrai avancée)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: buddy le 13 janvier 2019 à 20:58:19
C'est une étape de plus dans un datacenter vraiment vert (car beaucoup de datacenter se disent vert, mais là, je vois une vrai avancée)

Pour le fait d'utiliser le freecooling la majorité du temps, oui c'est vraiement "vert" mais après, pour le refroidissement adiabatique, je pense qu'il faudrait une analyse plus globale, ils consomment quand même de l'électricité (pour créer l'eau osmosée) et de l'eau (celle utilisée et celle rejetée aux égouts). Un peu comme les voitures électriques, elles ne rejettent pas de Co2 en roulant, mais il faut voir comment a été créée la voiture et comment l'électricité a été créée (pas qu'en France).
Bref, après loin de moi l'idée de vouloir lancer un débat sans fin !

Mais c'est un vrai pas en avant d'avoir du freecoling "adapté au matériel informatique" la très très grande majorité du temps.

Sinon Bravo Vivien pour cet excellent reportage, je le lisais au fur et à mesure que tu postais et c'est vraiement génial et tous les aspects techniques ont, je trouve, était très bien abordés!
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 13 janvier 2019 à 21:04:06
Le Freecooling direct est déjà utilisé dans d'autres datacenter, comme au Maxnod où est hébergé le serveur lafibre.info : la clim ne fonctionne que quand il faut plus de 28°c à l'extérieur, vu qu'on est sur un couloir froid à 28°c 365 jours /an, via une centrale de traitement d'air qui décide du % d'air chaud à recycler et du % d'air neuf à introduire.

Le refroidissement adiabatique me semble consommer très peu d'eau, rien à voir avec une climatisation à eau perdue qui est utilisé encore dans certaines salles informatiques voir certains datacenter en secours (c'est le cas de TH1 il me semble, non ?).
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 13 janvier 2019 à 22:33:36
Très intéressant comme reportage, effectivement ! :)

Le refroidissement adiabatique me semble consommer très peu d'eau
36 m3 c'est quand même la consommation d'une personne pendant un an alors que là c'est la consommation (maximale certes) du DC pendant une heure.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 13 janvier 2019 à 22:52:50
Bref, après loin de moi l'idée de vouloir lancer un débat sans fin !

Arnaud avait parlé de 2 à 3 fois moins cher non ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: mattmatt73 le 13 janvier 2019 à 22:57:39
Arnaud avait parlé de 2 à 3 fois moins cher non ?

Si on est dans ce ratio, pourquoi ce n'est pas plus utilisé ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: buddy le 13 janvier 2019 à 23:14:35
Arnaud avait parlé de 2 à 3 fois moins cher non ?
je parlais plus au sens "écologique" mis en avant. utilisation d'électricité et d'eau.
Puis qu'est ce qui coûte 2 à 3 fois moins cher ? Le total non ? (je parle plus spécifiquement de "climatiser normalement" au delà de 30 °C ou "refroidissement eau osmosée"). "De combien" le refroidissement par évaporation d'eau osmosée est plus vert que le refroidissement "traditionnel" uniquement quand il s'active.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: AlexPopov le 13 janvier 2019 à 23:43:17
Bravo et merci pour ce beau reportage !  :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: coco le 13 janvier 2019 à 23:46:02
Qu'est ce qui polue le plus, la consommation d'eau ou d'électricité ? :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 14 janvier 2019 à 00:12:50
je parlais plus au sens "écologique" mis en avant. utilisation d'électricité et d'eau.

j'eu espéré que tout aurait été inclus dans ce chiffrage d'arnaud mais la c'est vrai que je commence à douter que que soit que l'infrastructure :-X

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 14 janvier 2019 à 00:22:43
Si on est dans ce ratio, pourquoi ce n'est pas plus utilisé ?

En prenant du recul je crois qu'ils ont poussé au max la R&D tout en ne sachant pas trop les couts ou en considerant que meme si l'energie coute plus (pas trop quand meme), le buzz ecologique cela n'a pas de prix....................

perso je crois que pour ne pas avoir testé l'idée sur un mini-DC c'est qu'il y a du benef ou un cout nul 100% garanti dans toute l'histoire.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 14 janvier 2019 à 01:20:43
En prenant du recul je crois qu'ils ont poussé au max la R&D tout en ne sachant pas trop les couts ou en considerant que meme si l'energie coute plus (pas trop quand meme), le buzz ecologique cela n'a pas de prix....................
Je pense que tu te trompes lourdement. Online a choisi ce type de Freecooling parce que c'est rentable, point. Moins cher à l'investissement, moins cher en frais de fonctionnement.
En soi, ça ne fait pas tant de buzz que ça. Regarde le site de Scaleway-Online : on n'y parle assez peu de "green computing", autant que les concurrents.
Je suis persuadé que plein de personnes achèteront du Scaleway, sans rien connaitre de la technologie du datacenter derrière.

Pour finir, c'est exactement l'architecture choisie par Facebook pour ses datacenter 'hyperscale', dont on peut penser que c'est un bon choix.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 14 janvier 2019 à 10:58:11
Arnaud avait parlé de 2 à 3 fois moins cher non ?
j'eu espéré que tout aurait été inclus dans ce chiffrage d'arnaud mais la c'est vrai que je commence à douter que que soit que l'infrastructure :-X

Je pense que tout est inclus. Le refroidissement adiabatique n'est pas la seule innovation pour réduire les couts.

Du coté de l'énergie, c'est aussi assez innovant et assez économique vu qu'une seul des deux voies est ondulée mais avec une gaine à barre dénommée « HQR » (Haute Qualité de Remplacement) de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante. Bref, cela via  à avoir une disponibilité proche du 2N sans avoir les couts de ce type d'architecture.

Il y a aussi des économies du fait que on ne loue pas a la baie, mais par salle entière d'une capacité de 1Mw.

Les deux arrivées électriques « Voie A » et « Voie B » chacune de 6kw (disjoncteur de 32 ampères). À DC5, la double alimentation est une nécessité : une seule voie est ondulée. Ce choix permet économie et simplicité : chaque salle a 2 transformateurs 20 000 volts de 1250 kVa dédiés, 2 groupes électrogènes de 1315 kW / 1650 kVa dédiés, 2 TGBT dédiés, 4 onduleurs de 500 kVa dédiés, 16 branches batteries dédiées...

Contrairement à DC3 qui a un système d’alimentation bien plus complexe avec 4 voies d’alimentations de 2,5 MW mutualisés pour l’ensemble des salles, toutes les 4 ondulées, mais réparties par deux de façon à obtenir en régime nominal sur chaque voie chargée à 75 % et 100 % en cas de perte d’une des 4 voies. (Se reporter à la visite de DC3 : Reportage photo de la visite du data center Scaleway DC3 - Mission N°4 d'un data center : Énergie (https://lafibre.info/online/dc3-iliad/36/))

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_10.jpg)

Ce choix entraîne un risque, dans le cas où une intervention sur la chaîne ondulée nécessite de la couper ET qu’une coupure Enedis intervient en même temps. Scaleway a prévu plusieurs dispositifs pour réduire ce risque : Il est possible de by-passer les onduleurs (Super by-pass) et via une gaine à barre dénommée « HQR » (Haute Qualité de Remplacement) de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante comprenant : 1 transformateur + 1 groupe électrogène + 2 onduleurs, tous de même puissance et dédiés à cette branche de secours HQR. Ainsi l’intervention sur la chaîne ondulée défaillante peut avoir lieu sans risque d’interruption de service pour les serveurs. Cette production ondulée indépendante est mutualisée pour l’ensemble des 24 TGBT du data center.

À noter que le risque est moindre que quand le data center dispose d’une unique voie d’alimentation (oui, cela existe, je ne donne pas de nom)

Il est également moindre que dans un data center situé près d’une centrale nucléaire qui a fait le choix de ne mettre ni groupes, ni onduleurs (cela existe aussi, je ne donne pas de nom).

Bref DC5 a un positionnement moyen de gamme, alors que DC3 est lui positionné sur le haut de gamme. Vous ne pourrez pas louer de baies à DC5, la commercialisation ne se fait que par espaces de 278 baies ou 550 m². DC5 vise l’hébergement de grands acteurs du cloud et la première salle sera occupée par les Dedibox et les services de Cloud Scaleway, mais d’autres grands acteurs internationaux sont fortement intéressés.

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Symbol le 14 janvier 2019 à 11:50:44
Rien de tel que des connecteurs heureux, en tous cas  :P

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 14 janvier 2019 à 12:52:09
Rien de tel que des connecteurs heureux, en tous cas  :P
;D
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hm55 le 14 janvier 2019 à 16:52:46
Merci pour le reportage !
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 14 janvier 2019 à 18:50:16
Du coté de l'énergie, c'est aussi assez innovant et assez économique vu qu'une seul des deux voies est ondulée mais avec une gaine à barre dénommée « HQR » (Haute Qualité de Remplacement) de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante. Bref, cela via  à avoir une disponibilité proche du 2N sans avoir les couts de ce type d'architecture.
Je pense que c'est du N+1 (différent du 2N), mais je n'ai pas vraiment compris l'architecture...

2 voies dont 1 seule ondulée, comment ça se passe pour les transitions entre groupe électrogène et réseau? Est-ce que ça impose de monitorer constamment, et de manière hyper fiable la chaine ondulée pour être certain qu'elle ne s'écroulera pas lors de la future transition? Quitte à se faire épauler par la N+1ieme chaine ondulée si la chaine ondulée 'nominale' n'est pas jugée fiable? Si c'est ça, on peut comprendre le principe. Sinon, je ne vois pas.

Tu as compris le principe, Vivien?

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: menet le 14 janvier 2019 à 19:45:50
Comme d'habitude Vivien, très bon reportage avec de belles photos.  ::)

Merci encore.  :-*
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 14 janvier 2019 à 22:23:11
Je pense que c'est du N+1 (différent du 2N), mais je n'ai pas vraiment compris l'architecture...

2 voies dont 1 seule ondulée, comment ça se passe pour les transitions entre groupe électrogène et réseau? Est-ce que ça impose de monitorer constamment, et de manière hyper fiable la chaine ondulée pour être certain qu'elle ne s'écroulera pas lors de la future transition? Quitte à se faire épauler par la N+1ieme chaine ondulée si la chaine ondulée 'nominale' n'est pas jugée fiable? Si c'est ça, on peut comprendre le principe. Sinon, je ne vois pas.

Tu as compris le principe, Vivien?

Non, ce n'est pas du N+1

J'explique en détail, je n'ai pas été bon si Leon n'a pas compris : DC5 à terme, c'est un total de 12 salles.

Chaque salle a :
- 278 baies sur 550 m² avec une puissance électrique moyenne installée est de 6kw par baie voie A et 6kw voie B. (disjoncteur de 32 ampères)
- 2 transformateurs 20 000 volts de 1250 kVa dédiés, partagé pour la voie ondulée (HQ) et la voie normale (non ondulée)
- 2 groupes électrogènes de 1315 kW / 1650 kVa dédiés uniquement pour la voie ondulée (HQ)
- 2 TGBT dédiés chacun a un couloir chaud avec dans chaque TGBT une voie ondulée et une non ondulée branché au même transformateur.
- 4 onduleurs de 500 kVa dédiés sur l'unique voie ondulée (2 par THBT). Pas de redondance : tous les onduleurs sont nécessaire pour exploiter à pleine puissance chaque salle.
- 16 branches batteries dédiées sur l’unique voie ondulée (4 par onduleurs). La perte d'une branche réduit l'autonomie sur batterie.

Il y a un TGBT par couloir chaud. Chaque TGBT gère la moitié d’une salle de façon indépendante. Chaque TGBT a son transformateur 20 000 volts de 1250 kVa dédié, son groupe électrogène de 1315 kW / 1650 kVa dédié, 2 onduleurs de 500 kVa dédiés, 8 branches batteries dédiées.

Une fois le site entièrement réalisé avec ses 12 salles il y aura un total de 27 groupes électrogènes de 1315 kW / 1650 kVa :
- Groupe N° 1 : la voie ondulée (HQ) de la salle N° 1 - TGBT N°1
- Groupe N° 2 : la voie ondulée (HQ) de la salle N° 1 - TGBT N°2
- Groupe N° 3 : la voie ondulée (HQ) de la salle N° 2 - TGBT N°1
- Groupe N° 4 : la voie ondulée (HQ) de la salle N° 2 - TGBT N°2
- Groupe N° 5 : la voie ondulée (HQ) de la salle N° 3 - TGBT N°1
- Groupe N° 6 : la voie ondulée (HQ) de la salle N° 3 - TGBT N°2
- Groupe N° 7 : la voie ondulée (HQ) de la salle N° 4 - TGBT N°1
- Groupe N° 8 : la voie ondulée (HQ) de la salle N° 4 - TGBT N°2
- Groupe N° 9 : la voie ondulée (HQ) de la salle N° 5 - TGBT N°1
- Groupe N° 10 : la voie ondulée (HQ) de la salle N° 5 - TGBT N°2
- Groupe N° 11 : la voie ondulée (HQ) de la salle N° 6 - TGBT N°1
- Groupe N° 12 : la voie ondulée (HQ) de la salle N° 6 - TGBT N°2
- Groupe N° 13 : la voie ondulée (HQ) de la salle N° 7 - TGBT N°1
- Groupe N° 14 : la voie ondulée (HQ) de la salle N° 7 - TGBT N°2
- Groupe N° 15 : la voie ondulée (HQ) de la salle N° 8 - TGBT N°1
- Groupe N° 16 : la voie ondulée (HQ) de la salle N° 8 - TGBT N°2
- Groupe N° 17 : la voie ondulée (HQ) de la salle N° 9 - TGBT N°1
- Groupe N° 18 : la voie ondulée (HQ) de la salle N° 9 - TGBT N°2
- Groupe N° 19 : la voie ondulée (HQ) de la salle N° 10 - TGBT N°1
- Groupe N° 20 : la voie ondulée (HQ) de la salle N° 10 - TGBT N°2
- Groupe N° 21 : la voie ondulée (HQ) de la salle N° 11 - TGBT N°1
- Groupe N° 22 : la voie ondulée (HQ) de la salle N° 11 - TGBT N°2
- Groupe N° 23 : la voie ondulée (HQ) de la salle N° 12 - TGBT N°1
- Groupe N° 24 : la voie ondulée (HQ) de la salle N° 12- TGBT N°2
- Groupe N° 25 : pour les deux salles opérateurs et les groupes frigorifiques
- Groupe N° 26 : voie « HQR » (Haute Qualité de Remplacement) : Il est possible via une gaine à barre dénommée HQR de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante comprenant : 1 transformateur + 1 groupe électrogène + 2 onduleurs, tous de même puissance et dédiés à cette branche de secours HQR. Ainsi l’intervention sur la chaîne ondulée défaillante peut avoir lieu sans risque d’interruption de service pour les serveurs. Cette production ondulée indépendante est mutualisée pour l’ensemble des 24 TGBT du data center.
- Groupe N° 27 : groupe électrogène optionnel pouvant secourir n’importe quel autre groupe électrogène défaillant (sur les groupes, on est en redondance N+1).


En cas de coupure de l'arrivé électrique :

- Étape N°1 : Les 25 premiers groupes démarrent.
les 12 salles perdent leur voie non ondulée, le temps que les générateurs démarrent. Il est donc nécessaire d'avoir 100% des équipements alimenté par les voies A et B ce qui n'est pas toujours le cas dans un datacenter traditionnel.
la voie ondulée est elle toujours disponible, alimentée par les batteries + onduleurs

- Étape N°2 : Les groupes ont tous démarrés et ils prennent la charge de la voie ondulée.

- la voie normale (non ondulée) de la salle N° 1 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 1 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 2 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 2 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 3 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 3 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 4 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 4 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 5 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 5 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 6 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 6 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 7 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 7 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 8 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 8 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 9 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 9 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 10 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 10 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 11 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 11 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 12 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 12- TGBT N°2 n'est plus alimentée

- Étape N°3 : Le courant revient. la voie normale (non ondulée) est ré-alimentée. Les groupes vont se synchroniser avec l'arrivée ERDF si il y a un petit décalage de phase

- Étape N°4 : Le secteur est rebranché avec les groupes qui prennent toujours la charge

- Étape N°5 : Les groupes sont éteints, sans avoir généré de passage sur batterie lors de l'opération de bascule groupe => secteur

Maintenant, comment faire une maintenance sur la voie ondulée si on risque à ce moment la coupure, si une panne électrique interviens pendant la maintenance ?
C'est là que la voie « HQR » (Haute Qualité de Remplacement) joue son rôle, mais cela ne concerne qu'un TGBT et cela signifie qu'il ne faut faire qu'une maintenance simultanèment (sur les 26 TGBT du site)

Il existe tout de même un SPOF (single point of failure) : Si un onduleur tombe en panne pendant la coupure électrique, on perd compétemment la demi-salle (couloir chaud concerné par le TGBT).
Pour le reste il me semble que c'est secouru.
Si un des 26 groupe ne démarre pas, un 27ème sera la pour prendre le relais (redondance N+1 pour le groupe / transformateur).
Si un transformateur tome en panne, la voie normale (non ondulée) et la voie ondulée (HQ) étant sur le même transformateur, il faut impérativement passer la voie non ondulée sur la HQR pour ne pas perdre la demi-salle.

Pour les scénarios avec une double panne (Si deux groupes ne démarrent pas par exemple), on perd une demi-sallle après épuisement des batteries.

Cette architecture limite les risque tout en divisant par deux le nombre de groupes, d’onduleurs, batteries,...

C'est pour cela que le prix annoncé par Arnaud est divisé par deux à trois.
DC5  ne joue pas dans la même catégorie pour la disponibilité que DC2/DC3/DC4.


@Arnaud: On se situe plus ou moins dans quel cout de construction par MW sur DC5 par rapport à un DC classique ?
Tu te doutes bien, Vivien à essayé de me cuisiner sur le sujet :-)
Le coût de construction d'un DC est intimement lié à son architecture et à son niveau de redondance, qui représentent 85% des coûts d'investissement.
Ce qui coûte cher, c'est pas le foncier ou le bâtiment en lui-même, ce sont les équipements techniques pour délivrer le service (élec, clim, incendie...)

Sans dévoiler de grands secrets, tant sur le le coût de construction au kW par rapport à des architectures plus classiques qu'au niveau maintenance, à niveau de redondance identique, c'est entre deux et trois fois plus économique.

Arnaud

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 14 janvier 2019 à 22:44:20
Désolé pour la perte pendant quelques minutes, je me suis trompé en éditant mon message.
J'ai apporté de nouvelles précision, j’espère que cela aide à mieux comprendre le fonctionnement et les différents poste d'économies par rapport à une architecture 2N ou N+1.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 14 janvier 2019 à 23:00:20
Super, merci Vivien. T'es un chef.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 15 janvier 2019 à 09:15:12
Version PDF du reportage : (cliquez sur la miniature ci-dessous - le document est au format PDF et fait 44 Mo)

(https://lafibre.info/images/online/201807_scaleway_dc5.png) (https://lafibre.info/images/online/201807_scaleway_dc5.pdf)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Hugues le 15 janvier 2019 à 09:19:23
"Un grand merci à Arnaud et Laurent d’Scaleway"

Tiens, on dirait que tu as fait un grand search&replace :P
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 15 janvier 2019 à 21:44:02
Oui et je me demande quand le logo sur DC2, DC3, DC4 et DC5 vont changer...

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_01.jpg)

Avant :
(https://lafibre.info/images/online/logo_online.svg)

Après :
(https://lafibre.info/images/online/logo_scaleway_datacenter.svg)

Il existe aussi :
(https://lafibre.info/images/online/logo_online_by_scaleway.svg)

Et :

(https://lafibre.info/images/online/logo_scaleway.svg)

J'ai mis à jour la section du forum et les logo des experts Scaleway...

Perso, j'ai un peu de mal avec le changement de site, la marque Online est tellement veille. J'étais client en 2000. A l'époque pas de serveur dédié, ils ne fessaient que de l'hébergement mutualisé.

Edit : je viens de retrouver facture du 30 juillet 2001 pour le nom de domaine "beosbeos.com" déposé chez Gandi pour 14,35€ pour un an et hébergé chez Online pour 34,68 € pour un an (hébergement d'une capacité de... 50 Mo)
J'étais alors fan du système d'exploitation BeOS => https://fr.wikipedia.org/wiki/BeOS
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 15 janvier 2019 à 22:35:41
Le site d'Online en juillet 2001, encore optimisé pour un écran en 640 x 480 !

Prix en Frs, € et $

PHP 3 en standard !

Le prix indiqué est pour un hébergement de 50 Mo, taille "S"

(https://lafibre.info/images/vivien/200107_online_hebergement_mutualise_gueant.png)

Facture por le nom de domaine, du 9 février 2001 :

(https://lafibre.info/images/vivien/200102_gandi_nom_de_domaine_gueant.png)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hwti le 16 janvier 2019 à 00:36:41
Il est donc nécessaire d'avoir 100% des équipements alimenté par les voies A et B ce qui n'est pas toujours le cas dans un datacenter traditionnel.
Dans quelle mesure les serveurs peuvent-ils détecter les pannes (éventuellement partielles) d'alimentation ?
Il doit y avoir le risque qu'une panne d'alimentation survienne (ou s’aggrave, n'ayant pas été détectée avant) au moment de la coupure quand une seule alimentation doit supporter toute la charge (soit au mieux le double de ce qu'elle fournissait juste avant, voire plus si ce n'était pas équilibré).
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 16 janvier 2019 à 06:51:45
Une baie doit avoir un maximum de 6kw par baie (c'est beaucoup, dans d'autres datacenter plus anciens, c'est 1 à 3 kw)

La voie A est dimensionnée pour 6kw et la voie B aussi.
Donc pas de risque.

La réparation tout sur une voie ou un mixte voie A et voie B dépend des serveurs. Cela importe peu à Scaleway.
Un serveur ou un switch gère très bien le fait d'avoir une seule alimentation branchée.

Ta question est peut-être pourquoi ne pas avoir fait une seul voie, la voie ondulée ?

La réponse est simple : en cas de maintenance des onduleurs, on risque une coupure. Là non, vu que la voie non ondulée sera basculée sur la voie « HQR » (Haute Qualité de Remplacement)
La rajout de la seconde voie ne coûte pas très cher : pas d'onduleur, pas de batteries et pas de transformateur supplèmentaire.

Le fait d'avoir deux voies et donc disjoncteur et deux alimentions coté serveur réduit les risques de coupure en cas de pb.

Enfin pour les équipements qui n'ont qu'une alimentation électrique, voici la solution :
Pour les switchs, qui ne possèdent qu'une seule alimentation électrique, Online a placé en bas de baie un commutateur de transfert automatique.

Ces commutateurs possèdent deux cordons d'alimentation (en entrée) qui alimentent la charge raccordée en sortie sur un seul cordon. Si la source d'alimentation électrique principale n'est plus disponible, le commutateur de transfert automatique pour rack utilise l'alimentation de la deuxième source électrique, sans interrompre les charges critiques (le transfert se fait en 4ms).

(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_14.jpg)

Attention chaque équipement rajoute son risque de panne.
La serveur LaFibre.info, un serveur Dell d'entrée de gamme avec une seule alimentation a eu dernièrement des coupures qui étaient lié a un commutateur de transfert automatique (ATS) qui a été changé depuis.

DC5 oblige aussi tous les acteurs a bien vérifier que les serveurs sont bien connectés aux deux voies ou sur la voie ondulée si il y a une seule voie.
Si tu te promènes dans un datacenter, tu verras que de nombreux clients ne connectent leur switch ou serveur bas de gamme sur une seule voie, car le risque de coupure est très rare et qu'ils n’achètent pas d'ATS.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hwti le 16 janvier 2019 à 09:21:59
Par alimentation, je voulais dire le module d'alimentation du serveur.
Si en temps normal ils fournissent par exemple 100%/0% ou 50%/50% de ce que le serveur consomme, lors d'une panne de courant ça passe à 0%/100% (on suppose que seule la voie B est ondulée). Il doit y avoir un risque pour qu'une panne du module B survienne à ce moment là s'il n'est pas régulièrement testé à charge maximale.
Titre: DC5 - 44 Scaleway BareMetal SSD Cloud Servers: 14 nodes dans seulement 3u
Posté par: vivien le 17 janvier 2019 à 11:42:56
J'ai corrigé une erreur : Scaleway met 14 serveurs mono-CPU et non 7 serveurs bi-CPU dans un châssis de 3u :

J'ai corrigé : Scaleway DC5 - 44) Scaleway BareMetal SSD Cloud Servers : 14 nodes indépendantes dans seulement 3u (https://lafibre.info/scaleway/dc5/msg613678/#msg613678)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: butler_fr le 17 janvier 2019 à 14:04:16
Au top ce reportage
hyper intéressant!  :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hoyohoyo le 22 janvier 2019 à 08:34:59
Oui et je me demande quand le logo sur DC2, DC3, DC4 et DC5 vont changer...

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_01.jpg)

Avant :
(https://lafibre.info/images/online/logo_online.svg)

Après :
(https://lafibre.info/images/online/logo_scaleway_datacenter.svg)

Il existe aussi :
(https://lafibre.info/images/online/logo_online_by_scaleway.svg)

Et :

(https://lafibre.info/images/online/logo_scaleway.svg)

J'ai mis à jour la section du forum et les logo des experts Scaleway...

Perso, j'ai un peu de mal avec le changement de site, la marque Online est tellement veille. J'étais client en 2000. A l'époque pas de serveur dédié, ils ne fessaient que de l'hébergement mutualisé.

Edit : je viens de retrouver facture du 30 juillet 2001 pour le nom de domaine "beosbeos.com" déposé chez Gandi pour 14,35€ pour un an et hébergé chez Online pour 34,68 € pour un an (hébergement d'une capacité de... 50 Mo)
J'étais alors fan du système d'exploitation BeOS => https://fr.wikipedia.org/wiki/BeOS


ça change vite :) moi j'ai commencé chez eux quand c'était dedibox
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: jewome62 le 27 janvier 2019 à 03:32:13
Tous les opérateurs ont un ou des POP sur Lille.
La réalité du peering régional est tout autre.

Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.

Aucun gros opérateur ne peer en 2019 à Lille avec OVH.

Il semble que Orange est connecté à OVH à Lille (ou roubaix peut etre) car j'avais un soucis d'accès fibre Orange pour aller chez OVH, il me fesait un détour en passant par Paris. J'ai tweeter @oles à l'époque dessus et ça été corrigé.
https://twitter.com/J_Desjardin/status/333651408974913537
enfin a moins que j'y comprends rien
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: buddy le 27 janvier 2019 à 10:23:03
avant oui, il peerait ausi en région avec SFR. Mais il me semble que c'est fini depuis 2 ou 3 ans.
(Sauf peut être pour Orange qui a un lien sur RBX 5 a72   (d'après : http://weathermap.ovh.net/ )
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 27 janvier 2019 à 10:56:17
Le premier qui a peerer à Lille, c'est Free avec un lien de 1 Gb/s qui saturait tout le temps et qui a fini par être coupé.

Ensuite il y a eu SFR sur Lille, Lyon, Marseille et Bordeaux si mes souvenirs sont bon avec à chaque fois 10 ou 20 Gb/s et là aussi cela a été coupé.
Sur Lille mais sur Lyon, Marseille et Bordeaux il ne reste plus de peering à part France-IX Marseille.

Effectivement il y a un lien Orange sur Lille, mais il n'y a que du trafic entrant, (Orange => OVH) et rien dans le sens OVH => Orange.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: ezivoco_163 le 22 février 2019 à 18:21:46
superbe reportage, je n'ai pas tout lu, mais j'ai passé quand même toutes les pages.

Bravo pour le travail  :o
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fibre le 13 avril 2019 à 11:43:32
Très intéressant, merci! Online que du bon :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: XaTriX le 03 mai 2019 à 00:13:50
topic génial, cimer
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Calou02 le 11 mai 2019 à 10:25:59
Super boulot Vivien !!
merci je viens de lire les 20 pages, je n'avais jamais un site comme celui là de l'intérieur et très étonné par l'état de propreté.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: altf4arnold le 02 juin 2019 à 16:12:23
C'est pas celui qui est en feu aujourd'hui?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Optix le 02 juin 2019 à 16:13:26
C'est pas celui qui est en feu aujourd'hui?
Preque, c'était à côté :p
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 02 juin 2019 à 16:56:43
C'est à coté et par chance, c'est du coté où l'air est soufflé et non aspiré.

Sujet dédié : Incendie à Saint-Ouen-l’Aumône (entreprise voisine de DC5) (https://lafibre.info/scaleway/incendie-saint-ouen-laumone/)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: dj54 le 23 juin 2019 à 19:06:18
https://www.youtube.com/watch?v=jorNf-L5u9g
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 11 août 2019 à 16:06:47
En visitant les infrastructures nouvellement installées au boulot, je me suis rendu compte qu'on a maintenant deux refroidisseurs adiabatiques (800 kW chacun de ce que j'ai compris).

C'est pas du tout la même stratégie qui a été choisie au niveau de l'installation par rapport à ce qui a été fait à DC5. Les groupes sont installés à l'extérieur et les médias d'évaporation sont à l'air libre, sans aucun filtrage de l'air aspiré, et à priori c'est de l'eau non traitée qui est utilisée (à DC5 c'est de l'eau osmosée).

Ce sont par ailleurs des groupes moins évolués que ce qui est utilisé à DC5. Visiblement seul le débit d'air est variable mais pas le débit d'eau. Le groupe déclenche l'humidification des médias lorsque la température de consigne n'est pas atteinte alors que les ventilateurs ont atteint leur débit maximal. Les ventilateurs s'adaptent ensuite au gain de température dû à l'évaporation.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 11 août 2019 à 17:21:25
En visitant les infrastructures nouvellement installées au boulot, je me suis rendu compte qu'on a maintenant deux refroidisseurs adiabatiques (800 kW chacun de ce que j'ai compris).

C'est pas du tout la même stratégie qui a été choisie au niveau de l'installation par rapport à ce qui a été fait à DC5. Les groupes sont installés à l'extérieur et les médias d'évaporation sont à l'air libre, sans aucun filtrage de l'air aspiré, et à priori c'est de l'eau non traitée qui est utilisée (à DC5 c'est de l'eau osmosée).
Si mes souvenirs sont bons, l'eau osmosée n'est nécessaire que dans le cas d'une installation qui recycle son eau non utilisée, l'eau qui n'a pas pu être évaporée, et qui retombe au pied des registres; bref dans le cas d'un circuit d'eau partiellement en boucle, et ouvert (à cause du risque de développement de bactéries). Dans les petites installations adiabatique/à évaporation, on ne prends pas la peine de recycler cette eau, elle part directement dans les égouts, et dans ce cas le risque bactériologique n'existe pas.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 11 août 2019 à 17:24:23
A priori il n'y a pas de récupération chez Scaleway mais ils ont fait le choix de l'eau osmosée pour améliorer la durabilité du média d'évaporation.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 août 2019 à 20:52:30
Je confirme, l'eau inutilisée (cela représente une part minime, car normalement tout est évaporé) est jetée à DC5.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 11 août 2019 à 20:55:32
ils pourraient planter des arbres et des fleurs et arroser avec non ? ;)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 août 2019 à 21:01:14
On parle de quelques dizaines ou de litres d'eau par jour, les jour de forte chaleur.

Le système est fait pour que tout s'évapore.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: abermingham le 28 août 2019 à 22:55:49
A priori il n'y a pas de récupération chez Scaleway mais ils ont fait le choix de l'eau osmosée pour améliorer la durabilité du média d'évaporation.

Pas vraiment.
C'est surtout pour éviter les conséquences fâcheuses de certaines molécules présentes dans l'eau de ville, évaporées dans l'air
Comme le chlore, le sodium, le brome etc... qui re-combinés dans l'air forment des acides et donc de la corrosion sur l'électronique
De même pour les bactéries présentes naturellement dans l'eau
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 28 août 2019 à 22:58:40
Une correction/précision à ajouter à l'article de Vivien alors ! :)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 28 août 2019 à 23:12:19
J'ai modifié comme ceci :

Scaleway DC5 - 8 ) Production d’eau osmosée: 25 000 litres d’eau par heure

L'eau osmosée répond à trois besoins :

- Pour que le média adiabatique ait une durée de vie de 150 ans, il faut une eau parfaitement limpide et pure, afin de ne pas laisser de résidus sur le média adiabatique en s’évaporant.

- Pour éviter les conséquences fâcheuses de certaines molécules présentes dans l'eau de ville, évaporées dans l'air, comme le chlore, le sodium, le brome etc... qui re-combinés dans l'air forment des acides et donc de la corrosion sur l'électronique

- Pour éviter que les bactéries présentes naturellement dans l'eau (exemple : Legionella) puisse exposer le voisinage du datacenter a de possibles infections.

Scaleway a investi considérablement pour produire de l’eau osmosée : Cela désigne une eau traitée par adoucisseurs et osmoseur, ce qui la différencie de l'eau distillée ou de l'eau déminéralisée, en donnant une eau pure à plus de 99,9% (constituée uniquement des molécules H2O). L'eau est privée de tous ses sels et minéraux en passant au travers d'une membrane d'osmose inverse.

Scaleway a prévu de nombreuses sécurités et possibilité de mode dégradé comme le montre ces différentes vannes de by-pass :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_01.jpg)

La consommation d’eau osmosée maximum est de 25 m3/h pour le data center quand les 12 salles serveurs seront en service. Cela permet le refroidissement de l’air de 10 degrés C. pour près de 22 MW de serveurs.

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: mmickael le 29 octobre 2019 à 17:42:14
Une baie doit avoir un maximum de 6kw par baie (c'est beaucoup, dans d'autres datacenter plus anciens, c'est 1 à 3 kw)

La voie A est dimensionnée pour 6kw et la voie B aussi.
Donc pas de risque.

La réparation tout sur une voie ou un mixte voie A et voie B dépend des serveurs. Cela importe peu à Scaleway.
Un serveur ou un switch gère très bien le fait d'avoir une seule alimentation branchée.

Ta question est peut-être pourquoi ne pas avoir fait une seul voie, la voie ondulée ?

La réponse est simple : en cas de maintenance des onduleurs, on risque une coupure. Là non, vu que la voie non ondulée sera basculée sur la voie « HQR » (Haute Qualité de Remplacement)
La rajout de la seconde voie ne coûte pas très cher : pas d'onduleur, pas de batteries et pas de transformateur supplèmentaire.

Le fait d'avoir deux voies et donc disjoncteur et deux alimentions coté serveur réduit les risques de coupure en cas de pb.

Enfin pour les équipements qui n'ont qu'une alimentation électrique, voici la solution :
Attention chaque équipement rajoute son risque de panne.
La serveur LaFibre.info, un serveur Dell d'entrée de gamme avec une seule alimentation a eu dernièrement des coupures qui étaient lié a un commutateur de transfert automatique (ATS) qui a été changé depuis.

DC5 oblige aussi tous les acteurs a bien vérifier que les serveurs sont bien connectés aux deux voies ou sur la voie ondulée si il y a une seule voie.
Si tu te promènes dans un datacenter, tu verras que de nombreux clients ne connectent leur switch ou serveur bas de gamme sur une seule voie, car le risque de coupure est très rare et qu'ils n’achètent pas d'ATS.

On a ce genre de clients en Belgique, quand on annonce une maintenance sur le feed A : ils se plaignent parfois qu'ils ont été down pendant quelques minutes...  :D
Ben oui monsieur mais si tu utilises pas le feed B on y peut rien...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 29 octobre 2019 à 17:45:31
C'est vrai qu'on est mal habitué avec certains DC qui n'ont jamais de coupure, ni si la voie A, ni sur la voie B.

Là, il faudra faire que les clients pensent à systématiquement utiliser les deux voies, donc installer un équipement supplèmentaire pour les équipements avec une seule alimentation.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: 1337Htune le 05 janvier 2020 à 16:40:06
Je viens de tout lire, passionnant :o

Merci encore pour ce partage d'info  :D
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: neo_hijacker le 28 mai 2020 à 13:51:29
Article passionnant ! Bravo !
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Nico_S le 14 juin 2020 à 11:36:48
Par contre, j'imagine que si ponctuellement des travaux voisins ou un incendie voisin génère énormèment de poussières et particules, ça va énormèment gêner DC5, et encrasser les filtres... On sait comment ils comptent gérer ce genre de situation?
On sait s'ils savent laver les filtres à air sur place, avec des machines spécifiques?

Leon.

Les filtres en général  ne se lavent pas, même si certains en média peu filtrant (classe G, G4 pour les plus courant en préfiltration) peuvent l'être mais en perdant à chaque fois un peu de leur pouvoir filtrant (déjà pas élevé à la base).
Les filtres installés à DC5 sont de type F7, dièdre pour ce que j'en ai vu. Ces filtres ont une grande surface de filtration (d'ailleurs Vivien il y a une erreur en début d'article, là ou tu présentes les filtres, tu as noté 3800m2/h alors que c'est des m3/h) mais ne se lavent pas. Ils sont en une espère de papier. Une fois plein il faut changer (et un dièdre de chez Camfil c'est pas cadeau alors vu la quantité !!)

Tous ces filtres sont des filtres de classe F7, capables chacun de filtrer 3400m2/h à 65 Pa.

Perso sur les installations CVC que j'ai en maintenance, je supprime également la préfiltration (comme à DC5) et je monte des F7 spécifiques qui durent plus longtemps pour un coût pas beaucoup plus élevé que le couple G4 + F7 généralement monté d'origine.

Sinon pour le refroidissement je suis quand même étonné que ce soit ce mode qui ai été utilisé. L'osmose inverse est ultra consommatrice (et je pèse mes mots) d'eau comme Vivien l'a noté dans son reportage. 11m3 à l'égout pour en produire 25m3 alors que l'eau potable manque un peu partout sur la planète, je ne trouve pas cette solution écologique du tout (en encore moins économique). Mais c'est un débat sans fin dont on sortira quand il n'y aura plus une goutte d'eau au robinet et que la planète sera un dépotoir d'uranium issue de nos centrales.

Pour les coquilles à corriger, les m2/h au lieu des m3/h (voir plus haut) et celle-ci ou tu voulais sans doute dire de-chloration et le correcteur ortho a changé par décoloration. Il manque également des photos dont tu attendais l'accord de :

4/ Dé-chloration

Compte tenu de la sensibilité des membranes d'osmose inverse en polyamide, il est indispensable d'assurer une décoloration de l'eau en amont du passage dans les 4 membranes d'osmose inverse.

Je ne suis pas sûr que pour le prochain data center Scaleway reconduise l’opération avec ce matériel, car s’ils sont perfectionnés, ils ont un défaut : l’alimentation ne doit pas être coupée quand ils sont en service.

Pour réaliser des tests menant à une coupure d’alimentation, on a dû arrêter proprement la charge. Même avec cette précaution, de nombreux éléments ont disjoncté à la remise sous tension, obligeant de les démonter… pour notre plus grand plaisir, j’ai pris quelques photos :

[photo supprimée en attente d'autorisation de Rentaload]

La partie électronique et son disjoncteur ultra-sensible est en dessous :[/size]

[photo supprimée en attente d'autorisation de Rentaload]

Sinon très bel article que j'avais commencé il y a quelques temps sans aller au bout. Ça montre au néophyte que je suis comment fonctionne un DC car mon domaine c'est la partie chauffage, ventilation, clim, traitement d'eau et électricité.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 14 juin 2020 à 11:50:25
Merci, j'ai corrigé les deux fautes.

Pour les photos, Rentaload ne souhaites pas les publier.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Nico_S le 14 juin 2020 à 11:51:40
Pour les photos, depuis le temps, je me doutais aussi qu'ils ne souhaitaient pas.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 14 juin 2020 à 11:52:50
Je trouve étonnant qu'il soit plus économique d'avoir uniquement des F7 vs G4 + F7.

G4 devrait permettre d'allonger la durée de vie des F7.

Scaleway expliquait que cela avait un coût en puissance de ventilation supplémentaire à mettre en œuvre pour passer deux filtres vs un seul.

Toi c'est différent, si c'est d'origine en G4 + F7, non ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Nico_S le 14 juin 2020 à 20:42:32
Contrairement a ce que j'ai dit plus haut à propos du nettoyage, ces filtres sont en fibre de verre et pas en papier, ce qui ne change rien, ils ne sont pas lavables.

Un F7 de ce type (dièdre) à une surface de filtration très importante (17m2 sur la version qui semble installée en 592x592x296 mm), ce qui lui confère une grande durée de vie d'autant plus que sa perte de charge initiale est relativement basse (65Pa). Si on compare, un filtre à 8 poches classique de la même marque (Standard-Flo) n'a une surface de filtration que de 6m2 pour un débit similaire mais une perte de charge initiale de 85Pa.

Un étage de G4 ne coûte pas très cher dans cette dimension courante, mais :

- Surface de filtration plus faible (1.1m2)
- Perte de charge initiale de 55Pa
- Débit similaire aux autres.

Donc ce filtre va s'encrasser en gros 16x plus vite de que le F7 installé (17m2 de surface) et va apporter une perte de charge supplémentaire.

Quand on sait que 25% de la conso électrique d'une centrale d'air (c'est le même principe ici) vient des filtres, autant en limiter le nombre. Et supprimer les G4 permet de limiter également la main d'oeuvre pour les remplacer (et accessoirement les déchets) car avec le coeff de 16 sur la surface de filtration, il faudra intervenir bien plus souvent sur ces G4 qu'il ne le faudra sur les F7 seuls.

Tout mis bout à bout, c'est économiquement et écologiquement plus rentable de supprimer ces G4 qui en plus ont une perte de charge finale (et on en parle rarement) de 200Pa (250 si on tire au bout du bout mais c'est inutile), là ou les F7 poches ou dièdre montent largement à plus de 300Pa (tout en partant de plus bas).

Les plus et les moins quand on supprime les G4 :

+ Conso élec plus basse
+ Coût de maintenance plus bas
+ Moins de déchets (le pb d'un G4 en préfiltre directement sur l'extérieur c'est qu'il faut un cadre résistant à l'humidité et c'est donc du galva qu'il faut ensuite recycler)
+ Prix d'achat du G4 supprimé

- Encrassement plus rapide du F7 donc remplacement plus fréquent (et encore faut voir, le G4 ne filtrant pas grand chose d'autre que les feuilles et les pollens).

Pour info, un dièdre F7 dans la dimension 592x592x292 me coûtait à l'achat (en 2018) un peu plus de 53€ HT et un G4 en 592x592x48 un peu moins de 7€ HT dans une autre marque que CAMFIL (et je commande pas loin de 15k€ de filtre par an pour mes différents clients).


Perso je supprime les dièdres (ou les 8 à 12 poches classiques) et les "G4" quand je le peux (mais c'est difficile parfois à cause de leur très grande surface de filtration qui reste inégalée dans les autres gammes de filtre) et je remplace l'ensemble par des poches en fibre de verre (coût 36€ dans la même taille). Je teste chez un client depuis plus d'un an, et j'ai réduit mes interventions de maintenance de manière très importante (les G4 pouvait tenir 1 semaine sur certaines centrales d'air du site avant d'être colmatés par la farine ou le sucre qui était travaillé juste en dessous dans la biscuiterie).

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: tufek le 18 juin 2020 à 01:19:31
J'étais venu pour voir 2/3 photos mais j'ai pas pu m'arrêter de scroller  :o
Un grand merci pour le boulot!
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 18 juin 2020 à 11:48:53
Contrairement a ce que j'ai dit plus haut à propos du nettoyage, ces filtres sont en fibre de verre et pas en papier, ce qui ne change rien, ils ne sont pas lavables.
Salut Nico,

Vu que tu as l'air de t'y connaitre, une question pour toi : comment ça se passe si un événement type incendie de matières bien grasses , avec de bonnes grosses suies, encrasse d'un seul coup les filtres? Il faut immédiatement changer tous les filtres?

C'est typiquement ce qui aurait pu arriver lors de l'incendie à côté de DC5, si le vent avait été défavorable, et ça me fait poser beaucoup de questions sur ce type de système de "freecooling ouvert".

Même question s'il y a génération de fortes poussières à côté, pendant une durée assez longue : démolition de bâtiment, déplacement de gravats, etc...

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 18 juin 2020 à 13:14:44
J'ai la réponse : tu fais fonctionner le système sans apport d'air extérieur.

Par contre c'est limité en temps, car l'air va se retrouver saturé en eau et donc la température ne va plus pouvoir être conservée.

C'est le talon d’Achille de ce type de datacenters.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 18 juin 2020 à 18:17:33
J'ai la réponse : tu fais fonctionner le système sans apport d'air extérieur.

Par contre c'est limité en temps, car l'air va se retrouver saturé en eau et donc la température ne va plus pouvoir être conservée.

C'est le talon d’Achille de ce type de datacenters.
Tu veux dire qu'il faut passer en 100% d'air recyclé tant que l'air extérieur est trop "sale"?
Tu ne dois pas tenir longtemps comme ça, vu les puissances thermiques de malade (plusieurs Mégawatt) dont on parle.
Ca tiendrait combien de temps en 100% recyclé, avec conditions atmosphériques extérieures normales? 1h avant d'atteindre des températures déraisonalbes? Peut-être moins?

Bref, je me permets d'émettre quelques doutes.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: alain_p le 18 juin 2020 à 18:23:11
A priori, l'air, même interne, est refroidi de façon adiabatique en passant dans un nuage de gouttelettes d'eau. Sauf que là, il se charge en humidité s'il n'y a pas de recyclage avec de l'air extérieur, c'est je pense c'est cela la limite dont parlait Vivien, mais qui donc doit être de plusieurs heures (12 à 24h ?)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 18 juin 2020 à 18:49:03
A priori, l'air, même interne, est refroidi de façon adiabatique en passant dans un nuage de gouttelettes d'eau. Sauf que là, il se charge en humidité s'il n'y a pas de recyclage avec de l'air extérieur, c'est je pense c'est cela la limite dont parlait Vivien, mais qui donc doit être de plusieurs heures (12 à 24h ?)
Sur un site très dense en équipements informatiques, de plus de 1kW par m², je doute fort que tu tiennes 12h en circuit 100% fermé avec un refroidissement adiabatique. L'ordre de grandeur n'est pas bon du tout. Je pense qu'on ne tient même pas 1h avant d'atteindre 100% d'humidité et des températures délirantes.

Il faut bien imaginer ce que c'est que 1kW par m². C'est énorme. Imagine un appartement de 50m² dans lequel on mets 50kW de chauffage à fond. Ou 50kW de plaques électriques (à 4kW la grosse plaque électrique) avec de l'eau à bouillir...

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 19 juin 2020 à 09:42:00
Je pense qu'on ne tiens pas une heure en recyclage 100%.

Maintenant si c'est une voiture qui brule dans la rue, cela dure pas très longtemps, quand les pompiers arrivent, c'est vite éteint.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Nico_S le 21 juin 2020 à 15:15:27
Salut Nico,

Vu que tu as l'air de t'y connaitre, une question pour toi : comment ça se passe si un événement type incendie de matières bien grasses , avec de bonnes grosses suies, encrasse d'un seul coup les filtres? Il faut immédiatement changer tous les filtres?

C'est typiquement ce qui aurait pu arriver lors de l'incendie à côté de DC5, si le vent avait été défavorable, et ça me fait poser beaucoup de questions sur ce type de système de "freecooling ouvert".

Même question s'il y a génération de fortes poussières à côté, pendant une durée assez longue : démolition de bâtiment, déplacement de gravats, etc...

Leon.

Pour l'avoir déjà vécu dans un centre commercial, les filtres font leur travail de filtration, sauf que des fumées noires et grasses ont tendance à colmater les filtres très rapidement et il faudra alors les remplacer sans délais si leur capacité de filtration est arrivée à son terme. Dans ce cas, soit un jeu de filtre est dispo en stock et il faut les remplacer, soit ce n'est pas le cas et il faut les enlever le temps de les remplacer si l’installation n'est pas prévu pour fonctionner en recyclage. Par contre je ne suis pas sur que les refroidisseurs adiabatiques supportent le traitement très longtemps car vu le débit d'air en jeu sur DC5, les échangeurs vont vite s'encrasser. Et comme le dit Vivien, ce type de refroidissement ne doit pas savoir fonctionner en recyclage, au contraire d'une climatisation classique qui elle ne fonctionne qu'en recyclage sur ce type de local non destiné à l'occupation humaine permanente (donc pas besoin de renouvellement d'air ou alors très peu).
Donc un incendie à proximité, tout comme des travaux poussiéreux, auront pour impact principal un encrassement plus rapide des filtres. Mais ce problème est identique avec la pollution lié à la circulation des véhicules, les gaz d'échappement de diesel notamment. C'est encore une chose que je constatais lorsque je bossais en centre pénitentiaire, avec un encrassement plus rapide des filtres des centrales d'air qui aspiraient coté boulevard par rapport à celles qui aspiraient coté lac (la prison de mon secteur est installée en périphérie immédiate de la ville entre le boulevard ultra passant et un lac artificiel dans une zone quasi interdite aux véhicules).

Donc, le mainteneur a dû prévoir ce genre de problème au départ et doit stocker un jeu de filtre complet pour remplacement rapide. Enfin c'est ce que je fais pour mes clients "sensibles". En campagne le problème le plus rencontré sur les CTA (et autre machine à ventilateur) en cette période est un encrassement rapide à cause des pollens (voir photo du condenseur d'un groupe froid qui est pourtant en hauteur et en ville).

Bref, tant que les filtres n'ont pas atteint leur capacité de filtration totale (mesuré en différence de pression entre les deux coté du filtre), pas besoin de les remplacer, même s'ils ont aspiré des fumées grasse ou de la poussière de démolition. Seule leur durée de vie sera réduite dans ces cas là
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 21 juin 2020 à 16:37:14
au top les explications Nico_S, très intéressant :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: sf! le 01 décembre 2020 à 20:39:04
Excellent reportage, merci de l'avoir partagé et d'avoir pris le temps de le mettre en forme :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 11 mars 2021 à 07:41:09
Vu que le sujet des incendies de datacenter est d'actualité...

Est-ce qu'on sait si Online-Scaleway DC5 a un moyen quelconque de lutte active contre les incendies?
Je vois bien un moyen de détection dans le reportage. Mais je ne vois pas de dispositif d'extinction active (diffusion de gaz, brouillard d'eau).

DC2 et DC3 sont équipés de diffusion de brouillard d'eau. Le tout petit DC4 sous terrain, c'est de la diffusion de gaz.
Mais DC5, je ne vois rien...

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Myck205 le 11 mars 2021 à 09:16:47
Vu que le sujet des incendies de datacenter est d'actualité...

Est-ce qu'on sait si Online-Scaleway DC5 a un moyen quelconque de lutte active contre les incendies?
Je vois bien un moyen de détection dans le reportage. Mais je ne vois pas de dispositif d'extinction active (diffusion de gaz, brouillard d'eau).

DC2 et DC3 sont équipés de diffusion de brouillard d'eau. Le tout petit DC4 sous terrain, c'est de la diffusion de gaz.
Mais DC5, je ne vois rien...

Leon.

Tout est écrit page 2.

Myck205.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 11 mars 2021 à 09:37:46
Tout est écrit page 2.

Myck205.
Où ça s'il te plait? "page 2" est un concept imprécis, vu que le forum permet de régler le nombre de message par page, et que j'ai réglé un nombre très élevé.
Peux-tu stp pointer le message précis qui en parle? Je cherche bien le dispositif d'extinction actif d'incendie. Pas le dispositif de détection incendie.

Leon.
Titre: DC5 - 6 Détection incendie
Posté par: vivien le 11 mars 2021 à 09:40:52
L'idée est d'agir rapidement, avant que l'alimentation défectueuse se mette à créer un incendie.

DC5 est donc équipé de deux systèmes très performant de détection précoce d'un incendie, qui permet de donner l'alerte bien avant qu'il y ait des flammes.

Il me semble que ce n’était pas le cas chez OVH.

Si l’alerte est donnée, il faut que le service soit efficace, ce ne semble pas avoir été le cas à Cathédrale Notre-Dame de Paris lors de la première alerte incendie à 18h18 ou le personnel de sécurité s'est déplacé dans la mauvaise zone, avant d'autoriser la messe à reprendre. La deuxième alerte incendie à été lancée à 18h50 quand le feu s'est généralisé à d'autres zones. On a donc perdu 32 minutes à cause d'une mauvaise interprétation du signal.

L'explication sur l'absence de  système d’extinction automatique d’incendie :
DC5 n’est pas équipé de système d’extinction automatique d’incendie :

- Il n’était pas possible d’utiliser un système d’extinction par gaz qui fonctionne par inhibition des radicaux libres, composés chimiques libérés lors d'une combustion. Pourquoi ? Car l’air du data center est renouvelé en quelques dizaines de secondes, les salles sont en environnement ouvert et non confinées comme les datacenters traditionnels,

- Il n’était pas possible d’utiliser un système d'extinction incendie par brouillard d'eau, comme c’est le cas sur DC3 vu la vitesse du déplacement de l’air.

Du personnel formé est par contre présent 24h/24 dans le data center. Par mesure d’économie, c’est le pompier qui est à l’accueil qui surveille en permanence les baies SSI, les caméras de vidéosurveillance et fait contrôle la sécurité d’accès au site.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 11 mars 2021 à 09:41:54
L'idée est d'agir rapidement, avant que l'alimentation défectueuse se mette à créer un incendie.
Ce qui ne semble pas forcément gagné...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 11 mars 2021 à 09:45:24
OK, donc Online-Scaleway DC5 a la même stratégie de lutte contre les incendie que OVH : intervention humaine précoce.
Mais dans les 2 cas, rien d'automatique, et aucun moyen lourd de lutte contre l'incendie.

Donc Online-Scaleway DC5 n'est pas à l'abri d'un incendie majeur, comme celui de OVH Strasbourg.
C'est bon à savoir.

DC5 n’est pas équipé de système d’extinction automatique d’incendie :

- Il n’était pas possible d’utiliser un système d’extinction par gaz qui fonctionne par inhibition des radicaux libres, composés chimiques libérés lors d'une combustion. Pourquoi ? Car l’air du data center est renouvelé en quelques dizaines de secondes, les salles sont en environnement ouvert et non confinées comme les datacenters traditionnels,

- Il n’était pas possible d’utiliser un système d'extinction incendie par brouillard d'eau, comme c’est le cas sur DC3 vu la vitesse du déplacement de l’air.

Du personnel formé est par contre présent 24h/24 dans le data center. Par mesure d’économie, c’est le pompier qui est à l’accueil qui surveille en permanence les baies SSI, les caméras de vidéosurveillance et fait contrôle la sécurité d’accès au site.
Je ne comprends pas trop les arguments cités "flux d'air trop important" dans l'absence de dispositif de lutte automatique.
Il y a très bien la possibilité, si incendie grave, d'isoler complètement la salle (volets automatiques), couper la puissance électrique, et balancer le gaz.
Dans des installations industrielles que je connais, avec refroidissement par flux d'air énorme, c'est la stratégie appliquée.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 mars 2021 à 09:51:36
Je pense qu'il y aura un après 10 mars 2021. Et que plusieurs choses vont changer, pas que chez OVH.

Le dispositif d'alerte précoce d'OVH n'a pas fonctionné pourquoi ?
Existait-il ?
Une personne formée à la lute contre l'incendie est-elle présente la nuit ?

Après il ne faut pas couper la salle a chaque alimentation électrique qui pète. Il me semble que cela arrive quand même de temps en temps une alimentation de serveur qui lâche et produit de la fumée, ce qui sera détecté par les système d'alerte précoce.
Titre: DC5 - 12 Détecteur linéaire de fumée OSID
Posté par: vivien le 11 mars 2021 à 09:57:27
Je rappelle que DC5 a deux types de systèmes de détection précoce d'incendie :

Scaleway DC5 - 12) Détecteur linéaire de fumée OSID

Dans le coin, en haut, on distingue une caméra de vidéosurveillance.

À droite de la caméra, on distingue un drôle de boîtier, comme une caméra tournée vers le plafond : c’est un détecteur linéaire de fumée OSID.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_04.jpg)

Les avantages du système OSID :
    • Détection rapide et fiable avec étalonnage absolu
    • Résistance totale à la poussière, à la vapeur, au brouillard, à la condensation et autres obstructions
    • Immunité totale contre les réflexions
    • Performances homogènes quel que soit l'éclairage ambiant ou dans l'obscurité la plus totale
    • Immunité totale contre les vibrations et les mouvements du bâtiment




Voici le détecteur linéaire de fumée OSID en gros plan : C’est un èmetteur qui envoie des signaux lumineux infrarouges et ultraviolets à l’imageur (le récepteur).

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_05.jpg)

Voici le descriptif donné sur le site de xtralis : « La société qui a révolutionné la détection précoce de fumée avec VESDA vient de réinventer la détection de fumée dans les espaces ouverts grâce au système OSID (Open-area Smoke Imaging Detection). Le système OSID d’Xtralis garantit une détection fiable et économique de la fumée dans les espaces ouverts, où la détection d'incendie s’accompagne de défis uniques et l’avertissement précoce n’est pas toujours une priorité.

Dans sa configuration la plus simple, le système OSID d’Xtralis utilise un imageur, un appareil de type caméra disposant d’un large champ de vision, et un èmetteur câblé ou alimenté par batterie aligné de façon approximative sur le mur opposé au sein de la zone protégée. L’èmetteur envoie des signaux lumineux infrarouges et ultraviolets à l’imageur. En cas d’altération de la réception des signaux lumineux du fait de la présence de particules de fumée, l’imageur déclenche une alarme. L’utilisation révolutionnaire de deux fréquences lumineuses au sein d’un appareil ouvert permet au système OSID de distinguer la fumée réelle des autres objets, y compris les insectes, la vapeur, la condensation et la poussière, réduisant ainsi de façon significative les fausses alarmes. »


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_06.png)
Titre: DC5 - 6 Détection incendie
Posté par: vivien le 11 mars 2021 à 09:57:51
Scaleway DC5 - 6) Détection incendie

On retrouve ici nos capteurs d’hygrométrie et de température (Il y en a pas loin d’une trentaine au total dispersés un peu partout) :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_23.jpg)

Vous avez noté sur plusieurs photos la présence d’un tube rouge au plafond ?

Ce sont des tuyaux de prélèvement d’air (il y a des petits trous aux endroits où ils prélèvent des échantillons d’air).

À l’autre bout des tuyaux de prélèvement d’air, un système de détection multi ponctuels de dernière technologie conforme aux exigences APSAD R7 qui est capable de détecter la moindre particule de fumée et de déclencher l’alerte.

Sur cette photo on voit 3 systèmes VESDA et les 3 tuyaux rouges qui partent vers 3 zones distinctes.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_24.jpg)
Titre: DC5 - 6 Détection incendie
Posté par: buddy le 11 mars 2021 à 13:38:45
L'idée est d'agir rapidement, avant que l'alimentation défectueuse se mette à créer un incendie.

DC5 est donc équipé de deux systèmes très performant de détection précoce d'un incendie, qui permet de donner l'alerte bien avant qu'il y ait des flammes.
Salut,

tu parles d'alimentation et du temps que quelqu'un n'intervienne, mais si il y a un court circuit, faux contact avec les câbles qui alimentent la salle, avec plusieurs KW de puissance, il se passe combien de secondes entre le début de la fumée et les flammes ?

Je peux me tromper, mais je doute que SBG2 ait brulé à cause d'une alim d'un serveur. ça doit arriver "régulièrement" chez OVH qu'une alim crame vu le nombre de serveurs qu'ils ont..
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Douks le 11 mars 2021 à 13:45:57
Citer
Par mesure d’économie, c’est le pompier qui est à l’accueil qui surveille en permanence les baies SSI, les caméras de vidéosurveillance et fait contrôle la sécurité d’accès au site.
Ca serait intéressant de savoir, dans quelques jours/semaines, si cette "économie" est toujours en place ou non.
C'est bien d'avoir une Ferrari qui sert pour la détection, si la personne en charge de la surveillance est amenée à faire autre chose (un problème de sécurité avec quelqu'un qui essaie de forcer une entrée, ou tout simplement si il doit aller sur le trône), ça ne sert à rien.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: butler_fr le 11 mars 2021 à 15:10:23
pourquoi ne pas installer tout simplement des tuyaux d'arrosage haute pression (type pompier) dans des endroits stratégique du DC?

Le datacenter de Jaguar à Marseille est équipe de ce système en plus d'un système d'extinction par gaz.
Si pour X ou Y raison le système à gaz ne fonctionne pas ou n'est pas suffisant il reste possible d'attaquer le feux à l'eau pour limiter les dégats en attendant les pompiers, voir d'éteindre l'incendie avec un peu de chance si l'intervention est rapide.

Certes tu rinces tes équipements informatique dans la zone, mais c'est mieux que voir le DC complet partir en fumée.

peut être une solution à étudier pour des DC comme OVH ou DC5...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 mars 2021 à 15:25:50
Arnaud à répondu à ces questions en 2013, cf citation ci-dessous : les sprinklers endommagent profondément la salle où ils sont déclenchés et celles situées en-dessous (dégâts des eaux). Ils peuvent également mener en fonction de la configuration à éteindre tout le site pour éviter des problèmes électriques (certains sites ont les transformateurs au sous-sol).

Maintenant l'incendie d'OVH à Strasbourg va peut-être rabattre les cartes, ce type d'incendie n'avait pas été envisagé.

Avant DC5, Scaleway avait un système d'extinction à incendie par gaz (APSAD R13) ou brouillard d'eau (APSAD D2) en fonction de la configuration du site.

Peut-être qu'un système d'extinction automatique sera rajouté à DC5. Si on part du principe qu'en cas d'incendie non maitrisable on coupe l’énergie dans la salle et donc la ventilation, un système par brouillard d'eau pourrait être pertinent (il n'abime pas le matériel informatique). Les sprinklers, l'étape suivante, même si ils endommagent les serveurs, les données d'un serveur noyé d'eau sont récupérable sans aucun problème.

C'est un changement de philosophie : dans de nombreux data-center on part principe qu'un début d'incendie doit être éteint sans impacter plus que la baie où le sinistre a démarré. Les autres serveurs des baies voisines doivent continuer de fonctionner normalement. Donc il n'est pas envisageable de couper la ventilation de DC5, ce qui forcerait à éteindre tous les serveurs de la salle. Pire avec des sprinklers. On voit où cela a mené OVH, qui a complétement perdu un data center complétement et au moins 30% du voisin.
Les serveurs n'ont pas été éteints, la preuve :
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_temperature.png)
Là le pire avec OVH, ce n'est pas la perte matérielle, mais la perte des données. Maintenant un sinistre de cette taille n'est pas envisageable a DC5, du fait du compartimentage coupe-feu qui n'était pas présent chez OVH.

Ce sont d'excellentes questions !

Les sprinklers sont très présents dans les habitudes américaines.
Quasiment tous les bâtiments aux états unis et au quebec sont équipés de sprinkler, qui sont quasi obligatoire règlementairement parlant et coté assurance. La méthode de protection incendie s'articule surtout autour de l'extinction automatique (quitte à avoir des gros sinistres), alors qu'en Europe nous sommes beaucoup plus dans le préventif (portes coupe-feu, compartiments, désenfumage, résistance au feu des planchers et des murs, évacuation, généralisation des SSI etc...).
Le débit d'une tête de sprinkler est de 15 à 20 m3 / heure, doit être remplis sous air en cas de risque de gel, et alimenté depuis une cuve autonome donnant deux heures d'autonomies avec 8 têtes déclenchées ou une double arrivée d'eau redondante. Il y a sans doutes quelques subtilités sur la règlementation et préconisations FM Global aux US. Imaginez les dégâts provoqués par 20 000 litres d'eau par heure sur des infrastructures informatiques...

En France, les datacenters sont règlementés essentiellement par le code du travail, par les préconisations ICPE (à autorisation ou déclaration) et par les assureurs.
Au niveau purement règlementaire, les seules choses qui sont demandées c'est :
- Le désenfumage mécanique ou naturel pour les locaux aveugles ou faisant plus de 300m2
- Le compartimentage coupe-feu au delà d'un certain volume / m2
- Des issues de secours accessibles avec une certaine largeur
- Une ventilation donnant un minimum d'air neuf par occupant
- L'accessibilité pompier par la facade pour les locaux sont le plancher bas du dernier niveau est à plus de 8 mètres
- 1 chiotte pour 10 personnes (occupant un poste considéré comme "fixe")

Rien n'est demandé ni en détection incendie, ni en extinction. C'est très léger.

Par contre, c'est un non sens, surtout lorsque l'on manipule/héberge les précieuses données de centaines voir de milliers d'entreprises de ne pas respecter des règles de sécurité considérées comme "de base" par les règles de l'art :
- Salles informatiques coupe-feu 1 heure (murs, planchers, portes et ouvrants) et systématiquement désenfumées : en cas d'incendie le feu doit être contenu dans un espace restreint et résistant au feu (oubliez les planchers en bois!). Les matériaux utilisés doivent être M0 ou M1 (incombustible / ininflammable) Le désenfumage permet d'éviter les dégâts liés aux fumées et aux risques de stratification. Généralement on demande 12 fois le volume de la pièce par heure avec une vitesse inférieure à 3m / sec.
- Les locaux techniques, surtout contenant des batteries, sont considérés comme des "locaux à risques particuliers d'incendie" et doivent être coupe-feu 2 heures au moins. Les risques d'emballement batterie sont pas à négliger et provoquent des dégâts considérables
- Extinction automatique d'incendie par gaz (APSAD R13) ou brouillard d'eau (APSAD D2) : permet d'assurer la continuité de l'exploitation et du fonctionnement de l'IT même en cas d'incendie. Pour le brouillard d'eau, il est recommandé d'avoir sa propre réserve et une arrivée d'eau dédiée par la ville (la consommation est inférieure à 2m3/heure)
- Détection d'incendie précoce type VESDA sur tous les volumes, plénums et faux planchers : permet de détecter de manière très précoce un feu pour faciliter une intervention humaine sans risques. Généralement on demande une détection en 60 secondes et une pré-alarme en 40 secondes
- Agent de sécurité pompier formé et diplomé SSIAP1 présent 24x7

Le montant de la couverture de l'assurance est déterminée essentiellement les mesures préventives et de protection prises par l'exploitant.

Faire des planchers bois avec des structures portantes métalliques (qui n'ont strictement aucune tenue au feu) dans des espaces à risque important voir particuliers (j'imagine que les locaux techniques sont traités de la même manière) me parait vraiment dangereux et je suis curieux de voir l'avis de l'assureur et le montant de la couverture en cas de sinistre. Même des bureaux ou des ERP ne se permettent pas de telles choses.

De même, sur les photos on ne voit ni détection incendie, ni extinction incendie, beaucoup de tuyauteries en PVC pression (dont la combustion dégage de l'acide chlorhydrique, aucune façade ouvrante pour l'échelle pompier, ...
C'est vraiment prendre des risques / bricolages considérables avec les données des clients, surtout qu'il y a de grandes chances pour que la couverture d'assurance ne correspondes pas du tout à la valeur de ce qui est hébergé.
Il y a lieu de s'interroger sérieusement sur la sécurité de telles infrastructures.

Arnaud

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 mars 2021 à 15:55:24
Dans le passé, avec un autre employeur, j'ai du mettre en place un bench 4G dans un datacenter sensible (TH2).

Je me suis opposé à utiliser des mobiles, le risque d'un emballement de batterie étant pas négligeable (les batteries de ces téléphones qui font des tests 24h/24 à tendance à gonfler après quelques mois de tests)

J'ai insisté pour partir sur une solution sans batterie :

(https://lafibre.info/images/datacenter/201801_baie_avec_passage_cable_2.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 12 mars 2021 à 06:24:41
Les sprinklers, l'étape suivante, même si ils endommagent les serveurs, les données d'un serveur noyé d'eau sont récupérable sans aucun problème.
Les données seraient récupérables par des moyens lourds et couteux, sur quelques disques durs seulement.
Une électronique qui baigne dans l'eau de nombreuses heures (ça sera évidemment le cas avec un déclenchement de sprinkler), ça n'est souvent pas récupérable. Et si le déclenchement des sprinkler a eu lieu avant la coupure de courant électrique, la dégradation de l'électronique est encore plus rapide, en quelques minutes seulement (électrolyse puis oxydation).

Dans ces conditions, pour récupérer les données, il faut changer l'électronique d'un disque dur mécanique, ou dessouder les chip flash du SSD. Bref, du travail de pro, lourd, lent, et très cher, et sans garantie de résultat. A ne faire qu'en tout dernier recours, sur demande express du client, s'il a beaucoup d'argent. Impossible à faire de manière industrielle sur les dizaines de milliers de disque dur d'un datacenter.
Et évidemment, les sauvegardes déportées sont infiniment plus simple/rentables/économiques.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 mars 2021 à 08:51:47
Les disques dur mécaniques sur sont souvent étanches, non ?

On voit des disques branchés dans un bain d'huile fonctionner sans problème.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hwti le 12 mars 2021 à 08:59:17
Les disques dur mécaniques sur sont souvent étanches, non ?

On voit des disques branchés dans un bain d'huile fonctionner sans problème.
Seuls les modèles remplis d'hélium (les capacités les plus élevées, avec beaucoup de plateaux) ont la partie mécanique étanche. Mais l'électronique est à l'extérieur, donc autant de l'huile minérale ne devrait pas poser problème, autant de l'eau c'est autre chose.

Les modèles classiques ont des trous (avec des filtres anti poussière) pour équilibrer la pression intérieure avec l'extérieur.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 12 mars 2021 à 10:51:48
Les disques dur mécaniques sur sont souvent étanches, non ?

On voit des disques branchés dans un bain d'huile fonctionner sans problème.
Alors 2 choses à dire:
1) Un disque dur mécanique a la très grosse majorité de son électronique à l'extérieur de l'enceinte étanche. Si cette partie est détruite, c'est très compliqué (mais pas impossible) de la changer pour rendre les données de nouveau récupérables. Ne surtout pas croire qu'il suffit de rebrancher la nouvelle électronique et d'utiliser tel quel le HDD, c'est plus complexe que ça. C'est le job des entreprises de récupération de données. Et l'eau détruit rapidement une électronique "standard" qui n'est pas conçue pour être en contact avec de l'eau.
2) L'huile, si elle est bien choisie, ne détruit pas du tout l'électronique, contrairement à l'eau! Dans certains domaines, il est normal que des composants électriques ou électroniques baignent dans l'huile. La majorité des transformateurs (en France) du réseau RTE et ERDF sont à bain d'huile. Les avantages d'utiliser de l'huile:
   * non corrosive (contrairement à l'eau)
   * transporte bien la chaleur (contrairement à l'air)
   * très très bon isolant (contrairement à l'air).

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Symbol le 12 mars 2021 à 16:48:42
Un disque dur mécanique a la très grosse majorité de son électronique à l'extérieur de l'enceinte étanche.
De l'enceinte pas étanche mais juste filtrée la plupart du temps, donc :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 12 mars 2021 à 17:59:15
De l'enceinte pas étanche mais juste filtrée la plupart du temps, donc :)
Ah? Enceinte pas étanche? Tu es sur?
Une enceinte de disque dur avec pastille membranne type gore-tex ou équivalent, c'est une enceinte étanche, non?
Pas étanche à l'immersion, on est d'accord... mais c'est étanche à l'aspersion d'eau, et au ruisellement, non?

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Symbol le 13 mars 2021 à 00:12:15
Une enceinte de disque dur avec pastille membranne type gore-tex ou équivalent, c'est une enceinte étanche, non?
Étanche aux liquides peut-être (encore que ce ne soit pas du tout marketté ainsi), étanche aux poussières sûrement, mais volontairement pas étanche à l'air par construction.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 13 mars 2021 à 05:32:31
OK, donc Online-Scaleway DC5 a la même stratégie de lutte contre les incendie que OVH : intervention humaine précoce.
Mais dans les 2 cas, rien d'automatique, et aucun moyen lourd de lutte contre l'incendie.

Donc Online-Scaleway DC5 n'est pas à l'abri d'un incendie majeur, comme celui de OVH Strasbourg.
C'est bon à savoir.

Il faudra mettre cette affirmation au passé.

La salle 1, la seule construite lors du reportage n'avait effectivement aucun système d'extinction lourd de lutte contre l'incendie mais ce défaut à été corrigé avec la création de la salle 2.

Un brouillard d’eau a ore-action est en cours d'installation dans les différentes salles.

Je laisserais Arnaud nous en dire plus, mais il me semble important de signaler que cela évolué depuis ma visite du site.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 22 mars 2021 à 17:36:55
Scaleway communique sur l'extinction incendie, suite à de très nombreuses demandes de clients :

Extinction Incendie

Notre métier impose la continuité de service et d’exploitation même en cas d’incendie. Il existe sur le marché deux grandes familles de systèmes d’extinction automatique d’incendie capables d’éteindre un incendie sans couper l’informatique :
- Les systèmes à gaz (FM200, Novec, Inergen, Azote, etc.)
- Les systèmes par brouillard d’eau (HiFog, Fogtec, Semco, etc.)

Et enfin les systèmes par sprinkler, obligation spécifique aux USA, ne permettent pas la continuité d’exploitation.

Nous utilisons les deux systèmes :
- DC2 utilise le système par brouillard d’eau Semco certifié FM, VdS/OH1 et DIFT
- DC3 et DC5 utilisent le système par brouillard d’eau Marioff HiFog certifié FM et VdS/OH1 (n.b. : Installation en cours à DC5 dans le cadre de l’extension du site en cours de construction)
- DC4 utilise un système d’extinction à gaz 3M NOVEC 1230 certifié APSAD R13

Nous évitons l’utilisation de systèmes à gaz compte tenu des nombreux sinistres sur les disques durs, causés par le bruit engendré par ces systèmes ces dernières années ( https://www.silicon.fr/test-anti-incendie-sourd-datacenter-ing-157345.html & http://www.availabilitydigest.com/public_articles/0602/inergen_noise.pdf ).


Source : Blog Scaleway (https://blog.scaleway.com/fr/comment-protegeons-nous-vos-donnees/)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 22 mars 2021 à 18:20:51
On sait ce qui est réellement fonctionnel à DC5 et si tout sera court à terme ou juste l'extension ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Hugues le 22 mars 2021 à 18:43:26
Peut-être que ça a été décidé post 10 Mars  ::)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 22 mars 2021 à 19:02:34
Peut-être que ça a été décidé post 10 Mars  ::)
C'est un peu ça la question sous-jacente. :-X
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: abermingham le 22 mars 2021 à 21:17:51
Hello,

Désolé pour le temps de réponse ... un poil sous l'eau en ce moment.
Une réponse rapide,

DC5 à une configuration particulière pour ceux qui connaissent le site :
1- L'extinction à gaz est impossible
2- Les systèmes à brouillard d'eau très compliqué

La densité est importante, et les flux d'air aussi (avec des vitesses qui dépassent 2m/sec presque partout), avec un débit de 450 000 m3/h par salle tout de même
Les systèmes à brouillard d'eau fonctionnent comme les sprinklers. Pour être efficace, la capsule de la tête doit se rompre, à 64°C.
Sauf que les flux d'air font que théoriquement, nous n'avons pas l'assurance que ca soit la tête en face du sinistre qui déclenche, mais potentiellement une autre beaucoup plus loin voir dans la mauvaise allée et donc inefficace contre un départ de feu.

D'ailleurs vous ne le savez peut être pas, mais en cas de détection incendie, la quasi totalité des datacenters, que ca soit à gaz ou à brouillard d'eau, coupent la climatisation pour cette même raison afin de contourner ce problème des 2m/sec.

Du coup, pour que ça soit efficace dans ces conditions, il faudrait ... couper la ventilation ... et donc la continuité de service ... ce que nous refusons et que notre assureur refusait aussi. On avait eu les mêmes problématiques avec DC3, du coup on avait monté un test réel en compagnie du CNRS et nos clients en 2012 pour ceux qui s'en souviennent :

https://www.youtube.com/watch?v=0Ot4pby2D7o

Dialogue de sourd, du coup on a travaillé ces deux dernières années pour démonter et faire accepter en Décembre dernier une solution qui respecte le référentiel de l'APSAD (D2) et qui offre la garantie que ca soit la/les bonne(s) tête(s) qui déclenche(nt). Du coup balle au centre, on n'a pas à couper la ventilation, et c'est un système à pré-action sous air, de chez HiFog, avec réserve d'eau et groupe électrogène, les têtes ont étés implantées avec l'appuie d'une CFD (oui oui ...)


Comme le site est en cours d'extension de 3.6MW avec la construction des salle 2 (au RDC) et 7 (au R+1) jusqu'à cet été, nous avons profité de ces travaux pour équiper tout le site, salle 1 comprise (en cours) 2- passer l'énergie en Hexacore (en cours aussi) + quelques améliorations que je montrerais à Vivien à l'occasion :-)

A+
Arnaud
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Hugues le 22 mars 2021 à 21:49:30
En somme, DC5 se rapproche de DC3, l’adiabatique en plus ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 23 mars 2021 à 03:53:55
c'est un système à pré-action sous air, de chez HiFog, avec réserve d'eau et groupe électrogène, les têtes ont étés implantées avec l'appuie d'une CFD (oui oui ...)

Pour ceux qui se demandent, une simulation CFD (Computational Fluid Dynamics) est utilisé pour simulation un incendie tout en prenant en compte les équations fondamentales de la mécanique des fluides (équations de Navier-Stokes) sur un maillage tri-dimensionnel du domaine physique.

D'ailleurs vous ne le savez peut être pas, mais en cas de détection incendie, la quasi totalité des datacenters, que ca soit à gaz ou à brouillard d'eau, coupent la climatisation pour cette même raison afin de contourner ce problème des 2m/sec.

Du coup, pour que ça soit efficace dans ces conditions, il faudrait ... couper la ventilation ... et donc la continuité de service ... ce que nous refusons et que notre assureur refusait aussi.

Oui, c'est l'idéal d'éteindre un début d'incendie sans avoir à couper la salle tout entière. Mais en cas d'impossibilité de mise en place d'une telle solution, utiliser un système qui oblige à couper la climatisation et donc quelques minutes après l'énergie peut être intéressant: il est préférable de couper les serveurs plutôt que de détruire les serveurs.

Maintenant, le brouillard d’eau, c'est pour la salle avec les serveurs.

Sur DC3 il y a du brouillard d'eau sur les transformateurs 20 000 volts extérieurs, mais il y en a dans les TGBT ?

Les onduleurs 550 kVA en formation parallèle. Il y aura 20 onduleurs au total pour DC3, une fois l'extension réalisée.
(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_04.jpg)

Si l'incendie si déclare dans le TGBT, j'ai compris que la solution Scaleway c'est :
- Limiter ce qui brûle en remplaçant progressivement le parc de batteries par des batteries “v0” auto-extinguible qui, en cas d’emballement thermique ou de court circuit, ne brûle pas.
- Les passages de câbles sont spécialement calfeutrés et traités avec des mastics et des peintures intumescentes.
- Les locaux énergie, onduleurs sont coupe-feu deux heures.
- Dispositif d’extraction des fumées, lui-même capable de fonctionner deux heures par 400°C.
- Mur qui tente de contenir l’explosion d’un transformateur (cela peut faire pas mal de dégâts).

Certains de ces points on fait défaut chez OVH sur Strasbourg SBG2, mais un premier retour d'expérience important de ce sinistre semble être l’impossibilité des pompiers à aigr sur un feu où le 20 000 volts est présent :

Et en réalité les Pompiers étaient sur site en 15 minutes, mais ils n'ont commencés à s'attaquer au feu que 1H30 plus tard, le temps que le distributeur électrique coupe le courant sur tout le secteur. Donc en 1H30 il n'y avait déjà plus rien...
l'arrivée et le comptage était au RDC de SBG2, voila pourquoi il a annoncé dépêcher une unité mobile HTA, en gros un container avec des cellules HTA pour repartir le courant vers les autres bâtiments.

La mise en place des transformateurs haute tension à l’extérieur du bâtiment pour DC3 et DC5 est donc un point important, mais  https://blog.scaleway.com/fr/comment-protegeons-nous-vos-donnees/ n'aborde pas la possibilité pour les secours de pouvoir couper l'arrivée 20 000 volts.

Je me demande si c'est un axe de travail possible, ou si il y avait des spécificités sur Strasbourg (régie locale d’électricité peut-être moins réactive), pour qu'il soit nécessaire d'attendre 1h30 pour couper le 20 000 volts en pleine nuit.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: abermingham le 23 mars 2021 à 13:24:50
Oui, bien sur, il y a de l'extinction incendie dans les TGBT à DC3

Les vannes à pré-action sont à l'extérieur du local à risque
(https://medias-lafibre-info.s3.pl-waw.scw.cloud/181207-Online-DC3-064.jpeg)

Le principe des vannes à pré-action est très simple.
Le réseau est en temps normal remplis sous air. L'eau n'est envoyé qu'avec l'action simultanée d'une tête qui déclenche et vidé le réseau de son air (fusible thermique) et de la détection incendie en seuil "Alarme feu" (Il y a deux seuils, un seul de pré-alarme très précoce et un seuil alarme feu confirmé).

Dans le local, il est traité avec des buses de type VdS OH1 MSPU. Il y en a 8 par salle, 4 coté onduleurs, 4 coté batteries
(https://www.marioff.com/sites/default/files/brochures/2400c-fr_le_systeme_hi-fog_introduction_technique.pdf)
(https://medias-lafibre-info.s3.pl-waw.scw.cloud/181207-Online-DC3-054.jpeg)

L'arrêt électrique "total" (GE + Arrivées) n'est jamais recherchée ni par l'exploitant ni par les secours si le compartimentage permet au sinistre d'être limité à 1 compartiment et contrôlable.
Ce n'est pas anodin car l'arrêt total électrique pose soucis pour les dispositifs d'extinction incendie, les pompes haute pression sont électriques par exemple.

C'est une manoeuvre de dernier recours, lorsque qu'il n'y a pas de compartimentage ou que le sinistre devient incontrôlable.
Dans ce cas :
- Concernant la HT et la possibilité aux pompiers de couper, les arrêts d'urgence sont obligatoires à proximité des transformateurs au delà d'une certaine distance de sa protection BT / HT. De mémoire c'est 15 mètres mais je ne suis plus sur de cette valeur. Sinon lorsque cette distance est inférieure, pas d'arrêt d'urgence, c'est au niveau cellule haute tension que c'est fait, et donc sur manoeuvre du concessionnaire et/ou de l'exploitant.
- De même pour les groupes électrogènes qui doivent avoir un arrêt d'urgence accessible aux pompiers (Arrêt d'urgence mécanique/électrique + un arrêt d'urgence dit "Pompiers" qui ferme le fioul du moteur)

En principe pour une salle informatique :
- Seuil Pré-alarme : levée de doute + intervention à la main (extincteur) si nécessaire
- Seuil Alarme confirmée : Evacuation du compartiment (Alarme sonore), ouverture électronique des vannes à pré-action
- Sinistre confirmé / chaleur : déclenchement de la/les tête(s) thermo-fusible à proximité du sinistre, fermeture du bassin de rétention des eaux d'incendie -> Début de l'extinction
- Sinistre qui s'étends dans le compartiment : arrêt d'urgence électrique du compartiment sinistré (Alimentations ondulées), arrêt de la ventilation sur passage d'eau, activation du dés-enfumage (manoeuvre pompier sur le CMSI) pour faciliter les secours. Le reste des compartiments fonctionnent normalement
- Sinistre qui s'étends au-delà du compartiment : Arrêt HT, consignation des GE, fermeture des vannes fioul (L'extinction continue de fonctionner, il a son propre tarif jaune indépendant)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 23 mars 2021 à 14:10:13
Merci pour ce message détaillé.

Je me demande si l'extinction incendie des locaux énergie ne devrait pas être indiqué dans le blog https://blog.scaleway.com/fr/comment-protegeons-nous-vos-donnees/

Certains lecteurs vont penser que ce n'existe pas, car ce n'est pas mentionné, surtout que certains acteurs en martelant vouloir faire évoluer les standards du marché, sous entendent que ce n'est pas le cas.


Ici, il dit qu'OVH va faire évoluer les standards du marché. Il le répète 5 fois, donc ça n'est pas une erreur ponctuelle.
Ce qu'il veut dire, j'espère en tout cas, c'est qu'OVH va faire évoluer les standards d'OVH, pas les standards du marché... Les standards du marché ne sont pas en cause à priori, vu qu'OVH ne les a jamais appliqués.
Je suis désolé, mais ce discours me choque.

Il semble dire que le "freecooling, c'est mal, c'est du passé". Et là non plus, je ne suis pas d'accord.
Le freecooling à la OVH, avec des salles largement ouvertes aux 4 vents, pas étanches, avec de l'air quasiment pas filtré, et des serveurs à seulement 1-2m de l'entrée d'air extérieure, oui, ça pose beaucoup de question, et depuis le tout début.
Les Freecooling à la Facebook et Scaleway, c'est forcément très très différent.

J'espère que les conclusions parleront également des procédures d'arrêt et de consignation électrique du site en cas d'incident grave : coupure totale (HT et BT), et coupure des onduleurs. Si ça a retardé de plus de 30 min l'intervention réelle des pompiers, comme on peut le lire ici, ça peut avoir du sens. Je ne dis pas qu'il y a eu un problème, c'est juste une hypothèse.

Un vidéo meilleure que les autres sur Fukushima, qui montrent que le système de refroidissement en absence total d'électricité sur le site, le condenseur, n'était pas du tout maîtrisé par l'exploitant et la vanne a pratiquement tout le temps été fermée, ce qui a entraîné la fusion du cœur. Grace à des simulations, on sait que le niveau de l'eau dans le réacteur à baissé sous le niveau des barres de combustible actif seulement une heure et 15 minutes après la panne d’électricité, les vannes du condenseur n'ayant pas été ouvertes. On sait maintenant que la fusion du cœur à commencé quelques heures après le Tsunami. Le guide des opérateurs n'avait pas prévu la panne complète d’électivité du site (sachant que le site à de nombreuses lignes, toutes coupées par le tremblement de terre, des groupes de secours et même des batteries qui ont été inutiles car sous l'eau).

https://www.youtube.com/watch?v=Vwoib7k7oIA
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 25 mars 2021 à 07:20:56
Merci beaucoup Arnaud (@online_fr) pour tous ces détails. C'est très intéressant.
Un hébergeur, comme Scaleway-Online qui est fier de montrer ouvertement ses installations (y compris aux journées portes ouvertes), effectivement, ça inspire confiance.

Par rapport au rapprochement que fait Vivien avec Fukushima... Même si le rapprochement est un peu hasardeux, je pense qu'un des point vitaux est la formation du personnel présent H24 sur site à toutes les procédures d'urgence.
Une formation répétée à toutes ces procédures, c'est juste indispensable. Je pense qu'Arnaud peut facilement faire le rapprochement avec ses formations de pilote amateur d'avion léger.
L'aviation de ligne, avec le nucléaire, c'est des domaines où ce type de formation régulière est le plus présent et le plus judicieux. 
Rendre l'installation complexe (datacenter) facilement compréhensible (c'est un métier), et former continuellement les équipes, c'est une des clefs essentielles à la gestion de ce genre de problèmes. J'insiste sur la formation continuelle. Pour agir efficacement dans l'urgence, on n'a pas le temps de puiser dans sa mémoire des informations qui n'ont pas été ravivées depuis des années.

Plusieurs exemples montrent que la gestion d'incident aurait pu être différente avec des équipes terrain plus formées
* Fukushima, effectivement
* Telehouse 2 perte de climatisation (https://lafibre.info/telehouse/ptit-coup-de-chaud-a-telehouse-2/), avec une manipulation malheureuse d'une vanne inappropriée
* et peut-être la perte d'alimentation Online DC2 (https://lafibre.info/scaleway/coupure-online/), où l'opérateur sur site aurait pu déclencher manuellement les groupes récalcitrants en acquittant les alarmes.
* etc...

Du coup, est-ce que certains opérateurs de datacenter mettent en place des formations spécifiques? Et aussi des simulateurs d'infrastructure, sur lesquelles l'opérateur peut s'entrainer? Comme un simulateur d'avion, ou un simulateur de salle de commande de centrale nucléaire?
Les équipes terrain se forment auprès des équipementiers (SDMO, Eaton, etc...) ?

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Processus42 le 05 avril 2021 à 17:20:52
Peut-être qu'un système d'extinction automatique sera rajouté à DC5. Si on part du principe qu'en cas d'incendie non maitrisable on coupe l’énergie dans la salle et donc la ventilation, un système par brouillard d'eau pourrait être pertinent (il n'abime pas le matériel informatique). Les sprinklers, l'étape suivante, même si ils endommagent les serveurs, les données d'un serveur noyé d'eau sont récupérable sans aucun problème.
Une électronique qui baigne dans l'eau de nombreuses heures (ça sera évidemment le cas avec un déclenchement de sprinkler), ça n'est souvent pas récupérable. Et si le déclenchement des sprinkler a eu lieu avant la coupure de courant électrique, la dégradation de l'électronique est encore plus rapide, en quelques minutes seulement (électrolyse puis oxydation).
Et l'eau détruit rapidement une électronique "standard" qui n'est pas conçue pour être en contact avec de l'eau.

Est-ce que l'eau est si destructrice que ça ? Leon, quand tu parles de "nombreuses heures", à combien penses-tu ? Je m'interroge aussi sur l'impact réel de l'électrolyse: De ce que je connais du procédé on utilise des tensions très élevées (bien plus élevées que les 230V qu'on retrouve en salle serveur), et des solutions particulières pour que l'électrolyse fonctionne. Je n'y connais pas grand chose, mais j'imagine qu'il faudrait que le 230V (Ou les 12V, 5V ou 3V) soit resté plusieurs dizaines de minutes pour qu'il y ait suffisamment de dépôt de la part d'une électrolyse de l'eau (du robinet) pour donner naissance à une oxydation suffisante pour déteriorer de façon irrécupérable le métal exposé de l'électronique des serveurs.

Le plus gros danger matériel à mon avis c'est plutôt le court-circuit.
Pour des dispositifs éteints un bon arrosage suivi d'un séchage dans les heures qui suivent ne devrait pas être si destructeur. Ça peut sauver un DC, à condition de compartimenter le déclenchement des sprinklers, parce qu'il faut pouvoir faire sécher le matériel ensuite !
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 25 mai 2021 à 09:57:15
Clip tourné chez Scaleway :

https://www.youtube.com/watch?v=IwI7H24mefk
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 25 mai 2021 à 11:05:32
bon bah derrière cette video... spéciale, il a l'air d'avoir du contenu pas trop mal le monsieur sur sa chaine YT :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: sf! le 25 mai 2021 à 21:01:52
Pour ceux qui connaissent la série "Chuck", on dirait un des collègues xD
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 27 mai 2021 à 00:33:36
Un article de NextInpact, Cloud de confiance : Scaleway note des avancées mais « l’État semble abdiquer toute ambition » (https://www.nextinpact.com/article/46137/cloud-confiance-scaleway-note-avancees-mais-letat-semble-abdiquer-toute-ambition), renvoie vers ce sujet. :)

Citation de: NextInpact
Évoquant son approche « full-stack », la société concevant ses propres datacenters, innovant notamment dans les systèmes de refroidissement comme avec son système adiabatique mis en place à DC5 (https://lafibre.info/scaleway/dc5/), développant sa propre couche logicielle, Léchelle semble à la fois apprécier certaines décisions mais être inquiet par d'autres aspects.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 27 mai 2021 à 06:51:24
Clip tourné chez Scaleway :
Etonnant de laisser faire ça dans des allées en production.

Sinon, ça n'est pas tourné à DC5, vu qu'il y a un faux plancher. Donc c'est soit DC2, soit DC3.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: dj54 le 19 juin 2021 à 20:07:34
Reportage vidéo DC5

https://www.youtube.com/watch?v=5J6UldLT_qo
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: thibault64 le 15 août 2021 à 00:55:27
Possibilité de visiter DC5 dans le cadre des Journées du Patrimoine 2021, le samedi 18 septembre 2021 de 9h30 à 18h.
Plus d'infos et inscription ici : https://www.eventbrite.fr/e/billets-decouvrir-la-face-cachee-de-linternet-portes-ouvertes-du-datacenter-dc5-164459828775
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Hugues le 15 août 2021 à 08:49:17
J’y serais ! :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: thibault64 le 15 août 2021 à 10:07:49
J’y serais ! :)

Moi aussi avec des amis ;D
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 15 août 2021 à 19:58:49
L'inscription n'est pas pour un créneau spécifique ? Ça m'étonne.

J'aurais bien envie de venir mais c'est un peu loin de ma banlieue et je suis pas complètement sûr d'être dispo.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: xp25 le 15 août 2021 à 23:55:30
Possibilité de visiter DC5 dans le cadre des Journées du Patrimoine 2021, le samedi 18 septembre 2021 de 9h30 à 18h.
Plus d'infos et inscription ici : https://www.eventbrite.fr/e/billets-decouvrir-la-face-cachee-de-linternet-portes-ouvertes-du-datacenter-dc5-164459828775

Bonjour,

Il y a une erreur sur les conditions d'entrées Covid.

Le Test-PCR est désormais à 72h et non plus 48h.

Voici les ajustements :

Le « Pass Sanitaire » consiste à présenter, au format numérique ou papier, un justificatif sanitaire avec un QR code parmi les 3 suivants :

Une attestation de vaccination à condition que vous disposiez d’un schéma vaccinal complet soit :
- 7 jours après la 2e injection pour les vaccins à double injection (Pfizer, Moderna, AstraZeneca),
- 4 semaines après l'injection pour les vaccins avec une seule injection (Johnson & Johnson de Janssen)
- 7 jours après l'injection pour les vaccins chez les personnes ayant eu un antécédent de Covid (1 seule injection)
OU la preuve d’un test RT-PCR ou antigénique négatif de moins de 72h;
OU, le résultat d'un test RT-PCR positif attestant du rétablissement de la Covid-19, datant d'au moins 11 jours et de moins de 6 mois.

 ;)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: thibault64 le 03 septembre 2021 à 18:43:05
L'inscription n'est pas pour un créneau spécifique ? Ça m'étonne.

Si. Ils viennent d’envoyer un e-mail aujourd’hui pour demander aux inscrits de se réinscrire et de choisir un horaire parmi ceux-là :
- 9h30 à 10h30
- 10h30 à 11h30
- 11h30 à 12h30
- 12h30 à 13h30
- 13h30 à 14h30
- 14h30 à 15h30
- 15h30 à 16h30
- 16h30 à 17h30
- 17h30 à 18h30
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Taboin le 14 septembre 2021 à 12:25:06
J'y serrais pour la séance de 16h30-17h30 ;D
Titre: DC5 - 47 Intervention pour une panne matérielle
Posté par: benoitc le 06 juin 2022 à 21:27:18
Scaleway DC5 - 47) Intervention pour une panne matérielle

(https://lafibre.info/images/online/201812_scaleway_dc5_32.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_33.jpg)

petite question mais pourquoi le 1U vide dans les racks entre les serveurs?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 06 juin 2022 à 21:31:45
Étonnant.

Une hypothèse : Si on dépasse la puissance maximum disponible.

Toutefois DC5 permet des fortes puissances, il y a un maximum de 32 ampères par baie.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_17.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: y.fageol le 08 juillet 2022 à 11:26:28
Super reportage Merci
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 22 août 2022 à 15:12:04
Possibilité de visiter DC5 dans le cadre des Journées du Patrimoine 2021, le samedi 18 septembre 2021 de 9h30 à 18h.
Plus d'infos et inscription ici : https://www.eventbrite.fr/e/billets-decouvrir-la-face-cachee-de-linternet-portes-ouvertes-du-datacenter-dc5-164459828775

C'est de nouveau proposé cette année.

Plus d'infos et inscription ici : https://www.eventbrite.co.uk/e/billets-le-patrimoine-durable-en-action-decouverte-du-datacenter-dc5-381735991627

Je serais normalement à la visite  15:35 - 17:35.
Titre: DC5 - 47 Intervention pour une panne matérielle
Posté par: Leon le 16 octobre 2022 à 11:10:25
petite question mais pourquoi le 1U vide dans les racks entre les serveurs?
Petit déterrage de topic.
Oui, même étonnement que toi, Benoit.
Utiliser des machines dont le seul avantage est d'être hyper dense, et diviser la densité de la baie par 2 en laissant 1 U inutilisé... C'est surprenant.
Si les contraintes du site ne permettent pas de mettre 1 machine par U, alors on a tout intérêt à utiliser des machines plus hautes. 1.5U ou 2U.
Les radiateurs et ventilateurs sont beaucoup plus efficaces en 1.5U ou en 2U qu'en 1U. Et moins bruyants (le Monsieur de la photo n'a pas de protection auditive, soit dit en passant).
Ca permet de réduire la consommation due aux ventilateurs, qui est loin d'être négligeable sur des gros serveurs 1U : plusieurs dizaines de Watt par serveur.

Le format 1.5U a été introduit par "open compute" exactement pour ces raisons.

Normalement, le freecooling, tel qu'utilisé à Scaleway-DC5, c'est censé permettre une puissance par baie quasi illimitée (vu que l'air est rejeté à l'extérieur si trop chaud) donc je ne vois pas bien où se situerais la limitation de puissance ici... Un mystère.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 16 octobre 2022 à 12:46:01
Je confirme qu'il est possible de doubler l'alimentation venant du plafond, pour les serveurs qui consomment beaucoup (notamment les serveurs avec de nombreux GPU intégrés), si 32 A est insuffisant.

On rajoute sur la gaine à barre un second boitier de ce type :
À l’intérieur, on retrouve un disjoncteur de 32 ampères, de quoi superviser ce disjoncteur et deux fusibles pour protéger le dispositif de supervision :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_14.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: lechuck le 07 décembre 2022 à 18:20:26
Je redéterre ce topic, à la lumière de ce qui s'est passé depuis plusieurs mois avec la ressource en eau. Ce n'était effectivement dans la conscience collective pas un problème de bazarder 11m3/h en 2018, ca l'est beaucoup plus maintenant. C'est quand même une sacré usine à gaz ce datacenter adiabatique. On peut se demander si l'investissement au final est vraiment judicieux et si le datacenter est vraiment au final si "green" que cela? Personnellement je suis pas super convaincu, tant écologiquement qu'économiquement.

On optimise à mort tout ce qui concerne le refroidissement et la consommation électrique liée, mais ne faudrait il pas se poser les bonnes questions sur les fondamentaux ? On récupère un bâtiment existant surement pour économiser 3 ronds (et peut être aussi pour ne pas artificialiser une nouvelle surface). Mais y'a t'il eu un vrai travail d'isolation thermique ? Et aussi s'interroger sur la localisation de ces datacenter. Ca me semblerait plus logique que les nouvelles installations se fassent dans des pays très au nord. Ou bien si on veut absolument les conserver sur notre territoire, ne vaudrait il pas mieux privilégier des sites en altitude afin de bénéficier d'une température extérieure plus clémente qu'en plaine ? Après à un moment donné, va falloir se pencher sur les services que ces datacenter hébergent. Et légiférer pour classer ces services selon leur niveau d'importance. Le 24/7 ne devrait être réservé qu'à des services stratégiques. Si par exemple Twitter ou Facebook ou je ne sais quelle merde de RS tombe pendant 4h, ca va vraiment poser un problème a part aux influenceurs débiles ? Dans la même idée a quoi bon stocker des décennies de données inutiles et qui dans le fond ne servent à rien ? Certains secteurs économiques sont de plus en plus bassinés concernant le réchauffement climatique et l'économie des ressources (automobile, immobilier, ...) avec des lois qui deviennent hypercontraignantes mais quid de l'IT où ca reste "open-bar", et où on fait plus de greenwashing que de bien pour la planète.

La lecture de ce reportage m'a laissé un goût doux-amer. D'un côté on est admiratif de l'ingéniosité humaine et de tout ce qui est mis en oeuvre, de l'autre on se demande à quoi tout cela rime. C'est une débauche phénoménale et écoeurante de ressources au regard des services hebergés de ce qu'ils offrent "en moyenne".

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 07 décembre 2022 à 20:17:36
On optimise à mort tout ce qui concerne le refroidissement et la consommation électrique liée, mais ne faudrait il pas se poser les bonnes questions sur les fondamentaux ? On récupère un bâtiment existant surement pour économiser 3 ronds (et peut être aussi pour ne pas artificialiser une nouvelle surface). Mais y'a t'il eu un vrai travail d'isolation thermique ?
On se moque pas mal de l'isolation thermique pour un datacenter. Imagine, les équipements informatique produisent plus de 1000W au m². Des calories qu'il faut évacuer. Quand il fait froid dehors, on se moque bien de l'isolation. Quand il fait chaud dehors, c'est effectivement judicieux d'avoir une bonne isolation, mais ça n'est pas prioritaire dans la conception du datacenter.

Citer
Et aussi s'interroger sur la localisation de ces datacenter. Ca me semblerait plus logique que les nouvelles installations se fassent dans des pays très au nord. Ou bien si on veut absolument les conserver sur notre territoire, ne vaudrait il pas mieux privilégier des sites en altitude afin de bénéficier d'une température extérieure plus clémente qu'en plaine ?
En altitude, en France, tu vas avoir du mal à installer un tel site industriel à mon avis. Il faut un réseau électrique fiable, redondant, et une bonne densité de fibre autour.
Beaucoup de datacenters s'implantent dans des pays "froid", Suède, Norvège, Canada, oui, c'est déjà le cas. Mais certains usages ont besoin d'une latence faible vers les utilisateurs finaux ou vers d'autres serveurs déjà implantés en France.

Citer
Après à un moment donné, va falloir se pencher sur les services que ces datacenter hébergent. Et légiférer pour classer ces services selon leur niveau d'importance. Le 24/7 ne devrait être réservé qu'à des services stratégiques. Si par exemple Twitter ou Facebook ou je ne sais quelle merde de RS tombe pendant 4h, ca va vraiment poser un problème a part aux influenceurs débiles ?
Ces datacenters hébergent beaucoup plus que des "réseaux sociaux". Énormément d'entreprises vivent grâce au "numérique", directement  (c'est leur business premier) ou indirectement.

Sinon, je suis tout aussi partagé que toi entre admiration et "critique" sur cette débauche d'énergie dans les datacenter.
Ce qui m'a toujours dérangé avec les datacenters "green" (greenwashing), c'est qu'ils communiquent sur l'efficacité de tout ce qui est autour des "équipements IT" (serveurs/routeurs). Mais une fois qu'on est arrivé à un rendement correct de toute cette partie "autour des équipements IT" (PUE 1.2 ou en dessous), on se rend compte que ça n'est pas ça le plus important. Le plus important c'est d'arrêter cette débauche de serveurs qui se tournent les pouces avec une charge CPU faible. Le plus important, c'est de coder des architectures de "système d'information" qui soient efficaces. De coder en pensant toujours aux ressources consommée, en les optimisant (CPU, RAM, bande passante). C'est de choisir les composants les plus efficaces énergétiquement (processeur ARM, accélération matérielle).

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fansat70 le 07 décembre 2022 à 22:19:20
[Nostalgie...]
Juste pour en rajouter une couche... On a voulu "former" tout un tas de "développeurs" pour ce qui avait pour finalité le "net"... Résultat: Une bonne partie ne sait faire que d'empiler des briques dont aucune n'a un code optimisé et sécure... Les "vieux kroumirs" (dont j'ai fait partie) comptaient leurs octets et devaient optimiser leur code (avec le "langage" adapté! Des jongleries selon la nécessité en assembleur et autres farces du genre, le courant étant le C de base), car la puissance des bécanes l'imposait! J'ai connu l'époque héroïque où pour réaliser une saisie de 6 ou 7 champs, quand on avait bouffé 32k de code (réutilisation à mort de briques système, et on était en mode caractère...), c'était que l'on avait fait très fort! Désormais, pour faire la même chose, il faut 32 ou 64 mégas (et des bibliothèques de centaines de mégas )! et je suis gentil! Mais c'est joli, et le développeur n'a pas coûté cher à sa boite... A court terme! Car ce qu'il va lui faire bouffer en ressources, énergie et en maintenance, ouch! Sans compter la mer... au niveau de la sécurité!
[/Nostalgie...]
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: simon le 08 décembre 2022 à 08:58:39
Fansat, la facon de travailler que tu décris n'est pas morte, regarde du côté de l'embarqué (microcontroleurs hein, pas des cortex A-12) :)

Je pense que la facon de développer en assemblant des briques dont tu parles ne date pas d'hier. Quand j'ai commencé à coder il y a ~15 ans, c'était déjà le cas avec Java et Maven, et maintenant c'est surtout dans le dev Web qu'on voit ce genre de choses, à tel point que le quidam lambda revient aux applications natives car "l'internet, c'est lent".

C'est selon moi surtout une question de management qui a mené à ce genre de pratiques : les project managers ont une pression de vélocité et de coût importante, et sortent pour la grande majorité d'écoles de management dans lesquelles on apprend beaucoup de choses, certes, mais pas la technique (ni même les bases de la culture scientifique, dans mon expérience).
Donc il faut SCRUM, Jira et que les développeurs fassent des petits tickets. Si le Kanban ne montre pas un indicateur de vélocité pour l'équipe au plus haut, on ne cherche pas à comprendre quel problème était dur à résoudre, on va assigner "le ticket" à "une ressource" d'une autre équipe pour que ca aille plus vite.
On sépare les équipes responsables de la sécurité applicative et de la protection des données des équipes de dev, car elles ont des objectifs fixés par leurs hiérarchies diamétralement opposées (l'une doit aller vite pour qu'on puisse vendre, l'autre est une assurance sur le long terme).

J'ai vu des mecs satellisés d'équipes de WebDev (un métier avec ses nombreux problèmes, certes, mais dans lequel je ne suis qu'amateur) pour tenter de faire de l'embarqué car il fallait "une ressource en plus".
Je bossais avec l'un d'entre eux, j'ai passé plus d'un mois à tenter de lui faire comprendre que pour piloter des groupes froids de plusieurs centaines de kW, on avait besoin que le code soit robuste, et qu'on pouvait pas dire à l'utilisateur (quel utilisateur?) qu'il fallait "vider le cache et recharger la page".

Ce n'est que peu étonnant de voir le même management dire "si il faut 2-5x plus de serveurs pour contourner le bug, c'est pas grave, ca sera moins cher que de développer un fix".
Bref, pour moi, le souci dans "DSI" a toujours été le "D". Fin du HS :)

Pour en revenir au sujet (plus intéressant!), quand je bossais dans le datacenter il y a une bonne dizaine d'années, on estimait qu'environ 10% des serveurs allumés dans nos parcs étaient "oubliés" par nos clients. En creusant un peu chez un client, j'ai compris que ca fonctionnait comme cela :
- un sysadmin a besoin d'un (ou de plusieurs) serveurs, il en fait la demande.
- 6 mois plus tard, les achats se saisissent de la demandent et approuvent (note qu'ils n'ont souvent même pas à procurer le serveur eux-même, le sysadmin peut l'avoir de lui-même en deux clicks si on l'y autorise)
- l'OS pré-installé n'est pas le bon (trop récent), la boite impose soit RHEL 4 (!) soit une version exotique de windows 2000 (la "souche logicielle" approuvée). Il faut faire une demande spécifique à l'infrastructure provider car cet OS n'existe plus dans les images proposées, et d'ailleurs, fournir une licence pour ledit OS.
- retour aux achats, obtention d'une licence, envoi de la licence au fournisseur d'infrastructure, etc. etc.
- 8 à 10 mois après, le gars dispose de son serveur et peut  commencer à y installer ses applis.

Bien évidemment, le sysadmin avait la pression pour rajouter un serveur de base de données ASAP et se fait taper dessus car il est 10 mois en retard.
Il commande donc un nombre de serveurs en avance pour en avoir sous le coude le vendredi soir à 7pm quand les alertes "server low on disk space" arrivent sur son téléphone, si il n'est pas parti de désespoir entre temps.

Le serveur reste dans le rack, touours allumé (quand j'éteignais les machines dont je n'avais pas besoin, les techs du datacenter les rallumaient lors de leur ronde de maintenance), à dissiper une centaine de watts à se tourner les pouces.

Un jour, le sysadmin part. Personne n'ose toucher à ces serveurs car "ils pourraient servir à quelque chose, mais je ne sais pas quoi". Trop risqué de l'éteindre.

Le fournisseur d'infrastructure n'a rien à gagner à inciter ses clients à les rendre : il réduirait son CA. De toute facon, même avec un paquet de serveurs qui se tournent les pouces, le client paye touours moitié moins (parfois 10x moins) que s'il était sur AWS, donc pas de risque de le perdre.

Ce post est déjà bien assez long pour que j'aborde le côté applicatif...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fansat70 le 08 décembre 2022 à 09:20:19
Four le fun, et ne pas alourdir le thread, j'ai commencé de coder au début des années 1980...  ;)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: simon le 08 décembre 2022 à 09:24:11
T'as 15 ans d'avance, je me couche.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: blarglibloup le 08 décembre 2022 à 11:55:00
Désormais, pour faire la même chose, il faut 32 ou 64 mégas (et des bibliothèques de centaines de mégas )! et je suis gentil!
Très gentil en effet. Regarde à l'occasion la taille de chacune des apps installées sur ton smartphone, des centaines de méga pour afficher une UI avec 3 ou 4 écrans... Le framework Electron, cette abomination...

Et maintenant les langages qui compilent en static, comme Go, histoire d'être sûr de bouffer du stockage, de pourrir la mémoire et les caches, et sans parler du cauchemar que c'est quand il y a une faille de sécurité dans l'un des modules utilisés... Le progrès!

Fansat, la facon de travailler que tu décris n'est pas morte, regarde du côté de l'embarqué (microcontroleurs hein, pas des cortex A-12) :)
Tu veux qu'on parle d'Arduino, ou mieux, de microPython, pour rire 2 minutes? ;P

Pour moi le seul "endroit" où on voit encore des gens capable de faire cracher leur tripes aux transistors, c'est sur la demoscene, notamment sur C64, Amiga, etc.

Citer
Je pense que la facon de développer en assemblant des briques dont tu parles ne date pas d'hier. Quand j'ai commencé à coder il y a ~15 ans, c'était déjà le cas avec Java et Maven, et maintenant c'est surtout dans le dev Web qu'on voit ce genre de choses, à tel point que le quidam lambda revient aux applications natives car "l'internet, c'est lent".
Parlons du NoCode alors ;D

Citer
Ce n'est que peu étonnant de voir le même management dire "si il faut 2-5x plus de serveurs pour contourner le bug, c'est pas grave, ca sera moins cher que de développer un fix".
Bref, pour moi, le souci dans "DSI" a toujours été le "D". Fin du HS :)
Bah tiens. Donc le petit dev qui fait de la merde (et ne s'en rend même plus compte parce que tout ce qu'il a appris à l'école ou sur le tas, c'est comment faire une recherche google qui lui permet de trouver un bout de code à copier-coller, lequelle bout de code est déjà un copier-coller d'un copier-coller d'un copier-coller... bientôt simplifié avec l'AI de GitHub d'ailleurs) il n'y est pour rien? Et le système éducatif qui n'éduque plus rien, aucune responsabilité? Et surtout, pourquoi en on est là? Parce qu'il y a une demande, des Jeanjean qui en veulent toujours plus, dans la poche, dans la maison, sur leur télé, dans leur voiture, etc... Enfin, on est HS mais bon, je trouve ton verdict un peu simpliste.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fansat70 le 08 décembre 2022 à 12:00:58
Il y aurait même des enfoiros qui prétendraient que le Saint Patron du Dev moderne serait un certain Hermann... Peut-être pour la daube? Ok, je sors!  ;)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: simon le 08 décembre 2022 à 12:04:43
Enfin, on est HS mais bon, je trouve ton verdict un peu simpliste.
Disons que l'écosystème dans lequel le dev en question évolue, et qui lui permet de ne pas comprendre grand chose de ce qu'il manipule en important 200-300 libs javascript dans son packages.json, ce n'est pas lui qui l'a créé. Sans cet écosystème, il aurait bien du mal à opérer ainsi.

Je t'invite à regarder qui est derrière les frameworks WebDev les plus en vogue et responsables du bloat dont on parle (angular, react, vue, ainsi qu'une bonne partie de l'ecosystème nodejs). Ce ne sont pas des mecs incompétents bossant pour une petite boite. Les capitaux investis pour développer et supporter cette facon de développer sont monumentaux.

On est trop HS, je m'arrête :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 12 décembre 2022 à 15:13:04
on commence a voir dans les marchés publics des contraintes d'efficience sur les datacenters, mais aussi sur l'optimisations du code... mais vu qu'entre la partie IT qui est sensibilisé, les achats, la comm', les politiques, il n'y a pas les mêmes enjeux, volonté, échelle temporelle, ca va mettre du temps avant de vraiment aboutir à des choses intéressantes et contraignantes xD
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 12 décembre 2022 à 15:50:44
on commence a voir dans les marchés publics des contraintes d'efficience sur les datacenters, mais aussi sur l'optimisations du code... mais vu qu'entre la partie IT qui est sensibilisé, les achats, la comm', les politiques, il n'y a pas les mêmes enjeux, volonté, échelle temporelle, ca va mettre du temps avant de vraiment aboutir à des choses intéressantes et contraignantes xD
Ca m'intéresse beaucoup ce que tu dis. Tu as des exemples de comment les critères objectifs sur l'optimisation du code sont formulés dans les "cahiers des charges"?

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 12 décembre 2022 à 16:40:15
Ca m'intéresse beaucoup ce que tu dis. Tu as des exemples de comment les critères objectifs sur l'optimisation du code sont formulés dans les "cahiers des charges"?

Leon.
je sais que c'est en discussion ou je suis en ce moment, mais je ne sais pas encore si ca c'est déjà traduit dans un cahier des charges, c'était un sujet déjà en discussion depuis un moment mais qui se trouve conforté avec le passage de la loi REEN
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: lechuck le 12 décembre 2022 à 18:03:03
En altitude, en France, tu vas avoir du mal à installer un tel site industriel à mon avis. Il faut un réseau électrique fiable, redondant, et une bonne densité de fibre autour.

Les affres de la centralisation en France. En dehors de la RP, et 3 grosses agglo (et encore) le reste du pays est en mode tiers monde où on essaie de tout faire fonctionner correctement avec des bouts de ficelle.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: benoitc le 12 décembre 2022 à 19:15:50
Les affres de la centralisation en France. En dehors de la RP, et 3 grosses agglo (et encore) le reste du pays est en mode tiers monde où on essaie de tout faire fonctionner correctement avec des bouts de ficelle.


en meme temps rien n'oblige a n'avoir que des gros dcs. plusieurs petits/micro dcs a diffents endroits sans forxemment de redodance elec mais connectes les uns aux autres aurait le meme resultat avec un peu d'intelligence logicielle. La resilience sur un site a peu d'intérêt dans ce cas ormis la possibili de rationnaliser plus facilement les deplacements en cas de panne (on peut attendre ou en tous cas etendre la plage d'intervention car un autre materiel a pris le relai)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 14 décembre 2022 à 12:35:47
En altitude, en France, tu vas avoir du mal à installer un tel site industriel à mon avis. Il faut un réseau électrique fiable, redondant, et une bonne densité de fibre autour.
Les affres de la centralisation en France. En dehors de la RP, et 3 grosses agglo (et encore) le reste du pays est en mode tiers monde où on essaie de tout faire fonctionner correctement avec des bouts de ficelle.
Mouais, en France on a quand même de très beaux datacenter en province, et même en dehors de Paris-Lyon-Marseille.
Je ne comprends pas le rapport entre ta réponse et mon commentaire sur un datacenter d'altitude. La très grosse majorité du territoire Français est à "basse altitude"...
en meme temps rien n'oblige a n'avoir que des gros dcs. plusieurs petits/micro dcs a diffents endroits sans forxemment de redodance elec mais connectes les uns aux autres aurait le meme resultat avec un peu d'intelligence logicielle. La resilience sur un site a peu d'intérêt dans ce cas ormis la possibili de rationnaliser plus facilement les deplacements en cas de panne (on peut attendre ou en tous cas etendre la plage d'intervention car un autre materiel a pris le relai)
C'est déjà plus ou moins ce que propose OVH: qualité de service "perfectible" en terme de disponibilité, mais répartition sur plusieurs Datacenters en France : Roubaix, Strasbourg, Gravelines. Et tarif avantageux (par rapport à AWS & co) qui permet aux clients de s'acheter de la redondance multi-sites plus facilement. Vous remarquerez que ces datacenters (géants) NE sont PAS dans les 3 grosses agglomérations citées plus haut. Surtout Gravelines et Roubaix qui sont bien éloignés des "noeuds centraux" de l'Internet français.

Leon.