La Fibre

Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => Scaleway Online by Scaleway => Discussion démarrée par: vivien le 10 janvier 2019 à 22:00:45

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 10 janvier 2019 à 22:00:45
Visite du data center Scaleway DC5 (refroidissement adiabatique)

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_01.jpg)

J’ai visité le data center DC5 de Scaleway (l’un des plus gros data center de France) pendant la canicule du 26 juillet 2018. C’est un data center où les serveurs sont maintenus à la même température été comme hiver sans utiliser le moindre bloc de climatisation. La technologie utilisée par DC5 est inédite eu Europe pour une telle puissance : chaque salle héberge 1,8 MW de puissance IT en très haute densité (6kw par baie en moyenne) et à terme DC5, c’est 12 salles pour une puissance maximum totale de 21,6 MW IT.

Un grand merci à Arnaud et Laurent de Scaleway pour la visite et la relecture attentive de ce reportage.

(https://lafibre.info/images/online/logo_scaleway_datacenter.png)

Version PDF du reportage :
(cliquez sur la miniature ci-dessous - le document est au format PDF et fait 44 Mo)
(https://lafibre.info/images/online/201807_scaleway_dc5.png) (https://lafibre.info/images/online/201807_scaleway_dc5.pdf)



C'est mon plus gros reportage jusqu'à aujourd'hui, j’inaugure une table des matières :

Table des matières

Titre: DC5 - 1 Les différents types de « Green Data center »
Posté par: vivien le 10 janvier 2019 à 22:04:05
Scaleway DC5 - 1) Les différents types de « Green Data center »

Le data center DC5 de Scaleway est situé dans la zone industrielle de Saint-Ouen-l'Aumône (95), petite ville du nord-ouest de l’Île-de-France. C’est un ancien centre de tri postal qui a été racheté à bas prix par Scaleway. Comme presque tous les centres de tri postaux, il y a une antenne 4G SFR sur le site, cela ne fait exception ici et Scaleway l’a conservé. Il est probable qu’une antenne Free Mobile fasse son apparition dans le futur.

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_02.jpg)

On parle souvent de « Green Data center », ce terme regroupe deux types de data center :

- Ceux qui utilisent la chaleur produite par le data center pour chauffer des logements voisins ou produire de l’eau chaude. Pour cela ils utilisent habituellement une climatisation standard et ont donc un PUE élevé.

- Ceux qui utilisent de free cooling. L’idée est d’utiliser la capacité calorifique de l’air pour refroidir.


Dans la catégorie free cooling, on distingue à nouveau deux grandes familles :

- Le Free cooling indirect, comme pour DC3. Ce n’est pas l’air extérieur qui refroidit les serveurs, mais l’air qui refroidit de l’eau qui va permettre de limiter la puissance absorbée des compresseurs des groupes frigorifiques. Il existe plusieurs types de Free cooling indirect dont certains utilisent un refroidissement adiabatique.

- Le Free cooling direct. Ici l’air extérieur rentre dans le data center pour refroidir directement les serveurs.


Cela se complique car il existe plusieurs types de data center utilisant du free cooling direct :

- Celui qui n’utilise free cooling sans aucun système pour refroidir l’air : C’est très peu cher (qualifié de « cabane au fond du jardin » par certains sur ce forum) mais, cela ne permet pas d’avoir un air frais l’été : si il fait 40°C l’été, l’air qui rentre dans les serveurs est déjà à 40°C. Pire il y a de forte variation de températures entre le jour et la nuit, ce qui dégrade la durée de vie des serveurs. Ce type de free cooling peut être associé ou non à du water cooling pour mieux refroidir les élèments les plus chauds des serveurs. Il est donc très économe en électricité, mais ne permet pas une grande fiabilité du matériel hébergé dans le temps.

- Celui qui utilise un free cooling avec un groupe frigorifique traditionnel et des automates pour avoir une température stable de l’air en entrée des serveurs. C’est le cas du data center Maxnod. Quand il fait moins de 28°C degrés extérieur c’est du free cooling, quand il fait plus de 28°C, l’air extérieur est refroidit avant d’être introduit dans le data center. L’hiver des automates récupèrent une partie de l’air du data center pour garder une température stable de 28°C. Ce type d’installation permet de garder une température stable 365 jours/an, ce qui est important pour la longévité des serveurs.

- Enfin, il y a les data center free cooling direct avec refroidissement adiabatique. Le rafraîchissement de l'air est basé sur l'évaporation de l'eau : L'air chaud et sec passe à travers un échangeur humide, ici c’est un média adiabatique. L'énergie nécessaire à l'évaporation de l'eau est extraite de l'air qui se refroidit en dissipant ses calories. Là aussi, il y a plusieurs type de data center adiabatique. Certains consomment beaucoup d’eau et ne savent pas maintenir une température stable. DC5 est la crème du data center adiabatique avec une faible consommation d’eau et une température stable de 30°C +/- 1°C dans les allées froides, tout en n’ayant pas besoin de terminaux de climatisation. Le reportage est destiné à expliquer comment Scaleway a réussi à mettre en œuvre cette technique. À noter que le refroidissement adiabatique peut ne pas bien fonctionner quand l’air chaud est très humide, ce qui est relativement peu fréquent.

Attention, à DC5 seul les salles serveurs sont refroidies par un processus adiabatique. Les locaux techniques et le local opérateurs sont refroidis par du free cooling direct avec terminaux de climatisation et groupes frigorifiques traditionnels. Mais même là Scaleway innove avec un énorme stockage de glace destiné à stocker l’énergie nécessaire au refroidissement de ces locaux. Si les serveurs fonctionnent parfaitement à 30°C, les batteries ont une durée de vie plus courte, d’où le choix de Scaleway de les maintenir à une température plus basse, à savoir 25°C +/- 2°C.
Titre: DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling
Posté par: vivien le 10 janvier 2019 à 22:08:35
Scaleway DC5 - 2) Traitement de l’air extérieur utilisé pour le free cooling

Dans ce data center, un étage sur deux est une salle serveurs et un étage sur deux est vide, uniquement destiné à véhiculer des volumes importants d’air. L’air frais est injecté dans les allées froides des salles serveurs et l’air chaud est ensuite extrait des allées chaudes.

Les vantelles pare-pluie visibles sur la photo ci-dessous (face avant de DC5) permettent de faire passer l’air tout en évitant que l’eau de pluie et les volatiles ne pénètrent au travers.
(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_03.jpg)

Voici la vue intérieure de la face avant, ces espaces n’ont pas encore été aménagées, ce sont les futures tranches de DC5 : Un total de 12 salles sont prévues sur ce site (aujourd’hui une seule salle est réalisée)
(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_04.jpg)

DC5 est en effet constitué de 12 salles serveurs qui sont indépendantes (1,8 MW de puissance IT chacune, avec chacune ses 2 TGBT, 2 transformateurs, 2 groupes électrogènes,). La construction d’une salle serveurs, essais et commissionning compris est réalisée en 7 mois.


(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_03.jpg)
Titre: DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling
Posté par: vivien le 10 janvier 2019 à 22:11:07
Voici une photo de la prise d’air pour la première salle. On note que des registres motorisés ont été rajoutés pour réguler et maintenir une température de soufflage stable en-dessous de 30°C extérieur (Plus il fait froid plus ils se ferment et inversement). À gauche, de la photo on devine les pièges à son.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_01.jpg)

Derrière sont installés des pièges à son (aussi bien pour l’air soufflé que l’air qui rejeté), qui va permettre au data center d’être très silencieux (certains ont eu des problèmes quand ils se sont installés dans une zone résidentielle – ici Scaleway a pris toutes les précautions pour respecter la réglementation en vigueur).

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_02.jpg)

Voici une photo de ces pièges à son :


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_03.jpg)
Titre: DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling
Posté par: vivien le 10 janvier 2019 à 22:12:35
Des sondes pour mesurer la température et l'hygrométrie de l’air extérieur de façon à adapter le réglage des registres motorisés et médias adiabatiques sont présentes derrière ces pièges à son.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_04.jpg)

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_05.jpg)

L’air passe ensuite dans une nouvelle série de volets, ici presque tous fermés.

Ces volets sont réglés précisèment pour assurer un débit d’air équivalent sur l’intégralité du mur de filtration. En effet naturellement le haut du mur a tendance à avoir un débit supérieur au bas du mur, qui demande à l’air de faire un détour.


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_06.jpg)
Titre: DC5 - 2 Traitement de l’air extérieur utilisé pour le free cooling
Posté par: vivien le 10 janvier 2019 à 22:15:39
D’immenses filtres à air industriels sont destinés à bloquer toutes les particules transportées par l’air, aussi bien poussières naturelles d'origine minérale (particules sableuses ou terreuses), les poussières d'origine végétale ou celles issues de la combustion des moteurs automobile (suies) et des activités industrielles. Ces filtres doivent être changés régulièrement.

Dans la photo ci-dessous l’air neuf arrive par la droite. Les registres motorisés à gauche permettent la reprise de l’air chaud en provenance des allées chaudes du data center : c’est nécessaire pour garantir un air dans les allées froides qui est toujours à 30°C, quand il fait moins de 30°C à l’extérieur.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_07.jpg)

Tous ces filtres sont des filtres de classe F7, capables chacun de filtrer 3400m2/h à 65 Pa.

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_05.jpg)

Les détails sont sur l’étiquette :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_08.jpg)

Voici les capacités des filtres de classe F7 :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_09.png)

J’ai été étonné que Scaleway n’utilise pas des préfiltres devant les filtres. Les préfiltres, moins cher, servent alors à enlever le gros des particules et permettent de changer moins fréquemment les filtres de classe F7. En effet, lors du printemps, l’air contient de nombreux pollens / graminées, mais ceci impacterait certainement le PUE, car rajouterait de la résistance à l’air et augmenterait la consommation électrique des ventilateurs de soufflage.
Titre: DC5 - 3 Reprise de l’air chaud de la salle (température < 30°C)
Posté par: vivien le 10 janvier 2019 à 22:17:28
Scaleway DC5 - 3) Reprise de l’air chaud de la salle (température < 30°C)

Voici les volets qui permettent la reprise d’air chaud de la salle N°1.

Cette pièce est reliée aux couloirs d’extraction de l’air situé au-dessus des deux allées chaudes.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_10.jpg)

Quand on est en mode mélange, les volets s’ouvrent partiellement et l’air chaud de reprise se mélange à l’air frais extérieur pour être ensuite diffusé par le haut en salles serveurs.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_11.jpg)

Voici l’un des 53 moteurs capable de contrôler très précisèment l’ouverture des registres d’air. La défaillance de l’un d’entre eux n’a aucune incidence, le système étant prévu pour compenser la perte et garder un débit d’air identique avec une température qui respecte l’ordre donné.


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_12.jpg)
Titre: DC5 - 4 Refroidissement adiabatique de l’air
Posté par: vivien le 10 janvier 2019 à 22:20:54
Scaleway DC5 - 4) Refroidissement adiabatique de l’air

Le secret de DC5 se situe derrière : L’air passe au travers d’immenses médias adiabatiques. S’il faut faire baisser la température de l’air, cet échangeur est humidifié avec de l’eau osmosée.

L'énergie nécessaire à l'évaporation de l'eau est extraite de l'air qui se refroidit ainsi. Il est possible de refroidir de 10°C un air sec ou un peu humide. Il n’est par contre pas possible de refroidir un air hautement saturé en eau (cas d’un air tropical par exemple).

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_13.jpg)

Le mélange d’air recyclé et d’air neuf arrive par les grilles situées sous nos pieds. Il y a également quelques filtres qui apportent l’air neuf, la matrice de filtrage d’air neuf fait plus d’un étage de haut, cumulant ainsi pas moins de 40m2 de filtration.

L’air rentre ensuite dans les médias adiabatiques situés à gauche sur la photo :


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_14.jpg)
Titre: DC5 - 4 Refroidissement adiabatique de l’air
Posté par: vivien le 10 janvier 2019 à 22:21:10
On voit ici des zones de la matrice humides et d’autres sèches, pour notre visite, l’automate n’a demandé qu’a certains médias adiabatiques de refroidir, ce qui permet de voir directement l’effet froid / chaud quand on passe derrière.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_15.jpg)

Le média adiabatique a une durée de vie théorique de 150 ans. Vous trouvez cela étonnant, car l’eau en s’évaporant laisse des résidus…
C’est en effet le cas lorsque de l’eau de ville non traitée est diffusée sur les médias adiabatiques. Ici, Scaleway a investi considérablement pour produire l’eau qui est diffusées sur les médias adiabatiques, on passera en revue la production d’eau.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_16.jpg)

Voici un zoom sur quelques centimètres carrés de média adiabatique :


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_17.jpg)
Titre: DC5 - 4 Refroidissement adiabatique de l’air
Posté par: vivien le 10 janvier 2019 à 22:23:23
Voici le dos des médias adiabatiques, là où sort l’air refroidi. On voit en haut les tuyaux violets d’alimentation en eau osmosée et à gauche les ventilateurs qui aspirent l’air refroidi. Les lames grises sur la droite sont des pare-gouttelettes chargées de supprimer les éventuelles gouttes d’eau sous forme liquide qui pourraient se disperser dans l’air.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_18.jpg)

Le débit de l’eau est réglé très finement : toute l’eau osmosée doit s’être évaporée quand le système est bien réglé.
Voici les 5 vannes d’eau osmosée qui permettent de contrôler précisèment le volume d’eau (au litre près) injecté de façon uniforme sur les médias adiabatiques :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_19.jpg)

Si il reste de l’eau osmosée non évaporée, un bac permet de la récupérer (pour la mettre aux égouts, impossible de réutiliser une eau tiède qui a pu être infectée par l’air), un tuyau évacue l’eau par le bas du bac.

Et que se passe-t-il si l’évacuation venait à se boucher ? Scaleway a tout prévu : il y a aussi une évacuation par le dessus. Vous allez voir, DC5 est rempli de petites sécurités de ce type.

À noter que l’installation n’est pas finalisée, les tuyaux d’évacuation seront bientôt recouverts par une plaque métallique pour éviter qu’ils ne se cassent si une personne marche par erreur dessus et une détection d’eau sera disposé au sol.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_20.jpg)

Quand le refroidissement adiabatique n’est plus utilisé, l’intégrité des circuits d’eau osmosée sont vidangés automatiquement (et mis à l’égout). Objectif : mettre l’installation hors gel et ne pas avoir d’eau stagnante dans des tuyaux, pour éviter tout risque de développement bactériologique, bien qu’avec ce système aucune particule d’eau n’est dispersée dans l’air, il n’y a donc pas de phénomène aérosol.
Titre: DC5 - 5 Les ventilateurs pour injecter l’air dans les allées froides
Posté par: vivien le 10 janvier 2019 à 22:25:02
Scaleway DC5 - 5) Les ventilateurs pour injecter l’air dans les allées froides

Il y a ensuite derrière des ventilateurs qui aspirent l’air :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_21.jpg)

28 ventilateurs sont installés par salle serveurs. Ces 28 ventilateurs sont en configuration N+2, ce qui permet d’avoir deux pannes sans affecter le débit d’air : l’automate qui contrôle les ventilateurs configure alors les autres ventilateurs à une vitesse supérieure pour garder le même flux d’air.

Ces 28 ventilateurs sont équipés d’un moteur à courant continu et consomment environ 100 kW d’électricité au total, pour refroidir 1,8 MW de puissance IT. Ils sont tous variable en puissance et sont étagés pour être utilisés sur leurs plages de rendement maximales.

Voici le coté où l’air est expulsé vers la salle serveurs :

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_06.jpg)

On a bien sur testé la mise hors-tension d’un ventilateur pour voir la réaction de l’automate : immédiatement les autres ventilateurs accélèrent pour compenser sa perte.


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_22.jpg)
Titre: DC5 - 5 Les ventilateurs pour injecter l’air dans les allées froides
Posté par: vivien le 10 janvier 2019 à 22:33:44
En face il y a les énormes gaines pour injecter l’air dans les couloirs froids qui sont à l’étage en dessous.

Les grilles au sol permettent la diffusion équilibrée de l’air frais.

À droite et à gauche ce sont les murs des gaines chaudes qui récupèrent l’air chaud des serveurs.

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_07.jpg)

Schématiquement, cela donne ceci :


(https://lafibre.info/images/online/201810_scaleway_dc5_schema.jpg)
Titre: DC5 - 6 Détection incendie
Posté par: vivien le 10 janvier 2019 à 22:34:18
Scaleway DC5 - 6) Détection incendie

On retrouve ici nos capteurs d’hygrométrie et de température (Il y en a pas loin d’une trentaine au total dispersés un peu partout) :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_23.jpg)

Vous avez noté sur plusieurs photos la présence d’un tube rouge au plafond ?

Ce sont des tuyaux de prélèvement d’air (il y a des petits trous aux endroits où ils prélèvent des échantillons d’air).

À l’autre bout des tuyaux de prélèvement d’air, un système de détection multi ponctuels de dernière technologie conforme aux exigences APSAD R7 qui est capable de détecter la moindre particule de fumée et de déclencher l’alerte.

Sur cette photo on voit 3 systèmes VESDA et les 3 tuyaux rouges qui partent vers 3 zones distinctes.

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_24.jpg)

DC5 n’est pas équipé de système d’extinction automatique d’incendie :

- Il n’était pas possible d’utiliser un système d’extinction par gaz qui fonctionne par inhibition des radicaux libres, composés chimiques libérés lors d'une combustion. Pourquoi ? Car l’air du data center est renouvelé en quelques dizaines de secondes, les salles sont en environnement ouvert et non confinées comme les datacenters traditionnels,

- Il n’était pas possible d’utiliser un système d'extinction incendie par brouillard d'eau, comme c’est le cas sur DC3 vu la vitesse du déplacement de l’air.

Du personnel formé est par contre présent 24h/24 dans le data center. Par mesure d’économie, c’est le pompier qui est à l’accueil qui surveille en permanence les baies SSI, les caméras de vidéosurveillance et fait contrôle la sécurité d’accès au site.
Titre: DC5 - 7 L’automate qui contrôle le refroidissement adiabatique
Posté par: vivien le 10 janvier 2019 à 22:37:16
Scaleway DC5 - 7) L’automate qui contrôle le refroidissement adiabatique

Voici l’automate qui contrôle la centrale de traitement d’air de la salle informatique N°1 que nous venons de voir :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_25.jpg)

Mais que se passe-t-il si c’est l’automate qui tombe en panne ?

Il y a 10 ans une grande entreprise avait un data center avec toutes les sécurités avec des climatisations en configuration N+2 et des emplacements pour mettre des unités mobiles en cas de coup dur. Une nuit en plein hiver, c’est l’automate qui contrôlait tout le système de climatisation qui est tombé en panne, arrêtant toute la climatisation. La température alors augmenté d’un degré C. toutes les 6 minutes. 2 heures après une société d’astreinte était sur place et basculait les climatisations en mode autonome, mais trop tard, certains équipements s’étaient arrêtés.

En novembre 2017, un grand hébergeur a subit son plus gros incident et dans une chaîne complexe d’incidents, on note « Ce matin, le système de basculement motorisé n’a pas fonctionné. L’ordre de démarrage des groupes n’a pas été donné par l’automate. Il s’agit d’un automate NSM (Normal Secours Motorisé), fournit par l’équipementier des cellules haute-tension 20KV. Nous sommes en contact avec lui, afin de comprendre l’origine de ce dysfonctionnement. »

Pour revenir à DC5, Arnaud a tenu à vérifier les différents cas improbables où l’automate tombe en panne pour voir que tout se passe correctement. En cas d’absence de réponse de l’automate, un chien de garde (en anglais watchdog) prend le relais. C’est un circuit électronique qui s’assure en permanence que l'automate ne soit pas en panne. En cas d’absence de réponse, le watchdog va basculer les ventilateurs, le système adiabatique et les registres motorisés dans un mode manuel, le tout ajustable par des potentiomètres qui sont sur l’armoire pré-configurés d’avance. Nous ne sommes plus dans un mode contrôlé par les nombreuses sondes, mais un mode prédéfini à l’avance. Il faudra alors qu’un technicien intervienne pour adapter le réglage de la température manuellement en attendant la réparation.

Les potentiomètres de réglages sont sur la face de la porte de gauche :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_26.jpg)

Ce type de watchdog ne sera probablement jamais utilisé, car un automate est extrêmement fiable, ce n’est pas un équipement avec un processeur / ram / flash, mais une unité arithmétique et logique qui lit en boucle ses registres et ses accumulateurs. C’est donc du matériel très fiable, utilisés depuis des décennies dans l’industrie.
Titre: DC5 - 7 L’automate qui contrôle le refroidissement adiabatique
Posté par: vivien le 10 janvier 2019 à 22:39:39
Un système qui transpose les informations du protocole propriétaire vers l’IP est bien sur présent, mais sa panne n’affecte en rien l’automate.

On voit ci-dessous un petit switch industriel 5 ports, rackable et à double alimentation :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_27.jpg)

Coté alimentation, l’automate a bien sûr deux sources d’alimentation distinctes, je ne suis pas sûr que la seconde alimentation du switch soit câblée, vu les nombreuses sécurités sur l’étage d’alimentation.

L’affichage de l’automate est complètement indépendant et c’est l’écran qui intègre CPU / ram / flash nécessaire pour faire fonctionner l’interface graphique. La perte du CPU de l’écran n’affecte en rien l’automate.

Le jour où l’impensable se produit, on apprécie d’avoir mis cette sécurité. (Pour rappel, l’accident de Fukushima aurait pu être évité, si la centrale avait prévu de raccorder en urgence des groupes externes. Les groupes acheminés en urgence le jour même par hélicoptère n'ont pas pu être connectés, le refroidissement s’est arrêté quand les batteries se sont vidées et on connaît la suite. Les ingénieurs ont sûrement supposés qu’avec les six lignes d’alimentations électriques externes – toutes coupées par le séisme - et 12 groupes électrogènes de secours à moteur diesel, inondés par le tsunami, c’était inutile).
Titre: DC5 - 7 L’automate qui contrôle le refroidissement adiabatique
Posté par: vivien le 10 janvier 2019 à 22:40:40
Voici l’écran de l’automate de la CTA01 (centrale de traitement d'air de la salle informatique 01) :
La consigne est à 28,0°C pour ces tests. La cible est de 30 °C en production.
L’air neuf rentre à 29,6°C, l’air est injecté à 26,6°C dans les allées froides.
L’air dans les allées chaudes est à 46,3°C pour la première et 40,8°C pour la seconde.
Faute de température extérieure élevée à ce moment-là de notre visite, le système et les bancs de charge ont été forcés pour nous montrer l’efficacité de refroidissement des médias adiabatiques (d’où le non-respect de la consigne).

L’humidité est de 17,18 ge/kgas en entrée et de 20,67 ge/kgas après refroidissement : Le refroidissement adiabatique a donc rajouté 3,49 ge/kgas pour refroidir de 3°C l’air de 1,457 MW IT .

Vous pouvez voir l’état des différents systèmes de registres, ventilateurs, vannes et charge IT sur le schéma :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_28.jpg)

La photo ci-dessous est prise à un autre moment dans l’après-midi, avec un air neuf à 35,4°C, refroidit de 6,8°C en y injectant 5,29 gramme d’eau par kilogramme d’air.


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_29.jpg)
Titre: DC5 - 7 L’automate qui contrôle le refroidissement adiabatique
Posté par: vivien le 10 janvier 2019 à 22:41:22
L’automate a une protection, pour limiter les changements brusques de température et éviter que de la condensation ne se forme : celui-ci ajuste la température de consigne de soufflage au gré de la température extérieure. Celle-ci est limitée à 1 degrés C. par heure, indiqué sous forme d’une limite de 2°C par 120 minutes sur l’automate :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_30.jpg)

Il est possible de visualiser les alarmes, la dernière est le « défaut ventilateur 1 » apparu quand Arnaud a actionné l’interrupteur de proximité pour voir si l’automate allait bien augmenter le débit d’air des autres ventilateurs :


(https://lafibre.info/images/online/201807_scaleway_dc5_cta_31.jpg)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:45:10
Scaleway DC5 - 8) Production d’eau osmosée: 25 000 litres d’eau par heure

Pour que le média adiabatique ait une durée de vie de 150 ans, il faut une eau parfaitement limpide et pure, afin de ne pas laisser de résidus sur le média adiabatique en s’évaporant.

Scaleway a investi considérablement pour produire de l’eau osmosée : Cela désigne une eau traitée par adoucisseurs et osmoseur, ce qui la différencie de l'eau distillée ou de l'eau déminéralisée, en donnant une eau pure à plus de 99,9% (constituée uniquement des molécules H2O). L'eau est privée de tous ses sels et minéraux en passant au travers d'une membrane d'osmose inverse.

Scaleway a prévu de nombreuses sécurités et possibilité de mode dégradé comme le montre ces différentes vannes de by-pass :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_01.jpg)

La consommation d’eau osmosée maximum est de 25 m3/h pour le data center quand les 12 salles serveurs seront en service. Cela permet le refroidissement de l’air de 10 degrés C. pour près de 22 MW de serveurs.
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:48:20
La production d’eau osmosée se décompose en 5 phases.

1/ adoucisseurs à permutation ionique

Un échange entre les ions calcium et magnésium d’une part, et ions sodium de l’autre permet de retirer le calcium et le magnésium.

Deux adoucisseurs d’eau sont présents (ballons bleus sur la photo) : un maître et un esclave.

À côté il y a pour chaque adoucisseur un bac à saumure blanc à coté :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_02.jpg)

La saumure (eau et sodium) sert à régénérer la résine échangeuse d'ions dans un adoucisseur.

La saumure débarrasse la résine saturée en calcaire des ions de calcium et la recharge en ions de sodium.

Pour préparer la saumure, l'adoucisseur doit être régulièrement alimenté de pastilles de sel.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_03.jpg)

Après la régénération de la résine par la saumure, les résidus de calcaire sont dirigés vers les égouts.
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:49:34
2/ Désinfection pour inactiver les micro-organismes

Pour inactiver les micro-organismes ​(bactéries principalement) mais aussi micro-algues, champignons, qui, outre le fait que certains peuvent être pathogènes, sont à l'origine d'un colmatage important des membranes appelés biofouling:
- soit directement par le développement d'une biomasse;
- soit indirectement par les métabolites produits par les micro-organismes.

C’est l’hypochlorite de sodium (eau de Javel) qui est utilisés ici pour la désinfection.

Son réservoir est ici :


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_11.jpg)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:50:12
3/ filtre à sédiments, d'une porosité de 1 ym

D’une contenance de 74 litres chacun et composés de charbon actif, ils travaillent à la pression de 6 bar :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_04.jpg)

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_05.jpg)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:51:18
4/ Dé-chloration

Compte tenu de la sensibilité des membranes d'osmose inverse en polyamide, il est indispensable d'assurer une décoloration de l'eau en amont du passage dans les 4 membranes d'osmose inverse.

Du bisulfite de sodium est ajouté afin de réduire le chlore.

Le réservoir du bisulfite de sodium est à côté de celui de l’hypochlorite de sodium.


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_11.jpg)
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:53:26
5/ Les 4 membranes d'osmose inverse et son automate :

À l’intérieur de ces tubes blanc, il y une membrane extrêmement fine, qui ne laisse passe que les molécules H2O.

Les 4 membranes fonctionnent en parallèle pour permettre un débit supérieur de production d’eau : il est possible de traiter jusqu’à 25 000 litres d’eau osmosée par heure avec cette installation, c’est la consommation des 12 salles de DC5, quand toutes les vannes d’eau osmosée sont ouvertes.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_06.jpg)

L’analyseur de pH :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_07.jpg)

La pompe de gavage destinée à augmenter la pression d'eau sur la membrane afin d'améliorer le rendement (les membranes fonctionnent à haute pression)

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_08.jpg)

L’eau osmosée sort à l’autre bout de la membrane :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_09.jpg)

Toutes les deux à quatre minutes, les membranes d'osmose inverse sont rincées : le principe consiste à faire circuler de l’eau dans l’autre sens pour rejeter les impuretés coincées dans la membrane.

L’eau de rinçage est dirigée vers les égouts.
Titre: DC5 - 8 Production d’eau osmosée: 25 000 litres d’eau par heure
Posté par: vivien le 10 janvier 2019 à 22:54:37
Le schéma sur l’automate synthétise bien l’installation et permet de suivre le rendement de l’installation :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_10.jpg)

Le rendement global est de 70% : La consommation de 36 m3/h dont 25 m3/h produit et 11 m3/h rejeté à l’égout.
Titre: DC5 - 9 Stockage de l’eau osmosée : 234 000 litres
Posté par: vivien le 10 janvier 2019 à 22:55:10
Scaleway DC5 - 9) Stockage de l’eau osmosée : 234 000 litres

DC5 a une réserve de 234 000 litres d’eau osmosée, répartie en deux cuves de 117 mètres cubes (117 000 litres) situées sous terre. Cela permet au minimum 10 heures d’autonomies (cas extrême avec une température extérieure de 40 degrés C. et les 12 salles serveurs à pleine charge).

Pourquoi conserver autant d’eau osmosée ? Pour faire face à une coupure d’eau ou à une panne de l’osmoseur.

Un automate est dédié au stockage d l’eau osmosée et à la distribution de l’eau vers les médias adiabatiques.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_12.jpg)

L’automate permet de définir les seuils d’alertes (trop pleins, alarme niveau bas), mais aussi le seuil où l’automate déclenche l’osmoseur pour remplir la cuve et celui où il arrête l’osmoseur.


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_osmosee_13.jpg)
Titre: DC5 - 10 Première salle informatique de DC5: 278 baies sur 550 m²
Posté par: vivien le 10 janvier 2019 à 23:02:43
Scaleway DC5 - 10) Première salle informatique de DC5: 278 baies sur 550 m²

À terme 12 salles informatiques, toutes identiques seront construites.
La puissance électrique moyenne installée est de 6kw par baie, c’est donc de la très haute densité.

La salle est constituée de 4 rangées de baies mises dos à dos : il y a donc deux allées chaudes et 3 allées froides.

C’est plus simple à montrer avec une photo : Les rangées de baies ne sont pas terminées, mais on distingue les deux allées chaudes cloisonnées temporairement pour le commissionning alors que le reste de la salle représente les allées froides (nous sommes donc dans un système de confinement d’air chaud)

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_01.jpg)

278 baies seront installées dans la salle et les espaces situés au-dessus des baies seront clôturés pour isolée l’allée froide de l’allée chaude.

L’arrivée de l’énergie, comme la fibre dans le futur se fait par le plafond des salles, vu que DC5 n’a pas de faux plancher.




Voici un coin de la salle prêt à accueillir les premières baies informatiques, seul l’armature autour de la future porte de l’allée chaude est présente. Les serveurs ne sont pas connectés au réseau, ils sont juste là pour faire de la charge et tester les différents scénarios de Scaleway à savoir entre autres : perte secteur ENEDIS, reprise sur groupes électrogènes, perte d’un onduleur, perte d’un automate GE, etc ...

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_08.jpg)
Titre: DC5 - 11 Injection de l’air frais dans la salle
Posté par: vivien le 10 janvier 2019 à 23:05:17
Scaleway DC5 - 11) Injection de l’air frais dans la salle

L’air frais est injecté par les grilles des deux coté du luminaire pour l’allée froide centrale :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_02.jpg)

Pour les allées froides situées sur les côtés de la salle, une seule série de grille est présente pour injecter l’air frais :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_03.jpg)

Le tuyau métallique visible sur la photo précédente transporte lui de l’air, mais de l’air à haute pression, pour les outils pneumatiques des techniciens.

Voici une des arrivées d’air pour les outils pneumatiques :


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_07.jpg)
Titre: DC5 - 12 Détecteur linéaire de fumée OSID
Posté par: vivien le 10 janvier 2019 à 23:08:15
Scaleway DC5 - 12) Détecteur linéaire de fumée OSID

Dans le coin, en haut, on distingue une caméra de vidéosurveillance.

À droite de la caméra, on distingue un drôle de boîtier, comme une caméra tournée vers le plafond : c’est un détecteur linéaire de fumée OSID.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_04.jpg)

Les avantages du système OSID :
    • Détection rapide et fiable avec étalonnage absolu
    • Résistance totale à la poussière, à la vapeur, au brouillard, à la condensation et autres obstructions
    • Immunité totale contre les réflexions
    • Performances homogènes quel que soit l'éclairage ambiant ou dans l'obscurité la plus totale
    • Immunité totale contre les vibrations et les mouvements du bâtiment




Voici le détecteur linéaire de fumée OSID en gros plan : C’est un èmetteur qui envoie des signaux lumineux infrarouges et ultraviolets à l’imageur (le récepteur).

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_05.jpg)

Voici le descriptif donné sur le site de xtralis : « La société qui a révolutionné la détection précoce de fumée avec VESDA vient de réinventer la détection de fumée dans les espaces ouverts grâce au système OSID (Open-area Smoke Imaging Detection). Le système OSID d’Xtralis garantit une détection fiable et économique de la fumée dans les espaces ouverts, où la détection d'incendie s’accompagne de défis uniques et l’avertissement précoce n’est pas toujours une priorité.

Dans sa configuration la plus simple, le système OSID d’Xtralis utilise un imageur, un appareil de type caméra disposant d’un large champ de vision, et un èmetteur câblé ou alimenté par batterie aligné de façon approximative sur le mur opposé au sein de la zone protégée. L’èmetteur envoie des signaux lumineux infrarouges et ultraviolets à l’imageur. En cas d’altération de la réception des signaux lumineux du fait de la présence de particules de fumée, l’imageur déclenche une alarme. L’utilisation révolutionnaire de deux fréquences lumineuses au sein d’un appareil ouvert permet au système OSID de distinguer la fumée réelle des autres objets, y compris les insectes, la vapeur, la condensation et la poussière, réduisant ainsi de façon significative les fausses alarmes. »


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_06.png)
Titre: DC5 - 13 Allée chaude et alimentation électrique des baies
Posté par: vivien le 10 janvier 2019 à 23:12:39
Scaleway DC5 - 13) Allée chaude et alimentation électrique des baies

On voit ici le plafond de l’allée chaude qui laisse l’air chaud passer dans la galerie supérieure.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_09.jpg)

Les deux arrivées électriques « Voie A » et « Voie B » chacune de 6kw (disjoncteur de 32 ampères). À DC5, la double alimentation est une nécessité : une seule voie est ondulée. Ce choix permet économie et simplicité : chaque salle a 2 transformateurs 20 000 volts de 1250 kVa dédiés, 2 groupes électrogènes de 1315 kW / 1650 kVa dédiés, 2 TGBT dédiés, 4 onduleurs de 500 kVa dédiés, 16 branches batteries dédiées...

Contrairement à DC3 qui a un système d’alimentation bien plus complexe avec 4 voies d’alimentations de 2,5 MW mutualisés pour l’ensemble des salles, toutes les 4 ondulées, mais réparties par deux de façon à obtenir en régime nominal sur chaque voie chargée à 75 % et 100 % en cas de perte d’une des 4 voies. (Se reporter à la visite de DC3 : Reportage photo de la visite du data center Scaleway DC3 - Mission N°4 d'un data center : Énergie (https://lafibre.info/online/dc3-iliad/36/))

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_10.jpg)

Ce choix entraîne un risque, dans le cas où une intervention sur la chaîne ondulée nécessite de la couper ET qu’une coupure Enedis intervient en même temps. Scaleway a prévu plusieurs dispositifs pour réduire ce risque : Il est possible de by-passer les onduleurs (Super by-pass) et via une gaine à barre dénommée « HQR » (Haute Qualité de Remplacement) de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante comprenant : 1 transformateur + 1 groupe électrogène + 2 onduleurs, tous de même puissance et dédiés à cette branche de secours HQR. Ainsi l’intervention sur la chaîne ondulée défaillante peut avoir lieu sans risque d’interruption de service pour les serveurs. Cette production ondulée indépendante est mutualisée pour l’ensemble des 24 TGBT du data center.

À noter que le risque est moindre que quand le data center dispose d’une unique voie d’alimentation (oui, cela existe, je ne donne pas de nom)

Il est également moindre que dans un data center situé près d’une centrale nucléaire qui a fait le choix de ne mettre ni groupes, ni onduleurs (cela existe aussi, je ne donne pas de nom).

Bref DC5 a un positionnement moyen de gamme, alors que DC3 est lui positionné sur le haut de gamme. Vous ne pourrez pas louer de baies à DC5, la commercialisation ne se fait que par espaces de 278 baies ou 550 m². DC5 vise l’hébergement de grands acteurs du cloud et la première salle sera occupée par les Dedibox et les services de Cloud Scaleway, mais d’autres grands acteurs internationaux sont fortement intéressés.
Titre: DC5 - 14 Galerie d’extraction de l’air chaud
Posté par: vivien le 10 janvier 2019 à 23:15:25
Scaleway DC5 - 14) Galerie d’extraction de l’air chaud

Cette galerie est située au-dessus de l’allée chaude. L’air chaud rentre dans la galerie par le plafond de l’allée chaude.

Le raccordement électrique des baies se fait via la pose d’un boîtier de raccordement « à chaud » sur une « Gaine à barre », un ensemble de 4 pôles en cuivre (3 phases et un neutre), qui conduisent une forte intensité d’électricité. Cette Gaine à barre est construite par EAE Voltadis. On retrouve nos deux voies, la voie avec les boîtiers rouge est celle qui est ondulée (HQ) et secourue par groupe électrogène. Les boîtiers blancs sont deux de la voie normale (non ondulée) et secourue par groupe électrogène.

Le chemin de câble jaune est dédié au passage des fibres optiques.
Le chemin de câble vert est dédié au passage des courants faibles. (Contrôle d’accès, vidéo-surveillance, GTB, etc …)
Le chemin de câble rouge est dédié au passage des câbles lié à la sécurité incendie.
Le chemin de câble gris situé en haut transporte les câbles d’alimentation des gaines à barre, en provenance des TGBT. On distingue clairement sur la photo les 2 rangées de baies informatiques formant le couloir chaud dans lequel nous nous trouvons.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_11.jpg)

À l’extrémité de cette galerie, on se trouve face à 12 gros ventilateurs, qui extraient l’air chaud en face arrière du bâtiment :


(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_10.jpg)
Titre: DC5 - 14 Galerie d’extraction de l’air chaud
Posté par: vivien le 10 janvier 2019 à 23:17:08
L’air chaud est extrait de ce côté du bâtiment (partie de centre de tri postal qui a été déconstruit pour être reconstruit différemment sur 4 niveaux)

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_11.jpg)

Comme pour l’entrée d’air, Scaleway a mis des pièges à son, visibles sur cette photo
(oups ! Une vantelle à remplacer visiblement) :


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_19.jpg)
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:21:39
Scaleway DC5 - 15) Gaine à barre pour l’alimentation électrique de la salle

Voici ci-dessous deux boîtiers de raccordement rouges, utilisés pour raccorder deux baies situées en dessous à la voie ondulée de la Gaine à barre EAE Voltadis. La puissance disponible est de 6kw par baie (disjoncteur 32 ampères) pour chaque voie.

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_12.jpg)

La connexion se fait sans outil, à chaud, sans éteindre la gaine à barre :


(https://lafibre.info/images/online/201807_scaleway_dc5_salle_13.jpg)
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:23:51
À l’intérieur, on retrouve un disjoncteur de 32 ampères, de quoi superviser ce disjoncteur et deux fusibles pour protéger le dispositif de supervision :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_14.jpg)

Le raccordement à la Gaine à barre ne se fait qu’une fois le boiter fermé : ces couteaux en cuivre permettent d’établir le contact :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_15.jpg)
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:25:21
Une seule phase + Neutre, est utilisée pour connecter les serveurs :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_16.jpg)

Pas de compteur de consommation, car le compte se fait sur l’ensemble de chaque Gaine à barre, louée à un même client.

Vous avez remarqué ? Il n'y a pas de protection différentielle à 30mA !

L’explication n’est pas économique la recherche de la fiabilité maximum.

Citation d’Arnaud « On n’élève pas des carottes dans un hangar, tout ce qui contribue positivement au taux de disponibilité doit être étudié, dérogé et mis en œuvre. Le meilleur exemple est les disjoncteurs différentiels, source de nombreux soucis (disjonctions inopinés) pour pas mal de clients. Votre fournisseur a des disjoncteurs différentiels, ou est en régime IT, posez-vous des questions. »

DC3, le data center haut de gamme de Scaleway, Certification Uptime Institute Tiers III, n’utilise pas non plus de différentiels, tout en étant bien conforme NF C 15-100 et au code du travail.
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:27:49
Les boîtiers arrivent pré-câblés d’usine :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_17.jpg)
Titre: DC5 - 15 Gaine à barre pour l’alimentation électrique de la salle
Posté par: vivien le 10 janvier 2019 à 23:29:25
Le bus de supervision, permettant de remonter lorsqu’un disjoncteur a disjoncté :

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_18.jpg)
Titre: DC5 - 16 Tests de charge : 2 x 6kw par baie
Posté par: vivien le 10 janvier 2019 à 23:30:50
Scaleway DC5 - 16) Tests de charge : 2 x 6kw par baie

Pour tester son data center, Scaleway a choisi de louer de vrais bancs de charge, d’une société spécialisée : Rentaload, pour que chaque baies soit chargée à 2 x 6 kW. Ce matériel haut de gamme, à ventilation variable, permet de configurer un delta T° équivalent aux serveurs informatiques.

Rentaload est une société qui est spécialisée dans le matériel pour la recette de site industriel comme un data center. La location de ces bancs de charge pour un mois coûte particulièrement cher.

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_08.jpg)

À quoi ressemble un élèment de charge ? A un gros radiateur soufflant utilisé pour chauffer des entrepôts, mais c’est vraiment un outil de charge, avec double alimentation en contrôle de la charge par PC, variable de 0,5kW en 0,5kW (7 kW maximum par unité).


(https://lafibre.info/images/online/201807_scaleway_dc5_charge_01.jpg)
Titre: DC5 - 16 Tests de charge : 2 x 6kw par baie
Posté par: vivien le 10 janvier 2019 à 23:34:26
Je ne suis pas sûr que pour le prochain data center Scaleway reconduise l’opération avec ce matériel, car s’ils sont perfectionnés, ils ont un défaut : l’alimentation ne doit pas être coupée quand ils sont en service.

Pour réaliser des tests menant à une coupure d’alimentation, on a dû arrêter proprement la charge. Même avec cette précaution, de nombreux élèments ont disjoncté à la remise sous tension, obligeant de les démonter… pour notre plus grand plaisir, j’ai pris quelques photos :

[photo supprimée en attente d'autorisation de Rentaload]

La partie électronique et son disjoncteur ultra-sensible est en dessous :


[photo supprimée en attente d'autorisation de Rentaload]
Titre: DC5 - 16 Tests de charge : 2 x 6kw par baie
Posté par: vivien le 10 janvier 2019 à 23:34:36
Voici l’arrière d’un élèment une fois raccordé :

(https://lafibre.info/images/online/201807_scaleway_dc5_charge_04.jpg)

Dans chaque emplacement on trouve un élèment qui charge à 6kW et un second de 7kW, configuré pour une charge à 6kW, pour un total de 12kW de charge, connecté sur la voie ondulée. La seconde voie n’est pas raccordée.

(https://lafibre.info/images/online/201807_scaleway_dc5_charge_05.jpg)
Titre: DC5 - 16 Tests de charge : 2 x 6kw par baie
Posté par: vivien le 10 janvier 2019 à 23:37:20
L’espace de stockage pour les caisses qui permettent de transporter les bancs de charge :

(https://lafibre.info/images/online/201807_scaleway_dc5_charge_06.jpg)
Titre: DC5 - 17 La salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:39:10
Scaleway DC5 - 17) La salle opérateurs

DC5 ne contient pour le moment qu’une seule salle opérateurs, destinée à mettre des équipements de transmission, des switchs et éventuellement des routeurs. Scaleway a prévu la possibilité de rajouter une deuxième salle opérateurs à l’étage du bâtiment, identique à celle-ci.

Ce ne sera pas un lieu de peering comme DC3 ou DC4, cependant quelques opérateurs de boucle locale sont présents sur site pour livrer des clients dans la zone.

Voici une photo de la salle opérateurs qui est bien vide. En face c’est l’alimentation électrique (48V + 230V) voie B :


(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_01.jpg)
Titre: DC5 - 17 La salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:39:34
Pour la salle opérateurs, l’alimentation électrique est secourue par 2 voies, voie A et voie B.

• À gauche une baie de batteries permet de secourir le 48v en cas de panne.

• Les baies centrales contiennent les redresseurs 48v utilisés pour alimenter les équipements et charger les batteries si besoin. On est sur une architecture modulaire ou des redresseurs peuvent êtres rajoutés au fur et à mesure de la demande en énergie.

• À droite, la baie inverter avec les onduleurs pour produire du 230v et les disjoncteurs 230v, utilisé uniquement pour les équipements qui ne peuvent pas être alimentés en 48v. À noter que les onduleurs sont connectés derrière le 48v pour bénéficier des batteries. A noter qu’il y a peu de consommation en 230v : presque tous les équipements sont alimentés en 48v continu.


(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_02.jpg)
Titre: DC5 - 17 La salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:40:49
Le même schéma est dupliqué pour la voie d’alimentation « A » :

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_03.jpg)

La petite meet-me-room de DC5 où arrivent les fibres depuis l’extérieur du bâtiment et les fibres des salles serveurs :


(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_04.jpg)
Titre: DC5 - 17 La salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:41:19
Voici les premiers équipements de transmission installés :

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_05.jpg)
Titre: DC5 - 18 Climatisation de la salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:43:52
Scaleway DC5 - 18) Climatisation de la salle opérateurs

Pour le froid, ce n’est pas du free cooling direct avec refroidissement adiabatique comme pour les salles serveurs, mais du free cooling direct avec un groupe frigorifique traditionnel quand la température dépasse 25°C à l’extérieur. En dessous de cette température, l’air extérieur est injecté directement dans la salle après filtration.

Lorsque la température extérieure est trop faible, le système fonctionnera en circuit fermé et mélangera l’air recyclé avec une proportion d’air extérieur.

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_06.jpg)

Voici la prise d’air free-cooling à l’entrée du bâtiment pour la salle opérateurs :


(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_09.jpg)
Titre: DC5 - 18 Climatisation de la salle opérateurs
Posté par: vivien le 10 janvier 2019 à 23:45:49
On suit ici la prise d’air free-cooling extérieur pour la salle opérateurs :

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_10.jpg)

(https://lafibre.info/images/online/201807_scaleway_dc5_operateur_11.jpg)
Titre: DC5 - 19 Groupes frigorifiques pour les locaux techniques
Posté par: vivien le 10 janvier 2019 à 23:47:17
Scaleway DC5 - 19) Groupes frigorifiques pour les locaux techniques

La production d’eau glacée est utilisée uniquement pour les locaux techniques : TGBT où sont situés les batteries et les onduleurs et les deux salles opérateurs.

Deux groupes frigorifiques traditionnels de petite puissance sont installés à l’extérieur, à droite du bâtiment avec une capacité unitaire de 350 kW chacun.

L’eau glacée n’est utilisée uniquement quand la température extérieure est supérieure à 25 degrés C. Les locaux techniques sont en free-cooling direct, quand la température est inférieure.


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_01.jpg)
Titre: DC5 - 19 Groupes frigorifiques pour les locaux techniques
Posté par: vivien le 10 janvier 2019 à 23:48:12
Ci-dessous, au premier plan les deux premiers groupes frigorifiques.
Au second plan à gauche, un container de stockage de glace : C’est un accumulateur d’énergie frigorifique d’une capacité de 6 MWh.

Au second plan à droite, le local technique qui pilote la production d’eau glacée, avec les pompes, les vannes et l’échangeur thermique « stockage de glace » d’une puissance de 1100 kW.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_02.jpg)

Un emplacement pour un 3ème groupe frigorifique est prévu ainsi que des attentes pour raccordement d’un groupe frigorifique mobile en cas de nécessité :


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_03.jpg)
Titre: DC5 - 20 Stockage de glace
Posté par: vivien le 10 janvier 2019 à 23:49:46
Scaleway DC5 - 20) Stockage de glace

Le stockage de glace est pertinent pour DC5 : les besoins en froid sont principalement limités au mode de fonctionnement des onduleurs, donc en cas de perte de secteur ou une chute importante de tension et/ou de fréquence => les onduleurs basculent en mode « Online » et ont une efficacité de 94 %. Il y a donc production de chaleur.

Le stockage de glace permet ainsi de répondre rapidement à une demande de froid immédiate et évite les court-cycles sur les groupes frigorifiques. La recharge du stockage de glace a lieu la nuit, quand l’électricité est meilleur marché ce qui permet d’optimiser les coûts énergétiques. La capacité du stockage de glace est de 6MWh.

Le stockage de glace permet également d’avoir une redondance avec une grande autonomie en cas de perte d’un groupe frigorifique.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_04.jpg)

Le stockage de glace est maintenu en permanence entre 80 et 100% de charge. En-dessous de 80%, le groupe frigorifique s’enclenche en froid négatif et produit de la glace.

Le container est isolé thermiquement. La perte de glace lié au réchauffement (c’est un container tropicalisé, il est donc bien isolé) est de 1 % par jour, pour une température extérieure supérieure à 25°C
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:52:05
Scaleway DC5 - 21) Local de production d’eau glacée

Dans le local de production eau glacées se rejoignent circuit primaire (groupe / stockage de glace) et secondaire desservant les locaux techniques et la salle opérateurs.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_05.jpg)

Chaque circuit a deux pompes : une active et une en secours. Voici les pompes du circuit primaire :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_06.jpg)

Les pompes sont de marque Wilo, un spécialiste de solutions et de systèmes de pompage.

Elles permettent un débit de 105 mètres cubes par heure à puissance maximum.
Ces pompes sont alimentées en triphasé (400 V) et consomment 8,5 kW à puissance maximum.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_07.jpg)
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:52:44
L’échangeur à plaques (1100 kW) permet de mettre en contact les réseaux primaire et secondaire sans mélanger les fluides. Ainsi, les calories du circuit primaire vers le circuit secondaire sont échangées.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_08.jpg)

Un échangeur permet d’avoir des débits différents entre le primaire et le secondaire.

Ici l’eau froide est à 5°C dans le circuit primaire et à 7°C dans le circuit secondaire.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_09.jpg)

À noter qu’il n’y a qu’un seul circuit de froid et donc un seul échangeur, un seul circuit secondaire.

Scaleway a également prévu les attentes pour l’ajout d’un second échangeur à plaques.

Les besoins en froid étant très limités sur DC5 (salle opérateurs + TGBT principalement lors des coupures électriques), le risque est limité, sachant que le free-cooling direct est utilisé majoritairement lorsque la T° extérieure est inférieure à 25°C.
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:56:04
Voici deux des 4 pompes du circuit secondaire et à droite le groupe de maintien de pression automatique pour maintenir à la bonne pression dans le réseau.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_10.jpg)

Ici aussi les petites pompes sont doublées et le compteur d’eau monitoré à distance pour détecter une éventuelle fuite du réseau.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_11.jpg)

On retrouve la même installation pour le circuit primaire :


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_12.jpg)
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:57:46
À côté se trouve la réserve d’eau glycolée et la pompe d’injection ayant servi au remplissage des réseaux. Une eau glycolée est une eau du réseau de la ville à laquelle on a ajouté un pourcentage d’antigel (par exemple 30 % de glycol) afin que cette eau ne puisse geler. Ici l’eau de ville a été traitée et adoucie préalablement. Cela n’a rien à voir avec l’eau osmosée utilisée pour le refroidissement adiabatique uniquement.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_13.jpg)
Titre: DC5 - 21 Local de production d’eau glacée
Posté par: vivien le 10 janvier 2019 à 23:58:44
Bien sûr comme partout, vous avez l’habitude, on retrouve un automate industriel pour piloter l’installation.

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_14.jpg)

C’est lui qui pilote l’accumulateur, les groupes froids, les vannes motorisées et les pompes :

(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_15.jpg)

Ouverture de l’armoire automate :


(https://lafibre.info/images/online/201807_scaleway_dc5_eau_glacee_16.jpg)
Titre: DC5 - 22 Les fourreaux pour rentrer dans le bâtiment
Posté par: vivien le 11 janvier 2019 à 00:01:20
Scaleway DC5 - 22) Les fourreaux pour rentrer dans le bâtiment

Un data center doit être connecté via des fibres, sinon son intérêt est presque nul.

Scaleway a créé des fourreaux pour le connecter à ses autres data center en boucle. Il y a donc deux arrivées distinctes empruntant des cheminements diamétralement opposés de façon à éviter un SPOF (single point of failure), un endroit où passe la fibre primaire et la fibre de secours.

Voici une des chambres de tirage verrouillables de la fibre :

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_01.jpg)

16 fourreaux ont étés posés de part et d’autre de chaque chambre de tirage. Les chambres de tirage d’une même arrivée fibre optique sont interconnectées entre elles.

Chaque fourreau permet de faire passer un gros câble de 720fo comportant 720 fibres optiques.
Titre: DC5 - 22 Les fourreaux pour rentrer dans le bâtiment
Posté par: vivien le 11 janvier 2019 à 00:02:53
Ici une première fibre optique a été tirée et raccordée. Les travaux pour tirer les suivantes vont bientôt démarrer (c’est sur le chemin critique pour la mise en production)

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_02.jpg)

Le site est sécurisé, mais pour éviter de voir un client autorisé à rentrer sur le site y mettre son nez, les chambres sont verrouillées par clé. C’est plus propre que les tiges métalliques avec un cadenas au bout utilisés dans certain data center pour gérer l’accès aux chambres.


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_03.jpg)
Titre: DC5 - 23 La Sécurité anti intrusion
Posté par: vivien le 11 janvier 2019 à 00:04:20
Scaleway DC5 - 23) La Sécurité anti intrusion

La sécurité, c’est aussi éviter les intrusions sur le site. Scaleway a mis le paquet sur DC5 :
- des barbelés électrifiés avec remontées d’alarmes au PCS
- des barrières infrarouges avec remontées d’alarmes au PCS
- deux sas (entrée / sortie) pour le passage de voitures, qui seront bientôt équipés d’un système anti-recul.
- des tourniquets installés en périphérie du site et à l’intérieur du bâtiment pour contrôler les flux piétons

DC2 et DC3 ont tous les deux de grand parking intérieur, mais il n’a pas été décidé de mettre de SAS faute de place.

Les deux portes du sas ne peuvent être ouvertes simultanèment (système anti pass-back), sauf exception pour laisser passer des camions trop longs.


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_04.jpg)
Titre: DC5 - 23 La Sécurité anti intrusion
Posté par: vivien le 11 janvier 2019 à 00:05:13
La clôture est électrifiée avec 3 câbles qui délivrent une tension de plus de 10 000 volts, mais avec une faible intensité, afin de ne pas mettre la vie en danger.

On visualise ci-dessous l’arrivée de l’électrification des 3 câbles :

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_05.jpg)


Un panneau, bien visible à l’extérieur signal le fait que la clôture est électrifiée :


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_06.jpg)
Titre: DC5 - 24 Aménagement de l’ancien centre de tri postal
Posté par: vivien le 11 janvier 2019 à 00:08:05
Scaleway DC5 - 24) Aménagement de l’ancien centre de tri postal

Il reste beaucoup d’espace, tout curé et non aménagé dans l’ancien centre de tri postal. Ils seront utilisés pour les 11 prochaines salles :

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_07.jpg)

Un espace, situé à côté de la salle opérateurs va même être utilisé pour une salle climatique : C’est une salle afin de réaliser des tests sur du matériel informatique dans différentes situations météorologiques recrées artificiellement depuis un automate de régulation, bref de la recherche et développement pour pousser le matériel au maximum de ses limites.

Les fenêtres utilisées à l’époque du centre de la Poste pour des bureaux sont déposées et en cours de condamnation.


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_08.jpg)
Titre: DC5 - 24 Aménagement de l’ancien centre de tri postal
Posté par: vivien le 11 janvier 2019 à 00:09:40
Voici la vue extérieure, avec à gauche les fenêtres avant intervention, ensuite la première peau du bardage qui est placée afin d’accueillir un isolant thermique et enfin la deuxième peau du bardage de finition rouge qui équipera l’ensemble du bâtiment excepté les espaces dédiés à la prise d’air neuf ou rejet d’air chaud.

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_09.jpg)

En plus de SFR qui était là de l’époque de la poste et qui restera là (peut-être rejoint par Free Mobile), Scaleway a mis de nombreuses caméras de vidéo surveillances sur le site :


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_10.jpg)
Titre: DC5 - 24 Aménagement de l’ancien centre de tri postal
Posté par: vivien le 11 janvier 2019 à 00:10:38
On distingue 3 caméras sur cette photo de la face avant de DC5 :

(https://lafibre.info/images/online/201807_scaleway_dc5_securite_11.jpg)

Le futur quai de livraison de DC5 :


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_12.jpg)
Titre: DC5 - 24 Aménagement de l’ancien centre de tri postal
Posté par: vivien le 11 janvier 2019 à 00:12:28
Bassin de rétention des eaux pluviales

Scaleway a installé un limiteur de débit d’eau pour sa connexion aux égouts : impossible de dépasser 5 litres par seconde. En cas d’orage, le bassin fait office de tampon et se remplit provisoirement, puis l’eau est relâchée dans les égouts au débit de 5 litres par seconde. Cela permet de contenir l’eau issue des forts orages et de ne pas saturer les collecteurs de rejet des assainissements.

Scaleway a installé un séparateur d’hydrocarbure : Une éventuelle pollution hydrocarbure serait aussi filtrée et déclencherait une alarme au centre de supervision.


(https://lafibre.info/images/online/201807_scaleway_dc5_securite_13.jpg)
Titre: DC5 - 25 Les groupes électrogènes de 1315 kW / 1650 kVa chacun
Posté par: vivien le 11 janvier 2019 à 00:13:25
Scaleway DC5 - 25) Les groupes électrogènes de 1315 kW / 1650 kVa chacun

Les groupes électrogènes sont situés à l’arrière du bâtiment, à droite sur la photo, dans la partie du bâtiment qui a été démolie et reconstruite.

Le petit local situé à gauche de la photo est le local de pompage et distribution du fioul. (un autre est prévu de l’autre côté du bâtiment)
Le grand local blanc devant le data center et le local des pompes / échangeur pour l’eau glacée.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_01.jpg)

Sur le sol, le caniveau béton refermé par des trappes métalliques renferment les tuyaux pour l’alimentation en fioul des 26 groupes électrogènes (aujourd’hui seul deux sont installés et un troisième en cours de livraison)

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_02.jpg)

L’installation se veut très simple : chaque salle a deux transformateurs 20 000 volts de 1250 kVa dédiés, deux groupes électrogènes de 1315 kW / 1650 kVa dédiés, deux TGBT dédiés, quatre onduleurs de 500 kVa dédiés, 16 branches batteries dédiées...


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_03.jpg)
Titre: DC5 - 25 Les groupes électrogènes de 1315 kW / 1650 kVa chacun
Posté par: vivien le 11 janvier 2019 à 07:46:01
Ce sont des groupes électrogènes basse tension (400 volts).Ce sont les mêmes que ceux de DC3 que Scaleway exploite depuis plusieurs années et qui ont passés la certification tier3 de l’uptime institute qui exige des groupes électrogènes de production (et non de secours) capables de fonctionner sans interruption de service à pleine charge et sans limitation de durée.
Particularité de DC5 : ils peuvent se synchroniser avec le réseau Enedis.

Cela offre de multiples avantages :

- Il est possible de faire des tests en charge sans couper l’alimentation électrique (sachant qu’une voie n’est pas secourue, il serait dommage de la couper pour des tests de groupe) : Le groupe électrogène débite sur le réseau électrique sans couper l’arrivée ENEDIS.

- L’hiver il est possible d’effacer la consommation du data center. Pendant les périodes de pointes de consommation l’hiver, RTE est en mesure de faire un gros chèque aux clients qui sont en mesure d’effacer leur consommation (certains industriels gros consommateurs d’électricité tel que des fonderies s’arrêtent, pour DC5 il s’agit juste de faire fonctionner les groupes électrogènes dimensionnés pour fonctionner en production continue)

Après une coupure de courant, le data center ne repasse pas immédiatement sur le secteur  avec une coupure le temps de la bascule : Les groupes électrogènes s’assurent de la stabilité et se synchronisent ensuite au réseau. Une fois bien synchronisés, la charge est transférée au réseau ENEDIS sans coupure puis les groupes électrogènes s’arrêtent. (Donc une seule coupure au lieu de deux, ce qui a un grand intérêt vu qu’une voie n’est pas ondulée)




L’alimentation en fioul visible sur cette photo, sous forme de flexible est provisoire. Une installation en acier inoxydable va être réalisée.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_04.jpg)
Titre: DC5 - 25 Les groupes électrogènes de 1315 kW / 1650 kVa chacun
Posté par: vivien le 11 janvier 2019 à 07:47:39
Ces groupes électrogènes sont préchauffés et reprennent la charge en 12 secondes. Les batteries onduleurs permettent de tenir à pleine charge 6 minutes fin de vie, c’est-à-dire au bout de 10 ans.

La porte ouverte est celle où est installé l’automate (il y a un automate par groupe)

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_05.jpg)

L’automate gère toutes les erreurs, mais il a un mode, qui permet de by-passer toutes les sécurités « marche ou crève » avec le risque de détruire mécaniquement le groupe électrogène.

Cela permet de ne pas se retrouver avec un data center éteint pour un problème de capteur bloquant la mise en marche du groupe.

Voici l’automate, dont un écran est déporté dans le TGBT afin de le contrôler ou le mettre en route sans sortir du bâtiment. En cas de panne de l’automate, un mode de mise en marche manuel est possible.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_06.jpg)

Les différents vumètres présents :


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_07.jpg)
Titre: DC5 - 25 Les groupes électrogènes de 1315 kW / 1650 kVa chacun
Posté par: vivien le 11 janvier 2019 à 07:48:49
Pour les prochaines salles, les emplacements des groupes électrogènes (et des transformateurs) et le caniveau qui permet son raccordement sont déjà réalisés :

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_08.jpg)

Une fois le site entièrement réalisé avec ses 12 salles il y aura un total de 26 groupes électrogènes + 1 groupe électrogène optionnel pouvant secourir n’importe quel autre groupe électrogène défaillant !

Les groupes électrogènes de l’étage R+2 seront placés sur les côtés est et ouest du bâtiment.

Coté poste de livraison Enedis, une fois les tranches optionnelles réalisées avec les 12 salles, la capacité sera de 24 MW.

DC5 sera donc un des plus gros data center de France.
Titre: DC5 - 26 Les cuves de fioul
Posté par: vivien le 11 janvier 2019 à 07:50:00
Scaleway DC5 - 26) Les cuves de fioul

Scaleway a prévu 2 cuves enterrées. 1 seule a été mise en œuvre.
Chaque une cuve est séparée en deux volumes indépendants : Chaque volume permet de stocker 40 000 litres de fioul.

Avec 80 000 litres DC5 est aujourd’hui presque au niveau de DC3 (100 000 litres de fioul)

Le camion qui remplit les cuves se positionne au-dessus de cette aire de dépotage qui permet de éventuelles fuites.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_09.jpg)

Les deux regards permettant l’accès au trou d’homme de chaque volume de 40 000 L :


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_10.jpg)
Titre: DC5 - 26 Les cuves de fioul
Posté par: vivien le 11 janvier 2019 à 07:51:06
Dans le local dédié au pompage, on retrouve une petite armoire de contrôle / commande :

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_11.jpg)

Les pompes sont doublées et redondantes pour les 2 volumes de la cuve.


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_12.jpg)
Titre: DC5 - 26 Les cuves de fioul
Posté par: vivien le 11 janvier 2019 à 07:51:55
Pour chaque volume de la cuve, il y a trois pompes : une active, une en back-up et une pompe manuelle ! On espère qu’elle ne sera jamais utilisée. Cela fait partie des petites sécurités optionnelles pas forcèment très onéreuses, mais qui peuvent un jour éviter un black-out.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_13.jpg)

En cas de fuite, un flotteur donne l’alerte :


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_14.jpg)
Titre: DC5 - 26 Les cuves de fioul
Posté par: vivien le 11 janvier 2019 à 07:52:50
Tous les tuyaux de distribution dans les caniveaux sont double-peaux, verte et noire. La double-peaux est maintenue sous vide et équipée d’un module détection de fuite. Cela permet de surveiller et alerter en cas de fuite d’une canalisation sans avoir à inonder les caniveaux.

(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_15.jpg)

Même les tuyaux de dépotage sont double-peaux :


(https://lafibre.info/images/online/201807_scaleway_dc5_groupes_16.jpg)
Titre: DC5 - 27 Postes de livraison électrique
Posté par: vivien le 11 janvier 2019 à 08:03:07
Scaleway DC5 - 27) Postes de livraison électrique

Le centre de tri postal avait déjà un poste de livraison 20 000 volts, nommé « CENTRIPRO » avec une arrivée Enedis en double dérivation qui a été réutilisé par Scaleway. Sa capacité est de 6 MW (mégawatt)

Il est prévu de changer la veille porte.

Trois postes de livraison supplèmentaires seront installés ultérieurement, chacun d’une puissance de 6 MW, pour faire face aux forts besoins énergétiques lors de la mise en place de nouvelles salles et porter la capacité du site à 24 MW.

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_01.jpg)

Voici le schéma du câblage entre poste de livraison 1 et poste de distribution 1 20 000 volts :


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_04.jpg)
Titre: DC5 - 28 Postes de distribution du 20 000 volts
Posté par: vivien le 11 janvier 2019 à 08:27:20
Scaleway DC5 - 28) Postes de distribution du 20 000 volts

Un fusible de 63 ampères (en 20 000 volts) est présent dans ces cellules pour protéger le transformateur de 1250 kVa qui est derrière :

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_02.jpg)

À terme, avec 12 salles serveurs de construite, le site comptabilisera 26 transformateurs.
3 autres postes de distribution déjà construits seront donc équipés.

Il sera possible d’alimenter un poste de distribution avec n’importe quel poste de livraison. Toutes les combinaisons sont possibles, dans la limite de 6 MW par poste de livraison.


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_03.jpg)
Titre: DC5 - 29 Les transformateurs 20 000 volt / 400 volt
Posté par: vivien le 11 janvier 2019 à 08:29:19
Scaleway DC5 - 29) Les transformateurs 20 000 volt / 400 volt

Le 20 000 volt arrive ensuite aux transformateurs à huile : Les transformateurs sont séparés par un mur coupe-feu, de sorte à ce que l’explosion ou l’incendie d’un transformateur (oui c’est déjà arrivé) ne détériore pas ses voisins.

Les transformateurs utilisés ont une capacité de 1250 kVa

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_09.jpg)

La zone sera bientôt grillagée, afin d’éviter l’infiltration d’une personne non habilitée.
Titre: DC5 - 29 Les transformateurs 20 000 volt / 400 volt
Posté par: vivien le 11 janvier 2019 à 08:30:13
On observe juste derrière le transformateur le rejet d’air (surpression) du free-cooling du TGBT attenant :

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_10.jpg)

Ce transformateur est celui qui alimente la salle opérateurs et une partie de la production eau glacée :


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_11.jpg)
Titre: DC5 - 30 TGBT de la salle opérateurs / production d’eau glacée
Posté par: vivien le 11 janvier 2019 à 08:32:48
Scaleway DC5 - 30) TGBT de la salle opérateurs / production d’eau glacée

Dans cette salle se trouve les disjoncteurs « Masterpack », du TGBT alimentant la salle opérateurs et une partie de la production eau glacée.

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_05.jpg)

Les câbles provenant du transformateur passent en enterré et atterrissent dans cette fosse :


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_06.jpg)
Titre: DC5 - 30 TGBT de la salle opérateurs / production d’eau glacée
Posté par: vivien le 11 janvier 2019 à 08:33:12
Le MTZ2-20 N1 de Schneider Electric se ferme en moins de 70ms :

(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_07.jpg)

Ce type de produit a évolué, aujourd’hui un Masterpack est pré-équipé pour recevoir une adresse IPv4 ou IPv6 et/ou du Bluetooth (mais pour des raisons évidentes de sécurité, Scaleway a préféré ne pas prendre ces options de communication)


(https://lafibre.info/images/online/201807_scaleway_dc5_erdf_08.jpg)
Titre: DC5 - 31 TGBT de la première salle informatique
Posté par: vivien le 11 janvier 2019 à 08:34:55
Scaleway DC5 - 31) TGBT de la première salle informatique

Voici un des deux TGBT de la première salle. Il y a un TGBT par couloir chaud.

Chaque TGBT gère la moitié d’une salle de façon indépendante. Chaque TGBT a son transformateur 20 000 volts de 1250 kVa dédié, son groupe électrogène de 1315 kW / 1650 kVa dédié, 2 onduleurs de 500 kVa dédiés, 8 branches batteries dédiées.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_01.jpg)
Titre: DC5 - 32 Climatisation du TGBT
Posté par: vivien le 11 janvier 2019 à 08:35:58
Scaleway DC5 - 32) Climatisation du TGBT

Pour le froid, c’est comme pour la salle opérateurs: du free cooling direct est utilisé (via un groupe frigorifique traditionnel), quand la température dépasse 25°C à l’extérieur. En dessous de cette température, l’air extérieur est injecté directement dans la salle après filtration.

Lorsque la température extérieure est trop faible, le système fonctionnera en circuit fermé et mélangera l’air recyclé avec une proportion d’air extérieur. L’objectif est de maintenir dans le TGBT une température de 25°C +/- 2°C.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_02.jpg)

Ici, il fait plus de 25°C extérieur : les registres motorisés de la reprise d’air chaud sont ouverts pour recycler l’air et le refroidir via le circuit d’eau glacée, l’air chaud du TGBT étant plus frais que l’air extérieur :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_03.jpg)
Titre: DC5 - 32 Climatisation du TGBT
Posté par: vivien le 11 janvier 2019 à 08:37:46
Quand le free cooling injecte de l’air extérieur, voici la bouche où il est expulsé à l’extérieur :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_04.jpg)

Le TGBT est composé de nombreuses baies, remplies de disjoncteurs et outils de mesure :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_05.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:39:25
Scaleway DC5 - 33) Les Batteries

Voici les batteries qui fournissent l’énergie aux deux onduleurs de 500 kVa du TGBT. Chaque onduleur a 4 branches de batteries à sa disposition.

Chaque étage de batterie compose une branche : c’est un ensemble de batteries de 12 volts en série, afin d’atteindre une tension de 615 volts continue.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_06.jpg)

Les batteries utilisées : Ce sont des batteries au plomb étanche AGM SPRINTER XP12V3000 (350€ l’unité). D’une tension de 12 volts, elles ont chacune une capacité de 92.8Ah à 25°C.

Ce type de batteries est optimisé pour un usage en charge permanente avec une décharge extrêmement rapide. Sa puissance typique pour une décharge en 10 min est de 3040 Watts à 25°C. Sa durée de vie est de 10ans.

Pourquoi toujours indiquer une température ? Car la capacité d’une batterie diminue avec la température.

Pourquoi ne pas stocker les batteries à 30°C (température du couloir froid de la salle serveur) toute l’année afin d’avoir une autonomie supplèmentaire ? Car plus la température monte, plus la durée de vie de la batterie est réduite et plus il faut la remplacer régulièrement.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_07.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:41:27
Quelle autonomie permettent ces batteries ?

Au strict minimum 6 minutes. Cette durée est calculée dans le cas le plus défavorable : Pleine puissance (6 kW / baie de moyenne) et batteries en fin de vie, c’est-à-dire au bout de 10 ans.

Les 4 branches de batteries sont connectées à 4 interrupteurs (situés tout en bas de la baie).  Ils permettent d’isoler une branche en cas de batterie défectueuses ou pour remplacer une branche. En cas de coupure électrique pendant l’opération, les 3 autres branches permettent de tenir la charge, mais avec une autonomie moindre.

La partie haute de la baie est constituée d’un interrupteur-fusible et du départ vers l’onduleur de 500 kVa (chaque onduleur a sa baie et ses 4 branches de batteries dédiées).


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_09.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:42:28
Ici on voit Arnaud en train de simuler une panne de l’ensemble des batteries : Quand la photo a été prise le data center a une coupure de courant simulée et fonctionne sur groupe électrogène. Cela permet de vérifier la réaction de l’automate qui doit sortir du mode Online et basculer la charge directement sur le groupe électrogène, sans coupure.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_08.jpg)

Savez-vous ce que c’est ? Ce sont 4 fusibles de 650 ampères, pour les 4 branches de batteries. Le câble permet de monitorer si le fusible a fondu et le circuit est ouvert.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_10.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:43:22
Voici l’électronique à gauche du disjoncteur, qui est elle-même protégée par deux fusibles.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_11.jpg)
Titre: DC5 - 33 Les Batteries
Posté par: vivien le 11 janvier 2019 à 08:44:44
Cette électronique permet de collecter les données des différentes sondes de température qui sont placées à proximités des batteries. La température est un paramètre utilisé pour optimiser le courant de floating et optimiser le temps de recharge.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_12.jpg)
Titre: DC5 - 34 Les onduleurs
Posté par: vivien le 11 janvier 2019 à 08:45:21
Scaleway DC5 - 34) Les onduleurs

Voici l’un des deux onduleurs de 500 kVa du TGBT :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_14.jpg)

Là, il n’apprécie pas nos tests…


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_13.jpg)
Titre: DC5 - 34 Les onduleurs
Posté par: vivien le 11 janvier 2019 à 08:46:10
En temps normal, l’affichage permet de voir la charge (310 kVA ci-dessous) et de voir quel circuit est alimenté.
Le mode éco, permet d’éviter une double conversion, en fonctionnement normal (réseau présent et dans les tolérances) :
La charge est ici alimentée par le by-pass automatique. Le réseau normal alimente la batterie, mais l’onduleur ne produit pas de courant.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_16.jpg)

Ci-dessous, nous avons une coupure de courant simulée et le data center fonctionne sur groupe électrogène. L’onduleur force le mode double conversion par mesure de sécurité. Dans ce mode, le rendement est de 94 %
Tandis qu’en « Éco mode » le rendement est proche de 99,9 % à pleine charge.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_15.jpg)
Titre: DC5 - 34 Les onduleurs
Posté par: vivien le 11 janvier 2019 à 08:49:54
Ci-dessous l’onduleur nous signale deux alarmes : « 1 » et « 2 », qui sont liées à un by-pass pour une maintenance :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_17.jpg)

Le détail des deux alarmes est disponible :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_18.jpg)

Vous vous souvenez que sur DC5, seul une voie est ondulée. Que se passe-t-il en cas de coupure électrique pendant une intervention qui impose de mettre l’onduleur en by-pass maintenance ?

DC5 comporte à terme 24 TGBT (transformateur / groupe / batteries / onduleurs) pour les 12 salles + 1 TGBT salles opérateurs / groupes frigorifiques et 1 TGBT « HQR » (Haute Qualité de Remplacement) : Il est possible via une gaine à barre dénommée HQR de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante comprenant : 1 transformateur + 1 groupe électrogène + 2 onduleurs, tous de même puissance et dédiés à cette branche de secours HQR. Ainsi l’intervention sur la chaîne ondulée défaillante peut avoir lieu sans risque d’interruption de service pour les serveurs. Cette production ondulée indépendante est mutualisée pour l’ensemble des 24 TGBT du data center.
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:51:15
Scaleway DC5 - 35) L’automate du TGBT

Les armoires du TGBT ont en façade des schémas simplifiés qui permettent de voir ce qui est sous tension.

Ci-dessous, nous sommes face à une coupure de courant et c’est le GE (groupe électrogène) qui alimente l’installation.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_19.jpg)

Voici une vue déportée de l’automate qui contrôle le groupe électrogène :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_20.jpg)
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:52:29
Le même écran est disponible dans le groupe électrogène, mais le fait d’avoir un écran déporté évite le besoin de se déplacer à l’extérieur.

Ici, le groupe électrogène fonctionne parfaitement : La tension (triphasé) est exactement de 400v, la fréquence est exactement 50,0 Hz. Le groupe est chargé à 65kw et le moteur tourne à 1500 tr/min. Un schéma indique les parties qui sont sous tension :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_21.jpg)

Il est possible d’avoir plus de détails sur tous les capteurs du groupe électrogène :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_22.jpg)
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:54:26
Voici l’armoire permettant le déport de l’automate :

Ce n’est pas un équipement avec un processeur / ram / flash, mais une unité arithmétique et logique qui lit en boucle ses registres et ses accumulateurs. C’est donc du matériel très fiable.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_23.jpg)
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:55:32
L’écran est connecté en Ethernet et intègre un processeur, de la mémoire flash et de la ram, pour gérer l’interface graphique :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_24.jpg)

Arnaud simule une panne en disjonctant l’arrivée électrique de l’automate :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_25.jpg)
Titre: DC5 - 35 L’automate du TGBT
Posté par: vivien le 11 janvier 2019 à 08:56:09
L’écran affiche alors perte de connexion :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_26.jpg)

Mais en cas de panne sur l’automate, il est possible d’utiliser un mode dégradé, pour contrôler manuellement les interrupteurs et le groupe électrogène :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_27.jpg)
Titre: DC5 - 36 Super By-pass et centrales de mesure
Posté par: vivien le 11 janvier 2019 à 08:57:51
Scaleway DC5 - 36) Super By-pass et centrales de mesure

Interrupteur super by-pass DGHQ :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_28.jpg)

Centrale de mesure générale du TGBT :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_29.jpg)
Titre: DC5 - 36 Super By-pass et centrales de mesure
Posté par: vivien le 11 janvier 2019 à 08:59:00
Centrale pour mesurer la puissance sur les 4 voie HQ.  Chaque voie alimente une gaine à barre EAE Voltadis située dans l’allée chaude : Dans la galerie d’extraction de l’air chaud, il y a 4 gaine à barre HQ : deux à droite et deux à gauche, chacune connectant les baie sur la moitié de la longueur de la salle.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_30.jpg)

Les interrupteurs des voies :


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_31.jpg)
Titre: DC5 - 36 Super By-pass et centrales de mesure
Posté par: vivien le 11 janvier 2019 à 09:00:32
C’est un interrupteur et non un disjoncteur : il ne coupe pas le courant en cas de dépassement de l’intensité. Cette fonction est déjà réalisée à un autre endroit sur le circuit.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_32.jpg)

Les câbles rejoignent la galerie d’extraction de l’air chaud par le plafond (l’extrémité de la galerie est juste au-dessus du TGBT)


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_33.jpg)
Titre: DC5 - 36 Super By-pass et centrales de mesure
Posté par: vivien le 11 janvier 2019 à 09:01:21
Le TGBT alimente également quelques circuits annexes permettant d’avoir une seconde source pour le traitement de l’eau. Ces circuits sont condamnés avec un cadenas pour éviter une mise en service par erreur.

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_34.jpg)

L’écran visible ici est un déport de l’écran de l’automate qui contrôle la centrale de traitement d’air de la salle informatique, permettant de tout configurer, sans se déplacer à l’autre bout du bâtiment.


(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_35.jpg)
Titre: DC5 - 37 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 09:03:49
Scaleway DC5 - 37) Assemblage de baies informatiques sur DC5

DC5, c’est aussi le site où sont assemblés les différentes baies de serveurs Scaleway, qui partent dans les différents data center, en Ile-de-France comme à Amsterdam.

Voici des baies vides en attente sur le site :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_01.jpg)

Et voici des palettes de serveurs :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_02.jpg)
Titre: DC5 - 37 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 09:04:36
Le stock de serveurs :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_03.jpg)

Le stock de petits composants (disques dur, SSD, SDRAM DDR4, SFP+, XFP, QSFP+,…) :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_04.jpg)
Titre: DC5 - 37 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 09:05:31
Une ligne de montage :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_05.jpg)

Deux baies en cours d’assemblage :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_06.jpg)
Titre: DC5 - 38 Le switch Scaleway « Chouchou »
Posté par: vivien le 11 janvier 2019 à 09:09:20
Scaleway DC5 - 38) Le switch Scaleway « Chouchou »

Tout en haut de la baie on retrouve le switch maison :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_07.jpg)

Son petit nom est « Chouchou ». Il intègre 48 ports cuivre 1 Gb/s (pas de 2,5 Gb/s Ethernet comme je l’ai pensé à une époque) + deux cages pour des QSFP à 40 Gb/s chacun.
Voici sa carte mère, conçues par les équipes de Scaleway.

(https://lafibre.info/images/materiel/201601_online_switch_48x1g_2x40g_2.jpg)

Les deux cages qui vont accueillir deux QSFP à 40 Gb/s :

(https://lafibre.info/images/materiel/201601_online_switch_48x1g_2x40g_4.jpg)
Titre: DC5 - 39 Assemblage d’une baie qui part pour Amsterdam
Posté par: vivien le 11 janvier 2019 à 09:14:38
Scaleway DC5 - 39) Assemblage d’une baie qui part pour Amsterdam

Voici une baie qui va partir sur Amsterdam. Les espaces non utilisés resteront inutilisés, car on dépasserait la puissance électrique disponible par baie sur Amsterdam.

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_08.jpg)
Titre: DC5 - 39 Assemblage d’une baie qui part pour Amsterdam
Posté par: vivien le 11 janvier 2019 à 09:15:21
La face arrière : Les deux types de serveurs intègrent directement des cages SFP+ pour des connexions 10 Gb/s.

Note : Les serveurs en bas n’ont pas encore leur seconde alimentation, mais cela sera fait avant le départ pour Amsterdam. Il reste encore du travail, car ces baies sont expédiées pré-câblées : Les alimentations électriques, comme les réseaux sont pré-câblé sur DC5 avant expédition.


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_09.jpg)
Titre: DC5 - 40 Des serveurs 1u avec 144 To de disque dur + 6 SSD
Posté par: vivien le 11 janvier 2019 à 09:16:42
Scaleway DC5 - 40) Des serveurs 1u avec 144 To de disque dur + 6 SSD

Vous pensez que ces petits serveurs 1u intègrent 4 disques ? Erreur !

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_10.jpg)

En façade, il y a déjà 4 SSD extractibles à chaud :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_11.jpg)

Titre: DC5 - 40 Des serveurs 1u avec 144 To de disque dur + 6 SSD
Posté par: vivien le 11 janvier 2019 à 09:17:37
En face arrière, il y a de nouveau 2 SSD extractible à chaud :

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_12.jpg)
Titre: DC5 - 40 Des serveurs 1u avec 144 To de disque dur + 6 SSD
Posté par: vivien le 11 janvier 2019 à 09:18:27
Et quand on ouvre la face avant, on découvre 12 disques dur de 12 To chacun soit 144 To !

(https://lafibre.info/images/online/201807_scaleway_dc5_montage_13.jpg)

Voici comment on extrait un disque :


(https://lafibre.info/images/online/201807_scaleway_dc5_montage_14.jpg)
Titre: DC5 - 40 Des serveurs 1u avec 144 To de disque dur + 6 SSD
Posté par: vivien le 11 janvier 2019 à 09:19:28
Un serveur avec 12 disques dur SATA de 4 To en location sur le site de Scaleway :

(https://lafibre.info/images/online/201810_scaleway_store-2-l.png)
Titre: DC5 - 41 Les premières baies informatiques de DC5
Posté par: vivien le 11 janvier 2019 à 09:21:14
Scaleway DC5 - 41) Les premières baies informatiques de DC5

Dans la première salle de DC5, il y avait quelques baies. Les serveurs ne sont pas connectés au réseau, ils sont juste là pour faire de la charge et tester les différents scénarios de Scaleway.

Notez que les baies ont des roues, visible sur cette photo, pour faciliter la mise en place et le retrait en fin de vie.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_01.jpg)

Vous êtes curieux ?
Moi aussi !

Attention, c’est de la très haute densité…
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 11 janvier 2019 à 21:25:23
Scaleway DC5 - 42) Dell PowerEdge C6400

Le Dell PowerEdge C6400, c’est 4 serveurs à deux sockets et un stockage haute capacité dans un format rack de seulement 2U.

Une unité de rack (symbole U) désigne la hauteur normalisée d'un équipement électronique conçu pour être monté dans un rack. Une unité de rack mesure 1,75 pouce (soit 44,45 mm) de haut. Ici, le châssis Dell fait 8,9 cm de hauteur.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_02.jpg)
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 11 janvier 2019 à 21:26:40
Chaque serveur dispose de 6 emplacements disques dédiés (24 emplacement pour chaque châssis de 2u)

Scaleway fournit ici 2 SSD MVNe de 1 To chacun et un SSD SATA de 120 Go pour le système. 3 emplacements optionnels sont disponibles pour chaque serveur, afin d’installer des disques supplèmentaires.

Les 4 serveurs sont indépendants : il y a donc 4 boutons pour allumer les serveurs. À gauche se trouve les boutons pour les serveurs 1 et 2 et à droite se trouve les boutons pour les serveurs 3 et 4.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_03.jpg)

Ce type de serveur, en configuration haut de gamme (2x Xeon Gold 5120 soit au total 28 cœurs et 56 threads, 384 Go DDR4 ECC, 4x 1 To SSD NVMe, Bande passante Premium 750 Mbit/s) est loué 450 € HT par mois.

Ce type de serveur Dell est en mesure de fonctionner parfaitement avec un couloir froid à 40°c :


(https://lafibre.info/images/online/201810_dell_poweredge_c6400.png)
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 11 janvier 2019 à 21:28:22
Ce type de serveur est loué 450€/mois en configuration très haut de gamme avec 4 disques MVNe de 1 To :

(https://lafibre.info/images/online/201810_scaleway_core-5-l.png)

Chaque serveur à deux connexion 1 Gb/s dédiées : une pour Internet et une pour le RPN.
Le RPN est un réseau privé, dédié, câblé sur la deuxième interface de chaque serveur.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_04.jpg)
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 11 janvier 2019 à 21:30:02
Une seule alimentation est en mesure d’alimenter les 4 serveurs, soit 8 processeurs avec chacun 28 cœurs (total de 224 cœurs dans un format 2u !)

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_05.jpg)

Chaque serveur est connecté :
- A deux alimentations électriques (pour la redondance)
- Câble Ethernet blanc : accès Internet 1Gb/s via un switch Scaleway Chouchou (et prise de contrôle à distance via iDRAC9 Entreprise (un KVM IP intégré dans le serveur qui possède sa propre adresse IP)
- Câble Ethernet bleu : réseau « RPN » 10 Gb/s via un switch Cisco Nexus. Le réseau « RPN » est réseau privé, qui utilises les deuxièmes cartes réseau des machines et qui est indépendant du réseau public.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_06.jpg)
Titre: DC5 - 43 Cisco Nexus N9K C9364C
Posté par: vivien le 11 janvier 2019 à 21:31:37
Scaleway DC5 - 43) Cisco Nexus N9K C9364C

Ce switch agrège les données des switch de baies. Il est équipé de 64 cages QSFP28 à 40 ou 100-Gbps et 2 cages SFP+ à 10 Gb/s. Les fibres venant des baies sont à 40 Gb/s, ce qui est surdimensionné par rapport aux utilisations actuelles (les switchs où sont connectés les serveurs ont 48 ports 1 Gb/s)  tandis que celles qui partent vers le backbone sont en 100 Gb/s.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_07.jpg)

4 transceivers QSFP+ :


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_08.jpg)
Titre: DC5 - 43 Cisco Nexus N9K C9364C
Posté par: vivien le 11 janvier 2019 à 21:32:35
Ces switchs haut de gamme intègrent chacun 32 Go de RAM et un SSD de 256 Go. La table des adresses MAC gère 92 000 entrées. Deux alimentations de 1200 watts permettent d’alimenter le switch avec une redondance en cas de perte d’une alimentation. Le connecteur d’alimentation est différent de connecteurs habituels, car on peut dépasser les 10 ampères en 110 volts. La consommation typique donné par la documentation constructeur est de 429 watts.

Face arrière de 4 Cisco Nexus N9K C9364C : (vous ne pouvez pas sentir, mais les ventilateurs sont extrêmement puissants et bruyants)


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_09.jpg)
Titre: DC5 - 44 Scaleway BareMetal SSD Cloud Servers: 14 nodes dans seulement 3u
Posté par: vivien le 11 janvier 2019 à 21:36:06
Scaleway DC5 - 44) Scaleway BareMetal SSD Cloud Servers : 14 nodes indépendantes dans seulement 3u

Scaleway utilise pour le cloud des serveurs maisons. Le site internet de Scaleway dit :

Créé par et pour Scaleway pour offrir le meilleur rapport qualité-prix au monde. Les serveurs Scaleway BareMetal sont conçus pour optimiser la densité et l'efficacité. La conception et la fabrication de nos propres serveurs nous permettent d’optimiser nos coûts. Nous sélectionnons soigneusement chaque composant de nos serveurs, pour obtenir des serveurs de haute qualité au meilleur prix. Nous concevons et construisons des serveurs pour le Cloud et offrons le meilleur rapport qualité-prix au monde.

Pourquoi Scaleway utilise 14 serveurs mono-cpu et pas 7 serveurs bi-cpu ?

Le ratio performance / coût  sera plus intéressant avec 14 serveurs mono-cpu qu'avec 7 serveurs bi-cpu.
En effet, le prix d'un processeur n'est du tout le même à puissance égale, si il est limité a fonctionner sur un serveur mono-cpu, bi-cpu ou quad-cpu.

Voici à quoi ces serveurs ressemblent en face avant de ces serveurs maison :


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_10.jpg)
Titre: DC5 - 44 Scaleway BareMetal SSD Cloud Servers
Posté par: vivien le 11 janvier 2019 à 21:37:40
Physiquement, là où Dell met 4 serveurs bi-cpu dans un châssis de 2u, Scaleway place 14 serveurs (appelés node) mono cpu dans un châssis de 3u: 3 cartes de 2 serveurs à gauche et 4 cartes de 2 serveurs à droite. Par défaut, ces serveurs n’ont pas de disques en local et démarrent sur un disque réseau.

Quand le cache avant droit est enlevé, on observe 4 cartes mères, qui ont chacune deux serveurs mono CPU équipés de 2 ports SATA par serveur, afin de connecter jusqu’à 2 SSD en local par serveur (c’est appelé « Direct SSD » sur le site de Scaleway)

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_11.jpg)

Le processeur est de la série Denvorton (cf https://ark.intel.com/products/codename/63508/Denverton) qui ne peuvent que fonctionner que en mono-cpu.

Les serveurs sont appelés « Node » et il y a 2 canaux mémoire par serveur, avec chacun possibilité de mettre une barrette DDR4 par canal, soit 2 barrettes de DDR4 par serveur.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_12.jpg)

En face avant, on retrouve aussi cet écran LCD rétroéclairé qui permet voir quels serveurs parmi les 14 sont allumés, les alarmes,…
Il faut faire défiler vers le bas pour avoir accès aux 7 autres serveurs.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_13.jpg)
Titre: DC5 - 45 Connexion à 2,5 Gb/s Ethernet
Posté par: vivien le 11 janvier 2019 à 21:40:27
Scaleway DC5 - 45) Connexion à 2,5 Gb/s Ethernet

Coté réseau, contrairement à Dell qui oblige à avoir 8 câbles réseau par châssis de 4 serveurs (4 pour le RPN et 4 pour l’accès à Internet), ici il y a un switch interne pour connecter les 14 serveurs. Avec des câbles, 28 câbles Ethernet auraient été nécessaires !

Les serveurs sont connectés à 2,5 Gb/s à ce switch pour Internet et 2,5 Gb/s pour le RPN. Cela explique la mention « Internal Bandwidth 5 Gb/s » présent sur le site de Scaleway.
Le 2,5 Gb/s Ethernet est une évolution de la norme Ethernet récente qui devrait se démocratiser :

(https://lafibre.info/images/doc/201505_ethernet_2.5Gbps_and_5Gbp_1.png)

Le châssis est lui connecté à 20 Gb/s pour le RPN et 20 Gb/s pour l’Internet. Le risque de congestion est faible: les 14 cartes Ethernet de 2,5 Gb/s des serveurs permettent un trafic maximum de 35 Gb/s.

Un port RJ45 cuivre est également câblé, probablement pour de l’administration.


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_14.jpg)
Titre: DC5 - 45 Connexion à 2,5 Gb/s Ethernet
Posté par: vivien le 11 janvier 2019 à 21:41:15
Face arrière de ces serveurs avec une double alimentation pour la redondance.

L’espace situé à droite et à gauche des alimentations permet de mettre des disque dur ou des SSD connectés aux ports SATA des serveurs qui sont derrières :  il est possible de mettre des câbles SATA en contournant les ventilateurs.

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_15.jpg)

Sur cette photo, on voit clairement les 7 cartes mères équipées chacune de deux serveurs indépendants.
Trois ventilateurs puissants assurent le refroidissement de l’ensemble.
Au centre, il y a de l’espace libre avec ce qui ressemble aux composants du switch Ethernet 14x 2,5 Gb/s avec un uplink de 2x10 Gb/s :


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_16.jpg)
Titre: Reportage version PDF
Posté par: vivien le 11 janvier 2019 à 21:47:20
Version PDF du reportage : (cliquez sur la miniature ci-dessous - le document est au format PDF et fait 44 Mo)

(https://lafibre.info/images/online/201807_scaleway_dc5.png) (https://lafibre.info/images/online/201807_scaleway_dc5.pdf)
Titre: DC5 - 46 Depuis ma venue, Scaleway à mis en production DC5
Posté par: vivien le 11 janvier 2019 à 21:48:27
Scaleway DC5 - 46) Depuis ma venue, Scaleway à mis en production DC5

Les photos que je vous présentes sont les photos officiels de Scaleway, prises en décembre 2018.

(https://lafibre.info/images/online/201812_scaleway_dc5_92.jpg)

Suivez le guide...

(https://lafibre.info/images/online/201812_scaleway_dc5_06.jpg)
Titre: DC5 - 47 Intervention pour une panne matérielle
Posté par: vivien le 11 janvier 2019 à 21:56:04
Scaleway DC5 - 47) Intervention pour une panne matérielle

(https://lafibre.info/images/online/201812_scaleway_dc5_32.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_33.jpg)
Titre: DC5 - 47 Intervention pour une panne matérielle
Posté par: vivien le 11 janvier 2019 à 21:58:31
(https://lafibre.info/images/online/201812_scaleway_dc5_34.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_35.jpg)
Titre: DC5 - 47 Intervention pour une panne matérielle
Posté par: vivien le 11 janvier 2019 à 21:59:50
(https://lafibre.info/images/online/201812_scaleway_dc5_29.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_28.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:01:00
Scaleway DC5 - 48) D'autres types de serveurs Scaleway

(https://lafibre.info/images/online/201812_scaleway_dc5_30.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:01:54
(https://lafibre.info/images/online/201812_scaleway_dc5_37.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_39.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:02:58
(https://lafibre.info/images/online/201812_scaleway_dc5_22.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:03:19
(https://lafibre.info/images/online/201812_scaleway_dc5_21.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_23.jpg)
Titre: DC5 - 48 D'autres types de serveurs Scaleway
Posté par: vivien le 11 janvier 2019 à 22:04:07
(https://lafibre.info/images/online/201812_scaleway_dc5_18.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_19.jpg)
Titre: DC5 - 49 L'allée chaude avec des serveurs en fonctionnement
Posté par: vivien le 11 janvier 2019 à 22:06:08
Scaleway DC5 - 49) L'allée chaude avec des serveurs en fonctionnement

(https://lafibre.info/images/online/201812_scaleway_dc5_26.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_27.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_40.jpg)
Titre: DC5 - 50 Une salle vide
Posté par: vivien le 11 janvier 2019 à 22:07:56
Scaleway DC5 - 50) Une salle vide

Allée froide :

(https://lafibre.info/images/online/201812_scaleway_dc5_16.jpg)

Allée chaude :


(https://lafibre.info/images/online/201812_scaleway_dc5_17.jpg)
Titre: DC5 - 51 Emplacement de future salles
Posté par: vivien le 11 janvier 2019 à 22:09:57
Scaleway DC5 - 51) Emplacement de future salles

(https://lafibre.info/images/online/201812_scaleway_dc5_09.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_15.jpg)
Titre: DC5 - 52 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 22:11:53
Scaleway DC5 - 52) Assemblage de baies informatiques sur DC5

(https://lafibre.info/images/online/201812_scaleway_dc5_01.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_02.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_03.jpg)
Titre: DC5 - 52 Assemblage de baies informatiques sur DC5
Posté par: vivien le 11 janvier 2019 à 22:12:27
(https://lafibre.info/images/online/201812_scaleway_dc5_04.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_05.jpg)
Titre: DC5 - 53 Salle climatique
Posté par: vivien le 11 janvier 2019 à 22:13:02
Scaleway DC5 - 53) Salle climatique

C’est une salle afin de réaliser des tests sur du matériel informatique dans différentes situations météorologiques recrées artificiellement depuis un automate de régulation, bref de la recherche et développement pour pousser le matériel au maximum de ses limites.

(https://lafibre.info/images/online/201812_scaleway_dc5_91.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_90.jpg)
Titre: DC5 - 54 La salle opérateurs en décembre 2018
Posté par: vivien le 11 janvier 2019 à 22:21:30
Scaleway DC5 - 54) La salle opérateurs en décembre 2018

(https://lafibre.info/images/online/201812_scaleway_dc5_60.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_54.jpg)
Titre: DC5 - 54 La salle opérateurs en décembre 2018
Posté par: vivien le 11 janvier 2019 à 22:21:55
Énergie (48v et 230v) de la salle opérateur :

(https://lafibre.info/images/online/201812_scaleway_dc5_53.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_55.jpg)
Titre: DC5 - 55 Une des deux meet-me room (MMR)
Posté par: vivien le 11 janvier 2019 à 22:27:22
Scaleway DC5 - 55) Une des deux meet-me room (MMR)

(https://lafibre.info/images/online/201812_scaleway_dc5_56.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_59.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:34:35
Scaleway DC5 - 56) Centrale de traitement d'air

Voici les volets qui permettent la reprise d’air chaud

Cette pièce est reliée aux couloirs d’extraction de l’air situé au-dessus des deux allées chaudes.


(https://lafibre.info/images/online/201812_scaleway_dc5_47.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_46.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:35:34
L'automate :

(https://lafibre.info/images/online/201812_scaleway_dc5_48.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_49.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:36:13
Les ventilateurs :

(https://lafibre.info/images/online/201812_scaleway_dc5_50.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_51.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:40:02
Prise d'air pour le free-cooling de la salle opérateur ?

(https://lafibre.info/images/online/201812_scaleway_dc5_82.jpg)

Cela ressemble à l'entrée d'air à l'étage, mais je ne comprends pas pourquoi il y a de l'eau glacée avec de quoi mettre des climatisation....


(https://lafibre.info/images/online/201812_scaleway_dc5_89.jpg)
Titre: DC5 - 56 Centrale de traitement d'air
Posté par: vivien le 11 janvier 2019 à 22:44:03
Extraction de l'air chaud pour le fair sortir du data center :

(https://lafibre.info/images/online/201812_scaleway_dc5_83.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_86.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:45:21
(https://lafibre.info/images/online/201812_scaleway_dc5_84.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_85.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:45:55
(https://lafibre.info/images/online/201812_scaleway_dc5_44.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_43.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:46:37
(https://lafibre.info/images/online/201812_scaleway_dc5_45.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_42.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_41.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:48:05
(https://lafibre.info/images/online/201812_scaleway_dc5_76.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_77.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_80.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:48:32
(https://lafibre.info/images/online/201812_scaleway_dc5_79.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_78.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:50:14
(https://lafibre.info/images/online/201812_scaleway_dc5_62.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_63.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:50:31
(https://lafibre.info/images/online/201812_scaleway_dc5_64.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:51:11
(https://lafibre.info/images/online/201812_scaleway_dc5_61.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:51:40
(https://lafibre.info/images/online/201812_scaleway_dc5_65.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_67.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_66.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:52:48
(https://lafibre.info/images/online/201812_scaleway_dc5_68.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_69.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:52:58
(https://lafibre.info/images/online/201812_scaleway_dc5_70.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_71.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:53:09
(https://lafibre.info/images/online/201812_scaleway_dc5_72.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:53:39
(https://lafibre.info/images/online/201812_scaleway_dc5_11.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_12.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:53:50
(https://lafibre.info/images/online/201812_scaleway_dc5_13.jpg)

(https://lafibre.info/images/online/201812_scaleway_dc5_14.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 11 janvier 2019 à 22:55:26
Ce reportage sur le data center Scaleway DC5 est terminé, à vos commentaires !

(https://lafibre.info/images/online/201812_scaleway_dc5_92.jpg)

Note: je compéterais la description des photos des deux dernières pages demain
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 11 janvier 2019 à 23:01:59
Boulot de malade que tu as fait Vivien. Félicitations !
Peux-t'on avoir un plan pour s'y retrouver ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 11 janvier 2019 à 23:17:11
top!


ca valait le coup de patienter :)


impressionnant boulot de la part d'online pour la mise en place de ce nouveau DC :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: chiwawa_42 le 12 janvier 2019 à 01:56:57
Franchement Vivien, quand tu passes dans mon quartier, tu devrais me faire signe au moins pour en boire une bien fraîche.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Karl le 12 janvier 2019 à 01:59:18
Très intéressant!
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: acontios le 12 janvier 2019 à 02:04:43
Félicitations pour le boulot d'info, et les textes explicatifs, c'est tres sympa d'avoir pris le temps d'expliquer tout ca !
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 08:24:21
Peux-t'on avoir un plan pour s'y retrouver ?

Je n'ai que ça :
Schématiquement, cela donne ceci :

(https://lafibre.info/images/online/201810_scaleway_dc5_schema.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: alain_p le 12 janvier 2019 à 08:54:36
Bravo Vivien. Tu as fait un énorme travail avec ce reportage très intéressant. J'ai suivi au fur et à mesure que tu publiais, mais je n'ai pas encore tout lu. Très impressionnant leur solution de rafraichissement adiabatique. Ce qui est très étonnant, c'est qu'ils peuvent maintenir une température constante de 30°C. On verra cet été s'il y a une canicule (genre 40°C pendant plusieurs jours, l'évaporation de l'eau sera-t-elle suffisante ?).

On voit aussi que le multigigabit 2.5 et 5 Gb/s commence à être pas mal utilisé, en tout cas avec leurs serveurs.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 10:45:15
J'y ai été à DC5 pendant la canicule du 26 juillet 2018, un des jour les plus chaud de l'été et cela fonctionne bien.

Le refroidissement adiabatique permet de baisser la température de 10 degrés.

Il faut voir que quand il fait 42°c à Paris, il faut 40°c à Saint-Ouen-l'Aumône (95) et donc 30°c avec le refroidissement adiabatique.

Le risque c'est un 40°c avec une humidité très forte, mais ce type de climat n'existe presque pas en France : quand les orages de pluie éclatent, la température baisse immédiatement.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 12 janvier 2019 à 10:51:53
Merci Vivien pour tout ça!
C'est beau comme installation.
La 2ieme partie avec les photos "corporate", ça fait un peu trop photos trafiquées à mon gout, mais bon... c'est sympa quand même.

Très impressionnant leur solution de rafraichissement adiabatique. Ce qui est très étonnant, c'est qu'ils peuvent maintenir une température constante de 30°C. On verra cet été s'il y a une canicule (genre 40°C pendant plusieurs jours, l'évaporation de l'eau sera-t-elle suffisante ?).
En fait, je pense que Online-Scaleway tolère des variations de températures en entrée serveur. Dans les situations exceptionnelles, si la température dépasse de quelques degrés les 30°C de consigne, ça n'est pas bien grave.

Dans tous les cas, avec ce dispositif, on est bien meilleur que le freecooling d'OVH, où les salles sont juste ouvertes aux 4 vents quand il fait chaud.

Certains composants (disque durs notamment) sont sensibles aux variations importantes de température, mais tolèrent facilement de petits écarts de température.

Par le passé, dans les datacenter, on a souvent travaillé avec des concepts qui n'ont finalement pas beaucoup de sens : consigne de température et hygrométrie fixe avec des tolérances très serrées... Juste parce que les équipements (climatisation) savaient le faire.
Maintenant qu'on veut (enfin) économiser de l'énergie, je pense qu'on est plus pragmatique.

Par contre, j'imagine que si ponctuellement des travaux voisins ou un incendie voisin génère énormèment de poussières et particules, ça va énormèment gêner DC5, et encrasser les filtres... On sait comment ils comptent gérer ce genre de situation?
On sait s'ils savent laver les filtres à air sur place, avec des machines spécifiques?

Leon.
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: vivien le 12 janvier 2019 à 11:03:48
Tout à fait de nombreux serveurs fonctionnent parfaitement avec un couloir froid de 40°c et même des pic (<1% du temps) à 45°c :

Ce type de serveur, en configuration haut de gamme (2x Xeon Gold 5120 soit au total 28 cœurs et 56 threads, 384 Go DDR4 ECC, 4x 1 To SSD NVMe, Bande passante Premium 750 Mbit/s) est loué 450 € HT par mois.

Ce type de serveur Dell est en mesure de fonctionner parfaitement avec un couloir froid à 40°c :


(https://lafibre.info/images/online/201810_dell_poweredge_c6400.png)

Mais certains datacenter continuent de mettre une température de 18°c fixe pour le couloir froid.

Mon record, c'est une petite salle informatique à Marseille (total de 8 baies, mais elle est quand même référencé sur DataCenter map) avec une température de 10°c. A priori l'unique climatisation, n'avait pas de thermostat et elle était soit allumée, soit éteinte et là je suis intervenu en hiver...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: alarig le 12 janvier 2019 à 13:12:51
Histoire de comparer avec un DC classique, est-ce que l’on connaît de coût énergétique global engendré pour le refroidissement ? En prenant en compte l’approvisionnement en eau, le traitement par Online, les ventilateurs et le traitement après évacuation dans les égouts.
Titre: DC5 - 42 Dell PowerEdge C6400
Posté par: fanning le 12 janvier 2019 à 13:41:54
Mais certains datacenter continuent de mettre une température de 18°c fixe pour le couloir froid.
Car tous les équipements ne suportent pas 40°C, dans le cadre des salles serveurs elle sont à 30°, mais la salle opérateur à une température plus basse.

Scaleway peut se le permettre, ce que d'autre ne peuvent pas, ex: Chez Interxion, Equinix, ... Tu va avoir dans les baies des routeurs, des switchs, de la transmission.

Le problème de Scaleway n'est pas tant le PUE, mais le cout de construction par Kw.
Comme expliqué déjà par Arnaud, les clim fonctionne au moment où l'électricité est la moins chère et fonctionne en Free-Cooling quand elle est la plus chère.
DC5 réponds uniquement l'usage d'un cout de construction /kw le plus bas possible, à l'image d'un OVH, mais est inadapté à de la colocation.

Car au final le marché est comme sa: en Cloud, Serveur Dédié, ... Tu n'en a rien à faire des conditions d'humidité, de température, tant que ton serveur fonctionne.
En colocation, vu que c'est ton matériel tu vas avoir une tendance à vouloir des conditions climatiques, électriques parfaites pour sécuriser ton investissement.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 13:47:01
Histoire de comparer avec un DC classique, est-ce que l’on connaît de coût énergétique global engendré pour le refroidissement ? En prenant en compte l’approvisionnement en eau, le traitement par Online, les ventilateurs et le traitement après évacuation dans les égouts.
C'est négligeable voir ridicule au vu de la puissance des salles, surtout que l'adiabatique ne fonctionne que quelques semaines par an (quand il fait > 30°C)

Ce qui faut plutôt retenir c'est qu'à l'inverse d'un DC Classique, tu n'a pas besoin d'investir plusieurs millions dans des armoires de refroidissement, des tours de refroidissement, ...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 13:54:41
Dans tous les cas, avec ce dispositif, on est bien meilleur que le freecooling d'OVH, où les salles sont juste ouvertes aux 4 vents quand il fait chaud.
L'unique chose qui fera dire si c'est mieux, c'est le taux de fiabilité des serveurs, étant des chiffres très confidentiels, nous ne le saurons jamais.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 13:58:37
@Arnaud: On se situe plus ou moins dans quel cout de construction par MW sur DC5 par rapport à un DC classique ?
 
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: online_fr le 12 janvier 2019 à 14:20:22
@Arnaud: On se situe plus ou moins dans quel cout de construction par MW sur DC5 par rapport à un DC classique ?

Tu te doutes bien, Vivien à essayé de me cuisiner sur le sujet :-)
Le coût de construction d'un DC est intimement lié à son architecture et à son niveau de redondance, qui représentent 85% des coûts d'investissement.
Ce qui coute cher, c'est pas le foncier ou le bâtiment en lui-même, ce sont les équipements techniques pour délivrer le service (élec, clim, incendie...)

Sans dévoiler de grands secrets, tant sur le le coût de construction au kW par rapport à des architectures plus classiques qu'au niveau maintenance, à niveau de redondance identique, c'est entre deux et trois fois plus économique.

Arnaud
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hell0 le 12 janvier 2019 à 15:42:48
Très beau reportage, gros travail de ta part vivien ! Merci pour ce partage :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Ilyazam le 12 janvier 2019 à 16:11:40
Merci pour le reportage très intéressant  :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 17:17:01
C'est négligeable voir ridicule au vu de la puissance des salles, surtout que l'adiabatique ne fonctionne que quelques semaines par an (quand il fait > 30°C)

En incluant dorénavant la réponse d'arnaud, si cela coute actuellement 2 à 3 fois moins cher, il faudra pas que les canicules durent de 2 à 3 fois plus longtemps qu'en 2018...

La prochaine étape sera de construire un nouveau DC dans le Noooooooorrrrrrrd pour perdre  1 ou 2°C comparé à Paris et voir...

Ce que je comprends pas c'est que peu d'opérateurs télécom penchent à se rapprocher des pays scandinaves pour y placer des DC de cold storage par exemple...
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 18:13:50
Ce que je comprends pas c'est que peu d'opérateurs télécom penchent à se rapprocher des pays scandinaves pour y placer des DC de cold storage par exemple...
Car peu d'opérateur télécom ont de tel besoins en terme de puissance électrique.

Ce type de modèle ne s'applique qu'à des hébergeurs, cloud, ...
Hors le nombre d'acteur ayant la capacité financière de construire leur datacenter et le besoin se compte sur les doigts des mains (en Europe).

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 18:25:59
@Arnault: Tu as fait le même design que Facebook à Prineville (je parle de conception climatique). Tu avais évoqué il y a quelques années que ce modèle était difficilement applicable en milieu urbain (région Parisienne) en raison du cout de remplacement des filtres.

Le cout de construction / maintenance a du te faire changer d'avis. Sur les photos on ne voit pas de pré filtre (peu cher).
En raison de l'environement urbain, combien de fois par an dois tu les remplacer ? Ou sont-ils réutilisables ?


Pourquoi ne pas avoir fait du FreeCooling indirect dans la salle opérateur ainsi que les locaux techniques ?

Les busbar de chez EAE sont en Aluminium ou en Cuivre ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: gmillour le 12 janvier 2019 à 18:28:04
Super l'article ! Gros gg !  :D
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 18:36:23
@Arnault: Tu as fait le même design que Facebook à Prineville (je parle de conception climatique). Tu avais évoqué il y a quelques années que ce modèle était difficilement applicable en milieu urbain (région Parisienne) en raison du cout de remplacement des filtres.

Le cout de construction / maintenance a du te faire changer d'avis. Sur les photos on ne voit pas de pré filtre (peu cher).
En raison de l'environement urbain, combien de fois par an dois tu les remplacer ? Ou sont-ils réutilisables ?

Selon Arnaud, le coût du filtrage pour DC2 / DC3 situés à Vitry-sur-Seine (94) serait bien plus élevé que pour DC5 qui est en grande banlieue à Saint-Ouen-l'Aumône (95).

Pour les pré-filtres, tu as la réponses là :
J’ai été étonné que Scaleway n’utilise pas des préfiltres devant les filtres. Les préfiltres, moins cher, servent alors à enlever le gros des particules et permettent de changer moins fréquemment les filtres de classe F7. En effet, lors du printemps, l’air contient de nombreux pollens / graminées, mais ceci impacterait certainement le PUE, car rajouterait de la résistance à l’air et augmenterait la consommation électrique des ventilateurs de soufflage.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 18:44:31
Ce type de modèle ne s'applique qu'à des hébergeurs, cloud, ...

oui exact c'est des opérateurs cloud pas télécom... AMAZON pourrait le faire par exemple.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: oliviermis le 12 janvier 2019 à 18:54:53
Merci Vivien, très bel article
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 19:12:20
La prochaine étape sera de construire un nouveau DC dans le Noooooooorrrrrrrd pour perdre  1 ou 2°C comparé à Paris et voir...

Ce que je comprends pas c'est que peu d'opérateurs télécom penchent à se rapprocher des pays scandinaves pour y placer des DC de cold storage par exemple...
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content). Et quand un grand acteur demande un 100 Gb/s à OVH sur le CIV, le TH2 local où est implèmenté LilleIX, le a réponse d'OVH, c'est qu'ils ne savent pas faire.

En incluant dorénavant la réponse d'arnaud, si cela coûte actuellement 2 à 3 fois moins cher, il faudra pas que les canicules durent de 2 à 3 fois plus longtemps qu'en 2018...
J'ai un peu discuté sur ce qui réduit la durée de vie des serveurs, avec Arnaud, mais aussi avec Lionel (Maxnod) et c'est :
- Les variations de température
- Les poussières

DC5 sera un datacenter fiable, le doute n'est pas permis, au vu des température passées.
Si il fait 40°c 24h/24 365 jours par an, cela ne posera aucun problème à DC5, la température sera la même que si il fait -30°c dehors : 30°c dans l'allée froide.

Pour le risque de condensation,j'ai beaucoup interrogé Arnaud sur ce point, il faut absolument éviter une variation trop rapide de la température pour que l'humidité dans l'air lié au refroidissement adiabatique condense sur un matériel plus froid que l'air.

L’automate a une protection, pour limiter les changements brusques de température et éviter que de la condensation ne se forme : celui-ci ajuste la température de consigne de soufflage au gré de la température extérieure. Celle-ci est limitée à 1 degrés C. par heure, indiqué sous forme d’une limite de 2°C par 120 minutes sur l’automate :

(https://lafibre.info/images/online/201807_scaleway_dc5_cta_30.jpg)

Là où on a vu des problème de fiabilité du matériel, la température fait le yoyo... 'Toutes les barrettes de ram sont tombées en panne en même temps'
Je pense que c'est pas limité à Gravelines, car j'ai un serveur à Roubaix où la température monte bien aussi.
Graphique de la sonde du disque dur également, entre le 26 juin et aujourd'hui.


(https://lafibre.info/images/ovh/201607_temperature_dd_ovh_3.png)
Là, ce graphique m'inquiète vraiment! Plus de 18°C de variation de température, c'est énorme.
Je croyais que les disques durs étaient surtout sensible aux variations de température.
Et on voit qu'il n'y a aucune régulation. Ca semble être la température extérieure. Du coup, est-ce qu'on a des données sur la température en hiver?

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 19:43:33
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content).

ILIAD a un POP à Lille... Rien n'empeche de créer un NordIX/Hauts-de-FrancIX et de créer un DC pour du cold storage ;)

DC5 sera un datacenter fiable, le doute n'est pas permis, au vu des température passées.
Si il fait 40°c 24h/24 365 jours par an, cela ne posera aucun problème à DC5, la température sera la même que si il fait -30°c dehors : 30°c dans l'allée froide.

Dans le nord, il fait plus froid, on est proche des centrales de Gravelines et de Chooz, l'immobilier est moins cher... et OVH est a gravelines surtout pour se rapprocher de Londres qui est #1 en trafic Internet mondial.

Bref y'a du potentiel....


Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 12 janvier 2019 à 19:51:46
Tous les opérateurs ont un ou des POP sur Lille.
La réalité du peering régional est tout autre.

Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.

Aucun gros opérateur ne peer en 2019 à Lille avec OVH.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 19:54:56
Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.

En mettant que du cold storage c'était pour moi et cela n'engage que moi pas un soucis. bon voilà j'ai dit mon idée... c'est tout ;)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 20:17:59
La réalité du peering régional est tout autre.
La réalité est que le trafic est <10G.

Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.
Citation de: willemijns
Dans le nord, il fait plus froid, on est proche des centrales de Gravelines et de Chooz, l'immobilier est moins cher... et OVH est a gravelines surtout pour se rapprocher de Londres qui est #1 en trafic Internet mond
La réalité est qu'il faut plein de wave 100G pour remonter sur Paris.
Sa coute un bras en équipement de transmission que tu remplacera tous les 5 ans (voir plus vite)
Au final la différence du foncier sera vite récupéré (ammortissement de +20ans de ton bâtiment, valeur résiduelle, ...)

Aucun gros opérateur ne peer en 2019 à Lille avec OVH.
Et ils ont raison ! Pourquoi tu devrais payer du transport jusqu'à Lille alors que tu l'a gratuitement sur Paris.
Après il faut pas oublier qu'actuellement un port 100G sur un routeur ISP sa coute > 15000 (full dfz), donc tu essaie de remplir ton port au maximum.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 20:21:29
En mettant que du cold storage c'était pour moi et cela n'engage que moi pas un soucis. bon voilà j'ai dit mon idée... c'est tout ;)
Du Cold storage par définition sa ne consomme que très peu de Kw, en 2019 c'est très facile de trouver une baie pas cher sans élec.
Par contre dès que tu veux >1kw (très vieux DC) >3kw (DC récent) sans devient très compliqué et très cher.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 20:24:44
@Arnault: Vu que le cout de construction/maintenance est inférieur, on peut s'attendre que les serveurs résilié seront déplacé sur DC5 afin de libérer de l'espace sur DC3 ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: jack le 12 janvier 2019 à 21:53:06
Je reviens sur les "BareMetal SSD Cloud Servers"
À deux reprises, tu dis que ce sont des 7 blades bi-sockets, dans un chassis 3RU

J'avais cru comprendre que ce n'était pas possible, principalement pour des raisons de dissipations de chaleur
À ma connaissance, ni Dell ni Supermicro ne propose se genre de matière, et les offres scaleway ne tirent pas non plus parti de cela (8 CPU x86 max par serveur)

Qu'est-ce que cela signifie ?
Est-ce une typo ?
Est-ce vraiment des serveurs bi-socket, mais qui ne supportent qu'un faible TDP global (il n'est pas possible de mettre n'importe quel CPU, mais seulement des "petits") ?
Titre: DC5 - 45 Connexion à 2,5 Gb/s Ethernet
Posté par: vivien le 12 janvier 2019 à 22:05:50
On vois bien 7 serveurs distinct bi-cpu sur les photos ci-dessous.

Pour la consommation électrique, si on prend une limite de 300w par serveur, ce qui permet de mettre des CPU haut de gamme avec un TDP de 120watts (il n'y a pas de disque et le principal composant qui consomme ce sont les 2 CPU), on arrive à 2100 watts, cela me semble réalisable.

Cela fait 32 cœurs 64 threads par machine avec un Xeon E5-2683V4 et au total sur 3u, cela fait 224 cœurs et 448 threads sur 3u.

Avec des Xeon Gold à 20 cœurs par CPU, on passe à 280 cœurs et 560 threads sur 3u.

Cela reste des suppositions, je ne sais pas ce qu'utilise Scaleway sur ces machines ni la puissances des alimentations.

Physiquement, là où Dell met 4 serveurs dans un châssis de 2u, Scaleway place 7 serveurs dans un châssis de 3u: 3 à gauche et 4 à droite. Par défaut, ces serveurs n’ont pas de disques en local et démarrent sur un disque réseau.

Quand le cache avant droit est enlevé, on observe 4 cartes mères de serveurs bi-CPU avec 4 ports SATA, afin de connecter jusqu’à 4 SSD en local par serveur (c’est appelé « Direct SSD » sur le site de Scaleway)

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_11.jpg)

Les serveurs sont appelés « Node » et il y a 2 canaux mémoire par processeur, avec chacun possibilité de mettre une barrette DDR4 par canal, soit 4 barrettes de DDR4  par serveur.

Sur cette photo, on voit clairement les 7 serveurs, avec chacun deux processeurs et 4 barrettes de DDR4.
Trois ventilateurs puissants assurent le refroidissement de l’ensemble.
Au centre, il y a de l’espace libre avec ce qui ressemble aux composants du switch Ethernet 7x 2,5 Gb/s avec un uplink de 2x10 Gb/s :


(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_16.jpg)

Chez Dell, c'est 1600 watts sur 2u, donc plus dense en watts que 2100 watts sur 3u : (400 watts max par serveur)

Une seule alimentation est en mesure d’alimenter les 4 serveurs, soit 8 processeurs avec chacun 28 cœurs (total de 224 cœurs dans un format 2u !)

(https://lafibre.info/images/online/201807_scaleway_dc5_serveurs_05.jpg)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Hugues le 12 janvier 2019 à 22:24:45
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content). Et quand un grand acteur demande un 100 Gb/s à OVH sur le CIV, le TH2 local où est implèmenté LilleIX, le a réponse d'OVH, c'est qu'ils ne savent pas faire.
LillIX, pas LilleIX. Et je ne vois pas le rapport, tu peux être à Lille sans peerer à Lille, juste en achetant 3 ou 4 FON vers Paris.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 22:37:04
c'est ce que je voyais aussi.... en plus ca pourrait être en plus des départs vers Londres de Paris...

https://www.iliad.fr/amf/2017/Iliad_Documentdereference2016.pdf
chez ILIAD page 55 ca passe via gravelines.... online doit passer à peu dechosesprés aussi par là.


Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 23:18:57
chez ILIAD page 55 ca passe via gravelines.... online doit passer à peu dechosesprés aussi par là.
Online n'a rien qui va vers Londres, Online n'utilise aucune wave de Free (uniquement Level3, Sipartech et Ielo)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 12 janvier 2019 à 23:20:41
et vers Lille ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fanning le 12 janvier 2019 à 23:24:38
et vers Lille ?
Il n'ont rien en propre en longue distance.
Forcèment sa passe par Lille mais à travers une société tierce avec des chemins redondés pour les nouveaux 100G (Théoriquement, si tu a une coupure sur chemin A sa passe par chemin B en 50ms)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Ptigarstheone le 13 janvier 2019 à 12:10:32
Bravo Vivien, très instructif, même pour un noob total comme moi. On se rends compte de toute l'ingéniérie nécessaire dans une infrastructure d'une telle complexité.
La très grande majorité des photos est réussie, elles sont nettes et bien éclairées ce qui n'est pas évident dans cet environnement avec des couloirs, des pièces avec peu de recul... Quel apn as-tu utilisé, smartphone, réflex/hybride... ?

Merci.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 13 janvier 2019 à 12:31:22
Bravo Vivien, très instructif, même pour un noob total comme moi. On se rends compte de toute l'ingéniérie nécessaire dans une infrastructure d'une telle complexité.
La très grande majorité des photos est réussie, elles sont nettes et bien éclairées ce qui n'est pas évident dans cet environnement avec des couloirs, des pièces avec peu de recul... Quel apn as-tu utilisé, smartphone, réflex/hybride... ?

Merci.
les exifs des photos trahissent un DMC-FZ1000, donc un bridge https://www.lesnumeriques.com/appareil-photo-numerique/panasonic-lumix-fz1000-p20811/test.html :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Ptigarstheone le 13 janvier 2019 à 12:42:19
J'avais la flemme de regarder les exifs  ;D Je n'ai fait que la page 12 et on voit Nikon D800 avec un 14-24mm, ce qui me semble plus conforme à la qualité des photos.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: e-TE le 13 janvier 2019 à 13:17:16
oui, page 12 on est sur les photos "corporate" made by Online, donc ca a du sens qu'ils aient utilisé du plus gros matos :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: coco le 13 janvier 2019 à 14:27:51
Bravo pour ce super reportage Vivien, c'est très bien à lire, super complet ! C'est très rare d'avoir des reportages aussi complet sans pub.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vincent0 le 13 janvier 2019 à 14:30:53
Super méga intéressant !
Bravo pour ce super reportage - bon nombre de site d'actu informatique pro peuvent en prendre de la graine !
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 13 janvier 2019 à 19:56:38
Le DMC-FZ1000 (Panasonic Lumix FZ1000) ce sont mes photos (licence Creative Commons BY-SA 4.0 n'hésitez pas à les réutiliser)

J'ai bien séparé mes photos prises en juillet 2018 des photos corporate en décembre 2018.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Ralph le 13 janvier 2019 à 20:39:10
Infrastructure très impressionnante (du moins pour moi dans le commun des mortels) tout comme le reportage, on y voit vraiment tout de DC5 et de son fonctionnement dans plein de domaines.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 13 janvier 2019 à 20:44:06
C'est surtout que le refroidissement adiabatique est aujourd'hui pas du tout utilisé en France dans les datacenter.

C'est une étape de plus dans un datacenter vraiment vert (car beaucoup de datacenter se disent vert, mais là, je vois une vrai avancée)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: buddy le 13 janvier 2019 à 20:58:19
C'est une étape de plus dans un datacenter vraiment vert (car beaucoup de datacenter se disent vert, mais là, je vois une vrai avancée)

Pour le fait d'utiliser le freecooling la majorité du temps, oui c'est vraiement "vert" mais après, pour le refroidissement adiabatique, je pense qu'il faudrait une analyse plus globale, ils consomment quand même de l'électricité (pour créer l'eau osmosée) et de l'eau (celle utilisée et celle rejetée aux égouts). Un peu comme les voitures électriques, elles ne rejettent pas de Co2 en roulant, mais il faut voir comment a été créée la voiture et comment l'électricité a été créée (pas qu'en France).
Bref, après loin de moi l'idée de vouloir lancer un débat sans fin !

Mais c'est un vrai pas en avant d'avoir du freecoling "adapté au matériel informatique" la très très grande majorité du temps.

Sinon Bravo Vivien pour cet excellent reportage, je le lisais au fur et à mesure que tu postais et c'est vraiement génial et tous les aspects techniques ont, je trouve, était très bien abordés!
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 13 janvier 2019 à 21:04:06
Le Freecooling direct est déjà utilisé dans d'autres datacenter, comme au Maxnod où est hébergé le serveur lafibre.info : la clim ne fonctionne que quand il faut plus de 28°c à l'extérieur, vu qu'on est sur un couloir froid à 28°c 365 jours /an, via une centrale de traitement d'air qui décide du % d'air chaud à recycler et du % d'air neuf à introduire.

Le refroidissement adiabatique me semble consommer très peu d'eau, rien à voir avec une climatisation à eau perdue qui est utilisé encore dans certaines salles informatiques voir certains datacenter en secours (c'est le cas de TH1 il me semble, non ?).
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 13 janvier 2019 à 22:33:36
Très intéressant comme reportage, effectivement ! :)

Le refroidissement adiabatique me semble consommer très peu d'eau
36 m3 c'est quand même la consommation d'une personne pendant un an alors que là c'est la consommation (maximale certes) du DC pendant une heure.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 13 janvier 2019 à 22:52:50
Bref, après loin de moi l'idée de vouloir lancer un débat sans fin !

Arnaud avait parlé de 2 à 3 fois moins cher non ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: mattmatt73 le 13 janvier 2019 à 22:57:39
Arnaud avait parlé de 2 à 3 fois moins cher non ?

Si on est dans ce ratio, pourquoi ce n'est pas plus utilisé ?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: buddy le 13 janvier 2019 à 23:14:35
Arnaud avait parlé de 2 à 3 fois moins cher non ?
je parlais plus au sens "écologique" mis en avant. utilisation d'électricité et d'eau.
Puis qu'est ce qui coûte 2 à 3 fois moins cher ? Le total non ? (je parle plus spécifiquement de "climatiser normalement" au delà de 30 °C ou "refroidissement eau osmosée"). "De combien" le refroidissement par évaporation d'eau osmosée est plus vert que le refroidissement "traditionnel" uniquement quand il s'active.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: AlexPopov le 13 janvier 2019 à 23:43:17
Bravo et merci pour ce beau reportage !  :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: coco le 13 janvier 2019 à 23:46:02
Qu'est ce qui polue le plus, la consommation d'eau ou d'électricité ? :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 14 janvier 2019 à 00:12:50
je parlais plus au sens "écologique" mis en avant. utilisation d'électricité et d'eau.

j'eu espéré que tout aurait été inclus dans ce chiffrage d'arnaud mais la c'est vrai que je commence à douter que que soit que l'infrastructure :-X

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: willemijns le 14 janvier 2019 à 00:22:43
Si on est dans ce ratio, pourquoi ce n'est pas plus utilisé ?

En prenant du recul je crois qu'ils ont poussé au max la R&D tout en ne sachant pas trop les couts ou en considerant que meme si l'energie coute plus (pas trop quand meme), le buzz ecologique cela n'a pas de prix....................

perso je crois que pour ne pas avoir testé l'idée sur un mini-DC c'est qu'il y a du benef ou un cout nul 100% garanti dans toute l'histoire.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 14 janvier 2019 à 01:20:43
En prenant du recul je crois qu'ils ont poussé au max la R&D tout en ne sachant pas trop les couts ou en considerant que meme si l'energie coute plus (pas trop quand meme), le buzz ecologique cela n'a pas de prix....................
Je pense que tu te trompes lourdement. Online a choisi ce type de Freecooling parce que c'est rentable, point. Moins cher à l'investissement, moins cher en frais de fonctionnement.
En soi, ça ne fait pas tant de buzz que ça. Regarde le site de Scaleway-Online : on n'y parle assez peu de "green computing", autant que les concurrents.
Je suis persuadé que plein de personnes achèteront du Scaleway, sans rien connaitre de la technologie du datacenter derrière.

Pour finir, c'est exactement l'architecture choisie par Facebook pour ses datacenter 'hyperscale', dont on peut penser que c'est un bon choix.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 14 janvier 2019 à 10:58:11
Arnaud avait parlé de 2 à 3 fois moins cher non ?
j'eu espéré que tout aurait été inclus dans ce chiffrage d'arnaud mais la c'est vrai que je commence à douter que que soit que l'infrastructure :-X

Je pense que tout est inclus. Le refroidissement adiabatique n'est pas la seule innovation pour réduire les couts.

Du coté de l'énergie, c'est aussi assez innovant et assez économique vu qu'une seul des deux voies est ondulée mais avec une gaine à barre dénommée « HQR » (Haute Qualité de Remplacement) de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante. Bref, cela via  à avoir une disponibilité proche du 2N sans avoir les couts de ce type d'architecture.

Il y a aussi des économies du fait que on ne loue pas a la baie, mais par salle entière d'une capacité de 1Mw.

Les deux arrivées électriques « Voie A » et « Voie B » chacune de 6kw (disjoncteur de 32 ampères). À DC5, la double alimentation est une nécessité : une seule voie est ondulée. Ce choix permet économie et simplicité : chaque salle a 2 transformateurs 20 000 volts de 1250 kVa dédiés, 2 groupes électrogènes de 1315 kW / 1650 kVa dédiés, 2 TGBT dédiés, 4 onduleurs de 500 kVa dédiés, 16 branches batteries dédiées...

Contrairement à DC3 qui a un système d’alimentation bien plus complexe avec 4 voies d’alimentations de 2,5 MW mutualisés pour l’ensemble des salles, toutes les 4 ondulées, mais réparties par deux de façon à obtenir en régime nominal sur chaque voie chargée à 75 % et 100 % en cas de perte d’une des 4 voies. (Se reporter à la visite de DC3 : Reportage photo de la visite du data center Scaleway DC3 - Mission N°4 d'un data center : Énergie (https://lafibre.info/online/dc3-iliad/36/))

(https://lafibre.info/images/online/201807_scaleway_dc5_salle_10.jpg)

Ce choix entraîne un risque, dans le cas où une intervention sur la chaîne ondulée nécessite de la couper ET qu’une coupure Enedis intervient en même temps. Scaleway a prévu plusieurs dispositifs pour réduire ce risque : Il est possible de by-passer les onduleurs (Super by-pass) et via une gaine à barre dénommée « HQR » (Haute Qualité de Remplacement) de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante comprenant : 1 transformateur + 1 groupe électrogène + 2 onduleurs, tous de même puissance et dédiés à cette branche de secours HQR. Ainsi l’intervention sur la chaîne ondulée défaillante peut avoir lieu sans risque d’interruption de service pour les serveurs. Cette production ondulée indépendante est mutualisée pour l’ensemble des 24 TGBT du data center.

À noter que le risque est moindre que quand le data center dispose d’une unique voie d’alimentation (oui, cela existe, je ne donne pas de nom)

Il est également moindre que dans un data center situé près d’une centrale nucléaire qui a fait le choix de ne mettre ni groupes, ni onduleurs (cela existe aussi, je ne donne pas de nom).

Bref DC5 a un positionnement moyen de gamme, alors que DC3 est lui positionné sur le haut de gamme. Vous ne pourrez pas louer de baies à DC5, la commercialisation ne se fait que par espaces de 278 baies ou 550 m². DC5 vise l’hébergement de grands acteurs du cloud et la première salle sera occupée par les Dedibox et les services de Cloud Scaleway, mais d’autres grands acteurs internationaux sont fortement intéressés.

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Symbol le 14 janvier 2019 à 11:50:44
Rien de tel que des connecteurs heureux, en tous cas  :P

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: underground78 le 14 janvier 2019 à 12:52:09
Rien de tel que des connecteurs heureux, en tous cas  :P
;D
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hm55 le 14 janvier 2019 à 16:52:46
Merci pour le reportage !
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 14 janvier 2019 à 18:50:16
Du coté de l'énergie, c'est aussi assez innovant et assez économique vu qu'une seul des deux voies est ondulée mais avec une gaine à barre dénommée « HQR » (Haute Qualité de Remplacement) de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante. Bref, cela via  à avoir une disponibilité proche du 2N sans avoir les couts de ce type d'architecture.
Je pense que c'est du N+1 (différent du 2N), mais je n'ai pas vraiment compris l'architecture...

2 voies dont 1 seule ondulée, comment ça se passe pour les transitions entre groupe électrogène et réseau? Est-ce que ça impose de monitorer constamment, et de manière hyper fiable la chaine ondulée pour être certain qu'elle ne s'écroulera pas lors de la future transition? Quitte à se faire épauler par la N+1ieme chaine ondulée si la chaine ondulée 'nominale' n'est pas jugée fiable? Si c'est ça, on peut comprendre le principe. Sinon, je ne vois pas.

Tu as compris le principe, Vivien?

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: menet le 14 janvier 2019 à 19:45:50
Comme d'habitude Vivien, très bon reportage avec de belles photos.  ::)

Merci encore.  :-*
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 14 janvier 2019 à 22:23:11
Je pense que c'est du N+1 (différent du 2N), mais je n'ai pas vraiment compris l'architecture...

2 voies dont 1 seule ondulée, comment ça se passe pour les transitions entre groupe électrogène et réseau? Est-ce que ça impose de monitorer constamment, et de manière hyper fiable la chaine ondulée pour être certain qu'elle ne s'écroulera pas lors de la future transition? Quitte à se faire épauler par la N+1ieme chaine ondulée si la chaine ondulée 'nominale' n'est pas jugée fiable? Si c'est ça, on peut comprendre le principe. Sinon, je ne vois pas.

Tu as compris le principe, Vivien?

Non, ce n'est pas du N+1

J'explique en détail, je n'ai pas été bon si Leon n'a pas compris : DC5 à terme, c'est un total de 12 salles.

Chaque salle a :
- 278 baies sur 550 m² avec une puissance électrique moyenne installée est de 6kw par baie voie A et 6kw voie B. (disjoncteur de 32 ampères)
- 2 transformateurs 20 000 volts de 1250 kVa dédiés, partagé pour la voie ondulée (HQ) et la voie normale (non ondulée)
- 2 groupes électrogènes de 1315 kW / 1650 kVa dédiés uniquement pour la voie ondulée (HQ)
- 2 TGBT dédiés chacun a un couloir chaud avec dans chaque TGBT une voie ondulée et une non ondulée branché au même transformateur.
- 4 onduleurs de 500 kVa dédiés sur l'unique voie ondulée (2 par THBT). Pas de redondance : tous les onduleurs sont nécessaire pour exploiter à pleine puissance chaque salle.
- 16 branches batteries dédiées sur l’unique voie ondulée (4 par onduleurs). La perte d'une branche réduit l'autonomie sur batterie.

Il y a un TGBT par couloir chaud. Chaque TGBT gère la moitié d’une salle de façon indépendante. Chaque TGBT a son transformateur 20 000 volts de 1250 kVa dédié, son groupe électrogène de 1315 kW / 1650 kVa dédié, 2 onduleurs de 500 kVa dédiés, 8 branches batteries dédiées.

Une fois le site entièrement réalisé avec ses 12 salles il y aura un total de 27 groupes électrogènes de 1315 kW / 1650 kVa :
- Groupe N° 1 : la voie ondulée (HQ) de la salle N° 1 - TGBT N°1
- Groupe N° 2 : la voie ondulée (HQ) de la salle N° 1 - TGBT N°2
- Groupe N° 3 : la voie ondulée (HQ) de la salle N° 2 - TGBT N°1
- Groupe N° 4 : la voie ondulée (HQ) de la salle N° 2 - TGBT N°2
- Groupe N° 5 : la voie ondulée (HQ) de la salle N° 3 - TGBT N°1
- Groupe N° 6 : la voie ondulée (HQ) de la salle N° 3 - TGBT N°2
- Groupe N° 7 : la voie ondulée (HQ) de la salle N° 4 - TGBT N°1
- Groupe N° 8 : la voie ondulée (HQ) de la salle N° 4 - TGBT N°2
- Groupe N° 9 : la voie ondulée (HQ) de la salle N° 5 - TGBT N°1
- Groupe N° 10 : la voie ondulée (HQ) de la salle N° 5 - TGBT N°2
- Groupe N° 11 : la voie ondulée (HQ) de la salle N° 6 - TGBT N°1
- Groupe N° 12 : la voie ondulée (HQ) de la salle N° 6 - TGBT N°2
- Groupe N° 13 : la voie ondulée (HQ) de la salle N° 7 - TGBT N°1
- Groupe N° 14 : la voie ondulée (HQ) de la salle N° 7 - TGBT N°2
- Groupe N° 15 : la voie ondulée (HQ) de la salle N° 8 - TGBT N°1
- Groupe N° 16 : la voie ondulée (HQ) de la salle N° 8 - TGBT N°2
- Groupe N° 17 : la voie ondulée (HQ) de la salle N° 9 - TGBT N°1
- Groupe N° 18 : la voie ondulée (HQ) de la salle N° 9 - TGBT N°2
- Groupe N° 19 : la voie ondulée (HQ) de la salle N° 10 - TGBT N°1
- Groupe N° 20 : la voie ondulée (HQ) de la salle N° 10 - TGBT N°2
- Groupe N° 21 : la voie ondulée (HQ) de la salle N° 11 - TGBT N°1
- Groupe N° 22 : la voie ondulée (HQ) de la salle N° 11 - TGBT N°2
- Groupe N° 23 : la voie ondulée (HQ) de la salle N° 12 - TGBT N°1
- Groupe N° 24 : la voie ondulée (HQ) de la salle N° 12- TGBT N°2
- Groupe N° 25 : pour les deux salles opérateurs et les groupes frigorifiques
- Groupe N° 26 : voie « HQR » (Haute Qualité de Remplacement) : Il est possible via une gaine à barre dénommée HQR de réalimenter la voie non ondulée depuis une production ondulée totalement indépendante comprenant : 1 transformateur + 1 groupe électrogène + 2 onduleurs, tous de même puissance et dédiés à cette branche de secours HQR. Ainsi l’intervention sur la chaîne ondulée défaillante peut avoir lieu sans risque d’interruption de service pour les serveurs. Cette production ondulée indépendante est mutualisée pour l’ensemble des 24 TGBT du data center.
- Groupe N° 27 : groupe électrogène optionnel pouvant secourir n’importe quel autre groupe électrogène défaillant (sur les groupes, on est en redondance N+1).


En cas de coupure de l'arrivé électrique :

- Étape N°1 : Les 25 premiers groupes démarrent.
les 12 salles perdent leur voie non ondulée, le temps que les générateurs démarrent. Il est donc nécessaire d'avoir 100% des équipements alimenté par les voies A et B ce qui n'est pas toujours le cas dans un datacenter traditionnel.
la voie ondulée est elle toujours disponible, alimentée par les batteries + onduleurs

- Étape N°2 : Les groupes ont tous démarrés et ils prennent la charge de la voie ondulée.

- la voie normale (non ondulée) de la salle N° 1 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 1 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 2 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 2 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 3 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 3 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 4 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 4 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 5 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 5 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 6 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 6 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 7 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 7 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 8 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 8 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 9 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 9 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 10 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 10 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 11 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 11 - TGBT N°2 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 12 - TGBT N°1 n'est plus alimentée
- la voie normale (non ondulée) de la salle N° 12- TGBT N°2 n'est plus alimentée

- Étape N°3 : Le courant revient. la voie normale (non ondulée) est ré-alimentée. Les groupes vont se synchroniser avec l'arrivée ERDF si il y a un petit décalage de phase

- Étape N°4 : Le secteur est rebranché avec les groupes qui prennent toujours la charge

- Étape N°5 : Les groupes sont éteints, sans avoir généré de passage sur batterie lors de l'opération de bascule groupe => secteur

Maintenant, comment faire une maintenance sur la voie ondulée si on risque à ce moment la coupure, si une panne électrique interviens pendant la maintenance ?
C'est là que la voie « HQR » (Haute Qualité de Remplacement) joue son rôle, mais cela ne concerne qu'un TGBT et cela signifie qu'il ne faut faire qu'une maintenance simultanèment (sur les 26 TGBT du site)

Il existe tout de même un SPOF (single point of failure) : Si un onduleur tombe en panne pendant la coupure électrique, on perd compétemment la demi-salle (couloir chaud concerné par le TGBT).
Pour le reste il me semble que c'est secouru.
Si un des 26 groupe ne démarre pas, un 27ème sera la pour prendre le relais (redondance N+1 pour le groupe / transformateur).
Si un transformateur tome en panne, la voie normale (non ondulée) et la voie ondulée (HQ) étant sur le même transformateur, il faut impérativement passer la voie non ondulée sur la HQR pour ne pas perdre la demi-salle.

Pour les scénarios avec une double panne (Si deux groupes ne démarrent pas par exemple), on perd une demi-sallle après épuisement des batteries.

Cette architecture limite les risque tout en divisant par deux le nombre de groupes, d’onduleurs, batteries,...

C'est pour cela que le prix annoncé par Arnaud est divisé par deux à trois.
DC5  ne joue pas dans la même catégorie pour la disponibilité que DC2/DC3/DC4.


@Arnaud: On se situe plus ou moins dans quel cout de construction par MW sur DC5 par rapport à un DC classique ?
Tu te doutes bien, Vivien à essayé de me cuisiner sur le sujet :-)
Le coût de construction d'un DC est intimement lié à son architecture et à son niveau de redondance, qui représentent 85% des coûts d'investissement.
Ce qui coûte cher, c'est pas le foncier ou le bâtiment en lui-même, ce sont les équipements techniques pour délivrer le service (élec, clim, incendie...)

Sans dévoiler de grands secrets, tant sur le le coût de construction au kW par rapport à des architectures plus classiques qu'au niveau maintenance, à niveau de redondance identique, c'est entre deux et trois fois plus économique.

Arnaud

Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 14 janvier 2019 à 22:44:20
Désolé pour la perte pendant quelques minutes, je me suis trompé en éditant mon message.
J'ai apporté de nouvelles précision, j’espère que cela aide à mieux comprendre le fonctionnement et les différents poste d'économies par rapport à une architecture 2N ou N+1.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Leon le 14 janvier 2019 à 23:00:20
Super, merci Vivien. T'es un chef.

Leon.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 15 janvier 2019 à 09:15:12
Version PDF du reportage : (cliquez sur la miniature ci-dessous - le document est au format PDF et fait 44 Mo)

(https://lafibre.info/images/online/201807_scaleway_dc5.png) (https://lafibre.info/images/online/201807_scaleway_dc5.pdf)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Hugues le 15 janvier 2019 à 09:19:23
"Un grand merci à Arnaud et Laurent d’Scaleway"

Tiens, on dirait que tu as fait un grand search&replace :P
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 15 janvier 2019 à 21:44:02
Oui et je me demande quand le logo sur DC2, DC3, DC4 et DC5 vont changer...

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_01.jpg)

Avant :
(https://lafibre.info/images/online/logo_online.png)

Après :
(https://lafibre.info/images/online/logo_scaleway_datacenter.png)

Il existe aussi :
(https://lafibre.info/images/online/logo_online_by_scaleway.png)

Et :

(https://lafibre.info/images/online/logo_scaleway.png)

J'ai mis à jour la section du forum et les logo des experts Scaleway...

Perso, j'ai un peu de mal avec le changement de site, la marque Online est tellement veille. J'étais client en 2000. A l'époque pas de serveur dédié, ils ne fessaient que de l'hébergement mutualisé.

Edit : je viens de retrouver facture du 30 juillet 2001 pour le nom de domaine "beosbeos.com" déposé chez Gandi pour 14,35€ pour un an et hébergé chez Online pour 34,68 € pour un an (hébergement d'une capacité de... 50 Mo)
J'étais alors fan du système d'exploitation BeOS => https://fr.wikipedia.org/wiki/BeOS
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 15 janvier 2019 à 22:35:41
Le site d'Online en juillet 2001, encore optimisé pour un écran en 640 x 480 !

Prix en Frs, € et $

PHP 3 en standard !

Le prix indiqué est pour un hébergement de 50 Mo, taille "S"

(https://lafibre.info/images/vivien/200107_online_hebergement_mutualise_gueant.png)

Facture por le nom de domaine, du 9 février 2001 :

(https://lafibre.info/images/vivien/200102_gandi_nom_de_domaine_gueant.png)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hwti le 16 janvier 2019 à 00:36:41
Il est donc nécessaire d'avoir 100% des équipements alimenté par les voies A et B ce qui n'est pas toujours le cas dans un datacenter traditionnel.
Dans quelle mesure les serveurs peuvent-ils détecter les pannes (éventuellement partielles) d'alimentation ?
Il doit y avoir le risque qu'une panne d'alimentation survienne (ou s’aggrave, n'ayant pas été détectée avant) au moment de la coupure quand une seule alimentation doit supporter toute la charge (soit au mieux le double de ce qu'elle fournissait juste avant, voire plus si ce n'était pas équilibré).
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 16 janvier 2019 à 06:51:45
Une baie doit avoir un maximum de 6kw par baie (c'est beaucoup, dans d'autres datacenter plus anciens, c'est 1 à 3 kw)

La voie A est dimensionnée pour 6kw et la voie B aussi.
Donc pas de risque.

La réparation tout sur une voie ou un mixte voie A et voie B dépend des serveurs. Cela importe peu à Scaleway.
Un serveur ou un switch gère très bien le fait d'avoir une seule alimentation branchée.

Ta question est peut-être pourquoi ne pas avoir fait une seul voie, la voie ondulée ?

La réponse est simple : en cas de maintenance des onduleurs, on risque une coupure. Là non, vu que la voie non ondulée sera basculée sur la voie « HQR » (Haute Qualité de Remplacement)
La rajout de la seconde voie ne coûte pas très cher : pas d'onduleur, pas de batteries et pas de transformateur supplèmentaire.

Le fait d'avoir deux voies et donc disjoncteur et deux alimentions coté serveur réduit les risques de coupure en cas de pb.

Enfin pour les équipements qui n'ont qu'une alimentation électrique, voici la solution :
Pour les switchs, qui ne possèdent qu'une seule alimentation électrique, Online a placé en bas de baie un commutateur de transfert automatique.

Ces commutateurs possèdent deux cordons d'alimentation (en entrée) qui alimentent la charge raccordée en sortie sur un seul cordon. Si la source d'alimentation électrique principale n'est plus disponible, le commutateur de transfert automatique pour rack utilise l'alimentation de la deuxième source électrique, sans interrompre les charges critiques (le transfert se fait en 4ms).

(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_14.jpg)

Attention chaque équipement rajoute son risque de panne.
La serveur LaFibre.info, un serveur Dell d'entrée de gamme avec une seule alimentation a eu dernièrement des coupures qui étaient lié a un commutateur de transfert automatique (ATS) qui a été changé depuis.

DC5 oblige aussi tous les acteurs a bien vérifier que les serveurs sont bien connectés aux deux voies ou sur la voie ondulée si il y a une seule voie.
Si tu te promènes dans un datacenter, tu verras que de nombreux clients ne connectent leur switch ou serveur bas de gamme sur une seule voie, car le risque de coupure est très rare et qu'ils n’achètent pas d'ATS.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hwti le 16 janvier 2019 à 09:21:59
Par alimentation, je voulais dire le module d'alimentation du serveur.
Si en temps normal ils fournissent par exemple 100%/0% ou 50%/50% de ce que le serveur consomme, lors d'une panne de courant ça passe à 0%/100% (on suppose que seule la voie B est ondulée). Il doit y avoir un risque pour qu'une panne du module B survienne à ce moment là s'il n'est pas régulièrement testé à charge maximale.
Titre: DC5 - 44 Scaleway BareMetal SSD Cloud Servers: 14 nodes dans seulement 3u
Posté par: vivien le 17 janvier 2019 à 11:42:56
J'ai corrigé une erreur : Scaleway met 14 serveurs mono-CPU et non 7 serveurs bi-CPU dans un châssis de 3u :

J'ai corrigé : Scaleway DC5 - 44) Scaleway BareMetal SSD Cloud Servers : 14 nodes indépendantes dans seulement 3u (https://lafibre.info/scaleway/dc5/msg613678/#msg613678)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: butler_fr le 17 janvier 2019 à 14:04:16
Au top ce reportage
hyper intéressant!  :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: hoyohoyo le 22 janvier 2019 à 08:34:59
Oui et je me demande quand le logo sur DC2, DC3, DC4 et DC5 vont changer...

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_01.jpg)

Avant :
(https://lafibre.info/images/online/logo_online.png)

Après :
(https://lafibre.info/images/online/logo_scaleway_datacenter.png)

Il existe aussi :
(https://lafibre.info/images/online/logo_online_by_scaleway.png)

Et :

(https://lafibre.info/images/online/logo_scaleway.png)

J'ai mis à jour la section du forum et les logo des experts Scaleway...

Perso, j'ai un peu de mal avec le changement de site, la marque Online est tellement veille. J'étais client en 2000. A l'époque pas de serveur dédié, ils ne fessaient que de l'hébergement mutualisé.

Edit : je viens de retrouver facture du 30 juillet 2001 pour le nom de domaine "beosbeos.com" déposé chez Gandi pour 14,35€ pour un an et hébergé chez Online pour 34,68 € pour un an (hébergement d'une capacité de... 50 Mo)
J'étais alors fan du système d'exploitation BeOS => https://fr.wikipedia.org/wiki/BeOS


ça change vite :) moi j'ai commencé chez eux quand c'était dedibox
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: jewome62 le 27 janvier 2019 à 03:32:13
Tous les opérateurs ont un ou des POP sur Lille.
La réalité du peering régional est tout autre.

Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.

Aucun gros opérateur ne peer en 2019 à Lille avec OVH.

Il semble que Orange est connecté à OVH à Lille (ou roubaix peut etre) car j'avais un soucis d'accès fibre Orange pour aller chez OVH, il me fesait un détour en passant par Paris. J'ai tweeter @oles à l'époque dessus et ça été corrigé.
https://twitter.com/J_Desjardin/status/333651408974913537
enfin a moins que j'y comprends rien
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: buddy le 27 janvier 2019 à 10:23:03
avant oui, il peerait ausi en région avec SFR. Mais il me semble que c'est fini depuis 2 ou 3 ans.
(Sauf peut être pour Orange qui a un lien sur RBX 5 a72   (d'après : http://weathermap.ovh.net/ )
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 27 janvier 2019 à 10:56:17
Le premier qui a peerer à Lille, c'est Free avec un lien de 1 Gb/s qui saturait tout le temps et qui a fini par être coupé.

Ensuite il y a eu SFR sur Lille, Lyon, Marseille et Bordeaux si mes souvenirs sont bon avec à chaque fois 10 ou 20 Gb/s et là aussi cela a été coupé.
Sur Lille mais sur Lyon, Marseille et Bordeaux il ne reste plus de peering à part France-IX Marseille.

Effectivement il y a un lien Orange sur Lille, mais il n'y a que du trafic entrant, (Orange => OVH) et rien dans le sens OVH => Orange.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: ezivoco_163 le 22 février 2019 à 18:21:46
superbe reportage, je n'ai pas tout lu, mais j'ai passé quand même toutes les pages.

Bravo pour le travail  :o
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: fibre le 13 avril 2019 à 11:43:32
Très intéressant, merci! Online que du bon :)
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: XaTriX le 03 mai 2019 à 00:13:50
topic génial, cimer
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Calou02 le 11 mai 2019 à 10:25:59
Super boulot Vivien !!
merci je viens de lire les 20 pages, je n'avais jamais un site comme celui là de l'intérieur et très étonné par l'état de propreté.
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: altf4arnold le 02 juin 2019 à 16:12:23
C'est pas celui qui est en feu aujourd'hui?
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: Optix le 02 juin 2019 à 16:13:26
C'est pas celui qui est en feu aujourd'hui?
Preque, c'était à côté :p
Titre: Visite du data center Scaleway DC5 (refroidissement adiabatique)
Posté par: vivien le 02 juin 2019 à 16:56:43
C'est à coté et par chance, c'est du coté où l'air est soufflé et non aspiré.

Sujet dédié : Incendie à Saint-Ouen-l’Aumône (entreprise voisine de DC5) (https://lafibre.info/scaleway/incendie-saint-ouen-laumone/)