Auteur Sujet: Data center DC3 de Scaleway: reportage photo de la visite (Lu 189023 fois)

Tout pareil, merci Viven, et merci Online. Vous avez vraiment vu beaucoup plus de choses que notre groupe pendant la visite! Je rappelle que nous ne sommes rentré dans aucune cage!

Online-DC3 reste un datacenter très propre, mais j'ai été surpris par plusieurs choses pendant la visite, et en regardant les photos, je vois d'autres choses étranges.

* une seule salle technique "climatisation" (déjà mentionné dans le reportage). Avoir des climatisations redondantes, mais espacées de quelques mètres seulement, ça ne permet pas de se protéger sereinement des incendies . Pour bien faire il aurait fallu isoler dans des pièces différentes, avec des murs anti-feu.

* la proximité entre les différents transformateurs et aussi avec les groupes. Pareil, si un équipement explose (transformateur qui explose, ça existe), est-on certain de ne pas amocher les autres? Et comment des hommes pourront-ils lutter sereinement contre un incendie tenace dans un espace aussi peu dégagé, si un groupe brule par exemple (là aussi, ça existe).

* le faible espace dans les couloirs des salles, entre les grille et le mur. Comment transporter sereinement des équipements imposants, des baies avec un espace aussi étroit? Surtout qu'il y a des équipements très sensibles sur le côté mur, qu'il ne faut surtout pas abimer : baie optique, distribution électrique, etc...

* Le dimensionnement du "RPN". Le réseau RPN est beaucoup plus petit que le réseau "Internet". L'uplink des switches de baie du RPN est visiblement à 1Gb/s seulement, c'est quand même peu pour proposer du 1Gb/s par serveur (certes en option payante).

* Non redondance des switches de collecte (ou switches de rangée de baie) du réseau "internet". OK, Online n'est pas le seul à appliquer ça, mais ça me surprend. Certes, l'uplink de ces switches vers les routeurs est redondé, mais pas les switches eux-mêmes. Or, la perte d'un switch unique, d'un seul équipement, fera perdre la connexion à des milliers de serveurs. Le plus surprenant c'est que les switches de rangée du RPN, eux, semblent redondés.

Leon.

vivien · « **Réponse #80 le:** 24 octobre 2015 à 09:11:50 »

Citation de: leon_m le 24 octobre 2015 à 08:33:49

* une seule salle technique "climatisation" (déjà mentionné dans le reportage). Avoir des climatisations redondantes, mais espacées de quelques mètres seulement, ça ne permet pas de se protéger sereinement des incendies . Pour bien faire il aurait fallu isoler dans des pièces différentes, avec des murs anti-feu.

Ce choix a fait perdre la certification Tiers IV selon Arnaud.
L'argument d'Arnaud est que le risque d'un incendie dans cette salle est faible.
Si c'est vrais que c'est beaucoup de tuyaux avec de l'eau, mais il a aussi des puissances électriques consommées impressionnantes.

Citation de: leon_m le 24 octobre 2015 à 08:33:49

* la proximité entre les différents transformateurs et aussi avec les groupes. Pareil, si un équipement explose (transformateur qui explose, ça existe)

Un transformateur qui explose va bien sur endommager ses voisins immédiats et c'est plusieurs jours d’arrêt complet.

Maintenant ce qui fait exploser un transformateur, c'est la foudre et DC3 me semble plutôt bien protégé et les arrivées électriques 20 000v sont enterrées.

2 jours de coupure d'un datacenter Amazon après l'explosion d'un transformateur :

Citation de: vivien le 09 août 2011 à 20:40:49

Dans la nuit du 7 au 8 août 2011 de violents orages ont éclaté sur Dublin, en Irlande. La foudre est tombée sur un DataCenter d'Amazon coupant les serveurs pendant presque 2 jours.

"Amazon explique ainsi que la foudre a frappé directement l’un des transformateurs impliqués dans l’alimentation de ses centres de données à Dublin causant une explosion et un incendie. Normalement, cela n’aurait pas dû couper complètement l’alimentation sur une partie des serveurs comme cela est arrivé. Cependant, l’explosion était telle qu’elle s’est propagée à une portion du système de contrôle de phase qui synchronise les générateurs. Résultat pour Amazon : il a fallu intervenir manuellement sur les installations. Les réparations ont commencé le 8 août à 10h41 et les premières instances de services sont revenues le 9 aout à 13h47. Amazon avait prévenu dans la foulée qu’il faudrait sans doute de 24 à 48 heures pour restaurer l’intégralité des instances et des volumes EBS."

Citation de: leon_m le 24 octobre 2015 à 08:33:49

* le faible espace dans les couloirs des salles, entre les grille et le mur.

Je ne suis pas choqué, il y a quand même de la place : (Les traverses de faux plancher font 1,2 mètres)

Il est vrai que les allées de TH2, avant de rentrer dans les salles privées, sont plus grandes. TH2 a choisit de mettre des petites portes au niveau des paliers ascenseurs, ce qui fait qu'il est compliqué de faire rentrer le chariot avec écran / clavier qui est à prendre au RDC. On doit ouvrir le second volet de la porte, après être rentré. Si on laisse le chariot libre, il roule, car on est sur une pente (pente avant de rentrer dans la salle qui a un faux plancher). Bref TH2 a peut être des allées plus grandes, mais c'est bien moins fonctionnel.

Citation de: leon_m le 24 octobre 2015 à 08:33:49

* Le dimensionnement du "RPN". Le réseau RPN est beaucoup plus petit que le réseau "Internet". L'uplink des switches de baie du RPN est visiblement à 1Gb/s seulement, c'est quand même peu pour proposer du 1Gb/s par serveur (certes en option payante).

Online propose que 100 Mb/s sur le réseau RPN, alors que les serveurs ont 1 Gb/s vers Internet. J'imagine que c'est plus pour l'administration de serveurs (ssh)

Réseau RPN

Principe de fonctionnement

Le RPN est un réseau privé, dédié, câblé sur la deuxième interface de votre serveur.
Ce réseau offre de très hautes performances grâce à des latences très faibles et au support des jumbo frames en standard.
Vous pouvez ainsi regrouper physiquement, en quelques clics, votre parc de serveurs, quelque soit leur nombre et leur emplacement physique, au sein de votre réseau privé.

En pratique

De nombreuses applications nécessitent, pour des raisons de sécurité et de performance, un réseau privé et dédié, telles que les technologies de stockage ou les clusters Hadoop.
Vos applications peuvent échanger des données de manière sûre, sans utiliser la carte réseau publique, avec un très haut niveau de sécurité.

Vos différent serveurs peuvent échanger des données de manière sécurisée, via votre réseau, distinct et raccordé sur votre deuxième carte réseau.

La solution technique

Online a déployé le réseau RPN sur un réseau redondé Juniper basé sur les commutateurs Ethernet de la série EX2200, EX3300 et EX4500.
Bien entendu, ce réseau est totalement géré par Online, indépendant du réseau public, et ne dispose d'aucune interconnexion à Internet. [/color]

Citation de: leon_m le 24 octobre 2015 à 08:33:49

* Non redondance des switches de collecte (ou switches de rangée de baie) du réseau "internet". OK, Online n'est pas le seul à appliquer ça, mais ça me surprend. Certes, l'uplink de ces switches vers les routeurs est redondé, mais pas les switches eux-mêmes. Or, la perte d'un switch unique, d'un seul équipement, fera perdre la connexion à des milliers de serveurs. Le plus surprenant c'est que les switches de rangée du RPN, eux, semblent redondés.

Pour le réseau RPN, c'est redondé (chaque switch est connecté à deux autres switchs).

Leon · « **Réponse #81 le:** 24 octobre 2015 à 09:35:25 »

Citation de: vivien le 24 octobre 2015 à 09:11:50

Online propose que 100 Mb/s sur le réseau RPN, alors que les serveurs ont 1 Gb/s vers Internet. J'imagine que c'est plus pour l'administration de serveurs (ssh)

A partir de la dedibox LT (40€/mois), tu peux prendre une option RPN 1Gb/s. Donc si c'est réalisé avec des switches qui n'ont qu'1Gb/s d'uplink, ça ne peut pas aller.
Ce plus, ça n'est clairement pas dédié aue pour de l'administration. Les serveurs "storage" haut de gamme sont reliés en 10Gb/s au RPN, c'est bien pour servir de serveur de fichier déportés.
Après, peut-être que les baies montrées ici sont des serveurs plus anciens, qui ne sont pas compatibles RPN 1Gb/s. Nos 2 amis d'Online présents sur le forum (Arnaud et Mickaël) nous renseignerons certainement là dessus.

Citer

Maintenant ce qui fait exploser un transformateur, c'est la foudre et DC3 me semble plutôt bien protégé et les arrivées électriques 20 000v sont enterrées.

A priori, il n'y a pas que la foudre qui peut faire exploser un transformateur. Certaines défaillances (court circuit), si elles ne sont pas détectées à temps, peuvent amener à une telle explosion. On parle de transfos de 3MW, donc ça commence à faire.

Dans les sites industriels sensibles que je connais, chaque transformateur est dans un "box" à l'air libre, entouré de 3 murs épais en béton armé; jusqu'ici, c'est comme chez Online DC3. Mais ces "boxes" sont séparés entre eux d'une certaine distance. Cela permet de canaliser l'éventuelle explosion, c'est conçu pour. Et dans l'axe laissé libre pour que l'explosion puisse s'étendre, à proximité du transfo, il n'y a que des équipements liés à ce propre transformateur. Aucun groupe électrogène comme à Online, aucun bus-bar commun avec d'autres branches de l'installation.
C'est valable pour les gros transfos HT-MT comme pour les plus petits MT-BT.

Leon.

miky01 · « **Réponse #82 le:** 24 octobre 2015 à 09:37:20 »

Ben remplacer un transfo c'est quasi 2 jours de boulot, comme en plus c'est du matos qui est pas en stock...

Mais pour le client qui loue un hebergement, il accepte jamais 2 jours de downtime, c'est des millions de perdus pour une banque qui perd les transactions en cours.

BadMax · « **Réponse #83 le:** 24 octobre 2015 à 09:51:35 »

Une fuite d'huile ça peut arriver sur un transfo. Très rigolo ça, le manque d'huile.

Cela dit sur DC3:
- Ils sont à l'extérieur donc peu d'impact pour le DC lui même
- chaque transfo a sa protection brouillard d'eau, ça doit suffire pour avoir le temps d'isoler la chaine et eviter la propagation aux autres
- Ils sont sur-dimensionné ça laisse encore un peu plus de marge de sécurité

Globalement c'est un DC bien optimisé et bien conçu. La non séparation physique des groupes froids ça ne me surprend pas plus que ça vu les contraintes du site. Rajouter une cloison n'aurait pas été suffisant, il faut que la tuyauterie suive !

Auteur Sujet: Data center DC3 de Scaleway: reportage photo de la visite (Lu 189023 fois)

apteor

Data center DC3 d'Iliad: reportage photo de la visite

BadMax

Data center DC3 d'Iliad: reportage photo de la visite

Synack

Data center DC3 d'Iliad: reportage photo de la visite

louis54000

Data center DC3 d'Iliad: reportage photo de la visite

BadMax

Data center DC3 d'Iliad: La salle N°3

miky01

Data center DC3 d'Iliad: reportage photo de la visite

e-TE

Data center DC3 d'Iliad: reportage photo de la visite

Leon

Data center DC3 d'Iliad: reportage photo de la visite

vivien

Data center DC3 d'Iliad: reportage photo de la visite

Leon

Data center DC3 d'Iliad: reportage photo de la visite

miky01

Data center DC3 d'Iliad: reportage photo de la visite

BadMax

Data center DC3 d'Iliad: reportage photo de la visite