Auteur Sujet: Data center DC3 de Scaleway: reportage photo de la visite (Lu 189035 fois)

vivien · « **le:** 23 octobre 2015 à 12:58:37 »

Reportage photo de la visite du data center Scaleway / Online DC3

Pour ses 15 ans, Online/Scaleway a organisé une journée porte ouverte. Une quinzaine de membre de LaFibre.info s'est retrouvée à 14h00 pour une visite avec... Arnaud de Bermingham, CEO/CTO de Scaleway.

Petit rappel des quatre principales missions d'un data center :
- Sécurité (contrôle d'accès, extinction des incendies, protections des agressions extérieures tels que foudre ou inondations)
- Interconnexion (Offrir une possibilité de se connecter à des réseaux de manière sécurisée)
- Climatisation (garantir une température constante)
- Énergie (garantir une alimentation en énergie sans aucune coupure, même en cas d'incendie)

Un data center est dit neutre, c'est le cas des data center Scaleway, s'il permet au client de faire ce qu'il souhaite de ses mètres carrés et qu'il laisse le client faire appel directement aux fournisseurs de son choix pour les connexions à Internet. Au contraire un data center qui force le client à lui acheter Internet (exemple: des data center Cogent) ou qui impose des restrictions fortes sur les équipements hébergés (exemple : NRA Orange) n'est pas neutre.

Les caractéristiques principales du data center Scaleway DC3 :
- Situé à Vitry-sur-Seine au 61 rue Julian Grimau, à 6 Kms de Paris et à 5 Kms de l'aéroport d'Orly.
- Campus de 11 800m² composé de 2 salles de 1500 m² divisées en 12 "data centers privatifs" de 250m² tous utilisés. 2 autres salles seront prêtes dans quelques mois, portant la capacité à 18 "data centers privatifs" de 250m² et 4 d'environ 180m².
- Deux salles opérateurs et deux meet-me-room
- Système avancé de détection incendie VESDA LASER et de suppression incendie par brouillard d'eau,

La climatisation pour DC 3 :
- 35 armoires de 200 kWf en formation N+2 (utilisation d'eau pure non glycolée)
- Température dans les allées froides : 21°c (+/- 2°c)
- Température dans les allées chaudes : 33°c (en fonction des serveurs utilisés)
- Air en surpression dans les salles informatiques, afin d'éviter l'entrée de poussière quand on ouvre la porte
- 2 chaînes de production frigorifique (redondance 2N) de 10,2 MW (double réseau bouclé)
- Gaz frigorifique R134A, sans impact sur l'environnement
- Refroidisseurs de type dry coolers ne consommant pas d'eau (contrairement à beaucoup d'autres)
- 13 centrales de traitement d'air de 125 kW en formation 2N
- Refroidissement indirect (freechilling) sans utilisation de climatisation plus de la moitié de l'année :

Température < 8°c : Free cooling indirect total (groupes froids à l’arrêt) + Free cooling direct des locaux technique total
Température entre 8°c et 17°c : Free cooling indirect partiel + Free cooling direct des locaux technique total
Température entre 17°c et 19°c : Climatisation traditionnelle pour les serveurs + Free cooling direct des locaux techniques
Température > 19°c : Climatisation traditionnelle pour les serveurs et les locaux techniques

L'énergie pour DC 3 :
- Double arrivée électrique 20 000 V de 18 MW de capacité chacune,
- 6 chaînes électriques (Blanc / Noir / Rouge / Jaune / Bleu / Vert) de 2,5 MW (répartition Tier IV de type 2N+1) équipées chacune :

d'un transformateur 20 000 v haut rendement à huile végétale naturelle
de deux groupes électrogènes en couplage (synchronisation à froid - la perte d'un groupe entraîne la perte de la chaîne)
Pour les chaînes Rouge / Jaune / Bleu / Vert uniquement : 5 onduleurs line-interactive de 550 kVa répartis en formation parallèle offrant un total de 2,5 MW. Technologie ESS, très haut rendement (>99%)

- PUE (Power usage effectiveness) sans Freecooling de 1,3
- Certification Uptime Institute Tiers III

Lors de ma visite il y a 3 ans, j’annonçais que c'est un data-center "Tier-IV". Depuis c'est un data-center "Tier-III" certifié. Attention, de nombreux data center se disent Tiers-IV mais n'obtiendraient même pas la certification Tiers-II...

Classification établie par The Uptime Institute :

La Certification Uptime Institute est importante : beaucoup d'acteurs disent être tiers III ou tiers IV sans être certifiés. Et en pratique c'est compliqué et cher de se faire certifier. Les demandes de Uptime Institute doivent être prise en compte au moment de la construction du data center.
Un exemple : Uptime Institute demande des groupes électrogènes qui ne soient pas des groupes de secours, mais des groupes de production d'électricité qui peuvent tourner 365 jours par an : Les pièces qui s'usent doivent pouvoir être changées sans interrompre le groupe. Il faut également une alimentation en carburant et en huile redondante (deux circuits, deux cuves,...).
Un second exemple : Un seul bouton ne peut pas couper une chaîne électrique, même pas un arrêt d'urgence.

Citation de: abermingham le 05 octobre 2015 à 13:42:01

- un arrêt d'urgence unique permettant de simultanèment couper deux voies distinctes et entrant dans la redondance de l'architecture générale est -interdit- par la certification de l'uptime institute, quelque soit le niveau, même tier1. Quelque soit le data center, si vous voyez un bouton d'arrêt d'urgence unique et global, coupant une chaine ou toutes, fuyez ! Aucun data center certifié n'aura ce type d'arrêt d'urgence.

Au passage Online cherchait à se faire certifier tiers IV mais la redondance des 2N de la climatisation ne suffit pas : il faut que les deux unités soient dans des salles différentes. Un seul a réussi le challenge en France : le data center du Crédit Agricole !

Le Parking du data center Scaleway DC3 :

Un grand parking, utilisé également par le service client FreeMobile qui a un petit centre d'appel sur le site.

Des bornes pour rechercher les voitures électriques de services de Scaleway :

vivien · « **Réponse #1 le:** 23 octobre 2015 à 12:59:36 »

Mission N°1 d'un data center : La Sécurité

- Équipe de sécurité spécialisée et équipe de support client présente sur site 24h/24 et 7j/7,
- Vidéo-surveillance, contrôle d'accès par badge et empreinte biométrique,
- SAS d'entrée blindés, conformes aux normes anti-intrusion EN 1627.
- Système avancé de détection incendie VESDA LASER et de suppression incendie par brouillard d'eau,

Entrée du data center Scaleway / Online DC3

Voici la porte d'entrée du data center, situé dans le hall abritant un des centres d'appel de FreeMobile :

Derrière se trouvent deux SAS d'entrée blindés, conformes aux normes anti-intrusion EN 1627.

Après avoir passé un SAS, on a accès à de grands couloirs comme celui-ci :

Le plan est affiché un peu partout sur des plaques de verre. C'est un plan qui inclu l'extension dont les travaux ont démarré : Les salles 1.x et 2.x n'existent pas encore.

vivien · « **Réponse #2 le:** 23 octobre 2015 à 13:00:28 »

Le PC sécurité

Situé à l'entrée, il y a là de la présence humaine 24/24 pour :
- Vérifier l’identifié des personnes qui rentrent dans le data center et monitoring des 98 caméras numériques extérieures et intérieures du site.
- Superviser tous les systèmes techniques du data center
- C'est là qu'est présent le responsable de la sécurité incendie : A DC3, il y a 24/7 un agent de sécurité SSIAP2 (service de sécurité incendie et d’assistance à personnes). C'est lui qui est au niveau du SAS d'entrée.

Les 4 baies qui regroupent toutes les alertes de détection et suppression d'incendie :

vivien · « **Réponse #3 le:** 23 octobre 2015 à 13:00:53 »

Systèmes de détection incendie VESDA LASER et systèmes d'extinction incendie par brouillard d'eau

DC3 est équipé :
- De systèmes de détection multi-ponctuelle de technologie VESDA Laser conformes aux normes APSAS R7.
- De systèmes d'extinction incendie par brouillard d'eau conformes aux normes APSAD R1/D2 et suivant la classe 1 de la NFPA 750.

Concrètement, dans toutes les salles, on trouve :
- Ces tubes qui aspirent l'air ambiant au niveau de la pastille blanche. L'air est ensuite analysé pour voir s'il y a une présence de fumée, permettant de donner l'alerte très tôt (avant qu'il y ait des flammes).
- La buse qui est située à côté va déclencher un brouillard d'eau localisé. Le brouillard d'eau ne se déclenche que si deux conditions sont réunies : 1/ Le système de détection incendie s'est déclenché et 2/ La température au niveau de la buse dépasse 55°C. Ce n'est donc pas toute la salle qui est mis sous brouillard d'eau mais l'endroit précis où un incendie se déclare.

Le système VESDA LASER qui aspire l'air dans le tube :

Le même système est également présent pour inspecter l'air du faux plancher :

vivien · « **Réponse #4 le:** 23 octobre 2015 à 13:01:16 »

Le système d’extinction d'incendie testé il y a 3 ans sur le transformateur 20 000 volts :

Pour survivre, un incendie a besoin des trois éléments du triangle du feu, à savoir : l’oxygène, la chaleur, des radicaux libres et un matériau combustible. L’élimination de l’un d’eux peut inhiber ou éteindre le feu.

Scaleway a choisi d'éteindre un éventuel incendie via un brouillard d'eau à haute pression. Les équipements de pompier se basent sur ce système.

Le brouillard d’eau à haute pression parvient à supprimer deux éléments du triangle – la chaleur et l’oxygène –, en diffusant l’eau à une pression de 130 bars grâce à des buses spéciales. Ce sont des "têtes fermées" : seules celles exposées au feu s’ouvrent et libèrent ainsi le brouillard d’eau. La diffusion ne se fait donc pas dans l'ensemble de la salle de 1600m² mais à l'endroit où la chaleur dépasse 55°c sur la buse (située en hauteur). La chaleur de 55°c n'est pas le seul élèment nécessaire pour déclencher l'arrosage : il faut également le déclenchement de l'alarme incendie (via des tuyaux qui reniflent l'air).

Schématiquement, l’accroissement de la pression, en diminuant la taille des gouttelettes, créée un phénomène de brumisation qui se déploie sur une surface élargie. La vapeur d’eau dégagée absorbe la chaleur et déplace l’oxygène qui alimente le feu, conduisant à le contenir puis l’éteindre. Plus cette surface est importante, plus le système est efficace pour réduire la température et l’oxygène dans la zone des flammes. Selon les applications, grâce au principe de brumisation, le débit en eau de chaque buse peut tomber jusqu’à seulement 1 litre d’eau par minute. Et la présence de vapeur d’eau permet l’agglomération des particules de fumée réduisant ainsi les dommages causés par celles-ci.

Scaleway a opté pour un système à réservoir d'eau avec une pompe fournissant une pression de 130 bars. Afin de réduire les risques d'inondations, le système est en permanence sous pression avec de l'air. L'eau n'est injectée dans le système qu'en cas de déclenchement des alarmes qui analysent l'air et y détectent un incendie.

Essai réel d'extinction incendie par brouillard d'eau dans une salle informatique :

Pourquoi ne pas utiliser une extinction par gaz (FM200, Azote, Co2,...) ?

Il aurait été coûteux d'utiliser un gaz, sachant que les salles font 1600m² et sont très hautes de plafond. En effet ces bouteilles coûtent une fortune à recharger et il est impossible de relâcher le gaz FM200 dans l’atmosphère, il faut faire venir une entreprise spécialisée pour le récupérer.

Dire que certains gaz (comme le FM200) agissent par diminution du % d'oxygène dans l'air est une contre-vérité, ce type de gaz (famille des halo-carbures, comme les halons) fonctionne par inhibition des radicaux libres, composés chimiques libérés lors d'une combustion. Ces radicaux libres sont nécessaires à la poursuite de l'incendie, c'est le 4ième élèment d'un incendie.

C'est d'ailleurs pour l'action anti-radicaux libres que l'on utilise les halo-carbures en tant qu'extincteurs dans les réacteurs d'avion (dont le principe même de fonctionnement est d'absorber le plus d'air possible et pour lesquels on ne peut donc, par définition, pas supprimer le comburant).

Ces gaz ne provoquent pas un appauvrissement de l'air en oxygène, ils remplacent l'air de la salle, ce qui explique que l'on peut rester dans la salle lors d'un déclenchement (si on est blessé, par exemple) sans trop souffrir d'hypoxie (on aura 'juste' les tympans déchirés suite au brusque déclenchement des bouteilles de gaz).

Ces produits (quels qu'ils soient) sont stockés sous forme liquide dans des bouteilles, lorsqu'ils sont dispersés, ils passent à l'état gazeux, provoquant donc une chute de la température (principe du réfrigérateur) due à la décompression (une bonbonne 'standard' de FM200 contient environ 65 l sous une pression de 42 bars à 20 °C). Cela provoque :
- Un bruit assourdissant, qui déchire les tympans
- Les dalles de faux plancher qui sont sous les buses partent sous la pression jusqu'au plafond : Risque de blessure si le technicien resté dans la salle reçoit une dalle.
- Une condensation de l'eau dans l'air, formant un brouillard, ce qui fait qu'il est difficile de se repérer dans la salle et sortir.

Les disques dur des serveurs n'apprécient pas les déclenchements de gaz et sont généralement à changer après un déclenchement.

L'azote ou le CO2 agissent également par remplacement de l'air, mais au lieu de s'attaquer au niveau chimique des radicaux libres (qui, même en présence d'oxygène, ne peuvent agir si des halo-carbures sont présents), ils agissent sur l'élèment comburant (l'oxygène) en l'évacuant en même temps que l'air de la salle.
Il faut donc saturer beaucoup plus la salle avec ces produits pour descendre en-dessous du seuil d'inflammabilité, mais on arrive vite dans les valeurs dangereuses pour l'homme (gênes respiratoires en dessous de 18%, risque vital en dessous de 13%).

vivien · « **Réponse #5 le:** 23 octobre 2015 à 13:01:40 »

Scaleway met également à disposition des clients une salle de réunion pour gérer une crise ou simplement configurer des machines dans un environnement plus calme que la salle machine :

A coté le stock d'Online : C'est là que chaque lundi, Dell vient livrer les serveurs qui seront mis en baie pendant la semaine.

A noter qu'il reste quelques palettes de serveur alors qu'on est en fin de semaine :

vivien · « **Réponse #6 le:** 23 octobre 2015 à 13:02:14 »

La Salle 3 de DC3 :
La salle 1 et 2 ne sont pas encore construites (les travaux ont été lancés, car les salle 3 et 4 sont entièrement commercialisées)

Photo lors de la construction de la salle : Online utilise des éléments de chambre froide pour construire rapidement une salle. Le plafond de la salle ne supporte pas le toit du datacener : il est placé sous un hangar, comme une chambre froide.

Notez la hauteur du faux plancher : 1 mettre et 10 cm, avec une charge maximum de 3 tonnes par m² !
=> Plus le volume disponible sous le faux plancher est important, moins il faut souffler fort l'air climatisé.
Arnaud nous explique sa particularité :
La particularité du faux plancher, c’est un montage en « ailes de moulin » : Les traverses de faux plancher font en réalité 1,2 mètres au lieu de 60cm, ce qui a pour conséquence de mieux répartir le poids des équipements sur la dalle. (Surtout en poinçonnement sur la dalle)
Dans la mesure ou nous avons 1 baie tous les 2,3m2 environs, le poids de la baie se retrouve répartis sur 6m2 environs au lieu de 60cm2.

Photo prise il y a 3 ans, avant l'arrivée des premiers clients : La grande salle est séparée en 6 espaces de 250 mètres carrés qui ont chacun :
- 2 arrivées électriques différentes
- 2 armoires de climatisation de 200kw

vivien · « **Réponse #7 le:** 23 octobre 2015 à 13:02:33 »

Même salle aujourd'hui :

Scaleway ne propose pas de location à la baie sur DC3 : Il faut prendre un espace de 250m² au minimum (soit 132 baies dans une configuration standard). Pour louer à la baie, Scaleway a le data center DC2 situé dans la même commune et hérité du rachat par Iliad du FAI Alice.

Par contre des sociétés qui louent un espace de 250m² peuvent sous-louer. C'est le cas de Scaleway/Online qui a proposé à une époque "Dedirack" : 1/4 de baie, deux badges, l'énergie et un transit de 1 Gb/s pour 300€/mois. Ceux qui connaissent les prix du marché savent que ce n'est pas vraiment pas cher, généralement on dépasse ce prix pour 1/4 de baie sans l'énergie ni le transit. Le transit de 1 Gb/s seul peut être proposé à plus de 1000€/mois par certains acteurs.

L’arrivée des fibres / cuivre passe par le haut des baies par des chemins de câbles suspendus. On repère les fibres à leur couleur jaune sur la photo :

Une des deux arrivées de fibres / cuivre pour la salle, en provenance de la salle opérateur N°1 pour l'une et la salle opérateur N°2 pour l'autre :

L'arrivé électrique. La couleur jaune du chemin de câble indique que l'on est sur la chaîne électrique jaune :

Comme l'indique le schéma, la seconde arrivée électrique est pour cet espace de 250m² la chaîne électrique rouge.

vivien · « **Réponse #8 le:** 23 octobre 2015 à 13:02:56 »

Pour recevoir la Certification Uptime Institute Tiers III, un seul bouton ne peut pas couper une chaîne électrique.

La coupure d'urgence de l'une de deux alimentation de l'espace de 250m² se fait en appuyant sur deux boutons simultanèment.
Les boutons sont protégés par un cache, pour éviter toute erreur.

Cela limite le risque de déclenchement par erreur mais rend plus difficile un arrêt d'urgence.

Pour couper l'autre chaîne, il faut se rendre à l'armoire électrique qui est à l'autre bout de l'espace de 250m², coté dans la cage.

Les disjoncteurs pour les baies : ce sont des disjoncteurs magnéto-thermiques bi-poles (C60 pour les intimes) sans différentiel - ici on est sur la chaîne électrique bleue :

vivien · « **Réponse #9 le:** 23 octobre 2015 à 13:03:16 »

Les baies de serveurs :

Les serveurs sont mis en rack dans des baies de 19pouces de large.

Les baies se font face à face, afin d'améliorer l'efficacité de la climatisation (il est plus facile de refroidir de l'air à 31°c que de l'air à 21°) : L'air frais (21°c) est injecté en façade des baies, dans un couloir froid qui est rendu étanche par un plafond de verre et des portes à chaque extrémité :

L'air chaud est rejeté à l’arrière des baies et il fait un peu plus de 30°c dans la salle (excepté les couloirs frais où les serveurs aspirent l'air à 21°c)

Les prises sont de la couleur de la chaîne électrique : ici c'est la chaîne jaune et la chaîne verte qui sont utilisées :

Chaque serveur est connecté :
- A deux arrivées électriques distinctes (2 alimentation par serveur)
- Câble Ethernet blanc : A un accès Internet 1Gb/s via un switch Cisco (et prise de contrôle à distance via iDRAC7 Entreprise (un KVM IP intégré dans le serveur qui possède sa propre adresse IP)
- Câble Ethernet vert : réseau « RPN » via un switch Juniper Networks. Le réseau « RPN » est réseau privé, qui utilises les deuxièmes cartes réseau des machines et qui est indépendant du réseau public.

vivien · « **Réponse #10 le:** 23 octobre 2015 à 13:03:42 »

Pour les switchs, qui ne possèdent qu'une seule alimentation électrique, Online a placé en bas de baie un commutateur de transfert automatique.

Ces commutateurs possèdent deux cordons d'alimentation (en entrée) qui alimentent la charge raccordée en sortie sur un seul cordon. Si la source d'alimentation électrique principale n'est plus disponible, le commutateur de transfert automatique pour rack utilise l'alimentation de la deuxième source électrique, sans interrompre les charges critiques (le transfert se fait en 4ms).

Les 30 serveurs, connectés à leur switch, avec un lien uplink de 10 Gb/s fibre :

vivien · « **Réponse #11 le:** 23 octobre 2015 à 13:04:15 »

Les 45 baies d'un bloc sont toutes connectées dans cette baie télécom située au milieu

Les deux switchs Juniper Networks EX3300 : (réseau « RPN »)

Chaque switch collecte le trafic réseau pour le réseau privé « RPN ». Chaque deuxième carte réseau des machines est connectée à switch Juniper situé dans la même baie que le serveur.
Le switch de baie est connecté via deux liens 1 Gb/s cuivre à deux Juniper EX3300 situés dans une baie réseau.

Chaque Juniper EX3300 gère 45 switch (pour 45 baies) et a 4 ports uplink en bas à droite :
- Le port d'uplink avec le label 0 est connecté via un SFP+ à une fibre 10 Gb/s qui va vers la salle telecom.
- Le port d'uplink avec le label 1 est inutilisé
- Le port d'uplink avec le label 2 et 3 est connecté en cuivre à l'autre switch et configuré comme VCPs. You can use these uplink ports to interconnect Virtual Chassis members.

Le switch de collecte Cisco Nexus 9396PX : (réseau Internet)

Les fibres 10 Gb/s de toutes les baies du bloc (45 baies) se retrouvent dans une baie réseau équipée d'un Cisco Nexus 9396PX.

Ce dernier va agréger les 45 liens 10 Gb/s. "The Cisco Nexus 9396PX Switch is a 2RU switch that supports 1.92 Tbps of bandwidth and over 1500 mpps across 48 fixed 10-Gbps SFP+ ports and an uplink module that can support up to 12 fixed 40-Gbps QSFP+ ports."

Ces switchs Cisco Nexus 9396PX sont connectés sur une boucle de 80 Gb/s, via deux liens 40 Gb/s agrégés. Cette boucle se termine sur deux routeurs Online différents, hébergés dans deux salles opérateurs différentes. En théorie, il devrait être possible de faire passer 160 Gb/s, mais Online dimensionne les liens pour avoir la capacité de tout envoyer via un seul coté de la boucle sans saturer : En cas de coupure de la boucle, elle se transforme en deux demi-boucles ouvertes de 80 Gb/s chacune.

Si un routeur tombe entièrement, le second routeur de la boucle prend l'intégralité du trafic.

En bas le tiroir optique avec l'arrivée des 4 liens 40 Gb/s pour Internet et de 2 liens 10 Gb/s pour le réseau privé « RPN ».

Comme vous pouvez le voir tout est prêt pour une upgrade de la boucle de 80 Gb/s à 160 Gb/s (connexion du switch Nexus 9396PX à deux liens de 4x40 Gb/s)

Auteur Sujet: Data center DC3 de Scaleway: reportage photo de la visite (Lu 189035 fois)

vivien

Data center DC3 de Scaleway: reportage photo de la visite

vivien

Data center DC3 Scaleway: La sécurité

vivien

Data center DC3 Scaleway: La sécurité

vivien

Data center DC3 Scaleway: La sécurité incendie

vivien

Data center DC3 Scaleway: La sécurité incendie

vivien

Data center DC3 Scaleway: Le stock

vivien

Data center DC3 Scaleway: La salle N°3

vivien

Data center DC3 Scaleway: La salle N°3

vivien

Data center DC3 Scaleway: La salle N°3

vivien

Data center DC3 Scaleway: La salle N°3

vivien

Data center DC3 Scaleway: La salle N°3

vivien

Data center DC3 Scaleway: La salle N°3