Auteur Sujet: Data center DC3 de Scaleway: reportage photo de la visite  (Lu 175761 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #48 le: 23 octobre 2015 à 13:27:25 »
Les deux groupes électrogènes en couplage de la chaîne Blanc

Les deux groupes de chaque chaîne seront (quand l'installation sera terminée) en couplage (synchronisation à l’arrêt : les groupes démarrent avec une phase déjà couplée) pour un total de 2,5 MW.
Le couplage à l’arrêt est peu utilisé dans les data center, car la perte d'un groupe entraîne la perte de la chaîne entière.
Cela ne pose pas de problème à Scaleway, qui n'a pas la possibilité de réduire la charge sur une chaîne électrique : en cas de panne d'un des deux groupes lors d'une coupure de courant, la chaîne bascule sur les groupes blanc ou noir. (avec arrêt d'une des deux chaîne de froid, sans aucune incidence pour le refroidissement des salles qui est en 2N)


Vue extérieure :


Les deux cuves de fioul (la certification tiers III exige une double alimentation) qui totalisent 112 000 litres pour 50 heures d'autonomie à pleine charge.


En cas de crise, le data center DC3 est identifié par l'état comme un Opérateur d'importance vitale (OIV) et c'est donc l'armée qui fera les réquisitions pour remplir les cuves (cf l'article R. 1332-2 du Code de la défense français). En cas de besoin les réserves de l’état seront utilisées.

Arnaud nous disait qu'il regardait pour utiliser le Kérosène comme combustible. Il a comme avantage d'avoir une durée de vie de 10 ans en cuve, contre 3 ans pour le Diesel, ce qui oblige à le consommer.

C'est aussi pour cette raison que les essais de passage sur groupes durent 8h chez Online.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #49 le: 23 octobre 2015 à 13:28:43 »
Le risque de la foudre

Scaleway doit assurer la disponibilité de l'énergie, 24h/24 quel que soit les événements qui se produisent. Que se passe t'il si la foudre tombe sur un transformateur et le fait exploser, l'explosion ou la foudre détruisant les systèmes qui assurent la redondance ?

Vous pensez que c'est de la science fiction ?

2 jours de coupure complète d'un data center Amazon en 2011 :

Amazon explique ainsi que la foudre a frappé directement l’un des transformateurs impliqués dans l’alimentation de ses centres de données à Dublin causant une explosion et un incendie. Normalement, cela n’aurait pas dû couper complètement l’alimentation sur une partie des serveurs comme cela est arrivé. Cependant, l’explosion était telle qu’elle s’est propagée à une portion du système de contrôle de phase qui synchronise les générateurs. Résultat pour Amazon : il a fallu intervenir manuellement sur les installations. Les réparations ont commencé le 8 août à 10h41 et les premières instances de services sont revenues le 9 août à 13h47. Amazon avait prévenu dans la foulée qu’il faudrait sans doute de 24 à 48 heures pour restaurer l’intégralité des instances et des volumes EBS.

Plusieurs centaines de To de données perdues par Google en 2015 :
Lors d’un incident particulièrement rare, la foudre a frappé quatre fois de suite un centre de données de l’entreprise en Belgique, provoquant la perte d’une partie des données des clients.

Les centres de stockage de données sont protégés contre un certain nombre de menaces, notamment celle de la foudre. Mais lundi, à 16h19, celle-ci s’est abattue à quatre reprises sur le data center belge, provoquant une brève panne de courant dans une partie de l’installation, explique Google dans un communiqué.
0.000001 % de données perdues

C’est là que sont stockés les systèmes du Google Compute Engine, ou GCE, qui permet à des entreprises, clientes de l’entreprise américaine, d’entreposer des données et de faire tourner des serveurs virtuels sur le cloud. Au plus fort de la crise, environ 5 % des systèmes one ont été touchés, mais grâce à l’intervention des techniciens, la proportion de données irrémédiablement perdues a été limitée à 0.000001 %, affirme Google.

Il n'y a pas de protection efficace à 100%, je ne connais pas la nature des incidents chez Amazon ou Google, mais Scaleway à mis toutes les chances de son coté avec une protection contre la foudre sur-dimensionnée.

Paratonnerres à dispositif d’amorçage Saint-Elme Type III de DC3


Scaleway a utilisé des Paratonnerres qui ont la capacité d'attirer la foudre sur eux, plutôt que d'espérer que la foudre préfère le point haut, sans avoir de garantie que la foudre ne touche pas ailleurs.

2 paratonnerres à dispositif d’amorçage Saint-Elme Type III  équipes DC3 et depuis que FreeMobile à mis une antenne sur le site, il y en a un troisième sur celle-ci.

Comme il y a un dispositif d'amorçage, il n'est pas nécessaire de mettre des mats très haut (comme le fait OVH qui n'a pas mis de dispositif d’amorçage)  :


Cette pointe Saint-Elme toute simple coûte 30 000 euros pièce...


vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #50 le: 23 octobre 2015 à 13:29:39 »
3 Paratonnerres pour DC3, c'est suffisant ?

Quand la foudre frappe, il y a 2 vecteurs d'ondes de choc :
 1- dans l'air
 2- via le sol


Dans le 1er cas, le cône de diffusion est restreint autour du lieu d'impact, le sommet du cône étant l'impact (en hauteur) et la base le sol. En conséquence, un bâtiment sous ce cône reçoit un champ électrique. Si quelque chose fait antenne, ça fera récepteur.

Exemple (vécu): impact de foudre sur le paratonnerre du bâtiment -> tous les moniteurs à tube du bâtiment ont grillé.

Dans le 2ème cas, c'est l'énergie de la foudre qui se diffuse dans le sol comme un caillou jeté dans l'eau : l'onde peut remonter par les installations relié à la terre et endommager les appareils connectés.

C'est pourquoi :
 - un paratonnerre ne protège pas du champ électrique mais de l'énergie (colossale) de la foudre qui est capable de détruire complètement un bâtiment
 - un parafoudre(1) sur une installation électrique protège dans le sens lignes électriques -> terre MAIS AUSSI de l'énergie éventuelle qui pourrait en venir

En pratique, personne ne le fait, mais le parafoudre est obligatoire lorsqu'un bâtiment proche est équipé d'un paratonnerre.

(1) il faut en réalité 3 parafoudres : Type I (hautes énergies Iimp=35kA, onde longue 10/350µs), Type II (énergie moyenne 5kA < Iimp <20kA, onde moyenne 8/20) et Type III (énergie faible Iimp<2,5kA, onde courte). Le Type I est en amont de l'installation, le Type III au plus proche de l’équipement à protéger. Un parafoudre doit protéger Phase, Neutre et Terre.



Source : Schneider Electric

Une « Terre en patte d’oies » prise à 80 mètres sous le sol !

Pour éviter le vecteur d'onde de choc via le sol (remonté via la terre), Scaleway à mis le site de DC3 au même potentiel (même terre). c'est possible car les transformateurs 20 000 volts sont sur le site. Il n'y a donc plus de risque remontée via la terre vu que c'est la même terre qui sert de référence pour l'électricité et le bâtiment.

Pour la terre, Scaleway a vu grand : c'est un trou de 80 mètres qui a été effectué. Le bout de métal injecté dans la terre est spécial et a un système au bout pour faciliter le passage du courant qui est appelé « Terre en patte d’oies ».

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #51 le: 23 octobre 2015 à 13:30:06 »
Un peu de doc : (cliquez sur les miniatures ci-dessous - les documents sont au format PDF)






vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #52 le: 23 octobre 2015 à 13:30:37 »
Les groupes électrogènes pour obtenir une certification Uptime Institute Tiers III ou Tiers IV

Merci Arnaud pour les différents éclaircissements. Peu de DC privés cherchent la certification de l'uptime institute et préfèrent appliquer la réglementation sans discuter quite à avoir un SPOF.
Concernant la certification, c'est avant tout un travail (conséquent) technique et technologique, c'est au maitre d'ouvrage ou à l'exploitant d'arriver au résultat tout en appliquant la réglementation locale. Le plus gros du boulot est surtout au niveaux des groupes électrogènes, la certification ne prends pas en compte (du tout) les arrivées électriques du data center et considère le data center et son niveau de redondance exclusivement sur groupe électrogène en production permanente.

La certification considère que le data center fonctionne exclusivement sur groupe électrogène en production permanente. Cela signifie que les pièces qui s'usent doivent pourvoir être changées sans avoir besoin d’arrêter le groupe.
Il faut aussi deux arrivées en carburant complèmentent distinct (secondes cuve, seconde canalisation pour apporter le carburant).

Savez-vous qu'un groupe électrogènes consomme de l'huile ? Un peu (1 litre par heure, c'est peu par rapport à la consommation de carburant qui est de 500 litres par heure a pleine puissance) et généralement une réserve en local est suffisante.
Là pour la certification, il faut une double arrivée d'huile !



Chaque groupe a une nourrice de 1000 litres de gazole qui se remplit quand elle arrive à 300 litres via un double circuit reliés à deux cuves (réserve pour 50 heures à pleine charge).

Pour l'huile, le carter contiens 220 litres d’huile soit (sans complèment automatique) un maximum 9 jours de fonctionnement continu.

Les deux arrivées de gazole et les deux arrivées d'huile :


Les sorties électriques du groupe :


vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #53 le: 23 octobre 2015 à 13:31:02 »
Chaque groupe électrogène a son propre Masterpact :


Chaque groupe fournir 1233 kW.
Avec l'extension et le passage à 5 onduleurs de 550kVA par chaîne électrique (soit 495 kW par onduleur - 2475 kW au total), il faut un second groupe pour porter la capacité de la chaîne à 2466 kW.

Le couplage est un couplage à Froid : Les deux groupes synchronisent leur phase à froid pour fournir ensemble 2475 kW. La perte d'un des deux groupes entraîne l’arrêt complet de la production.



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #54 le: 23 octobre 2015 à 13:31:31 »
Les pièces en rouge et blanc peuvent être changées sans avoir besoin d’arrêter le groupe :


Le filtre peut être purgé par le bas pour enlever les impuretés, sans avoir besoin d’arrêter le groupe :

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #55 le: 23 octobre 2015 à 13:31:57 »
Le groupe a deux démarreurs, deux blocs de batteries pour le démarrage, double ventilation,... tout est doublé et l’installation est bien réalisée (et insonorisée pour les voisins immédiats). Ce sont des moteurs diesels de bateau, assez simples, afin qu'il ne soit pas nécessaire de faire venir des experts étrangers pour les réparer. Les groupes électrogènes sont refroidis par l'air. Cela peut paraître bête, mais j'ai visité un data-center où c'est un refroidissement par eau, avec une piscine (et si la panne dure trop longtemps et que la piscine est trop chaude, le refroidissement se fait par eau de ville perdue)

Extraction de l'air chaud en redondance 2N :


Entrée de l'air dans le moteur :


vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #56 le: 23 octobre 2015 à 13:32:23 »
Sortie des gaz d’échappement :


Fumée du diesel au démarrage :



Chaque groupe est testé à vide, chaque mois, et en charge pendant 8 heures d'affilé.
Ces tests sont effectués en semaine et en journée, pour ne pas importuner les voisins.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #57 le: 23 octobre 2015 à 13:32:52 »
L'automate de contrôle du groupe

En cas de panne ERDF, les 10 premières secondes les groupes ne sont pas démarrés (la majorité des coupures font moins de 10 secondes). Les groupes électrogènes sont préchauffés et démarrent en 30 secondes.





Le bouton d’arrêt d'urgence du groupe :


vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Data center DC3 Scaleway: reportage photo de la visite
« Réponse #58 le: 23 octobre 2015 à 13:33:21 »
Le coût de construction d'un data center ?

Selon Arnaud Bermingham : Hors foncier (qui n'a au final que très peu d'impact), à la louche
- Redondance 2N => 5000€/m² net + 4000€ / kW^m² (+20% par kW au delà de 2 kW / m²)
- Redondance N+1 => 4500€/m² net + 2200€ / kW^m²
- Pas de redondance (N) => 3000 €/m² net + 2000€ / kW^m² (voir beaucoup moins)


Un résumé de DC3 en vidéo (vidéo Online) :




La doc de référence : La brochure "descritptif technique iliad DC3" : (cliquez sur la miniature ci-dessous - le document est au format PDF)

Les information dans le PDF inclues la future extension.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Antenne tube Free-Mobile
« Réponse #59 le: 23 octobre 2015 à 13:33:53 »
L'antenne tube Free-Mobile 3 secteurs du site et son paratonnerre au sommet

Un centre d'appel Free Mobile est situé dans le même bâtiment que le data-center. Ce site a une capacité de 400 places : 350 télé-conseillers et 50 personnes pour le support. Une équipe est composée de 20 télé-conseillers pour un superviseur et un "n2" technique. Il est ouvert 7 jour sur 7 et accueille 500 collaborateurs (plus de collaborateurs que de places car tous ne travaillent pas sur la même tranche horaire)

Pour ceux qui connaissent Centrapel sur Paris 8ème , là les canettes ne sont pas gratuites, par contre l'ambiance de travail est mieux pensée (à Paris ce sont des plateaux de 160 positions, 160 personnes au téléphone dans la même salle c'est très bruyant). Là ce sont des plus petites salles mais l'espace à disposition de chaque téléconseiller est restreint principalement à son ordinateur sous Linux Ubuntu.

Une antenne Free-Mobile 3 secteurs a été installée sur le parking :


Un curieux au pied du tube :


Les blocs du Lego NSN : les avantages de cette configuration : Il est facile de mettre en place ces blocs en haut d'un toit, alors qu'il faut une grue pour mettre une armoire traditionnelle.


Il n'y a eu aucune plainte des voisins pour le datacenter, mais dès que l'antenne FreeMobile a été posée, et avant même son branchement électrique, il y a eu des voisins qui étaient dérangés par les ondes imaginaires...

Vue aérienne du site avec l'antenne Free-mobile à droite :