Auteur Sujet: Data center DC3 de Scaleway: reportage photo de la visite  (Lu 175753 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #36 le: 23 octobre 2015 à 13:19:12 »
Mission N°4 d'un data center : Énergie

Petit rappel des quatre principales missions d'un data center :
- Sécurité (contrôle d'accès, extinction des incendies, protections des agressions extérieures tels que foudre ou inondations)
- Interconnexion (Offrir une possibilité de se connecter à des réseaux de manière sécurisée)
- Climatisation (garantir une température constante)
- Énergie (garantir une alimentation en énergie sans aucune coupure, même en cas d'incendie)


Les armoires électriques situées à proximité des serveurs :

Chaque mini-dijoncteur de 20A dispose ainsi de son propre compteur qui est relevé à distance et facturé au client en incluant le coût de la climatisation :


Il y a quelques années les data center ne pouvaient refacturer au kw à leurs clients. Le contournement consistait à leur vendre une puissance (6A, 10A, 16A, 20A, 25A...) mais le prix payé était fixe quel que soit la consommation réelle.

Aujourd'hui avec l'arrivée d'instruments de mesure de la consommation certifiés MID (Directive européenne 2004/22/CE) c'est possible.
Obligation légale :On ne peut facturer une unité de mesure (que ça soit du poids, de l’énergie, un volume etc…) que si l’unité de mesure à été mesurée, validée et plombée.
Tous les datacenters qui facturent de l’énergie sans respecter la directive européenne sont dans … l’illégalité :)

Vous avez remarqué ? Il n'y a pas de protections différentielles à 30mA !

Il y a beaucoup de spécificité électrique dans un data center, et cela commence avec ces disjoncteurs qui ne sont pas différentiels, alors que le data center DC3 est pourtant bien conforme NF C 15-100 et code du travail.

Arnaud de Bermingham CEO de Scaleway explique la recherche de la fiabilité maximum qui a poussé à mettre ce type de matériel :

Donc si y'en n'a pas, c'est qu'on est en présence de régime IT.
Merci Arnaud pour les différents éclaircissements. Peu de DC privés cherchent la certification de l'uptime institute et préfèrent appliquer la réglementation sans discuter quite à avoir un SPOF.

Hello,

Non, régime TN-S. Le régime IT est vraiment à proscrire en data center, personne ne fait ça (sauf quelques vieux sites FT construits dans les années 70) car la recherche de défaut vire au cauchemars compte tenu du nombre de terminaux.  Et beaucoup de contraintes règlementaires.
Il est tout à fait possible en TN-S de ne pas avoir de disjoncteurs différentiels. Il suffit juste de bien lire la réglementation et de ne pas céder aux lobbys de Schneider Electric sur ce sujet. A noter, la France est le seul pays au monde à "imposer" des protections différentielles à 30mA sur chaque circuit de prise.

Concernant la certification, c'est avant tout un travail (conséquent) technique et technologique, c'est au maitre d'ouvrage ou à l'exploitant d'arriver au résultat tout en appliquant la réglementation locale. Le plus gros du boulot est surtout au niveaux des groupes électrogènes, la certification ne prends pas en compte (du tout) les arrivées électriques du data center et considère le data center et son niveau de redondance exclusivement sur groupe électrogène en production permanente.

Une fois l'extension terminée, DC3 c'est :
- 2 arrivées électriques 20 000 V de 18 MW de capacité chacune,
- 6 chaînes électriques (Blanc / Noir / Rouge / Jaune / Bleu / Vert) de 2,5 MW (répartition Tier IV de type 2N+1) équipées chacune :

  • d'un transformateur 20 000 v haut rendement à huile végétale naturelle
  • de deux groupes électrogènes en couplage (synchronisation à froid - la perte d'un groupe entraîne la perte de la chaîne)
  • Pour les chaînes Rouge / Jaune / Bleu / Vert uniquement : 5 onduleurs line-interactive de 550 kVa répartis en formation parallèle offrant un total de 2,5 MW. Technologie ESS, très haut rendement (>99%)

Les chaînes Noir et Blanc n'ont pas d'onduleurs, car elles sont utilisées pour les 2 chaînes de climatisation. En cas de perte d'un groupe, les chaînes Rouge / Jaune / Bleu / Vert peuvent utiliser le transformateur / groupes des chaînes noir ou blanc, avec pour conséquence la perte d'une chaîne de climatisation : Un "jeu de barre" permet de connecter les 4 chaînes IT aux chaînes noir ou blanc.

En cas de panne d'un second groupe, on perd soit une des double alimentation dans la moitié du data-center soit les deux chaînes de froids. En cas de panne d'un troisième groupe, on perd la climatisation et une des double alimentation dans la moitié du data-center.

Online promet un rendement énergétique global supérieur à 97,3% depuis les arrivées haute tension, jusqu'aux infrastructures du client.

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #37 le: 23 octobre 2015 à 13:20:22 »
TGBT : disjoncteurs, onduleurs et batteries

Entrée des TGBT des chaînes jaune, bleu et vert :


Vannes de pré-action pour le systèmes d'extinction incendie par brouillard d'eau :


vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #38 le: 23 octobre 2015 à 13:20:50 »
A la demande générale du groupe, on a demande à visiter le TBGB de la chaîne rouge : Tout est rouge au cas où on oublierait dans quelle salle on est !

Les batteries :

Au fond à droite : les batteries pour une autonomie actuelle de 21 minutes environ.

L’autonomie en fin de vie des batteries : (dans 10 ans environ)
- 8 minutes fin de vie  à 100% de charge à 21°C constant
- 15 minutes fin de vie à 75% de charge de charge à 22°C constant

Au premier plan à droite, l'emplacement des batteries pour l'extension du data center avec les salles 1 et 2 :


Le TGBT Jaune, il y a 3 ans :


vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #39 le: 23 octobre 2015 à 13:21:27 »
Les onduleurs :

Les onduleurs 550 kVA en formation parallèle. Il y aura 20 onduleurs au total pour DC3, une fois l'extension réalisée.


Aspect green : Les 20 onduleurs ne sont pas on-line, mais line-interactive : ils ne sont utilisés qu'en cas de coupure du courant ERDF, d'où un gain évident, ces équipements ayant un rendement loin de 100% surtout avec des charges < 50% de la capacité. Habituellement, dans un data center on transforme systématiquement le courant alternatif en courant continue avant de le re-transformer en courant alternatif, d'où des pertes d'énergie. Dans ce data center, le rendement énergétique global supérieur à 97,3% depuis les arrivées haute tension jusqu'aux infrastructures client.

Explication de leon_m sur le fait que l'utilisation d'onduleurs "line interactive" ne pose aucun problèmes aux alimentations des serveurs :

Je pense que les data centers, c'est un domaine où on a longtemps pensé en "trop fort n'a jamais manqué". Donc on utilisait des solutions éprouvées, super fiables, mais pas forcèment efficaces, pas optimisées. Les onduleurs à double conversion (on line) sont les onduleurs qui fournissent la meilleure "prestation" : tension de sortie parfaitement stable et propre, indépendante de la tension d'entrée. Mais c'est cher, complexe, et avec un rendement pas terrible.
L'onduleur "line interactive" est moins performant (il réagit moins vite), mais c'est tout à fait acceptable, et surtout, il a un rendement exceptionnel.
Un data center équipé d'onduleur "en ligne" sera jugé plus performant, de meilleure qualité qu'un data center avec du "line interactive", même si ça n'est pas justifié! On considère très souvent à tort que les équipements informatiques sont des équipements très sensibles du point de vue alimentation, mais c'est faux: les alimentations modernes des PC/serveurs supportent assez bien les variations (raisonnables) de tension, ou les micro coupures (quelques millisecondes). Pareil: les variations de fréquences du courant 50Hz sont sans impact sur les PC, alors qu'elles dérangent beaucoup d'autres équipements (micro ondes, ou autre).

Pour caractériser les performances d'un onduleur, comme pour caractériser la tolérance d'une alim de serveur/PC fâce aux variations de tension, on utilise ce genre de courbes.



Scaleway ne fait pas de redressement du cos phi, aujourd'hui les serveurs ont une alimentation avec un cos phi de 1, il n'est pas nécessaire de mettre des équipements pour empêcher les pénalités ERDF. Certains serveurs ont même une alimentation en inductif (il y a 10 ans ce n'était pas du tout le cas)

A gauche Le cos phi du data center DC3 équipé de serveurs Dell et HP uniquement.
A droite le cos phi d'un data center équipé de serveurs avec alimentation de très mauvaise qualité (procès en cours)

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #40 le: 23 octobre 2015 à 13:22:11 »
Les disjoncteurs de 4000 ampères "Compact"

Ce sont de gros disjoncteurs de 4000 ampères... On a beaucoup parlé d'eux quand TH2, là où le gros du trafic français est échangé, à incriminé une coupure électrique au 1er étage à un Masterpact (c'est contesté par des experts)



Tous ces disjoncteurs "Compact" sont motorisés : il n'est pas nécessaire de se déplacer pour le ré-armer.



361 Ampères qui passent actuellement :


vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #41 le: 23 octobre 2015 à 13:22:38 »
Big Boss : L'automate

C'est son nom ! C'est lui qui gère entièrement le TGBT


Arnaud nous montre que la chaîne rouge est reliée aux groupes rouges, mais aussi aux groupes noirs ou blancs en cas de panne.


L'écran d’accueil de Big Boss :

« Modifié: 24 octobre 2015 à 22:38:23 par Optrolight »

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #42 le: 23 octobre 2015 à 13:23:13 »
Climatisation des locaux technique

armoire . (Certification uptime toujours …)
Une CTA (centrales de traitement d’air) fait la climatisation de la salle. La CTA est située au dessus de la salle. En plus des registres et filtres pour le freecooling à air quand il fait moins de 19°c à l’extérieur, elle est équipée d’une batterie à eau glacée pour climatiser l'été.

Pour la certification Uptime institute, une redondance 2N est nécessaire et voici l'armoire de climatisation traditionnelle de secours (jamais utilisée en pratique, sauf panne ou maintenance de la CTA) :


Extraction de l'air au dessus des onduleurs . L'air frais de la CTA (centrales de traitement d’air) est introduit dans le faux plancher, comme une climatisation traditionnelle :


vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #43 le: 23 octobre 2015 à 13:23:29 »
La redondance des chaînes électriques chez DC3

En cas de perte d'un transformateur ou d'un groupe électrogène, il y a la chaîne blanc ou noir qui peut prendre le relais (on perd alors une des deux chaîne de climatisation).

En cas de perte de la chaîne à cause d’élèment plus bas au niveau du TGBT, aucune coupure ne sera à déplorer sur les serveurs, car ils sont toujours alimenté par une autre chaîne : la double alimentation ou la sécurisation via un commutateur de transfert automatique est généralisée : les autres chaînes passeront d'une charge à 75% à 100%.

Pour comprendre comment une charge à 75% des onduleurs en régime nominal est possible voici un tableau exemple qui explique comment sont connectées les salles de DC3.

Fonctionnement en régime nominal (ces chiffres inclut l'extension de DC3 avec les sales 1 et 2) :


Les chiffres sont exprimés en kW  Conso TotaleConso RougeConso VertConso BleuConso Jaune
Salle opérateur 1234117117
Salle opérateur 2234117117
Salle 1-1 (180m²)234117117
Salle 1-2 (180m²)234117117
Salle 1-3 (180m²)234117117
Salle 1-4 (180m²)234117117
Salle 2-1 (250m² – 132 baies)325162,5162,5
Salle 2-2 (250m² – 132 baies)325162,5162,5
Salle 2-3 (250m² – 132 baies)325162,5162,5
Salle 2-4 (250m² – 132 baies)325162,5162,5
Salle 2-5 (250m² – 132 baies)325162,5162,5
Salle 2-6 (250m² – 132 baies)325162,5162,5
Salle 3-1 (250m² – 132 baies)325162,5162,5
Salle 3-2 (250m² – 132 baies)325162,5162,5
Salle 3-3 (250m² – 132 baies)325162,5162,5
Salle 3-4 (250m² – 132 baies)325162,5162,5
Salle 3-5 (250m² – 132 baies)325162,5162,5
Salle 3-6 (250m² – 132 baies)325162,5162,5
Salle 4-1 (250m² – 132 baies)325162,5162,5
Salle 4-2 (250m² – 132 baies)325162,5162,5
Salle 4-3 (250m² – 132 baies)325162,5162,5
Salle 4-4 (250m² – 132 baies)325162,5162,5
Salle 4-5 (250m² – 132 baies)325162,5162,5
Salle 4-6 (250m² – 132 baies)325162,5162,5
Autre – divers – marge17142,7542,7542,7542,75
Total :74251856,251856,251856,251856,25
Les chiffres sont exprimés en kW  Production Totale   Production Rouge   Production Vert   Production Bleu   Production Jaune   
Onduleur 550kVA N°1495495
Onduleur 550kVA N°2495495
Onduleur 550kVA N°3495495
Onduleur 550kVA N°4495495
Onduleur 550kVA N°5495495
Onduleur 550kVA N°6495495
Onduleur 550kVA N°7495495
Onduleur 550kVA N°8495495
Onduleur 550kVA N°9495495
Onduleur 550kVA N°10495495
Onduleur 550kVA N°11495495
Onduleur 550kVA N°12495495
Onduleur 550kVA N°13495495
Onduleur 550kVA N°14495495
Onduleur 550kVA N°15495495
Onduleur 550kVA N°16495495
Onduleur 550kVA N°17495495
Onduleur 550kVA N°18495495
Onduleur 550kVA N°19495495
Onduleur 550kVA N°20495495
Total :99002475247524752475
75 % du total74251856,251856,251856,251856,25

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #44 le: 23 octobre 2015 à 13:24:02 »
Simulation de la perte de la chaîne rouge

On va maintenant prendre un exemple d'incident grave avec la perte d'une chaîne.

Cela permet de voir comment la charge est répartie sur les 3 autres chaînes. Une partie des salles perdent une alimentation sur les deux, mais jamais les deux.
Les 3 chaînes restantes passent à 100% de leur capacité.

Les chiffres sont exprimés en kW  Conso Totale          Conso Rouge          Conso Vert          Conso Bleu          Conso Jaune
Salle opérateur 12340234
Salle opérateur 2234117117
Salle 1-1 (180m²)234117117
Salle 1-2 (180m²)2340234
Salle 1-3 (180m²)2340234
Salle 1-4 (180m²)234117117
Salle 2-1 (250m² – 132 baies)3250325
Salle 2-2 (250m² – 132 baies)325162,5162,5
Salle 2-3 (250m² – 132 baies)325162,5162,5
Salle 2-4 (250m² – 132 baies)3250325
Salle 2-5 (250m² – 132 baies)3250325
Salle 2-6 (250m² – 132 baies)325162,5162,5
Salle 3-1 (250m² – 132 baies)3250325
Salle 3-2 (250m² – 132 baies)325162,5162,5
Salle 3-3 (250m² – 132 baies)325162,5162,5
Salle 3-4 (250m² – 132 baies)3250325
Salle 3-5 (250m² – 132 baies)3250325
Salle 3-6 (250m² – 132 baies)325162,5162,5
Salle 4-1 (250m² – 132 baies)3250325
Salle 4-2 (250m² – 132 baies)325162,5162,5
Salle 4-3 (250m² – 132 baies)325162,5162,5
Salle 4-4 (250m² – 132 baies)3250325
Salle 4-5 (250m² – 132 baies)3250325
Salle 4-6 (250m² – 132 baies)325162,5162,5
Autre – divers – marge1710575757
Total :74250247524752475

Vous avez compris : en cas de perte d'une seconde chaîne, on va dépasser les 100% de charge et le système s'écroule. Ce cas a toutefois une probabilité très faible d'arriver. Si c'est une panne de groupe électrogène, il faut perdre 4 groupes sur les 6. Si on perd seulement 3 groupes, je suppose que Online privilégierait l’arrêt complet de la climatisation, pour éviter de couper les serveurs. En effet les groupes noir et blanc, ceux des deux chaînes de climatisation, peuvent servir à n'importe quelle chaîne IT en back-up.

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #45 le: 23 octobre 2015 à 13:25:06 »
Les 12 groupes électrogènes et les 6 transformateurs 20 000 volts

Il y a 3 ans: seuls 6 groupes étaient installés, la dalle de béton est préparée pour l'extension, des 6 groupes supplèmentaires


Aujourd'hui : (les 6 groupes supplèmentaires ne sont pas encore raccordés)



« Modifié: 24 octobre 2015 à 22:39:56 par Optrolight »

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #46 le: 23 octobre 2015 à 13:25:40 »
Pour comprendre la taille de ces groupes, vous pouvez voir un technicien qui est sur le groupe vert pour terminer l'installation :


Zoom :


vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Data center DC3 Scaleway: Énergie
« Réponse #47 le: 23 octobre 2015 à 13:26:22 »
Un transformateur et une couleur par chaîne électrique : (les chemins de câbles supérieurs sont en cours de construction pour raccorder le second groupe de chaque chaîne électrique)


Transformateurs 20 000 volts de 2,8 MW, utilisant une huile végétale naturelle.

Les transformateurs sont légèrement sur-dimensionnés pour optimiser le rendement et les pertes fer et fonctionner à pleine puissance par 42°C extérieurs.

Pourquoi une huile végétale naturelle ? J'ai eu deux explications :
- Certains dissent que cela améliore le rendement des transformateurs
- Certains expliquent que c'est pour limiter les produits toxiques


Économie supplèmentaire, ces transformateurs sont placés à l'extérieur, il ne nécessitent aucune énergie pour le refroidissement. Certains data center, généralement contraints par le manque de place, doivent placer les transformateur à l'intérieur et dépenser de l'électricité pour évacuer la chaleur produite.