Auteur Sujet: Photos de la visite du DataCenter DC3 d'Iliad à Vitry (94) (Lu 82970 fois)

vivien · « **le:** 16 septembre 2012 à 22:33:36 »

Lien vers le nouveau reportage sur DC3 : https://lafibre.info/scaleway/dc3-iliad/

Compte-rendu de la visite du DataCenter DC3 d'Iliad, ce dimanche 16 septembre

La visite (dans le cadre des journées du patrimoine) était très intéressante. Merci à Arnaud (@online_fr) pour les photos qui permettent d'illustrer mon récit.

Citation de: Nico le 04 septembre 2012 à 19:20:05

Il est clairement neuf, j'ai fait un paintball dedans il y a à peine plus d'un an. Après Online s'est installé dedans, ça fait déjà du monde.

Oui le datacenter est tout neuf. Il a ouvert il y a ... une semaine.
Il est donc presque entièrement vide (Online a commencé à mettre de nombreuses baies de serveurs HP équipés d'une seule alimentation et de deux disques dur de 3To - ce que je n'avais encore jamais vu pour des serveurs).

L'organisation de la visite :

Les chaussons sont obligatoires (sur-chaussure jetable) pour rentrer dans les salles pour éviter la poussière. C'est assez étonnant car la très grande majorité des data-center ne prennent pas ces précautions (il me semble me souvenir que Interixion 2, a Aubervilliers le demande mais a part ça , la dizaine de data-center où je suis rentré ne m'a jamais demandé de mettre des chaussons.

La visite a durée deux heures (par groupe de 15), j'ai eu le droit à la visite avec l'un des concepteurs du data-center (Iliad datacenter à son propre bureau d'étude, composé de 4 salariés). On était équipé chacun de badge électronique "visiteurs" avec passage dans l'unique sas (4 par 4 pour accélérer) et la pièce d’identité a été relevée à l'entrée.

Très bon accueil , avec hot-dog / fritte / glace gratuite à la sortie.

Répartition de l'espace :

Le DataCenter Iliad DC3 de Vitry-sur-Seine fait 11 800m2 (j'inclus les surfaces pour la production d'énergie et de froids).

Il composé principalement de 4 grandes salles de 1600m² (17m par 95m) d'une capacité de 1900 baies). Dans chaque salle il y a des divisons par une cloison grillagée afin de créer des espaces de 250m² loués a un seul client.
Au total avec les petites sales, le DataCenter propose 22 suites privatives de 250m² équipées de 2x 320 kw d'énergie.

Une des grande grandes salles de 1600m² :

Ce datacenter ne propose pas de location a la baie ou < 250m² (au maximum il peut avoir 22 clients, des grosses entreprises ou des PME avec de gros besoins en hébergement)
Pour louer à des baies ou des 1/2 baies, Iliad a d'autres Datacenter.

Innovation Iliad : Les bouton poussoir pour couper une armoire électrique sont non seulement protégés pour éviter un déclenchement en s'appuyant sur une armoire et il faut appuyer simultanèment sur les deux boutons rouge pour arrêter le courant (cela limite le risque de déclenchement par erreur mais rend pus difficile un arrêt d'urgence)

C'est un data-center certifié "Tier-4" avec une redondance systématique en 2N.

vivien · « **Réponse #1 le:** 16 septembre 2012 à 22:41:23 »

Lien vers le nouveau reportage sur DC3 : https://lafibre.info/scaleway/dc3-iliad/

Energie :

Le site est dimensionné pour 18mw (détail ci-dessous) mais dispose d'une double arrivée ERDF 20 000 V de capacité 27,6 MVA,

Il est composé de 6 transformateurs 20 000 v / 400v de 3200kVA (les mêmes que ceux qu'utilise ERDF, à très haut rendement). Ils utilisent une huile végétale naturelle qui améliore le rendement des transformateurs (ne me demandez pas pourquoi). Économie supplèmentaire, ces transformateurs sont placés à l'extérieur, il ne nécessitent aucune énergie pour le refroidissement.

Les 6 transformateurs :

Les circuits électriques sont avec un code couleur :
- Rouge => Alimentation de 2500 kW N°1 des suites privatives N°1 à N°11
- Jaune => Alimentation de 2500 kW N°2 des suites privatives N°1 à N°11
- Vert => Alimentation de 2500 kW N°1 des suites privatives N°12 à N°22
- Bleu => Alimentation de 2500 kW N°2 des suites privatives N°12 à N°22
- Noir => Alimentation de la première chaîne de froid
- Blanc => Alimentation de la seconde chaîne de froid

Chaque "couleur" a son transformateur de 3 mégawatt et son groupe électrogène de 1,5 mégawatt 400v (deux groupes électrogènes de 1,5 mégawatt quand le site va monter en charge, aujourd'hui seul le premier est installé).

En cas de coupure ERDF, l'ensemble des groupes sont sollicités, chacun reprenant la partie concernant son transformateur, ce qui change des installations complexes ou tout est partagé.
Chaque groupe est testé a vide chaque mois et en charge tous les trimestre (cette opération est toujours faite le week-end)

En cas de panne d'un groupe électrogène, un jeu de barre permet que le circuit d’alimentation noir remplace un circuit d’alimentation rouge/jaune/vert/bleu. Dans ce cas là, la seconde chaîne de froid est arrêté.

En cas de panne d'un second groupe, on perd une des double alimentation dans la moitié du data-center. Les serveurs avec deux alimentations sont alimentés en permanence par deux groupes donc ils resteront allumés. Pour les serveurs avec une seule alimentation, Iliad Datacenter fourni une prise multiple dont j'ai oublié le nom qui est raccordé aux deux alimentation (par exemple le circuit rouge et le circuit jaune) avec un temps de commutation très court qui font que les serveurs ne voient rien.

Jusqu'à présent seul ERDF pouvait vendre du courant et les DataCenter ne pouvaient le refacturer au kw a leur client. Le contournement consistait a leur vendre une puissance (6A, 10A, 16A, 20A, 25A...) mais le prix payé était fixe quel que soit la consommation réelle.

Il y a eu une évolution récente et maintenant est possible de refacturer l'énergie. Chaque mini-dijoncteur de 20A dispose ainsi de son propre compteur qui est relevé a distance et facturé au client en incluant le coût de la climatisation.

Il y a 4 TGBT, dans 4 salles différentes et dédie a cet usage (vous avez compris, une salle par couleur sachant que chaque baie est alimentée par deux couleurs) équipés de plusieurs Masterpack de 1000A, 6 onduleurs par "couleur" et de batteries pour une autonomie de 10 minutes. La puissance de chaque salle est de 2500 kW. Il y a deux automates par salle (en cas de panne de l'automate primaire, complètement informatisé, il est possible de passer sur un deuxième automate de secours moins informatisé).

L'entrée des 4 TGBT, avec écran pour surveilles les alarmes :

L'intérieur du TGBT "D" :

Un des nombreux "master pack" qui a fait parler de lui avec la panne sur TH2 du 11 avril 2012 :

L'automate primaire "BIG BOSS" du TGBT "D" :

Les onduleurs du TGBT "D" :

Les batteries du TGBT "D", pour laisser le temps aux groupes de démarrer :

En cas de panne ERDF, les 10 premières secondes les groupes ne sont pas démarrés (la majorités des coupures font moins de 10 secondes). Les groupes électrogènes sont préchauffés et démarrent en 30 secondes. Ils ont une nourrice de 1000 litres de gazole qui se rempli quand elle arrive a 300 litres via un double circuit reliés à deux cuves (réserve pour 50 heures à pleine charge). Le groupe a deux démarreur, deux blocs de batteries pour le démarrage, double ventilation,... tout est doublé et l’installation est bien réalisée (et insonorisée pour les voisins immédiats). Ce sont des moteurs diesels de bateau, assez simple, afin qu'il ne soit pas nécessaire de faire venir des experts étrangers pour le réparer. Les groupes électrogènes sont refroidis par l'air. Cela peux paraître bête, mais j'ai visité un data-center ou c'est un refroidissement par eau, avec une piscine (et si la panne dure trop longtemps et que la piscine est trop chaude, le refroidissement se fait par eau de ville perdue)

Les cuves avec au fond le mur anti-bruit qui entoure les 10 centrales de traitement d'air :

Aspect green : Les 20 onduleurs ne sont pas on-line, mais line-interactive : ils ne sont utilisés qu'en cas de coupure du courant ERDF, d'où un gain évident, ces équipements ayant un rendement loin de 100% surtout avec des charges < 50% de la capacité. Habituellement, dans un datacenter on transforme systématiquement le courant alternatif en courant continue avant de le re-transformer en courant alternatif, d'où des pertes d'énergie. Dans ce datacenter, le rendement énergétique global supérieur à 97,3% depuis les arrivées haute tension jusqu'aux infrastructures client.

Iliad ne fait pas de redressement du cos phi, aujourd'hui les serveurs ont une alimentation avec un cos phi de 1, il n'est pas nécessaire de mettre des équipements pour empêcher les pénalités ERDF. Certains serveurs ont même une alimentation en inductif (il y a 10 ans ce n'était pas du tout le cas)

A gauche Le cos phi du datacenter DC3 équipé de serveurs Dell et HP uniquement.
A droite le cos phi d'un datacenter équipé de serveurs avec alimentation de très mauvaise qualité (procès en cours)

vivien · « **Réponse #2 le:** 16 septembre 2012 à 22:41:46 »

La climatisation :

Le froid est distribué dans le data-center via un circuit de distribution d'eau glacée bouclé et 35 armoires de climatisation de 200kW classique. La grande partie du datacenter est vide (même pas de baie) mais là où elles sont installées, c'est un système de baies avec allée froide sur-pressurisée, les emplacements inutilisés des baies étant fermés avec de la tôle et des portes automatiques complètent le dispositif à chaque bout (on met plusieurs rangées de baies dans une suite privative de 250m²).

Une rangée de serveurs Online Dedibox DC/QC (HP Proliant DL120) :

Une rangée de serveur Online Dedibox SC (Dell XS11-VX8) :

L'air frais est injecté par le faux plancher (avec le réseaux électrique). Le faux plancher est très haut 110 cm de haut !. Il n'y a pas de faux plafond dans ces salles. L’arrivée des fibres / cuivre passe par le haut des baies par des chemins de câbles suspendus.

Chaque salle de 1600m² a deux arrivées fibres provenant des deux salles telecoms (meet-me-room) où les opérateurs de transit installent leurs routeurs afin de desservir les clients. A noter que l'installation d'un opérateur se fait impérativement dans les deux meet-me-room afin d'avoir systématiquement une redondance 2N sur la partie infrastructure réseau.

Une des deux salles telecom où les fibres arrivent depuis l'extérieur du bâtiment :

Physiquement il y a deux arrivées fibres sur le data-center situées chacun dans une salle telecom, toutes deux a l'autre bout du bâtiment l'une de l'autre. Free a une boucle optique pour relier ses différents data-center et son cœur de réseau.

5 groupes froids Carrier sont installés pour les serveurs (Une extension avec un 6ème groupe froid est possible), et deux plus petits carrier pour refroidir les deux salles telecom, les onduleurs et les couloirs. Au total la production frigorifique atteint 11,8 MW. Le gaz frigorifique utilisé est le R134A, sans impact sur l'environnement. Comme vous avez vu chaque chaîne de groupe froid a son propre transformateur de 3 MW et ses propres groupes électrogènes (2 groupes électrogènes par chaîne de froid quand le site se remplira).

Les groupes froids Carrier :

Les pompes : (la conception a été réalisée de façon à nécessiter le minimum de puissance de pompage)

L'automate :

Les 10 centrales de traitement d'air (drycoolers) utilisent un échangeur avec l'air sur-dimensionné afin de faire tourner les ventilateurs lentement pour limiter la nuisances sonore pour les voisins (on est en pleine ville). 18MW de capacité par 40C extérieurs. Le tout est mis dans une enceinte de 7 mètres de haut insonorisée. L’arrivée d'air se fait par des tunnels insonorisés au niveau du sol. Le système est extrêmement silencieux et ils se demandent si il était nécessaire de dépenser autant en insonorisation.

L'eau utilise pour le circuit de refroidissement est composé à 30% de glycol afin d'être hors gel. (pourtant sur le site web, ils mettent "utilisation d'eau pure non glycolée")

Test du DataCenter en charge :

Aspect green :
- Température supérieure à 15°c (la moitié de l'année) : climatisation classique via groupes.
- Température extérieure < 15°c (4 mois dans l'année) : Un échangeur va permettre de récupérer des calories à l'eau chaude qui sort des salles serveur avant de passer dans les groupes froids.
- Température extérieure < 5°c (2 mois de l'année) : L'échangeur suffit à refroidir suffisamment l'eau froide qui repart vers les salles machines. On est en 100% freecooling. Le PUE attendu pendant ces deux mois est de 1,25 (pour 100w consommé par les serveurs, le data-center consomme 125w).
Les DataCenter datant de 1990 ont un PUE proche de 2 (pour 100w consommé par les serveurs, le data-center consomme 200w)

Les échangeurs sont de couleur bleu (un par chaîne de froid) :

vivien · « **Réponse #3 le:** 16 septembre 2012 à 22:41:59 »

Le système avancé de détection incendie VESDA LASER et de suppression incendie par brouillard d'eau :

Adieu le gaz FM200 ou l'Azote qui bloque l'incendie en diminuant fortement le % d’oxygène dans l'air. Il aurait été coûteux de les utiliser sachant que les salles font 1600m² et sont très hautes de plafond (anciens entrepôts). En effet ces bouteilles coûtent une fortune à recharger et il est impossible de relâcher le gaz FM200 dans l’atmosphère, il faut faire venir une entreprise spécialisée pour le récupérer.

Pour survivre, un incendie a besoin des trois éléments du triangle du feu, à savoir : l’oxygène, la chaleur et un matériau combustible. L’élimination de l’un d’eux peut inhiber ou éteindre le feu.

Free a choisit d'éteindre un éventuel incendie via de... L'eau ou plutôt un brouillard d'eau.
Le brouillard d’eau à haute pression parvient à supprimer deux éléments du triangle – la chaleur et l’oxygène –, en diffusant l’eau à une pression de 130 bars grâce à des buses spéciales. Ce sont des "têtes fermées" : seules celles exposées au feu s’ouvrent et libèrent ainsi le brouillard d’eau. La diffusion ne se fait donc pas dans l'ensemble de la salle de 1600m² mais à l'endroit ou la chaleur dépasse 55°c sur la buse (située en hauteur). La chaleur de 55°c n'est pas le seul élèment nécessaire pur déclencher l'arrosage : il faut également le déclenchement de l'alarme incendie (via des tuyaux qui reniflent l'air qui est ensuite analysé dans une station où se rejoignent tous les tuyaux de la salle de 1600m².

Test de la suppression incendie par brouillard d'eau sur le transformateur rouge :

Bon je suis un peu perplexe sur le brouillard d'eau, mais il n’abîme pas les serveurs d’après ce que j'ai compris (ils continuent de fonctionner, l’alimentation en énergie n'est pas coupée). Schématiquement, l’accroissement de la pression, en diminuant la taille des gouttelettes, créée un phénomène de brumisation qui se déploie sur une surface élargie. La vapeur d’eau dégagée absorbe la chaleur et déplace l’oxygène qui alimentent le feu, conduisant à le contenir puis l’éteindre. Plus cette surface est importante, plus le système est efficace pour réduire la température et l’oxygène dans la zone des flammes. Selon les applications, grâce au principe de brumisation, le débit en eau de chaque buse peut tomber jusqu’à seulement 1 litre d’eau par minute. Et la présence de vapeur d’eau permet l’agglomération des particules de fumée réduisant ainsi les dommages causés par celle-ci.

Iliad a opté pour un système à réservoir d'eau avec une pompe fournissant une pression de 130 bars. Afin de réduire les risques d'inondations, le système est en permanence sous pression avec de l'air. L'eau n'est injectée dans le système qu'en déclenchement des alarmes qui analysent l'air et y détectent un incendie.

Visite de la hotline Free-mobile

Le site est un data-center mais aussi un site pour le support de Free-mobile et les équipes ressources humaines de Free sont là pour nous indiquer qu'ils recrutent, qu'il ne faut pas hésiter à en parler à nos connaissances. On est invité à laisser notre adresse e-mail pour être joint par Free (pas d'entretien d'embauche sur place).

Le site de Vitry situé dans le même bâtiment que le data-center accueille 400 places pour Free-mobile : 350 télé-conseilers et 50 personne pour le support. Une équipe est composée de 20 télé-conseiller pour un superviseur et un "n2" technique. Il est ouvert 7 jour sur 7 et accueil 500 collaborateurs (plus de collaborateurs que de places car tous ne travaillent pas sur la même tranche horaire)

Pour ceux qui connaissent Centrapel sur Pais 8, là les canettes ne sont pas gratuites, par contre l'ambiance de travail est mieux pensée (à Paris ce sont des plateaux de 160 positions, 160 personnes au téléphone dans la même salle c'est très bruyants). Là ce sont des plus petites salles mais l'espace à disposition de chaque téléconseiller est restreint principalement à son ordinateur sous Linux Ubuntu.

Une affiche est présente sur tous les postes : il ne faut pas parler de "Free Mobile" mais de "L'offre mobile de Free", une différence subtile dans la communication de Free.

Merci aux équipes d'Iliad infrastructure et à la filiale qui gère les appels Free Mobile pour la visite

Cet article et les photos qui l'illustrent est publié sous la licence Creative Commons CC BY-SA 4.0, afin de permettre sa diffusion par les autres médias (il faut citer l'auteur, Vivien GUEANT, mettre un lien vers cet article et réutiliser la même licence).
Tutoriel pour comprendre comment reprendre un contenu CC BY-SA 4.0.

Lien vers le nouveau reportage sur DC3 : https://lafibre.info/scaleway/dc3-iliad/

Optrolight · « **Réponse #4 le:** 16 septembre 2012 à 22:57:42 »

Merci vivien pour ce compte rendu.

L'eau glycolée n'est pas surprenant par contre il implique une vérification de l'installation par une boite assermenté pour vérifier qu'il n'y a pas de fuite.

Pour le brouillard d'eau je trouve cela bien pensé. En effet, les équipements de pompier se basent sur ce système. En effet j'ai déjà vu la démonstration d'un canon à eau qu'il pulvérise l'eau en brouillard. L’efficacité sur un feu est vraiment impressionnante. Et cela utilise peu d'eau.
Je pense en effet qu'il n'y a pas de problème avec les serveurs. Leur chaleur interne fait que l'eau se vaporise et donc aucun court circuit !!

butler_fr · « **Réponse #5 le:** 16 septembre 2012 à 23:08:43 »

très sympa ce compte rendu, merci!

comme ça ça fait plutôt bien foutu et bien pensé comme datacenter!

seb · « **Réponse #6 le:** 17 septembre 2012 à 00:00:16 »

Citation de: vivien le 16 septembre 2012 à 22:33:36

C'est assez étonnant car la très grande majorité des data-center ne prennent pas ces précautions (il me semble me souvenir que Interixion 2, a Aubervilliers le demande mais a part ça , la dizaine de data-center où je suis rentré ne m'a jamais demandé de mettre des chaussons.

Pas de sur-chaussures chez Globalswitch à ~~Saint-Denis~~ Clichy (du moins pas fin 2009 - début 2010), mais il y a des tapis "collants" dans les sas pour retenir les cochonneries présentes sous les semelles.
Par contre, c'est assez étonnant de se protéger des poussières sous les pieds, mais de ne pas rendre le port d'une blouse et d'une charlotte obligatoire.

Enfin, ce n'est pas un mal ces précautions, vu que ce genre de salle a rarement la visite d'un aspirateur.

Tiens, dans le genre trucs à ne pas faire, un ancien client a fait réaliser des travaux de renforcement du plancher dans une de ses salles serveurs, et les ouvriers ont percé une multitude de trous dans la dalle en béton ... sans aucune précaution.
Résultat : une sympathique couche de poussière de ciment sur (et sans doute dans) la plupart des équipements qui se trouvaient à proximité.

Nico · « **Réponse #7 le:** 17 septembre 2012 à 00:05:35 »

Globalswitch Clichy non ?

Sinon il y a ces trucs collants à TH3 aussi, et cette histoire de surchausse dans les InterXion et les DC Iliad à ma connaissance.

seb · « **Réponse #8 le:** 17 septembre 2012 à 01:05:18 »

Oui, oui, c'est à Clichy, j'ma gouré.

miky01 · « **Réponse #9 le:** 17 septembre 2012 à 10:33:02 »

Citation de: Optrolight le 16 septembre 2012 à 22:57:42

Pour le brouillard d'eau je trouve cela bien pensé. En effet, les équipements de pompier se base sur ce système. En effet j'ai déjà vu la démonstration d'un canon à eau qu'il pulvérise l'eau en brouillard. L’efficacité sur un feu est vraiment impressionnant.

En pratique, cela ne se passe pas toujours aussi bien...

J'ai eu le cas chez un client qui utilise ce système, il s'est déclanché suite a un onduleur qui a cramé (une capa de filtrage ou l'huile s'est enflamée), le brouillard d'eau a bien empèché la propagation de l'incendie mais l'a pas arreté, c'est les pompiers qui en sont venu a bout avec des extincteurs a CO2

L'UPS était détruit et tous les serveurs de la salle on du etre arreté, il a fallu 2 jours de nettoyage intensif de tous les seveurs endomagé par les poussières, l'eau, sans compter les cables et fibres brulés qui se touvaient dans le passage suspendu proche de l'onduleur.

L'extinction a gaz est plus cher, mais plus efficace pour un datacenter.

loubs · « **Réponse #10 le:** 17 septembre 2012 à 17:15:57 »

Mdrrrr les cannettes ne sont pas gratuite !!! Tout dépend on va a quel étage a paris 8

Merci pour les photos

Optrolight · « **Réponse #11 le:** 17 septembre 2012 à 17:25:10 »

Mais la fibre.info fait parler de lui !!!

http://www.universfreebox.com/article18241.html

Citer

A cette occasion, La Fibre.info propose un compte rendu de la visite du Datacenter DC3 d’Iliad. Tout juste construit, ce lieu est très sécurisé et les photos en sont interdites. Chaussons anti poussière au pied, la rédaction de lafibre.info a pu profiter d’une visite de deux heures par petits groupes dans le DataCenter Iliad DC3 de Vitry-sur-Seine de 11 800m2. Composé de 4 grandes salles d’une capacité de 1900 baies, chaque espace loué est dissocié représentant ainsi un grand nombre de suites privatives.

Grosse rédaction en effet avec au moins ....... une personne !!!!!!