La Fibre
Datacenter et équipements réseaux => Datacenter => 
Opcore / Scaleway Datacenter => Discussion démarrée par: vivien le 16 septembre 2012 à 22:33:36
-
Lien vers le nouveau reportage sur DC3 : https://lafibre.info/scaleway/dc3-iliad/
Compte-rendu de la visite du DataCenter DC3 d'Iliad, ce dimanche 16 septembre
La visite (dans le cadre des journées du patrimoine) était très intéressante. Merci à Arnaud (@online_fr) pour les photos qui permettent d'illustrer mon récit.
Il est clairement neuf, j'ai fait un paintball (http://www.universfreebox.com/article14199.html) dedans il y a à peine plus d'un an. Après Online s'est installé dedans, ça fait déjà du monde.
Oui le datacenter est tout neuf. Il a ouvert il y a ... une semaine.
Il est donc presque entièrement vide (Online a commencé à mettre de nombreuses baies de serveurs HP équipés d'une seule alimentation et de deux disques dur de 3To - ce que je n'avais encore jamais vu pour des serveurs).
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_1.jpg)
L'organisation de la visite :
Les chaussons sont obligatoires (sur-chaussure jetable) pour rentrer dans les salles pour éviter la poussière. C'est assez étonnant car la très grande majorité des data-center ne prennent pas ces précautions (il me semble me souvenir que Interixion 2, a Aubervilliers le demande mais a part ça , la dizaine de data-center où je suis rentré ne m'a jamais demandé de mettre des chaussons.
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_2.jpg)
La visite a durée deux heures (par groupe de 15), j'ai eu le droit à la visite avec l'un des concepteurs du data-center (Iliad datacenter à son propre bureau d'étude, composé de 4 salariés). On était équipé chacun de badge électronique "visiteurs" avec passage dans l'unique sas (4 par 4 pour accélérer) et la pièce d’identité a été relevée à l'entrée.
Très bon accueil , avec hot-dog / fritte / glace gratuite à la sortie.
Répartition de l'espace :
Le DataCenter Iliad DC3 de Vitry-sur-Seine fait 11 800m2 (j'inclus les surfaces pour la production d'énergie et de froids).
Il composé principalement de 4 grandes salles de 1600m² (17m par 95m) d'une capacité de 1900 baies). Dans chaque salle il y a des divisons par une cloison grillagée afin de créer des espaces de 250m² loués a un seul client.
Au total avec les petites sales, le DataCenter propose 22 suites privatives de 250m² équipées de 2x 320 kw d'énergie.
Une des grande grandes salles de 1600m² :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_1.jpg)
Ce datacenter ne propose pas de location a la baie ou < 250m² (au maximum il peut avoir 22 clients, des grosses entreprises ou des PME avec de gros besoins en hébergement)
Pour louer à des baies ou des 1/2 baies, Iliad a d'autres Datacenter.
Innovation Iliad : Les bouton poussoir pour couper une armoire électrique sont non seulement protégés pour éviter un déclenchement en s'appuyant sur une armoire et il faut appuyer simultanèment sur les deux boutons rouge pour arrêter le courant (cela limite le risque de déclenchement par erreur mais rend pus difficile un arrêt d'urgence)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_2.jpg)
C'est un data-center certifié "Tier-4" avec une redondance systématique en 2N.
-
Lien vers le nouveau reportage sur DC3 : https://lafibre.info/scaleway/dc3-iliad/
Energie :
Le site est dimensionné pour 18mw (détail ci-dessous) mais dispose d'une double arrivée ERDF 20 000 V de capacité 27,6 MVA,
Il est composé de 6 transformateurs 20 000 v / 400v de 3200kVA (les mêmes que ceux qu'utilise ERDF, à très haut rendement). Ils utilisent une huile végétale naturelle qui améliore le rendement des transformateurs (ne me demandez pas pourquoi). Économie supplèmentaire, ces transformateurs sont placés à l'extérieur, il ne nécessitent aucune énergie pour le refroidissement.
Les 6 transformateurs :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_1.jpg)
Les circuits électriques sont avec un code couleur :
- Rouge => Alimentation de 2500 kW N°1 des suites privatives N°1 à N°11
- Jaune => Alimentation de 2500 kW N°2 des suites privatives N°1 à N°11
- Vert => Alimentation de 2500 kW N°1 des suites privatives N°12 à N°22
- Bleu => Alimentation de 2500 kW N°2 des suites privatives N°12 à N°22
- Noir => Alimentation de la première chaîne de froid
- Blanc => Alimentation de la seconde chaîne de froid
Chaque "couleur" a son transformateur de 3 mégawatt et son groupe électrogène de 1,5 mégawatt 400v (deux groupes électrogènes de 1,5 mégawatt quand le site va monter en charge, aujourd'hui seul le premier est installé).
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_2.jpg)
En cas de coupure ERDF, l'ensemble des groupes sont sollicités, chacun reprenant la partie concernant son transformateur, ce qui change des installations complexes ou tout est partagé.
Chaque groupe est testé a vide chaque mois et en charge tous les trimestre (cette opération est toujours faite le week-end)
En cas de panne d'un groupe électrogène, un jeu de barre permet que le circuit d’alimentation noir remplace un circuit d’alimentation rouge/jaune/vert/bleu. Dans ce cas là, la seconde chaîne de froid est arrêté.
En cas de panne d'un second groupe, on perd une des double alimentation dans la moitié du data-center. Les serveurs avec deux alimentations sont alimentés en permanence par deux groupes donc ils resteront allumés. Pour les serveurs avec une seule alimentation, Iliad Datacenter fourni une prise multiple dont j'ai oublié le nom qui est raccordé aux deux alimentation (par exemple le circuit rouge et le circuit jaune) avec un temps de commutation très court qui font que les serveurs ne voient rien.
Jusqu'à présent seul ERDF pouvait vendre du courant et les DataCenter ne pouvaient le refacturer au kw a leur client. Le contournement consistait a leur vendre une puissance (6A, 10A, 16A, 20A, 25A...) mais le prix payé était fixe quel que soit la consommation réelle.
Il y a eu une évolution récente et maintenant est possible de refacturer l'énergie. Chaque mini-dijoncteur de 20A dispose ainsi de son propre compteur qui est relevé a distance et facturé au client en incluant le coût de la climatisation.
Il y a 4 TGBT, dans 4 salles différentes et dédie a cet usage (vous avez compris, une salle par couleur sachant que chaque baie est alimentée par deux couleurs) équipés de plusieurs Masterpack de 1000A, 6 onduleurs par "couleur" et de batteries pour une autonomie de 10 minutes. La puissance de chaque salle est de 2500 kW. Il y a deux automates par salle (en cas de panne de l'automate primaire, complètement informatisé, il est possible de passer sur un deuxième automate de secours moins informatisé).
L'entrée des 4 TGBT, avec écran pour surveilles les alarmes :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_6.jpg)
L'intérieur du TGBT "D" :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_7.jpg)
Un des nombreux "master pack" qui a fait parler de lui avec la panne sur TH2 du 11 avril 2012 (https://lafibre.info/datacenter/incident-electrique-sur-th2/) :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_10.jpg)
L'automate primaire "BIG BOSS" du TGBT "D" :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_8.jpg)
Les onduleurs du TGBT "D" :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_9.jpg)
Les batteries du TGBT "D", pour laisser le temps aux groupes de démarrer :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_11.jpg)
En cas de panne ERDF, les 10 premières secondes les groupes ne sont pas démarrés (la majorités des coupures font moins de 10 secondes). Les groupes électrogènes sont préchauffés et démarrent en 30 secondes. Ils ont une nourrice de 1000 litres de gazole qui se rempli quand elle arrive a 300 litres via un double circuit reliés à deux cuves (réserve pour 50 heures à pleine charge). Le groupe a deux démarreur, deux blocs de batteries pour le démarrage, double ventilation,... tout est doublé et l’installation est bien réalisée (et insonorisée pour les voisins immédiats). Ce sont des moteurs diesels de bateau, assez simple, afin qu'il ne soit pas nécessaire de faire venir des experts étrangers pour le réparer. Les groupes électrogènes sont refroidis par l'air. Cela peux paraître bête, mais j'ai visité un data-center ou c'est un refroidissement par eau, avec une piscine (et si la panne dure trop longtemps et que la piscine est trop chaude, le refroidissement se fait par eau de ville perdue)
Les cuves avec au fond le mur anti-bruit qui entoure les 10 centrales de traitement d'air :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_13.jpg)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_12.jpg)
Aspect green : Les 20 onduleurs ne sont pas on-line, mais line-interactive : ils ne sont utilisés qu'en cas de coupure du courant ERDF, d'où un gain évident, ces équipements ayant un rendement loin de 100% surtout avec des charges < 50% de la capacité. Habituellement, dans un datacenter on transforme systématiquement le courant alternatif en courant continue avant de le re-transformer en courant alternatif, d'où des pertes d'énergie. Dans ce datacenter, le rendement énergétique global supérieur à 97,3% depuis les arrivées haute tension jusqu'aux infrastructures client.
Iliad ne fait pas de redressement du cos phi, aujourd'hui les serveurs ont une alimentation avec un cos phi de 1, il n'est pas nécessaire de mettre des équipements pour empêcher les pénalités ERDF. Certains serveurs ont même une alimentation en inductif (il y a 10 ans ce n'était pas du tout le cas)
A gauche Le cos phi du datacenter DC3 équipé de serveurs Dell et HP uniquement.
A droite le cos phi d'un datacenter équipé de serveurs avec alimentation de très mauvaise qualité (procès en cours)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_4.jpg)(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_5.jpg)
-
La climatisation :
Le froid est distribué dans le data-center via un circuit de distribution d'eau glacée bouclé et 35 armoires de climatisation de 200kW classique. La grande partie du datacenter est vide (même pas de baie) mais là où elles sont installées, c'est un système de baies avec allée froide sur-pressurisée, les emplacements inutilisés des baies étant fermés avec de la tôle et des portes automatiques complètent le dispositif à chaque bout (on met plusieurs rangées de baies dans une suite privative de 250m²).
Une rangée de serveurs Online Dedibox DC/QC (HP Proliant DL120) :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_3.jpg)
Une rangée de serveur Online Dedibox SC (Dell XS11-VX8) :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_4.jpg)
L'air frais est injecté par le faux plancher (avec le réseaux électrique). Le faux plancher est très haut 110 cm de haut !. Il n'y a pas de faux plafond dans ces salles. L’arrivée des fibres / cuivre passe par le haut des baies par des chemins de câbles suspendus.
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_5.jpg)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_6.jpg)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_7.jpg)
Chaque salle de 1600m² a deux arrivées fibres provenant des deux salles telecoms (meet-me-room) où les opérateurs de transit installent leurs routeurs afin de desservir les clients. A noter que l'installation d'un opérateur se fait impérativement dans les deux meet-me-room afin d'avoir systématiquement une redondance 2N sur la partie infrastructure réseau.
Une des deux salles telecom où les fibres arrivent depuis l'extérieur du bâtiment :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_3.jpg)
Physiquement il y a deux arrivées fibres sur le data-center situées chacun dans une salle telecom, toutes deux a l'autre bout du bâtiment l'une de l'autre. Free a une boucle optique pour relier ses différents data-center et son cœur de réseau.
5 groupes froids Carrier sont installés pour les serveurs (Une extension avec un 6ème groupe froid est possible), et deux plus petits carrier pour refroidir les deux salles telecom, les onduleurs et les couloirs. Au total la production frigorifique atteint 11,8 MW. Le gaz frigorifique utilisé est le R134A, sans impact sur l'environnement. Comme vous avez vu chaque chaîne de groupe froid a son propre transformateur de 3 MW et ses propres groupes électrogènes (2 groupes électrogènes par chaîne de froid quand le site se remplira).
Les groupes froids Carrier :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_1.jpg)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_5.jpg)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_8.jpg)
Les pompes : (la conception a été réalisée de façon à nécessiter le minimum de puissance de pompage)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_4.jpg)
L'automate :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_7.jpg)
Les 10 centrales de traitement d'air (drycoolers) utilisent un échangeur avec l'air sur-dimensionné afin de faire tourner les ventilateurs lentement pour limiter la nuisances sonore pour les voisins (on est en pleine ville). 18MW de capacité par 40C extérieurs. Le tout est mis dans une enceinte de 7 mètres de haut insonorisée. L’arrivée d'air se fait par des tunnels insonorisés au niveau du sol. Le système est extrêmement silencieux et ils se demandent si il était nécessaire de dépenser autant en insonorisation.
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_2.jpg)
L'eau utilise pour le circuit de refroidissement est composé à 30% de glycol afin d'être hors gel. (pourtant sur le site web, ils mettent "utilisation d'eau pure non glycolée")
Test du DataCenter en charge :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_3.jpg)
Aspect green :
- Température supérieure à 15°c (la moitié de l'année) : climatisation classique via groupes.
- Température extérieure < 15°c (4 mois dans l'année) : Un échangeur va permettre de récupérer des calories à l'eau chaude qui sort des salles serveur avant de passer dans les groupes froids.
- Température extérieure < 5°c (2 mois de l'année) : L'échangeur suffit à refroidir suffisamment l'eau froide qui repart vers les salles machines. On est en 100% freecooling. Le PUE attendu pendant ces deux mois est de 1,25 (pour 100w consommé par les serveurs, le data-center consomme 125w).
Les DataCenter datant de 1990 ont un PUE proche de 2 (pour 100w consommé par les serveurs, le data-center consomme 200w)
Les échangeurs sont de couleur bleu (un par chaîne de froid) :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_6.jpg)
-
Le système avancé de détection incendie VESDA LASER et de suppression incendie par brouillard d'eau :
Adieu le gaz FM200 ou l'Azote qui bloque l'incendie en diminuant fortement le % d’oxygène dans l'air. Il aurait été coûteux de les utiliser sachant que les salles font 1600m² et sont très hautes de plafond (anciens entrepôts). En effet ces bouteilles coûtent une fortune à recharger et il est impossible de relâcher le gaz FM200 dans l’atmosphère, il faut faire venir une entreprise spécialisée pour le récupérer.
Pour survivre, un incendie a besoin des trois éléments du triangle du feu, à savoir : l’oxygène, la chaleur et un matériau combustible. L’élimination de l’un d’eux peut inhiber ou éteindre le feu.
Free a choisit d'éteindre un éventuel incendie via de... L'eau ou plutôt un brouillard d'eau.
Le brouillard d’eau à haute pression parvient à supprimer deux éléments du triangle – la chaleur et l’oxygène –, en diffusant l’eau à une pression de 130 bars grâce à des buses spéciales. Ce sont des "têtes fermées" : seules celles exposées au feu s’ouvrent et libèrent ainsi le brouillard d’eau. La diffusion ne se fait donc pas dans l'ensemble de la salle de 1600m² mais à l'endroit ou la chaleur dépasse 55°c sur la buse (située en hauteur). La chaleur de 55°c n'est pas le seul élèment nécessaire pur déclencher l'arrosage : il faut également le déclenchement de l'alarme incendie (via des tuyaux qui reniflent l'air qui est ensuite analysé dans une station où se rejoignent tous les tuyaux de la salle de 1600m².
Test de la suppression incendie par brouillard d'eau sur le transformateur rouge :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_3.jpg)
Bon je suis un peu perplexe sur le brouillard d'eau, mais il n’abîme pas les serveurs d’après ce que j'ai compris (ils continuent de fonctionner, l’alimentation en énergie n'est pas coupée). Schématiquement, l’accroissement de la pression, en diminuant la taille des gouttelettes, créée un phénomène de brumisation qui se déploie sur une surface élargie. La vapeur d’eau dégagée absorbe la chaleur et déplace l’oxygène qui alimentent le feu, conduisant à le contenir puis l’éteindre. Plus cette surface est importante, plus le système est efficace pour réduire la température et l’oxygène dans la zone des flammes. Selon les applications, grâce au principe de brumisation, le débit en eau de chaque buse peut tomber jusqu’à seulement 1 litre d’eau par minute. Et la présence de vapeur d’eau permet l’agglomération des particules de fumée réduisant ainsi les dommages causés par celle-ci.
Iliad a opté pour un système à réservoir d'eau avec une pompe fournissant une pression de 130 bars. Afin de réduire les risques d'inondations, le système est en permanence sous pression avec de l'air. L'eau n'est injectée dans le système qu'en déclenchement des alarmes qui analysent l'air et y détectent un incendie.
Visite de la hotline Free-mobile
Le site est un data-center mais aussi un site pour le support de Free-mobile et les équipes ressources humaines de Free sont là pour nous indiquer qu'ils recrutent, qu'il ne faut pas hésiter à en parler à nos connaissances. On est invité à laisser notre adresse e-mail pour être joint par Free (pas d'entretien d'embauche sur place).
Le site de Vitry situé dans le même bâtiment que le data-center accueille 400 places pour Free-mobile : 350 télé-conseilers et 50 personne pour le support. Une équipe est composée de 20 télé-conseiller pour un superviseur et un "n2" technique. Il est ouvert 7 jour sur 7 et accueil 500 collaborateurs (plus de collaborateurs que de places car tous ne travaillent pas sur la même tranche horaire)
Pour ceux qui connaissent Centrapel sur Pais 8, là les canettes ne sont pas gratuites, par contre l'ambiance de travail est mieux pensée (à Paris ce sont des plateaux de 160 positions, 160 personnes au téléphone dans la même salle c'est très bruyants). Là ce sont des plus petites salles mais l'espace à disposition de chaque téléconseiller est restreint principalement à son ordinateur sous Linux Ubuntu.
Une affiche est présente sur tous les postes : il ne faut pas parler de "Free Mobile" mais de "L'offre mobile de Free", une différence subtile dans la communication de Free.
Merci aux équipes d'Iliad infrastructure et à la filiale qui gère les appels Free Mobile pour la visite
(https://lafibre.info/images/logo/licence_cc_by-sa.svg)
Cet article et les photos qui l'illustrent est publié sous la licence Creative Commons CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0/deed.fr), afin de permettre sa diffusion par les autres médias (il faut citer l'auteur, Vivien GUEANT, mettre un lien vers cet article et réutiliser la même licence).
Tutoriel pour comprendre comment reprendre un contenu CC BY-SA 4.0 (https://lafibre.info/forum/creative-commons/).
Lien vers le nouveau reportage sur DC3 : https://lafibre.info/scaleway/dc3-iliad/
-
Merci vivien pour ce compte rendu.
L'eau glycolée n'est pas surprenant par contre il implique une vérification de l'installation par une boite assermenté pour vérifier qu'il n'y a pas de fuite.
Pour le brouillard d'eau je trouve cela bien pensé. En effet, les équipements de pompier se basent sur ce système. En effet j'ai déjà vu la démonstration d'un canon à eau qu'il pulvérise l'eau en brouillard. L’efficacité sur un feu est vraiment impressionnante. Et cela utilise peu d'eau.
Je pense en effet qu'il n'y a pas de problème avec les serveurs. Leur chaleur interne fait que l'eau se vaporise et donc aucun court circuit !!
-
très sympa ce compte rendu, merci!
comme ça ça fait plutôt bien foutu et bien pensé comme datacenter!
-
C'est assez étonnant car la très grande majorité des data-center ne prennent pas ces précautions (il me semble me souvenir que Interixion 2, a Aubervilliers le demande mais a part ça , la dizaine de data-center où je suis rentré ne m'a jamais demandé de mettre des chaussons.
Pas de sur-chaussures chez Globalswitch à Saint-Denis Clichy (du moins pas fin 2009 - début 2010), mais il y a des tapis "collants" dans les sas pour retenir les cochonneries présentes sous les semelles.
Par contre, c'est assez étonnant de se protéger des poussières sous les pieds, mais de ne pas rendre le port d'une blouse et d'une charlotte obligatoire.
Enfin, ce n'est pas un mal ces précautions, vu que ce genre de salle a rarement la visite d'un aspirateur.
Tiens, dans le genre trucs à ne pas faire, un ancien client a fait réaliser des travaux de renforcement du plancher dans une de ses salles serveurs, et les ouvriers ont percé une multitude de trous dans la dalle en béton ... sans aucune précaution.
Résultat : une sympathique couche de poussière de ciment sur (et sans doute dans) la plupart des équipements qui se trouvaient à proximité.
-
Globalswitch Clichy non ?
Sinon il y a ces trucs collants à TH3 aussi, et cette histoire de surchausse dans les InterXion et les DC Iliad à ma connaissance.
-
Oui, oui, c'est à Clichy, j'ma gouré.
-
Pour le brouillard d'eau je trouve cela bien pensé. En effet, les équipements de pompier se base sur ce système. En effet j'ai déjà vu la démonstration d'un canon à eau qu'il pulvérise l'eau en brouillard. L’efficacité sur un feu est vraiment impressionnant.
En pratique, cela ne se passe pas toujours aussi bien...
J'ai eu le cas chez un client qui utilise ce système, il s'est déclanché suite a un onduleur qui a cramé (une capa de filtrage ou l'huile s'est enflamée), le brouillard d'eau a bien empèché la propagation de l'incendie mais l'a pas arreté, c'est les pompiers qui en sont venu a bout avec des extincteurs a CO2
L'UPS était détruit et tous les serveurs de la salle on du etre arreté, il a fallu 2 jours de nettoyage intensif de tous les seveurs endomagé par les poussières, l'eau, sans compter les cables et fibres brulés qui se touvaient dans le passage suspendu proche de l'onduleur.
L'extinction a gaz est plus cher, mais plus efficace pour un datacenter.
-
Mdrrrr les cannettes ne sont pas gratuite !!! Tout dépend on va a quel étage a paris 8 :P
Merci pour les photos ;)
-
Mais la fibre.info fait parler de lui !!!
http://www.universfreebox.com/article18241.html (http://www.universfreebox.com/article18241.html)
A cette occasion, La Fibre.info propose un compte rendu de la visite du Datacenter DC3 d’Iliad. Tout juste construit, ce lieu est très sécurisé et les photos en sont interdites. Chaussons anti poussière au pied, la rédaction de lafibre.info a pu profiter d’une visite de deux heures par petits groupes dans le DataCenter Iliad DC3 de Vitry-sur-Seine de 11 800m2. Composé de 4 grandes salles d’une capacité de 1900 baies, chaque espace loué est dissocié représentant ainsi un grand nombre de suites privatives.
;D ;D ;D Grosse rédaction en effet avec au moins ....... une personne !!!!!! ;D
-
L'extinction a gaz est plus cher, mais plus efficace pour un datacenter.
Tout à fait. Et pour être efficace, on a tout intérêt à construire des zones cloisonnées de petites surfaces. Tout le contraire du DC3 d'Iliad montré ici. Comme ça, le feu se propage difficilement, mais surtout, un déclenchement de système d'extinction de gaz reste limité à la zone (moins cher, plus rapide). D'ailleurs, je crois me rappeler que c'est Arnaud (de Birmingham) qui préconisait de petites zones.
De même, je suis assez surpris des photos montrant les couloirs froids. Ce même Arnaud nous expliquait dans un FRNOG qu'il ne fallait surtout pas mettre de baie immédiatement à côté d'une bouche de clim, parce que les premiers serveurs en bas de la baie allaient avoir du mal à aspirer l'air à cause du phénomène de venturi.
Leon.
-
Arnaud de Bermingham (ou Arnaud de DediBox) est le responsable du pôle hébergement du groupe Iliad/Free.
Ceux qui ont regardé ce post hier ce matin peuvent vider le cache de leur navigateur, certains photos ont changées pour des plus récentes (fournies par Arnaud de Bermingham, un grand merci au passage)
Pour Arnaud, il n’est pas forcement utile de se concentrer sur la consommation énergétique des data-center car on arrive avec des technologies récentes quasi standard et une urbanisation bien pensée à avoir des PUE (Power usage effectiveness) très bas. Voici l'entretien réalisé le 11/04/2011 sur Silicon.fr (http://datacenter.silicon.fr/initiative-%E2%80%9Copen-compute%E2%80%9D-la-reaction-diliad-hebergement-2762.html) :
Arnaud de Bermingham : Il faut prendre le problème à l’envers. Le problème n’est pas le datacenter, car aujourd’hui, on arrive avec des technologies récentes quasi standard et une urbanisation bien pensée à avoir des PUE très bas.
Développer des systèmes et matériels spécifiques au niveau datacenter n’est pas forcèment une bonne idée et pas une solution pérenne dans le temps. La vraie économie immédiate, qui ne nécessite pas d’investissement est de revoir le problème de la base, à savoir la consommation énergétique liée aux serveurs, en optimisant :
1- la puissance informatique nécessaire pour une application (optimisation de l’application et des technologies logicielles utilisées), trop souvent oublié.
2- la puissance électrique nécessaire pour ces serveurs : aujourd’hui, il faut rechercher le meilleur ratio performances / watt.
3- la possibilité pour une application d’être répartie sur un maximum de serveurs, afin de dimensionner ces serveurs avec des plus petits processeurs, et éteindre les serveurs non utilisés en fonction de la charge globale de l’infrastructure.
D’une manière générale, tout le monde sur-dimensionne très largement ses serveurs, ces derniers qui ont une consommation d’énergie quasi linéaire quelque soit la charge processeur.
Par exemple, chez Online, nous privilégions des infrastructures massives, utilisant des processeurs ultra-basse consommation, sur des processeurs offrant un ratio performance par watt largement plus élevé que les solutions traditionnelles.
Au final, on arrive à des densités de 252 serveurs par baie dans une consommation d’environs 3kW, soit moins de 11W par serveur, pour une puissance de calcul et une consommation électrique qui n’a rien à voir avec les serveurs traditionnels.
J'aime bien l'idée de l'onduleur line-interactive. Pourquoi la majorités des datacenter utilisent des onduleurs OnLine (qui transforment systématiquement le courant alternatif en continu puis en le re-génère en alternatif ?
-
Bonjour,
Très bon article, très intéressant.
Seul bémol: il y a à mon gout trop de fautes (orthographe/grammaire/frappe).
Cdlt
Fred
-
Edit : Corrigé avec l'aide de corrector !
-
Merci Vivien pour ce reportage très instructif
Je vois que ca fait toujours autant de barouf dans les Datacenter !
-
J'aime bien l'idée de l'onduleur line-interactive. Pourquoi la majorités des datacenter utilisent des onduleurs OnLine (qui transforment systématiquement le courant alternatif en continu puis en le re-génère en alternatif ?
Pour garantir la "qualité" de la tension?
Quelles sont les variations de tension tolérables pour des baies?
-
Je pense que cela se joue au niveau des blocs d'alimentation des serveurs. Les composants acceptent toujours une marge en fonction de leur qualité, il me semble. Après je ne suis pas capable de donner du quantitatif.
-
Pour la partie "onduleurs".
Je pense que les datacenters, c'est un domaine où on a longtemps pensé en "trop fort n'a jamais manqué". Donc on utilisait des solutions éprouvées, super fiables, mais pas forcèment efficaces, pas optimisées. Les onduleurs à double conversion (on line) sont les onduleurs qui fournissent la meilleure "prestation" : tension de sortie parfaitement stable et propre, indépendante de la tension d'entrée. Mais c'est cher, complexe, et avec un rendement pas terrible.
L'onduleur "line interactive" est moins performant (il réagit moins vite), mais c'est tout à fait acceptable, et surtout, il a un rendement excetionnel.
Un datacenter équipé d'onduleur "en ligne" sera jugé plus performant, de meilleure qualité qu'un datacenter avec du "line interactive", même si ça n'est pas justifié! On considère très souvent à tort que les équipements informatiques sont des équipements très sensibles du point de vue alimentation, mais c'est faux: les alimentations modernes des PC/serveurs supportent assez bien les variations (raisonnables) de tension, ou les micro coupures (quelques millisecondes). Pareil: les variations de fréquences du courant 50Hz sont sans impact sur les PC, alors qu'elles dérangent beaucoup d'autres équipements (micro ondes, ou autre).
Pour caractériser les performances d'un onduleur, comme pour caractériser la tolérance d'une alim de serveur/PC fâce aux variations de tension, on utilise ce genre de courbes.
(https://lafibre.info/images/tuto/201209_tolerance_alim_serveur.png)
http://www.apcmedia.com/salestools/JSII-5YQSBR_R0_FR.pdf (http://www.apcmedia.com/salestools/JSII-5YQSBR_R0_FR.pdf)
Leon.
-
J'ai participé à cette visite en béotien curieux du patrimoine. J'ai été fort impressionné par la qualité des équipements de ce site et les techniques originales mises en oeuvre. La jeunesse et l'enthousiasme de la petite équipe d'opérateurs (que je remercie au passage) m'ont aussi marqué et, si le reste de l'entreprise Free est à cette image, c'est qu'on est entre bonne main pour l'ADSL et le mobile. La seule déception vient de la frustration d'un pauvre lointain banlieusard, accroché à son fil de cuivre d'un autre âge où coulent ses filets de quelques Méga Octets, se comparant à ces flots de terrabits véhiculés par ces fibres attendues avec tant d'impatience...
-
les alimentations modernes des PC/serveurs supportent assez bien les variations (raisonnables) de tension, ou les micro coupures (quelques millisecondes).
Peut-être plus que ça : il y a une dizaine d'années, micro-coupures relativement fréquentes à Paris : à chaque fois, les ampoules s'éteignaient, pas les PC!
Par le suite la situation de la fourniture de courant s'est dégradée et les coupures sont devenues plus longues (de l'ordre d'une seconde), et là il valait avoir mieux un portable sur batterie. Depuis que le transfo a été changé (comme ceux sur le photos) plus aucun problème du genre.
-
Reportage remarqué sur FRNOG :
[FRnOG] [TECH] Datacenter DC3 d'Iliad (http://www.mail-archive.com/frnog@frnog.org/msg20399.html)
Stephane Bortzmeyer
Mon, 17 Sep 2012 03:33:27 -0700
Bon compte-rendu de visite, très détaillé :
https://lafibre.info/datacenter/datacenter-dc3-diliad/ (https://lafibre.info/datacenter/datacenter-dc3-diliad/)
Source : http://www.mail-archive.com/frnog@frnog.org/msg20399.html (http://www.mail-archive.com/frnog@frnog.org/msg20399.html)
-
Un grand merci pour ce compte rendu avec les photos qui vont bien. J'adore en apprendre d'avantage dans ce domaine qui est encore assez nouveau pour moi !
-
Je rebondis sur la sécurité incendie.
Il est dit que certains gaz (comme le FM200) agissent par diminution du % d'oxygène dans l'air.
C'est une contre-vérité, ce type de gaz (famille des halocarbures, comme les halons) fonctionne par inhibition des radicaux libres, composés chimiques libérés lors d'une combustion. Ces radicaux libres sont nécessaires à la poursuite de l'incendie, c'est le 4ième élèment (en attendant Leeloo ;)) d'un incendie.
Ces gaz ne provoquent pas un appauvrissement de l'air en oxygène, ils remplacent l'air de la salle, ce qui explique que l'on peut rester dans la salle lors d'un déclenchement (si on est blessé, par exemple) sans trop souffrir d'hypoxie (on aura 'juste' les tympans déchirés suite au brusque déclenchement des bouteilles de gaz).
Si Free n'a pas choisi ce mode de fonctionnement, c'est, à mon avis, pour une raison pratique. Il faut en effet compter 10 minutes pour être sûr que le gaz pénètre au coeur de tous les équipements afin de faire effet pour les protéger. Son action est cependant immédiate lorsqu'il atteint les flammes. Pendant ce temps (nommé 'temps d'imprégnation'), aucun échange d'air ne doit avoir lieu avec l'extérieur, la pièce doit être le plus étanche possible, c'est pourquoi on l'utilise pour des volumes relativement réduits (quelques centaines de m² au sol) qu'on sait isoler par des clapets coupe-feu aux arrivées/départ d'air de climatisation.
Et plus de climatisation veut dire plus de mouvements d'air autrement que par convection naturelle ou initiés par les ventilateurs des matériels.
Le datacenter ne semblant pas constitué de plusieurs salles, mais plutôt en openspace, cette solution ne peut être retenue...
-
Merci pour l'information. Ceux qui utilisent l'Azote à la place du FM200, je pense que c'est le principe, non ?
Je confirme qu'on ne meurt pas quand on reste dans une salle avec du FM200 : il y a plusieurs années, deux techniciens qui avaient déclenché un début d'incendie sont restés pour tenter de l'éteindre malgré les alarmes annoncent le déclenchement 30 secondes plus tard du FM200.
Par contre, il n'ont pas réussi à sortir de la salle car une fois le gaz FM200 déclenché, ils ne voyaient plus rien et ils n'ont pas trouvé la sortie (Le gaz ne serait pas transparent). Ce sont les pompiers qui les ont récupérés (vivants).
-
L'azote ou le CO2 agissent également par remplacement de l'air, mais au lieu de s'attaquer au niveau chimique aux radicaux libres (qui, même en présence d'oxygène, ne peuvent agir si des halocarbures sont présents), ils agissent sur l'élèment comburant (l'oxygène) en l'évacuant en même temps que l'air de la salle.
Il faut donc saturer beaucoup plus la salle avec ces produits pour descendre en-dessous du seuil d'inflammabilité, mais on arrive vite dans les valeurs dangereuses pour l'homme (gênes respiratoires en dessous de 18%, risque vital en dessous de 13%).
Un autre effet existe aussi, mais il est moindre : ces produits (quels qu'ils soient) sont stockés sous forme liquide dans des bouteilles, lorsqu'ils sont dispersés, ils passent à l'état gazeux, provoquant donc une chute de la température (principe du réfrigérateur) due à la décompression (une bonbonne 'standard' de FM200 contient environ 65 l sous une pression de 42 bars à 20 °C). Il est aussi possible que cela provoque la condensation de l'eau dans l'air, formant un brouillard, qui expliquerait que les deux techniciens n'aient pas pu retrouver la sortie...
C'est d'ailleurs pour l'action anti-radicaux libres que l'on utilise les halocarbures en tant qu'extincteurs dans les réacteurs d'avion (dont le principe même de fonctionnement est d'absorber le plus d'air possible et pour lesquels on ne peut donc, par définition, pas supprimer le comburant).
-
Bonjour,
Pour avoir bien parler avec les techniciens du data, ils m'ont dit que c'était pour des raison de sécurité que le système avec du FM200 n'a pas été installé, de plus à DC2 il y avait à la base un système d'extinction avec du FM200 qui a été remplacé. Mais je vais leur demander pour être vraiment sur.
-
Je viens de recevoir un mél. de Online, qui me signale justement que mon serveur va migrer vers cette nouvelle salle, j'ai voulu en savoir un peu plus et j'ai été servi…
Bref, simplement pour remercier vivien pour le compte rendu et Arnaud pour les tofs.
-
Pour ceux qu'il veulent participer à une beta test anti-ddos :
Online, la filiale hébergement du groupe Iliad, recherche des volontaires pour tester une nouvelle fonctionnalité anti-DDOS. Online souhaite ainsi améliorer la sécurité de ses utilisateurs abonnés, en renforçant la sécurité de ses équipements connectés sur le réseau.
Concrètement, une attaque par déni de service (ou DDOS) est une attaque informatique consistant à inonder un réseau, un site, un serveur... de paquets pour le saturer (et donc de le mettre hors-ligne).
Pour postuler à cette bêta-test anti-DDOS, rendez vous sur le compte officiel Twitter d’Online en vous reportant sur le tweet correspondant (https://twitter.com/online_fr/status/276061044336635904).
Source : Univers Freebox (http://www.universfreebox.com/article19024.html) le 05 décembre 2012
-
Coût d'un data-center selon Free :
-------- Message original --------
Sujet: Re: [FRnOG] [TECH] Cout d'un datacenter
Date : Sun, 16 Dec 2012 23:51:00 +0100
De : Arnaud Bermingham
Le 16 déc. 2012 à 13:41, mathieu mathieu a écrit :
> Toujours dans mon exposé pour ceux ou celles qui se souviennent de moi
> (création du data neutre...), j’aimerais avoir une idée de combien peux
> couter la création du datacenter Tier II ou Tier III.
Bonsoir,
Hors foncier (qui n'a au final que très peu d'impact), à la louche
2N -> 5000€ / m2 net + 4000€ / kW^m2 (+20% par kW au delà de 2 kW / m2)
N+1 -> 4500€ / m2 net + 2200€ / kW^m2
N -> 3000 € / m2 net + 2000€ / kW^m2 (voir beaucoup moins)
Ces coûts ne varient que très peu en fonction des surfaces,
-
"kW^m2"
Hein?
Des kW à la puissance "m2"?
-
kW électrique consommés des équipements par m2 au sol.
-
Question de noob: l'efficacité énergétique d'un datacenter doit aussi dépendre de son isolation exterieur non? Il doit y avoir un sacré paquet de calorie perdu par conduction directe avec l'exterieur?
-
Effectivement, l'hiver ça coûte moins cher à refroidir un DC que l'été. Sur les DCs récents on voit qu'ils prévoient d'utiliser l'air extérieur si il est inférieur à une certaine température pour ne même pas utiliser les groupes froids.
Par contre, je pense que l'isolation est travaillée pour justement limiter le réchauffement des salles par l'extérieur.
-
Non l'isolation n'a presque aucun impact.
Si c'est peu isolé, tu gagnes en énergie l'hiver mais tu perds l'été. Ces pertes sont très faibles devant la chaleur produite par les serveurs.
Par contre le freecooling est une source importante d'économie.
OVH a même fait des data-center sans climatisation, les serveurs sont à l'extérieur, juste protégés de la pluie.
-
OVH a même fait des data-center sans climatisation, les serveurs sont à l'extérieur, juste protégé de la pluie.
Ils les ont fait en Siberie ? En Afrique ca doit pas marcher :D
-
Presque, Roubaix ! Fait -15 toute l'année là-bas :).
-
y'a des DC qui sont aussi semi enterrés, ou le vegetal fait office d'isolant et regulateur thermique.
Au final il fait bon dans les coursives et frais dnas les salles sans exces de clim.
Il me semble que ce type de DC s'appelent Greenfield.
J'ai un client sur Chartres qui exploite 2 DC de ce genre.
Edit :
Une petite recherche google et hop (le site du client en plus)
http://www.ca-immobilier.fr/actualite/actualites/un-double-data-center-pour-credit-agricole-s-a (http://www.ca-immobilier.fr/actualite/actualites/un-double-data-center-pour-credit-agricole-s-a)
-
Mouais un isolant marche dans les deux sens vivien. Pour moi un DC bien isolé permet d'utiliser tout le potentiel de la clim aussi bien été que hiver.
Après il est vrai que dans la plage de température considérée cela doit avoir peu d'impact.
-
Isolée ou non cela peut te faire gagner quelques Kw/h sur l'année. C'est négligeable vu la consommation d'un datacenter.
Pour le free colling, Les serveurs sont très bien avec une température d'entrée d'air a 30°c. Donc quand on fait un système ou l'air extérieur rentre puis est jeté en sortie des serveurs, pas besoin de climatisation si la température extérieur est < 30°c. Il faut par contre filtrer l'air (ce qu'OVH ne fait pas) pour éviter aux poussière d'encastrer le serveur.
Cela demande un système pour éviter que l'air chaud des serveurs ne rentre en face avant (allées froide / chaudes complètement séparées avec une allée froide en sur-pression et des portes pour fermer l'allée froide afin qu'elle reste en sur-pression)
-
Prochainement pour un instrument astrophysique on va installer une armoire pour des stations de travails type serveur un peu particulière. Je vous ferais des photos avec une description de son fonctionnement.
Pour la petite idée l'armoire coûte 10000€.
-
Effondrement d'égout dans la Communauté d'agglomération Val de Bièvre entraînant la coupure de 832 fibres d'Online connectées à DC3.
Bonjour,
La Communauté d'agglomération Val de Bièvre nous as informé d'un problème important dans un égout par lequel transite notre fibre optique sur la liaison nord DC2 - DC3.
Cet égout en train de s'effondrer avec un impact probable sur notre réseau optique.
Il s'agit d'un câble de 832 fibres, reliant les infrastructures de DC1/DC2 vers notre coeur de réseau à DC3.
Ce réseau optique est doublé, par un circuit sud DC2-DC3, empruntant un chemin distinct et opposé.
La quasi totalité des fibres sont redondées sur les deux liaisons, les vérifications sont en cours pour s'assurer que c'est bien le cas, à la fois pour Online et à la fois pour les clients des deux datacenters.
La communauté procédera dans un premier temps au comblement de l'égout. Cette opération est programmée le 13/05.
Nous sommes en train de planifier en urgence le dévoiement de notre câble afin de le sécuriser et permettre les travaux de réparation.
En attendant, compte tenu de cette situation exceptionnelle, il existe un risque important de rupture de notre liaison optique.
Bien que nos liaisons soient sécurisées, il existe un risque faible de perturbations.
Arnaud
Source : Arnaud, CEO Online.net sur Forum Online (http://forum.online.net/index.php?/topic/3154-dc3-effondrement-en-%C3%A9gout/), le 3 mai 2013