La Fibre

Datacenter et équipements réseaux => Datacenter => Opcore Opcore / Scaleway Datacenter => Discussion démarrée par: vivien le 23 octobre 2015 à 12:58:37

Titre: Data center DC3 de Scaleway: reportage photo de la visite
Posté par: vivien le 23 octobre 2015 à 12:58:37
Reportage photo de la visite du data center Scaleway / Online DC3

Pour ses 15 ans, Online/Scaleway a organisé une journée porte ouverte. Une quinzaine de membre de LaFibre.info s'est retrouvée à 14h00 pour une visite avec... Arnaud de Bermingham, CEO/CTO de Scaleway.

Petit rappel des quatre principales missions d'un data center :
- Sécurité (contrôle d'accès, extinction des incendies, protections des agressions extérieures tels que foudre ou inondations)
- Interconnexion (Offrir une possibilité de se connecter à des réseaux de manière sécurisée)
- Climatisation (garantir une température constante)
- Énergie (garantir une alimentation en énergie sans aucune coupure, même en cas d'incendie)

Un data center est dit neutre, c'est le cas des data center Scaleway, s'il permet au client de faire ce qu'il souhaite de ses mètres carrés et qu'il laisse le client faire appel directement aux fournisseurs de son choix pour les connexions à Internet. Au contraire un data center qui force le client à lui acheter Internet (exemple: des data center Cogent) ou qui impose des restrictions fortes sur les équipements hébergés (exemple : NRA Orange) n'est pas neutre.

(https://lafibre.info/images/datacenter/201509_online_dc3_12.jpg)

Les caractéristiques principales du data center Scaleway DC3 :
- Situé à Vitry-sur-Seine au 61 rue Julian Grimau, à 6 Kms de Paris et à 5 Kms de l'aéroport d'Orly.
- Campus de 11 800m² composé de 2 salles de 1500 m² divisées en 12 "data centers privatifs" de 250m² tous utilisés. 2 autres salles seront prêtes dans quelques mois, portant la capacité à 18 "data centers privatifs" de 250m² et 4 d'environ 180m².
- Deux salles opérateurs et deux meet-me-room
- Système avancé de détection incendie VESDA LASER et de suppression incendie par brouillard d'eau,

La climatisation pour DC 3 :
- 35 armoires de 200 kWf en formation N+2 (utilisation d'eau pure non glycolée)
- Température dans les allées froides : 21°c (+/- 2°c)
- Température dans les allées chaudes : 33°c (en fonction des serveurs utilisés)
- Air en surpression dans les salles informatiques, afin d'éviter l'entrée de poussière quand on ouvre la porte
- 2 chaînes de production frigorifique (redondance 2N) de 10,2 MW (double réseau bouclé)
- Gaz frigorifique R134A, sans impact sur l'environnement
- Refroidisseurs de type dry coolers ne consommant pas d'eau (contrairement à beaucoup d'autres)
- 13 centrales de traitement d'air de 125 kW en formation 2N
- Refroidissement indirect (freechilling) sans utilisation de climatisation plus de la moitié de l'année :

L'énergie pour DC 3 :
- Double arrivée électrique 20 000 V de 18 MW de capacité chacune,
- 6 chaînes électriques (Blanc / Noir / Rouge / Jaune / Bleu / Vert) de 2,5 MW (répartition Tier IV de type 2N+1) équipées chacune :

- PUE (Power usage effectiveness) sans Freecooling de 1,3
- Certification Uptime Institute Tiers III

Lors de ma visite il y a 3 ans, j’annonçais que c'est un data-center "Tier-IV". Depuis c'est un data-center "Tier-III" certifié. Attention, de nombreux data center se disent Tiers-IV mais n'obtiendraient même pas la certification Tiers-II...

Classification établie par The Uptime Institute :
(https://lafibre.info/images/datacenter/201510_certification_uptime_institute.png)

La Certification Uptime Institute est importante : beaucoup d'acteurs disent être tiers III ou tiers IV sans être certifiés. Et en pratique c'est compliqué et cher de se faire certifier. Les demandes de Uptime Institute doivent être prise en compte au moment de la construction du data center.
Un exemple : Uptime Institute demande des groupes électrogènes qui ne soient pas des groupes de secours, mais des groupes de production d'électricité qui peuvent tourner 365 jours par an : Les pièces qui s'usent doivent pouvoir être changées sans interrompre le groupe. Il faut également une alimentation en carburant et en huile redondante (deux circuits, deux cuves,...).
Un second exemple : Un seul bouton ne peut pas couper une chaîne électrique, même pas un arrêt d'urgence.

- un arrêt d'urgence unique permettant de simultanèment couper deux voies distinctes et entrant dans la redondance de l'architecture générale est -interdit- par la certification de l'uptime institute, quelque soit le niveau, même tier1. Quelque soit le data center, si vous voyez un bouton d'arrêt d'urgence unique et global, coupant une chaine ou toutes, fuyez ! Aucun data center certifié n'aura ce type d'arrêt d'urgence.

Au passage Online cherchait à se faire certifier tiers IV mais la redondance des 2N de la climatisation ne suffit pas : il faut que les deux unités soient dans des salles différentes. Un seul a réussi le challenge en France : le data center du Crédit Agricole !
(https://lafibre.info/images/datacenter/201509_online_dc3_01.png)

Le Parking du data center Scaleway DC3 :

Un grand parking, utilisé également par le service client FreeMobile qui a un petit centre d'appel sur le site.
(https://lafibre.info/images/datacenter/201509_online_dc3_02.jpg)

Des bornes pour rechercher les voitures électriques de services de Scaleway :
(https://lafibre.info/images/datacenter/201509_online_dc3_03.jpg)
Titre: Data center DC3 Scaleway: La sécurité
Posté par: vivien le 23 octobre 2015 à 12:59:36
Mission N°1 d'un data center : La Sécurité

- Équipe de sécurité spécialisée et équipe de support client présente sur site 24h/24 et 7j/7,
- Vidéo-surveillance, contrôle d'accès par badge et empreinte biométrique,
- SAS d'entrée blindés, conformes aux normes anti-intrusion EN 1627.
- Système avancé de détection incendie VESDA LASER et de suppression incendie par brouillard d'eau,


Entrée du data center Scaleway / Online DC3

Voici la porte d'entrée du data center, situé dans le hall abritant un des centres d'appel de FreeMobile :
(https://lafibre.info/images/datacenter/201509_online_dc3_04.jpg)

Derrière se trouvent deux SAS d'entrée blindés, conformes aux normes anti-intrusion EN 1627.

Après avoir passé un SAS, on a accès à de grands couloirs comme celui-ci :
(https://lafibre.info/images/datacenter/201509_online_dc3_05.jpg)

Le plan est affiché un peu partout sur des plaques de verre. C'est un plan qui inclu l'extension dont les travaux ont démarré : Les salles 1.x et 2.x n'existent pas encore.

(https://lafibre.info/images/datacenter/201509_online_dc3_06.jpg)
Titre: Data center DC3 Scaleway: La sécurité
Posté par: vivien le 23 octobre 2015 à 13:00:28
Le PC sécurité

Situé à l'entrée, il y a là de la présence humaine 24/24 pour :
- Vérifier l’identifié des personnes qui rentrent dans le data center et monitoring des 98 caméras numériques extérieures et intérieures du site.
- Superviser tous les systèmes techniques du data center
- C'est là qu'est présent le responsable de la sécurité incendie : A DC3, il y a 24/7 un agent de sécurité SSIAP2 (service de sécurité incendie et d’assistance à personnes). C'est lui qui est au niveau du SAS d'entrée.

(https://lafibre.info/images/datacenter/201509_online_dc3_07.jpg)

Les 4 baies qui regroupent toutes les alertes de détection et suppression d'incendie :

(https://lafibre.info/images/datacenter/201509_online_dc3_08.jpg)
Titre: Data center DC3 Scaleway: La sécurité incendie
Posté par: vivien le 23 octobre 2015 à 13:00:53
Systèmes de détection incendie VESDA LASER et systèmes d'extinction incendie par brouillard d'eau

DC3 est équipé :
- De systèmes de détection multi-ponctuelle de technologie VESDA Laser conformes aux normes APSAS R7.
- De systèmes d'extinction incendie par brouillard d'eau conformes aux normes APSAD R1/D2 et suivant la classe 1 de la NFPA 750.

Concrètement, dans toutes les salles, on trouve :
- Ces tubes qui aspirent l'air ambiant au niveau de la pastille blanche. L'air est ensuite analysé pour voir s'il y a une présence de fumée, permettant de donner l'alerte très tôt (avant qu'il y ait des flammes).
- La buse qui est située à côté va déclencher un brouillard d'eau localisé. Le brouillard d'eau ne se déclenche que si deux conditions sont réunies : 1/ Le système de détection incendie s'est déclenché et 2/ La température au niveau de la buse dépasse 55°C. Ce n'est donc pas toute la salle qui est mis sous brouillard d'eau mais l'endroit précis où un incendie se déclare.
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_08.jpg)

Le système VESDA LASER qui aspire l'air dans le tube :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_09.jpg)

Le même système est également présent pour inspecter l'air du faux plancher :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_10.jpg)
Titre: Data center DC3 Scaleway: La sécurité incendie
Posté par: vivien le 23 octobre 2015 à 13:01:16
Le système d’extinction d'incendie testé il y a 3 ans sur le transformateur 20 000 volts :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_3.jpg)

Pour survivre, un incendie a besoin des trois éléments du triangle du feu, à savoir : l’oxygène, la chaleur, des radicaux libres et un matériau combustible. L’élimination de l’un d’eux peut inhiber ou éteindre le feu.

Scaleway a choisi d'éteindre un éventuel incendie via un brouillard d'eau à haute pression. Les équipements de pompier se basent sur ce système.

Le brouillard d’eau à haute pression parvient à supprimer deux éléments du triangle – la chaleur et l’oxygène –, en diffusant l’eau à une pression de 130 bars grâce à des buses spéciales. Ce sont des "têtes fermées" : seules celles exposées au feu s’ouvrent et libèrent ainsi le brouillard d’eau. La diffusion ne se fait donc pas dans l'ensemble de la salle de 1600m² mais à l'endroit où la chaleur dépasse 55°c sur la buse (située en hauteur). La chaleur de 55°c n'est pas le seul élèment nécessaire pour déclencher l'arrosage : il faut également le déclenchement de l'alarme incendie (via des tuyaux qui reniflent l'air).

Schématiquement, l’accroissement de la pression, en diminuant la taille des gouttelettes, créée un phénomène de brumisation qui se déploie sur une surface élargie. La vapeur d’eau dégagée absorbe la chaleur et déplace l’oxygène qui alimente le feu, conduisant à le contenir puis l’éteindre. Plus cette surface est importante, plus le système est efficace pour réduire la température et l’oxygène dans la zone des flammes. Selon les applications, grâce au principe de brumisation, le débit en eau de chaque buse peut tomber jusqu’à seulement 1 litre d’eau par minute. Et la présence de vapeur d’eau permet l’agglomération des particules de fumée réduisant ainsi les dommages causés par celles-ci.

Scaleway a opté pour un système à réservoir d'eau avec une pompe fournissant une pression de 130 bars. Afin de réduire les risques d'inondations, le système est en permanence sous pression avec de l'air. L'eau n'est injectée dans le système qu'en cas de déclenchement des alarmes qui analysent l'air et y détectent un incendie.

Essai réel d'extinction incendie par brouillard d'eau dans une salle informatique :
https://www.youtube.com/watch?v=0Ot4pby2D7o


Pourquoi ne pas utiliser une extinction par gaz (FM200, Azote, Co2,...) ?

Il aurait été coûteux d'utiliser un gaz, sachant que les salles font 1600m² et sont très hautes de plafond. En effet ces bouteilles coûtent une fortune à recharger et il est impossible de relâcher le gaz FM200 dans l’atmosphère, il faut faire venir une entreprise spécialisée pour le récupérer.

Dire que certains gaz (comme le FM200) agissent par diminution du % d'oxygène dans l'air est une contre-vérité, ce type de gaz (famille des halo-carbures, comme les halons) fonctionne par inhibition des radicaux libres, composés chimiques libérés lors d'une combustion. Ces radicaux libres sont nécessaires à la poursuite de l'incendie, c'est le 4ième élèment d'un incendie.

C'est d'ailleurs pour l'action anti-radicaux libres que l'on utilise les halo-carbures en tant qu'extincteurs dans les réacteurs d'avion (dont le principe même de fonctionnement est d'absorber le plus d'air possible et pour lesquels on ne peut donc, par définition, pas supprimer le comburant).

Ces gaz ne provoquent pas un appauvrissement de l'air en oxygène, ils remplacent l'air de la salle, ce qui explique que l'on peut rester dans la salle lors d'un déclenchement (si on est blessé, par exemple) sans trop souffrir d'hypoxie (on aura 'juste' les tympans déchirés suite au brusque déclenchement des bouteilles de gaz).

Ces produits (quels qu'ils soient) sont stockés sous forme liquide dans des bouteilles, lorsqu'ils sont dispersés, ils passent à l'état gazeux, provoquant donc une chute de la température (principe du réfrigérateur) due à la décompression (une bonbonne 'standard' de FM200 contient environ 65 l sous une pression de 42 bars à 20 °C). Cela provoque :
- Un bruit assourdissant, qui déchire les tympans
- Les dalles de faux plancher qui sont sous les buses partent sous la pression jusqu'au plafond : Risque de blessure si le technicien resté dans la salle reçoit une dalle.
- Une condensation de l'eau dans l'air, formant un brouillard, ce qui fait qu'il est difficile de se repérer dans la salle et sortir.

Les disques dur des serveurs n'apprécient pas les déclenchements de gaz et sont généralement à changer après un déclenchement.

L'azote ou le CO2 agissent également par remplacement de l'air, mais au lieu de s'attaquer au niveau chimique des radicaux libres (qui, même en présence d'oxygène, ne peuvent agir si des halo-carbures sont présents), ils agissent sur l'élèment comburant (l'oxygène) en l'évacuant en même temps que l'air de la salle.
Il faut donc saturer beaucoup plus la salle avec ces produits pour descendre en-dessous du seuil d'inflammabilité, mais on arrive vite dans les valeurs dangereuses pour l'homme (gênes respiratoires en dessous de 18%, risque vital en dessous de 13%).
Titre: Data center DC3 Scaleway: Le stock
Posté par: vivien le 23 octobre 2015 à 13:01:40
Scaleway met également à disposition des clients une salle de réunion pour gérer une crise ou simplement configurer des machines dans un environnement plus calme que la salle machine :
(https://lafibre.info/images/datacenter/201509_online_dc3_09.jpg)


A coté le stock d'Online : C'est là que chaque lundi, Dell vient livrer les serveurs qui seront mis en baie pendant la semaine.

A noter qu'il reste quelques palettes de serveur alors qu'on est en fin de semaine :

(https://lafibre.info/images/datacenter/201509_online_dc3_10.jpg)
Titre: Data center DC3 Scaleway: La salle N°3
Posté par: vivien le 23 octobre 2015 à 13:02:14
La Salle 3 de DC3 :
La salle 1 et 2 ne sont pas encore construites (les travaux ont été lancés, car les salle 3 et 4 sont entièrement commercialisées)

Photo lors de la construction de la salle : Online utilise des éléments de chambre froide pour construire rapidement une salle. Le plafond de la salle ne supporte pas le toit du datacener : il est placé sous un hangar, comme une chambre froide.

Notez la hauteur du faux plancher : 1 mettre et 10 cm, avec une charge maximum de 3 tonnes par m² !
=> Plus le volume disponible sous le faux plancher est important, moins il faut souffler fort l'air climatisé.
Arnaud nous explique sa particularité :
La particularité du faux plancher, c’est un montage en « ailes de moulin »  : Les traverses de faux plancher font en réalité 1,2 mètres au lieu de 60cm, ce qui a pour conséquence de mieux répartir le poids des équipements sur la dalle. (Surtout en poinçonnement sur la dalle)
Dans la mesure ou nous avons 1 baie tous les 2,3m2 environs, le poids de la baie se retrouve répartis sur 6m2 environs au lieu de 60cm2.
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_7.jpg)

Photo prise il y a 3 ans, avant l'arrivée des premiers clients : La grande salle est séparée en 6 espaces de 250 mètres carrés qui ont chacun :
- 2 arrivées électriques différentes
- 2 armoires de climatisation de 200kw

(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_1.jpg)
Titre: Data center DC3 Scaleway: La salle N°3
Posté par: vivien le 23 octobre 2015 à 13:02:33
Même salle aujourd'hui :

Scaleway ne propose pas de location à la baie sur DC3 : Il faut prendre un espace de 250m² au minimum (soit 132 baies dans une configuration standard). Pour louer à la baie, Scaleway a le data center DC2 situé dans la même commune et hérité du rachat par Iliad du FAI Alice.

Par contre des sociétés qui louent un espace de 250m² peuvent sous-louer. C'est le cas de Scaleway/Online qui a proposé à une époque "Dedirack" : 1/4 de baie, deux badges, l'énergie et un transit de 1 Gb/s pour 300€/mois. Ceux qui connaissent les prix du marché savent que ce n'est pas vraiment pas cher, généralement on dépasse ce prix pour 1/4 de baie sans l'énergie ni le transit. Le transit de 1 Gb/s seul peut être proposé à plus de 1000€/mois par certains acteurs.

L’arrivée des fibres / cuivre passe par le haut des baies par des chemins de câbles suspendus. On repère les fibres à leur couleur jaune sur la photo :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_01.jpg)

Une des deux arrivées de fibres / cuivre pour la salle, en provenance de la salle opérateur N°1 pour l'une et la salle opérateur N°2 pour l'autre :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_02.jpg)

L'arrivé électrique. La couleur jaune du chemin de câble indique que l'on est sur la chaîne électrique jaune :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_03.jpg)

Comme l'indique le schéma, la seconde arrivée électrique est pour cet espace de 250m² la chaîne électrique rouge.
Titre: Data center DC3 Scaleway: La salle N°3
Posté par: vivien le 23 octobre 2015 à 13:02:56
Pour recevoir la Certification Uptime Institute Tiers III, un seul bouton ne peut pas couper une chaîne électrique.

La coupure d'urgence de l'une de deux alimentation de l'espace de 250m² se fait en appuyant sur deux boutons simultanèment.
Les boutons sont protégés par un cache, pour éviter toute erreur.

Cela limite le risque de déclenchement par erreur mais rend plus difficile un arrêt d'urgence.
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_04.jpg)

Pour couper l'autre chaîne, il faut se rendre à l'armoire électrique qui est à l'autre bout de l'espace de 250m², coté dans la cage.

Les disjoncteurs  pour les baies : ce sont des disjoncteurs magnéto-thermiques bi-poles (C60 pour les intimes) sans différentiel - ici on est sur la chaîne électrique bleue :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_05.jpg)
Titre: Data center DC3 Scaleway: La salle N°3
Posté par: vivien le 23 octobre 2015 à 13:03:16
Les baies de serveurs :

Les serveurs sont mis en rack dans des baies de 19pouces de large.

Les baies se font face à face, afin d'améliorer l'efficacité de la climatisation (il est plus facile de refroidir de l'air à 31°c que de l'air à 21°) : L'air frais (21°c) est injecté en façade des baies, dans un couloir froid qui est rendu étanche par un plafond de verre et des portes à chaque extrémité :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_11.jpg)

L'air chaud est rejeté à l’arrière des baies et il fait un peu plus de 30°c dans la salle (excepté les couloirs frais où les serveurs aspirent l'air à 21°c)

Les prises sont de la couleur de la chaîne électrique : ici c'est la chaîne jaune et la chaîne verte qui sont utilisées :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_12.jpg)

Chaque serveur est connecté :
- A deux arrivées électriques distinctes (2 alimentation par serveur)
- Câble Ethernet blanc : A un accès Internet 1Gb/s via un switch Cisco (et prise de contrôle à distance via iDRAC7 Entreprise (un KVM IP intégré dans le serveur qui possède sa propre adresse IP)
- Câble Ethernet vert : réseau « RPN » via un switch Juniper Networks. Le réseau « RPN » est réseau privé, qui utilises les deuxièmes cartes réseau des machines et qui est indépendant du réseau public.
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_13.jpg)
Titre: Data center DC3 Scaleway: La salle N°3
Posté par: vivien le 23 octobre 2015 à 13:03:42
Pour les switchs, qui ne possèdent qu'une seule alimentation électrique, Online a placé en bas de baie un commutateur de transfert automatique.

Ces commutateurs possèdent deux cordons d'alimentation (en entrée) qui alimentent la charge raccordée en sortie sur un seul cordon. Si la source d'alimentation électrique principale n'est plus disponible, le commutateur de transfert automatique pour rack utilise l'alimentation de la deuxième source électrique, sans interrompre les charges critiques (le transfert se fait en 4ms).

(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_14.jpg)

Les 30 serveurs, connectés à leur switch, avec un lien uplink de 10 Gb/s fibre :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_15.jpg)
Titre: Data center DC3 Scaleway: La salle N°3
Posté par: vivien le 23 octobre 2015 à 13:04:15
Les 45 baies d'un bloc sont toutes connectées dans cette baie télécom située au milieu

Les deux switchs Juniper Networks EX3300 : (réseau « RPN »)

Chaque switch collecte le trafic réseau pour le réseau privé « RPN ». Chaque deuxième carte réseau des machines est connectée à switch Juniper situé dans la même baie que le serveur.
Le switch de baie est connecté via deux liens 1 Gb/s cuivre à deux Juniper EX3300 situés dans une baie réseau.

Chaque Juniper EX3300 gère 45 switch (pour 45 baies) et a 4 ports uplink  en bas à droite :
- Le port d'uplink avec le label 0 est connecté via un SFP+ à une fibre 10 Gb/s qui va vers la salle telecom.
- Le port d'uplink avec le label 1 est inutilisé
- Le port d'uplink avec le label 2 et 3 est connecté en cuivre à l'autre switch et configuré comme VCPs. You can use these uplink ports to interconnect Virtual Chassis members.


Le switch de collecte Cisco Nexus 9396PX : (réseau Internet)

Les fibres 10 Gb/s de toutes les baies du bloc (45 baies) se retrouvent dans une baie réseau équipée d'un Cisco Nexus 9396PX.

Ce dernier va agréger les 45 liens 10 Gb/s. "The Cisco Nexus 9396PX Switch is a 2RU switch that supports 1.92 Tbps of bandwidth and over 1500 mpps across 48 fixed 10-Gbps SFP+ ports and an uplink module that can support up to 12 fixed 40-Gbps QSFP+ ports."

Ces switchs Cisco Nexus 9396PX sont connectés sur une boucle de 80 Gb/s, via deux liens 40 Gb/s agrégés. Cette boucle se termine sur deux routeurs Online différents, hébergés dans deux salles opérateurs différentes. En théorie, il devrait être possible de faire passer 160 Gb/s, mais Online dimensionne les liens pour avoir la capacité de tout envoyer via un seul coté de la boucle sans saturer : En cas de coupure de la boucle, elle se transforme en deux demi-boucles ouvertes de 80 Gb/s chacune.

Si un routeur tombe entièrement, le second routeur de la boucle prend l'intégralité du trafic.


(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_16.jpg)

En bas le tiroir optique avec l'arrivée des 4 liens 40 Gb/s pour Internet et de 2 liens 10 Gb/s pour le réseau privé « RPN ».

Comme vous pouvez le voir tout est prêt pour une upgrade de la boucle de 80 Gb/s à 160 Gb/s (connexion du switch Nexus 9396PX à deux liens de 4x40 Gb/s)

(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_17.jpg)
Titre: Data center DC3 Scaleway: La salle N°3
Posté par: vivien le 23 octobre 2015 à 13:04:50
Le dernier espace libre du data center DC3 avant extension :

Les salles 3 et 4 de DC3 sont pleines, la seule place qu'il reste, c'est cet espace en salle 3, d'où les travaux pour construire la phase 2 du data center avec les salles 1 et 2.

Les baies qui seront remplies de serveur la semaine prochaine :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_18.jpg)

Le trou pour le raccordement électrique et la mise à la terre de la baie :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_19.jpg)

Le groupe "LaFibre.info" à l'emplacement où les serveurs d'octobre seront mis en place : (les trous sur le faux plancher sont déjà réalisés) :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_20.jpg)

Comme vous pouvez le voir, les chaussons sont obligatoires (sur-chaussure jetable) pour rentrer dans les salles. Cela permet de limitée l'arrivée de poussières. La très grande majorité des data-center ne prennent pas ces précautions (il y a Interxion qui fait la même chose que Scaleway). Certains, comme Globalswitch à Clichy ou Telehouse 3 ont des tapis "collants" dans les sas pour retenir les cochonneries présentes sous les semelles.
Titre: Data center DC3 Scaleway: La réserve
Posté par: vivien le 23 octobre 2015 à 13:05:14
La réserve de fibre :

Entre les salles 3 et 4, il y a un petit espace, utilisé par Scaleway pour stocker les fibres de tous les modèles et longueur possible.

Cet emplacement entre les salles 3 et 4 permet de diminuer la distance à parcourir pour aller chercher une fibre.

(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_01.jpg)

En regardant par le plafond, on voit bien qu'il y a de l'espace entre le bâtiment et les matériaux de chambre froide qui forment la salle 3 et 4.
(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_02.jpg)
Titre: Data center DC3 Scaleway: La salle N°4
Posté par: vivien le 23 octobre 2015 à 13:05:35
La Salle 4 de DC3 :

Petite photo historique avec les essais de clim et faute de serveurs, ce sont des radiateurs industriels qui ont été mis en place pour chauffer la salle :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_3.jpg)

On retrouve en salle 4 également des serveurs Online haut de gamme avec double alimentation et KMV IP avec connexion Ethernet dédiée.
(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_03.jpg)

Mais ce serait vous mentir que dire que tous les serveurs sont comme ça.

Voici donc des serveurs Dell avec une seule alimentation électrique (Dell PowerEdge R210 / R210 II / R220).
(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_04.jpg)

Plus de réseau privé « RPN » sur une seconde carte réseau, mais il y a toujours un KVM IP hardware avec IP dédiée (iDRAC6 Enterprise ou iDRAC7 Enterprise).

Le switch de baie est un Cisco Catalyst 2960-S avec deux ports uplik à 10 Gb/s (cages pouvant accueillir des SFP+) mais les cages SFP+ sont vides et l'uplink est de 1 Gb/s. Ces serveurs se partagent donc 1 Gb/s, mais la "Bande passante garantie Internet" est de 300 Mb/s sur ces serveurs.
(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_05.jpg)
Titre: Data center DC3 Scaleway: La salle N°4
Posté par: vivien le 23 octobre 2015 à 13:06:30
Dedibox SC gen2 : Le premier prix en serveur dédié => 5,99€ HT/mois

C'est un petit serveur avec un petit processeur, 2Go de ram et un disque dur 2,5 pouces :
(https://lafibre.info/images/datacenter/201509_Dedibox_SC_gen2.png)

Sa consommation électrique ? seulement 11 watts !

https://lafibre.info/videos/datacenter/201102_online_dedibox_sc_dell.mp4


Voici un bloc hébergeant des Dedibox SC gen2 :
- 12 serveurs dédies par châssis 2u Dell (proche des châssis utilisés pour des disques dur 3,5 pouces pour du SAN)
- 14 châssis par baie, soit 168 serveurs dédié par baie (Arnaud a déjà parlé d'une densité de 252 serveurs par baie mais cela doit être à DC1, car là j'ai bien compté: il y en a 168)
- 7 switchs par baie (2 liens 1 Gb/s par baie qui apportent Internet)
(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_06.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_07.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_08.jpg)
Titre: Data center DC3 Scaleway: La salle N°4
Posté par: vivien le 23 octobre 2015 à 13:07:05
Ici, ce sont des switchs Cisco Catalyst 2960-S 48 ports avec deux ports uplink à 10 Gb/s (cages pouvant accueillir des SFP+) mais les cages SFP+ sont vides et l'uplink est de 1 Gb/s.

En haut de baie, 3 switchs se partagent un lien 1 Gb/s (72 serveurs)
En haut de baie, 4 switchs se partagent un lien 1 Gb/s (96 serveurs)
La "Bande passante garantie Internet" est de 200 Mb/s sur ces serveurs.

Certains vont trouver que Online met beaucoup de serveurs par lien 1 Gb/s. Je rappelle qu'il est statiquement improbable que tous les clients utilisent en même temps au max le débit de leur serveur, tout comme les égouts d'une ville ne sont pas dimensionnés si tous les habitants tirent simultanèment leur chasse d'eau.

Un FAI va mettre bien plus de clients FTTH à 200 Mbs sur un lien 1 Gb/s. Je rappelle la petite règle pour le dimensionnement des liens FTTH :

Voici une formule qui s'approche de ce qu'il faut provisionner :

Le débit offert aux clients x2 + la consommation moyenne par client multiplié par le nombre de client.

Consommation moyenne typique par client au moment du pic de consommation (généralement le dimanche soir):
- ADSL (débit typique offert au client de 8 Mb/s) : 200 Kb/s hors TV
- Câble (débit typique offert au client de 50 Mb/s) : 300 Kb/s hors TV
- FTTH (débit typique offert au client de 300 Mb/s) : 400 Kb/s hors TV

Taille du tuyau nécessaire pour 100 clients à 10 Mb/s (hors flux TV multicast) : 10 x 2 + 0,2 x 100 = 40 Mb/s
Taille du tuyau nécessaire pour 100 clients à 50 Mb/s (hors flux TV multicast) : 50 x 2 + 0,3 x 100 = 130 Mb/s
Taille du tuyau nécessaire pour 100 clients à 100 Mb/s (hors flux TV multicast) : 100 x 2 + 0,4 x 100 = 240 Mb/s

Inversement, avec 1 Gb/s, tu mets :
- ( 1000 - (10 x 2) ) / 0,2  = 4900 clients à 10 Mb/s
- ( 1000 - (50 x 2) ) / 0,3  = 3000 clients à 50 Mb/s
- ( 1000 - (100 x 2) ) / 0,4  = 2000 clients à 100 Mb/s

C'est une estimation pour Internet, sans les flux TV.

Pour les flux TV, tout dépend de jusqu'à où tu descend tous les flux, le débit des flux et l'usage de tes clients.


Bref, ces Dedibox sont des serveurs avec un incroyable rapport qualité / prix. Les geeks sont clairement la cible visée (Petit serveur pour héberger des pages perso ou des tests divers).

(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_09.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_10.jpg)
Titre: Data center DC3 Scaleway: La salle N°4
Posté par: vivien le 23 octobre 2015 à 13:07:33
Ici, ce sont des switchs Cisco Catalyst 2960-S 24 ports (sans cage 10Gb/s) qui sont utilisés. Un SPF cuivre est utilisé pour le chaînage qui reste strictement identique à celui vu précédemment :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_11.jpg)

Un serveur extrait de son rack :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_12.jpg)
Titre: Data center DC3 Scaleway: La salle N°4
Posté par: vivien le 23 octobre 2015 à 13:07:51
Le coté "allée chaude" de ces serveurs :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_13.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_salle4_14.jpg)

Les câbles Ethernet et les fibres ne circulent pas dans le faux plancher, mais dans des chemins de câbles situés au-dessus des baies :
(https://lafibre.info/images/datacenter/201509_online_dc3_11.jpg)

Les fibres qui doivent aller vers des routeurs (dans la salle Telecom) partent, via des chemins de câbles, jusqu'à une des deux "tête optique" de la salle. On a une "tête optique" connectée à la salle opérateur N°1 et une "tête optique" connectée à la salle opérateur N°2 :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_02.jpg)
Titre: Data center DC3 Scaleway: Salle opérateur N°1
Posté par: vivien le 23 octobre 2015 à 13:08:20
Mission N°2 d'un data center : Interconnexion

Salle opérateur N°1

Petit rappel des quatre principales missions d'un data center :
- Sécurité (contrôle d'accès, extinction des incendies, protections des agressions extérieures tels que foudre ou inondations)
- Interconnexion (Offrir une possibilité de se connecter à des réseaux de manière sécurisée)
- Climatisation (garantir une température constante)
- Énergie (garantir une alimentation en énergie sans aucune coupure, même en cas d'incendie)

DC3 est équipé de deux salles opérateurs et deux meet-me-room. Pourquoi deux? Pour offrir plus de sécurité.
- Le seconde salle est alimentée par deux chaînes électriques différentes de la première salle.
- Les fourreaux pour rentrer dans le bâtiment sont différents pour les deux salles.

Le contrôle d’accès est à carte + biométrique (il faut les deux pour ouvrir la porte)

Ce système biométrique est utilisé pour toutes les portes sans exception (sauf les cages client).
C’est un système maison, développé par le lab d’électronique de Scaleway et fabriqué en France dans l'usine à Laval.
(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_01.jpg)

La construction de la salle opérateur 1 :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_5.jpg)

Les arrivées électriques sous les baies :

(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_6.jpg)
Titre: Data center DC3 Scaleway: Salle opérateur N°1
Posté par: vivien le 23 octobre 2015 à 13:08:42
Un data center cherche à attirer au maximum les opérateurs pour que leurs clients aient du choix.

Scaleway a fait le choix de la gratuité des baies pour les opérateurs, à condition de respecter des conditions strictes, comme être présent dans les deux salles opérateurs. Cela force les opérateurs à proposer des infrastructures sécurisées. Dans beaucoup de data center, les opérateurs ne prennent qu'une baie pour mettre les routeurs. Scaleway fait un pari audacieux pour proposer un maximum d'opérateurs et de sécurité avec la gratuité des baies.


Vous vous demandez l'utilité de forcer les opérateurs a sécuriser leurs installations ?

L'histoire à donné raison à la stratégie de Scaleway :
Effondrement d'égout dans la Communauté d'agglomération Val de Bièvre entraînant la coupure de 832 fibres d'Online connectées à DC3.

Bonjour,

La Communauté d'agglomération Val de Bièvre nous as informé d'un problème important dans un égout par lequel transite notre fibre optique sur la liaison nord DC2 - DC3.
Cet égout en train de s'effondrer avec un impact probable sur notre réseau optique.
Il s'agit d'un câble de 832 fibres, reliant les infrastructures de DC1/DC2 vers notre coeur de réseau à DC3.

Ce réseau optique est doublé, par un circuit sud DC2-DC3, empruntant un chemin distinct et opposé.
La quasi totalité des fibres sont redondées sur les deux liaisons, les vérifications sont en cours pour s'assurer que c'est bien le cas, à la fois pour Online et à la fois pour les clients des deux data centers.

La communauté procédera dans un premier temps au comblement de l'égout. Cette opération est programmée le 13/05.
Nous sommes en train de planifier en urgence le dévoiement de notre câble afin de le sécuriser et permettre les travaux de réparation.
En attendant, compte tenu de cette situation exceptionnelle, il existe un risque important de rupture de notre liaison optique.
Bien que nos liaisons soient sécurisées, il existe un risque faible de perturbations.

Arnaud


Source : Arnaud, CEO Online.net sur Forum Online (http://forum.online.net/index.php?/topic/3154-dc3-effondrement-en-%C3%A9gout/), le 3 mai 2013

Les baies proposées aux opérateurs dans la Salle opérateur N°1 :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_02.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_03.jpg)
Titre: Data center DC3 Scaleway: Salle opérateur N°1
Posté par: vivien le 23 octobre 2015 à 13:09:06
La MMR1 (meet-me-room)

C'est là que toutes les fibres arrivent :
- Les fibres qui arrivent de la salle 3 et 4
- Les fibres qui arrivent des baies des opérateurs
- Les fibres qui arrivent de l'extérieur

Des jarretières sont posées afin de relier ces différentes fibres.

Alors que aujourd'hui plusieurs data center font le choix de faire payer tous les mois les liens vers la meet-me-room (80€ par paire de fibre par exemple), Scaleway fait le choix de la gratuité (des frais de mise en service sont à payer, comme pour tous les acteurs)

Lors de la construction, l'opération de soudure des câbles : (certains câbles comporte 720 fibres comme celui qui relie les data center Scaleway entre eux)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_3.jpg)

Le matériel est de marque Idea Optical (un leader dans le domaine)
(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_04.jpg)

Arrivée d'un 720 FO depuis un autre data center Scaleway : Les 720 fibres est répartie pour aller sur 5 têtes optiques : chaque tête reçoit 144 fibres chacun (12 tubes de 12 fibres)
(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_05.jpg)

Ce sont les mêmes câbles que ceux utilisés par Free pour le déploiement FTTH.
Je vous invite à aller voir le reportage sur les NRO de Free => Visites des NRO de Free (https://lafibre.info/free-la-fibre/nro-free/)

Le câble est éclaté en tubes de 12 fibres au niveau des flèches bleues : (les câbles bleus à droite sont donc des 48 FO)
(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_06.jpg)
Titre: Data center DC3 Scaleway: Salle opérateur N°1
Posté par: vivien le 23 octobre 2015 à 13:09:31
Une cassette de 12 fibres Idea Optical :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_07.jpg)

Idea Optical fourni un logiciel qui permet de calculer, en fonction des deux positons, la longueur de jarretière qu'il faut utiliser, afin de limiter les boucles :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_08.jpg)

L'étiquetage est minutieux :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_09.jpg)
Titre: Data center DC3 Scaleway: Salle opérateur N°1
Posté par: vivien le 23 octobre 2015 à 13:09:55
La meet-me-room N°1 cuivre :

Que dire, sinon qu'elle est peu utilisée et que aujourd'hui les connections hors des baies se font presque exclusivement en optique.

(https://lafibre.info/images/datacenter/201509_online_dc3_salle_operateur_10.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:10:40
Mission N°3 d'un data center : Climatisation

Petit rappel des quatre principales missions d'un data center :
- Sécurité (contrôle d'accès, extinction des incendies, protections des agressions extérieures tels que foudre ou inondations)
- Interconnexion (Offrir une possibilité de se connecter à des réseaux de manière sécurisée)
- Climatisation (garantir une température constante)
- Énergie (garantir une alimentation en énergie sans aucune coupure, même en cas d'incendie)


La climatisation pour DC 3 :
- 35 armoires de 200 kWf en formation N+2 (utilisation d'eau pure non glycolée)
- Température dans les allées froides : 21°c (+/- 2°c)
- Température dans les allées chaudes : 33°c (en fonction des serveurs utilisés)
- Air en surpression dans les salles informatiques, afin d'éviter l'entrée de poussière quand on ouvre la porte
- 2 chaînes de production frigorifique (redondance 2N) de 10,2 MW (double réseau bouclé)
- Gaz frigorifique R134A, sans impact sur l'environnement
- Refroidisseurs de type dry coolers ne consommant pas d'eau (contrairement à beaucoup d'autres)
- 13 centrales de traitement d'air de 125 kW en formation 2N
- Refroidissement indirect (freechilling) sans utilisation de climatisation plus de la moitié de l'année :

Freecooling direct : du vrai freecooling avec de l'air venant de l'extérieur
Freecooling indirect : l'air refroidit de l'eau qui via un échangeur, refroidit le circuit d'eau, qui a son tour refroidit l'air des salles.

J'ai interrogé Arnaud sur le Free cooling direct pour les serveurs, utilisés par Maxnod : L'air doit être propre dans une salle serveur, et cela coûterait cher en filtres à Paris, mais qu'en province c'est possible pour des petites salles (la place occupée est une autre raison de sa non-utilisation pour DC3)

Le PUE (Power Usage Effectiveness), c'est l'indicateur d'efficacité énergétique. Plus il est proche de 1, mieux c'est.

Les DataCenter datant de 1990 ont un PUE proche de 2 (pour 100w consommé par les serveurs, le data-center consomme 200w). Un PUE de 2 signifie que quand les serveurs consomment 1w, le data center consomme 2w (climatisation, onduleurs,...)

(https://lafibre.info/images/datacenter/201509_pue.png)

Pour DC3, il est de 1,3 la moitié chaude de l'année et descend à 1,2 quand il fait moins de 8°c à l'extérieur (Free cooling). Il est possible de vérifier en temps réel le PUE sur https://pue.online.net/

Voici la répartition de la consommation l'été, avec un PUE de 1,3 :
(https://lafibre.info/images/datacenter/201509_online_dc3_13.jpg)

Les chiffres ci-dessous intègrent l'extension de DC3 avec les salles 1 et 2, qui sont en cours de construction actuellement.

Consommation maximum de l'ensemble des serveurs : 7425 kW (chiffre calculé à partir de la capacité des onduleurs, expliqué plus bas)
=> Consommation totale maximum du site : 9770 kW
=> Consommation maximum de la production de froid : 1075 kW
=> Consommation maximum des servitudes : 977 kW
=> Consommation maximum des pertes électriques : 293 kW

Consommation moyenne des équipements informatiques, par salle de 250m² : 325 kW (hypothèse d'un site ou 100% de l'énergie dispo est consommée)
=> Consommation moyenne par salle de 250m² (total avec clim ect..) : 428 kW
=> Consommation moyenne par salle de 250m² pour la production de froid : 47 kW
=> Consommation moyenne par salle de 250m² pour les servitudes : 43 kW
=> Consommation moyenne par salle de 250m² pour les pertes électriques : 13 kW

Consommation moyenne des équipements informatiques, par baie : 2462 W (hypothèse d'un site ou 100% de l'énergie dispo est consommée)
=> Consommation moyenne par baie (total avec clim ect..) : 3239 W
=> Consommation moyenne par baie pour la production de froid : 356 W
=> Consommation moyenne par baie pour les servitudes : 324 W
=> Consommation moyenne par baie pour les pertes électriques : 97 W

Densité électrique : 1300 W par m²
=> Consommation moyenne par m² (total avec clim ect...) : 1710 W
=> Consommation moyenne par m² pour la production de froid : 188 W
=> Consommation moyenne par m² pour les servitudes : 171 W
=> Consommation moyenne par m² pour les pertes électriques : 51 W
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:11:33
Armoires de climatisation de 200kWf :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_06.jpg)

L'air ambiant à 33° est aspiré par le haut et injecté dans le faux plancher :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_07.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:11:46
Aéro-refroidisseur / Dry coolers

Les 10 aérorefroidisseurs (drycoolers) utilisent un échangeur avec l'air sur-dimensionné afin de faire tourner les ventilateurs lentement pour limiter la nuisances sonores pour les voisins (un immeuble est juste à coté). 18MW de capacité par 42C extérieurs.

Le dimensionnement est à 42°C extérieurs pour la certification tiers-III (Uptime institute nécessite de dimensionner à la température maximale atteinte sur les 20 dernières années).
Suite à cet été (record dépassé), l’installation va être redimensionné pour que le datacenter conserve sa certification Uptime institute tiers-III.

Le tout est mis dans une enceinte de 7 mètres de haut insonorisée. L’arrivée d'air se fait par des tunnels insonorisés au niveau du sol. Le système est extrêmement silencieux.

Le silence presque total à un coût à la construction, mais cela permet d'éviter les procès. Telehouse2, implanté en plein Paris, en serait a son 5ème procès et ce n'est pas gagné d'avance :

Le data center Interxion PAR7 va devoir être arrêté pour trouble au voisinage !

C'est une plainte d'un collectif de riverains du datacenter, rassemblé dans l’association Urbaxion’93 qui a demandé et obtenu l'annulation de l'arrêté d'exploitation.

En cause : Le bruit pour le refroidissement 24h/24 et les tests mensuels des groupes
« Il fait du bruit en permanence et a été implanté sans concertation suffisante avec la population, presqu’à notre insu en fait », dénonce Matilda Mijajlovic, l’une des habitantes de la rue Rateau à l’initiative de la création du collectif.

Aspect green : L'eau utilisée pour le circuit de refroidissement est composée à 30% de Propylène Glycol (et non de l’éthylène glycol), c’est du glycol alimentaire, non polluant et non toxique mais extrêmement coûteux. Le circuit d'eau dans le Datacenter lui ne comporte pas de Propylène Glycol (pas de risque de gel).

Les Aéro-refroidisseur de DC3, vu aérienne il y a 3 ans :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_2.jpg)

Aujourd'hui : (peu de choses ont changé)

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_01.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:11:53
En haut des Aéro-refroidisseur il y a des ventilateurs qui extraient l'air vers le haut, surmonté par un silencieux pour que le système soit presque inaudible (il y a des voisins).
(https://lafibre.info/images/datacenter/201509_online_dc3_froid_02.jpg)

L'eau chaude est envoyée dans le circuit intérieur (en suivant la fleche) et va jusqu'au bout puis revient par le circuit extérieur. La chute de température par ce long chemin est impressionnante : l'eau est vraiment froide, à température ambiante.

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_03.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:15:29
Afin de piéger le bruit, il y a en haut des murs avec une matière qui piège le son.
En bas, il y a des silencieux qui permettent à l'air extérieur de rentrer (on voit au fond du silencieux, le jardin d'un immeuble voisin)

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_04.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_05.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:15:46
Vue aérienne du data center DC3 et de l'immeuble voisin : (c'est pour lui que Scaleway a dépensé autant en insonorisation)
(https://lafibre.info/images/datacenter/201509_online_dc3_12.jpg)

On retrouve les mêmes silencieux pour le NRO de Free :

Pour mieux comprendre l’insonorisation, voici un exemple d'insonorisation avec un silencieux d’entrée d’air horizontal et un silencieux de sortie d’air vertical (pour Free les deux silencieux sont horizontaux).

Avant l'insonorisation :
(https://lafibre.info/images/datacenter/201401_insonorisation_climatisation_akustike_avant.jpg)

Après le passage de la société Française AKUSTIKE (http://www.akustike.fr/gen/capotage_insonorisant/capotage_climatisation_41/insonorisation_groupes_climatisation_87.htm) (installée à Villejuif, dans le 94)
(https://lafibre.info/images/datacenter/201401_insonorisation_climatisation_akustike_apres.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:16:14
A gauche : Les vannes de purge (il ne doit pas y avoir d'air, car des bactéries pourraient se développer car c'est juste de l'eau avec un anti-gel)

Au centre : le moteur surplombé d'un silencieux
(https://lafibre.info/images/datacenter/201509_online_dc3_froid_06.jpg)

Les armoires techniques qui cachent un inverseur de source (on peut voir l’inverseur SOCOMEC au travers de la vitre)
Certification uptime institute oblige, même les dry-coolers doivent être double alimentés depuis deux circuits électriques différents… qui contrôlent les moteurs :

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_07.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:16:43
La production frigorifique

5 groupes froids Carrier sont installés pour l'informatique (serveurs) et une extension avec un 6ème groupe froid va être réalisée.
Deux plus petits carrier sont dédiés pour refroidir les locaux techniques (onduleurs), les deux salles telecom et les couloirs. Au total la production frigorifique atteint 11,8 MW. Le gaz frigorifique utilisé est le R134A, sans impact sur l'environnement.

Il y a 4 chaînes de froid : 2 chaînes en configuration 2N pour l’informatique et 2 chaînes en configuration 2N pour les locaux techniques.
Configuration 2N : une seule chaîne est capable de refroidir l'intégralité des installation.

C'est un principe de base pour les datacenters Scaleway: tout ce qui est informatique est séparé du technique. Les chaînes électrique de la clim sont par exemple dissociés des chaines informatiques (2 chaînes électriques avec 2 transformateurs de 2,5 MW et 4 groupes électrogènes sont dédiées à la climatisation).
La climatisation des locaux techniques est dissociée de l’informatique.
La séparation des locaux entre l’informatique et la technique est au moins coupe-feu 4 heures
etc…

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_08.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:17:23
L’armoire de contrôle de la chaîne de froid "A" avec les interrupteurs pour gérer les 7 Aéro-refroidisseurs que nous venons de voir :
(https://lafibre.info/images/datacenter/201509_online_dc3_froid_09.jpg)

L'écran de l'automate, prise il y a 3 ans :

(https://lafibre.info/images/free/201209_visite_datacenter_iliad_froid_7.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:19:01
Les échangeurs (en bleu) pour le free-cooling indirect : L'eau qui passe dans les Aéro-refroidisseurs n'est pas celle qui va dans les armoires dans les salles : il y a donc 2 échangeurs (un par chaîne de froid) qui permet de récupérer les calories de l'eau.

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_10.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:19:05
Toutes les installations sont doublées (il y a deux chaînes de froid, en configuration 2N : une seule chaîne de froid est nécessaire pour climatiser un data center plein) mais les deux chaînes sont côte à côte dans la même salle.

En cas de sinistre dans cette salle, le data center peut perdre ses deux chaînes : C'est ce qui a fait perdre à Online la Certification Uptime Institute Tiers IV (DC3 est certifié Uptime Institute Tiers III)
(https://lafibre.info/images/datacenter/201509_online_dc3_froid_11.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_12.jpg)
Titre: Data center DC3 Scaleway: Climatisation
Posté par: vivien le 23 octobre 2015 à 13:19:09
Les 5 groupes froid de marque Carrier pour refroidir les serveurs (il y a de la place pour rajouter un 6ème groupe, pour l'extension du data center avec l'ouverture prochaine de la salle 1 et 2)

Ils ont chacun deux compresseurs de 1,7MWf (3.4MW chacun)
(https://lafibre.info/images/datacenter/201509_online_dc3_froid_13.jpg)


Le deux plus petits carrier pour refroidir les deux salles telecom, les onduleurs et les couloirs :

Ce sont des groupes froids de 850kW chacun (deux compresseurs de 425kW)

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_14.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:19:12
Mission N°4 d'un data center : Énergie

Petit rappel des quatre principales missions d'un data center :
- Sécurité (contrôle d'accès, extinction des incendies, protections des agressions extérieures tels que foudre ou inondations)
- Interconnexion (Offrir une possibilité de se connecter à des réseaux de manière sécurisée)
- Climatisation (garantir une température constante)
- Énergie (garantir une alimentation en énergie sans aucune coupure, même en cas d'incendie)


Les armoires électriques situées à proximité des serveurs :

Chaque mini-dijoncteur de 20A dispose ainsi de son propre compteur qui est relevé à distance et facturé au client en incluant le coût de la climatisation :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_05_zoom.jpg)

Il y a quelques années les data center ne pouvaient refacturer au kw à leurs clients. Le contournement consistait à leur vendre une puissance (6A, 10A, 16A, 20A, 25A...) mais le prix payé était fixe quel que soit la consommation réelle.

Aujourd'hui avec l'arrivée d'instruments de mesure de la consommation certifiés MID (Directive européenne 2004/22/CE) c'est possible.
Obligation légale :On ne peut facturer une unité de mesure (que ça soit du poids, de l’énergie, un volume etc…) que si l’unité de mesure à été mesurée, validée et plombée.
Tous les datacenters qui facturent de l’énergie sans respecter la directive européenne sont dans … l’illégalité :)

Vous avez remarqué ? Il n'y a pas de protections différentielles à 30mA !

Il y a beaucoup de spécificité électrique dans un data center, et cela commence avec ces disjoncteurs qui ne sont pas différentiels, alors que le data center DC3 est pourtant bien conforme NF C 15-100 et code du travail.

Arnaud de Bermingham CEO de Scaleway explique la recherche de la fiabilité maximum qui a poussé à mettre ce type de matériel :

Donc si y'en n'a pas, c'est qu'on est en présence de régime IT.
Merci Arnaud pour les différents éclaircissements. Peu de DC privés cherchent la certification de l'uptime institute et préfèrent appliquer la réglementation sans discuter quite à avoir un SPOF.

Hello,

Non, régime TN-S. Le régime IT est vraiment à proscrire en data center, personne ne fait ça (sauf quelques vieux sites FT construits dans les années 70) car la recherche de défaut vire au cauchemars compte tenu du nombre de terminaux.  Et beaucoup de contraintes règlementaires.
Il est tout à fait possible en TN-S de ne pas avoir de disjoncteurs différentiels. Il suffit juste de bien lire la réglementation et de ne pas céder aux lobbys de Schneider Electric sur ce sujet. A noter, la France est le seul pays au monde à "imposer" des protections différentielles à 30mA sur chaque circuit de prise.

Concernant la certification, c'est avant tout un travail (conséquent) technique et technologique, c'est au maitre d'ouvrage ou à l'exploitant d'arriver au résultat tout en appliquant la réglementation locale. Le plus gros du boulot est surtout au niveaux des groupes électrogènes, la certification ne prends pas en compte (du tout) les arrivées électriques du data center et considère le data center et son niveau de redondance exclusivement sur groupe électrogène en production permanente.

Une fois l'extension terminée, DC3 c'est :
- 2 arrivées électriques 20 000 V de 18 MW de capacité chacune,
- 6 chaînes électriques (Blanc / Noir / Rouge / Jaune / Bleu / Vert) de 2,5 MW (répartition Tier IV de type 2N+1) équipées chacune :


Les chaînes Noir et Blanc n'ont pas d'onduleurs, car elles sont utilisées pour les 2 chaînes de climatisation. En cas de perte d'un groupe, les chaînes Rouge / Jaune / Bleu / Vert peuvent utiliser le transformateur / groupes des chaînes noir ou blanc, avec pour conséquence la perte d'une chaîne de climatisation : Un "jeu de barre" permet de connecter les 4 chaînes IT aux chaînes noir ou blanc.

En cas de panne d'un second groupe, on perd soit une des double alimentation dans la moitié du data-center soit les deux chaînes de froids. En cas de panne d'un troisième groupe, on perd la climatisation et une des double alimentation dans la moitié du data-center.

Online promet un rendement énergétique global supérieur à 97,3% depuis les arrivées haute tension, jusqu'aux infrastructures du client.
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:20:22
TGBT : disjoncteurs, onduleurs et batteries

Entrée des TGBT des chaînes jaune, bleu et vert :
(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_01.jpg)

Vannes de pré-action pour le systèmes d'extinction incendie par brouillard d'eau :

(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_02.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:20:50
A la demande générale du groupe, on a demande à visiter le TBGB de la chaîne rouge : Tout est rouge au cas où on oublierait dans quelle salle on est !

Les batteries :

Au fond à droite : les batteries pour une autonomie actuelle de 21 minutes environ.

L’autonomie en fin de vie des batteries : (dans 10 ans environ)
- 8 minutes fin de vie  à 100% de charge à 21°C constant
- 15 minutes fin de vie à 75% de charge de charge à 22°C constant

Au premier plan à droite, l'emplacement des batteries pour l'extension du data center avec les salles 1 et 2 :
(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_03.jpg)

Le TGBT Jaune, il y a 3 ans :

(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_11.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:21:27
Les onduleurs :

Les onduleurs 550 kVA en formation parallèle. Il y aura 20 onduleurs au total pour DC3, une fois l'extension réalisée.
(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_04.jpg)

Aspect green : Les 20 onduleurs ne sont pas on-line, mais line-interactive : ils ne sont utilisés qu'en cas de coupure du courant ERDF, d'où un gain évident, ces équipements ayant un rendement loin de 100% surtout avec des charges < 50% de la capacité. Habituellement, dans un data center on transforme systématiquement le courant alternatif en courant continue avant de le re-transformer en courant alternatif, d'où des pertes d'énergie. Dans ce data center, le rendement énergétique global supérieur à 97,3% depuis les arrivées haute tension jusqu'aux infrastructures client.

Explication de leon_m sur le fait que l'utilisation d'onduleurs "line interactive" ne pose aucun problèmes aux alimentations des serveurs :

Je pense que les data centers, c'est un domaine où on a longtemps pensé en "trop fort n'a jamais manqué". Donc on utilisait des solutions éprouvées, super fiables, mais pas forcèment efficaces, pas optimisées. Les onduleurs à double conversion (on line) sont les onduleurs qui fournissent la meilleure "prestation" : tension de sortie parfaitement stable et propre, indépendante de la tension d'entrée. Mais c'est cher, complexe, et avec un rendement pas terrible.
L'onduleur "line interactive" est moins performant (il réagit moins vite), mais c'est tout à fait acceptable, et surtout, il a un rendement exceptionnel.
Un data center équipé d'onduleur "en ligne" sera jugé plus performant, de meilleure qualité qu'un data center avec du "line interactive", même si ça n'est pas justifié! On considère très souvent à tort que les équipements informatiques sont des équipements très sensibles du point de vue alimentation, mais c'est faux: les alimentations modernes des PC/serveurs supportent assez bien les variations (raisonnables) de tension, ou les micro coupures (quelques millisecondes). Pareil: les variations de fréquences du courant 50Hz sont sans impact sur les PC, alors qu'elles dérangent beaucoup d'autres équipements (micro ondes, ou autre).

Pour caractériser les performances d'un onduleur, comme pour caractériser la tolérance d'une alim de serveur/PC fâce aux variations de tension, on utilise ce genre de courbes.

(https://lafibre.info/images/tuto/201209_tolerance_alim_serveur.png)


Scaleway ne fait pas de redressement du cos phi, aujourd'hui les serveurs ont une alimentation avec un cos phi de 1, il n'est pas nécessaire de mettre des équipements pour empêcher les pénalités ERDF. Certains serveurs ont même une alimentation en inductif (il y a 10 ans ce n'était pas du tout le cas)

A gauche Le cos phi du data center DC3 équipé de serveurs Dell et HP uniquement.
A droite le cos phi d'un data center équipé de serveurs avec alimentation de très mauvaise qualité (procès en cours)
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_4.jpg)(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_5.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:22:11
Les disjoncteurs de 4000 ampères "Compact"

Ce sont de gros disjoncteurs de 4000 ampères... On a beaucoup parlé d'eux quand TH2, là où le gros du trafic français est échangé, à incriminé une coupure électrique au 1er étage à un Masterpact (https://lafibre.info/datacenter/incident-electrique-sur-th2/) (c'est contesté par des experts)

(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_05.jpg)

Tous ces disjoncteurs "Compact" sont motorisés : il n'est pas nécessaire de se déplacer pour le ré-armer.

(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_06.jpg)

361 Ampères qui passent actuellement :

(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_07.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:22:38
Big Boss : L'automate

C'est son nom ! C'est lui qui gère entièrement le TGBT
(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_09.jpg)

Arnaud nous montre que la chaîne rouge est reliée aux groupes rouges, mais aussi aux groupes noirs ou blancs en cas de panne.
(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_08.jpg)

L'écran d’accueil de Big Boss :

(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_10.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:23:13
Climatisation des locaux technique

armoire . (Certification uptime toujours …)
Une CTA (centrales de traitement d’air) fait la climatisation de la salle. La CTA est située au dessus de la salle. En plus des registres et filtres pour le freecooling à air quand il fait moins de 19°c à l’extérieur, elle est équipée d’une batterie à eau glacée pour climatiser l'été.

Pour la certification Uptime institute, une redondance 2N est nécessaire et voici l'armoire de climatisation traditionnelle de secours (jamais utilisée en pratique, sauf panne ou maintenance de la CTA) :
(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_11.jpg)

Extraction de l'air au dessus des onduleurs . L'air frais de la CTA (centrales de traitement d’air) est introduit dans le faux plancher, comme une climatisation traditionnelle :

(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_04.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:23:29
La redondance des chaînes électriques chez DC3

En cas de perte d'un transformateur ou d'un groupe électrogène, il y a la chaîne blanc ou noir qui peut prendre le relais (on perd alors une des deux chaîne de climatisation).

En cas de perte de la chaîne à cause d’élèment plus bas au niveau du TGBT, aucune coupure ne sera à déplorer sur les serveurs, car ils sont toujours alimenté par une autre chaîne : la double alimentation ou la sécurisation via un commutateur de transfert automatique est généralisée : les autres chaînes passeront d'une charge à 75% à 100%.

Pour comprendre comment une charge à 75% des onduleurs en régime nominal est possible voici un tableau exemple qui explique comment sont connectées les salles de DC3.

Fonctionnement en régime nominal (ces chiffres inclut l'extension de DC3 avec les sales 1 et 2) :


Les chiffres sont exprimés en kW  Conso TotaleConso RougeConso VertConso BleuConso Jaune
Salle opérateur 1234117117
Salle opérateur 2234117117
Salle 1-1 (180m²)234117117
Salle 1-2 (180m²)234117117
Salle 1-3 (180m²)234117117
Salle 1-4 (180m²)234117117
Salle 2-1 (250m² – 132 baies)325162,5162,5
Salle 2-2 (250m² – 132 baies)325162,5162,5
Salle 2-3 (250m² – 132 baies)325162,5162,5
Salle 2-4 (250m² – 132 baies)325162,5162,5
Salle 2-5 (250m² – 132 baies)325162,5162,5
Salle 2-6 (250m² – 132 baies)325162,5162,5
Salle 3-1 (250m² – 132 baies)325162,5162,5
Salle 3-2 (250m² – 132 baies)325162,5162,5
Salle 3-3 (250m² – 132 baies)325162,5162,5
Salle 3-4 (250m² – 132 baies)325162,5162,5
Salle 3-5 (250m² – 132 baies)325162,5162,5
Salle 3-6 (250m² – 132 baies)325162,5162,5
Salle 4-1 (250m² – 132 baies)325162,5162,5
Salle 4-2 (250m² – 132 baies)325162,5162,5
Salle 4-3 (250m² – 132 baies)325162,5162,5
Salle 4-4 (250m² – 132 baies)325162,5162,5
Salle 4-5 (250m² – 132 baies)325162,5162,5
Salle 4-6 (250m² – 132 baies)325162,5162,5
Autre – divers – marge17142,7542,7542,7542,75
Total :74251856,251856,251856,251856,25
Les chiffres sont exprimés en kW  Production Totale   Production Rouge   Production Vert   Production Bleu   Production Jaune   
Onduleur 550kVA N°1495495
Onduleur 550kVA N°2495495
Onduleur 550kVA N°3495495
Onduleur 550kVA N°4495495
Onduleur 550kVA N°5495495
Onduleur 550kVA N°6495495
Onduleur 550kVA N°7495495
Onduleur 550kVA N°8495495
Onduleur 550kVA N°9495495
Onduleur 550kVA N°10495495
Onduleur 550kVA N°11495495
Onduleur 550kVA N°12495495
Onduleur 550kVA N°13495495
Onduleur 550kVA N°14495495
Onduleur 550kVA N°15495495
Onduleur 550kVA N°16495495
Onduleur 550kVA N°17495495
Onduleur 550kVA N°18495495
Onduleur 550kVA N°19495495
Onduleur 550kVA N°20495495
Total :99002475247524752475
75 % du total74251856,251856,251856,251856,25
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:24:02
Simulation de la perte de la chaîne rouge

On va maintenant prendre un exemple d'incident grave avec la perte d'une chaîne.

Cela permet de voir comment la charge est répartie sur les 3 autres chaînes. Une partie des salles perdent une alimentation sur les deux, mais jamais les deux.
Les 3 chaînes restantes passent à 100% de leur capacité.

Les chiffres sont exprimés en kW  Conso Totale          Conso Rouge          Conso Vert          Conso Bleu          Conso Jaune
Salle opérateur 12340234
Salle opérateur 2234117117
Salle 1-1 (180m²)234117117
Salle 1-2 (180m²)2340234
Salle 1-3 (180m²)2340234
Salle 1-4 (180m²)234117117
Salle 2-1 (250m² – 132 baies)3250325
Salle 2-2 (250m² – 132 baies)325162,5162,5
Salle 2-3 (250m² – 132 baies)325162,5162,5
Salle 2-4 (250m² – 132 baies)3250325
Salle 2-5 (250m² – 132 baies)3250325
Salle 2-6 (250m² – 132 baies)325162,5162,5
Salle 3-1 (250m² – 132 baies)3250325
Salle 3-2 (250m² – 132 baies)325162,5162,5
Salle 3-3 (250m² – 132 baies)325162,5162,5
Salle 3-4 (250m² – 132 baies)3250325
Salle 3-5 (250m² – 132 baies)3250325
Salle 3-6 (250m² – 132 baies)325162,5162,5
Salle 4-1 (250m² – 132 baies)3250325
Salle 4-2 (250m² – 132 baies)325162,5162,5
Salle 4-3 (250m² – 132 baies)325162,5162,5
Salle 4-4 (250m² – 132 baies)3250325
Salle 4-5 (250m² – 132 baies)3250325
Salle 4-6 (250m² – 132 baies)325162,5162,5
Autre – divers – marge1710575757
Total :74250247524752475

Vous avez compris : en cas de perte d'une seconde chaîne, on va dépasser les 100% de charge et le système s'écroule. Ce cas a toutefois une probabilité très faible d'arriver. Si c'est une panne de groupe électrogène, il faut perdre 4 groupes sur les 6. Si on perd seulement 3 groupes, je suppose que Online privilégierait l’arrêt complet de la climatisation, pour éviter de couper les serveurs. En effet les groupes noir et blanc, ceux des deux chaînes de climatisation, peuvent servir à n'importe quelle chaîne IT en back-up.
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:25:06
Les 12 groupes électrogènes et les 6 transformateurs 20 000 volts

Il y a 3 ans: seuls 6 groupes étaient installés, la dalle de béton est préparée pour l'extension, des 6 groupes supplèmentaires
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_energie_12.jpg)

Aujourd'hui : (les 6 groupes supplèmentaires ne sont pas encore raccordés)

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_01a.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_01b.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:25:40
Pour comprendre la taille de ces groupes, vous pouvez voir un technicien qui est sur le groupe vert pour terminer l'installation :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_01c.jpg)

Zoom :

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_01d.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:26:22
Un transformateur et une couleur par chaîne électrique : (les chemins de câbles supérieurs sont en cours de construction pour raccorder le second groupe de chaque chaîne électrique)
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_02.jpg)

Transformateurs 20 000 volts de 2,8 MW, utilisant une huile végétale naturelle.

Les transformateurs sont légèrement sur-dimensionnés pour optimiser le rendement et les pertes fer et fonctionner à pleine puissance par 42°C extérieurs.

Pourquoi une huile végétale naturelle ? J'ai eu deux explications :
- Certains dissent que cela améliore le rendement des transformateurs
- Certains expliquent que c'est pour limiter les produits toxiques
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_03.jpg)

Économie supplèmentaire, ces transformateurs sont placés à l'extérieur, il ne nécessitent aucune énergie pour le refroidissement. Certains data center, généralement contraints par le manque de place, doivent placer les transformateur à l'intérieur et dépenser de l'électricité pour évacuer la chaleur produite.
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:27:25
Les deux groupes électrogènes en couplage de la chaîne Blanc

Les deux groupes de chaque chaîne seront (quand l'installation sera terminée) en couplage (synchronisation à l’arrêt : les groupes démarrent avec une phase déjà couplée) pour un total de 2,5 MW.
Le couplage à l’arrêt est peu utilisé dans les data center, car la perte d'un groupe entraîne la perte de la chaîne entière.
Cela ne pose pas de problème à Scaleway, qui n'a pas la possibilité de réduire la charge sur une chaîne électrique : en cas de panne d'un des deux groupes lors d'une coupure de courant, la chaîne bascule sur les groupes blanc ou noir. (avec arrêt d'une des deux chaîne de froid, sans aucune incidence pour le refroidissement des salles qui est en 2N)
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_04.jpg)

Vue extérieure :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_05.jpg)

Les deux cuves de fioul (la certification tiers III exige une double alimentation) qui totalisent 112 000 litres pour 50 heures d'autonomie à pleine charge.
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_06.jpg)

En cas de crise, le data center DC3 est identifié par l'état comme un Opérateur d'importance vitale (OIV) et c'est donc l'armée qui fera les réquisitions pour remplir les cuves (cf l'article R. 1332-2 du Code de la défense français). En cas de besoin les réserves de l’état seront utilisées.

Arnaud nous disait qu'il regardait pour utiliser le Kérosène comme combustible. Il a comme avantage d'avoir une durée de vie de 10 ans en cuve, contre 3 ans pour le Diesel, ce qui oblige à le consommer.

C'est aussi pour cette raison que les essais de passage sur groupes durent 8h chez Online.
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:28:43
Le risque de la foudre

Scaleway doit assurer la disponibilité de l'énergie, 24h/24 quel que soit les événements qui se produisent. Que se passe t'il si la foudre tombe sur un transformateur et le fait exploser, l'explosion ou la foudre détruisant les systèmes qui assurent la redondance ?

Vous pensez que c'est de la science fiction ?

2 jours de coupure complète d'un data center Amazon en 2011 :

Amazon explique ainsi que la foudre a frappé directement l’un des transformateurs impliqués dans l’alimentation de ses centres de données à Dublin causant une explosion et un incendie. Normalement, cela n’aurait pas dû couper complètement l’alimentation sur une partie des serveurs comme cela est arrivé. Cependant, l’explosion était telle qu’elle s’est propagée à une portion du système de contrôle de phase qui synchronise les générateurs. Résultat pour Amazon : il a fallu intervenir manuellement sur les installations. Les réparations ont commencé le 8 août à 10h41 et les premières instances de services sont revenues le 9 août à 13h47. Amazon avait prévenu dans la foulée qu’il faudrait sans doute de 24 à 48 heures pour restaurer l’intégralité des instances et des volumes EBS.

Plusieurs centaines de To de données perdues par Google en 2015 :
Lors d’un incident particulièrement rare, la foudre a frappé quatre fois de suite un centre de données de l’entreprise en Belgique, provoquant la perte d’une partie des données des clients.

Les centres de stockage de données sont protégés contre un certain nombre de menaces, notamment celle de la foudre. Mais lundi, à 16h19, celle-ci s’est abattue à quatre reprises sur le data center belge, provoquant une brève panne de courant dans une partie de l’installation, explique Google dans un communiqué (https://status.cloud.google.com/incident/compute/15056#5719570367119360).
0.000001 % de données perdues

C’est là que sont stockés les systèmes du Google Compute Engine, ou GCE, qui permet à des entreprises, clientes de l’entreprise américaine, d’entreposer des données et de faire tourner des serveurs virtuels sur le cloud. Au plus fort de la crise, environ 5 % des systèmes one ont été touchés, mais grâce à l’intervention des techniciens, la proportion de données irrémédiablement perdues a été limitée à 0.000001 %, affirme Google.

Il n'y a pas de protection efficace à 100%, je ne connais pas la nature des incidents chez Amazon ou Google, mais Scaleway à mis toutes les chances de son coté avec une protection contre la foudre sur-dimensionnée.

Paratonnerres à dispositif d’amorçage Saint-Elme Type III de DC3


Scaleway a utilisé des Paratonnerres qui ont la capacité d'attirer la foudre sur eux, plutôt que d'espérer que la foudre préfère le point haut, sans avoir de garantie que la foudre ne touche pas ailleurs.

2 paratonnerres à dispositif d’amorçage Saint-Elme Type III  équipes DC3 et depuis que FreeMobile à mis une antenne sur le site, il y en a un troisième sur celle-ci.

Comme il y a un dispositif d'amorçage, il n'est pas nécessaire de mettre des mats très haut (comme le fait OVH qui n'a pas mis de dispositif d’amorçage)  :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_07.jpg)

Cette pointe Saint-Elme toute simple coûte 30 000 euros pièce...

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_08.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:29:39
3 Paratonnerres pour DC3, c'est suffisant ?

Quand la foudre frappe, il y a 2 vecteurs d'ondes de choc :
 1- dans l'air
 2- via le sol


Dans le 1er cas, le cône de diffusion est restreint autour du lieu d'impact, le sommet du cône étant l'impact (en hauteur) et la base le sol. En conséquence, un bâtiment sous ce cône reçoit un champ électrique. Si quelque chose fait antenne, ça fera récepteur.

Exemple (vécu): impact de foudre sur le paratonnerre du bâtiment -> tous les moniteurs à tube du bâtiment ont grillé.

Dans le 2ème cas, c'est l'énergie de la foudre qui se diffuse dans le sol comme un caillou jeté dans l'eau : l'onde peut remonter par les installations relié à la terre et endommager les appareils connectés.

C'est pourquoi :
 - un paratonnerre ne protège pas du champ électrique mais de l'énergie (colossale) de la foudre qui est capable de détruire complètement un bâtiment
 - un parafoudre(1) sur une installation électrique protège dans le sens lignes électriques -> terre MAIS AUSSI de l'énergie éventuelle qui pourrait en venir

En pratique, personne ne le fait, mais le parafoudre est obligatoire lorsqu'un bâtiment proche est équipé d'un paratonnerre.

(1) il faut en réalité 3 parafoudres : Type I (hautes énergies Iimp=35kA, onde longue 10/350µs), Type II (énergie moyenne 5kA < Iimp <20kA, onde moyenne 8/20) et Type III (énergie faible Iimp<2,5kA, onde courte). Le Type I est en amont de l'installation, le Type III au plus proche de l’équipement à protéger. Un parafoudre doit protéger Phase, Neutre et Terre.


(https://lafibre.info/images/datacenter/200904_guide_parafoudres.png)
Source : Schneider Electric

Une « Terre en patte d’oies » prise à 80 mètres sous le sol !

Pour éviter le vecteur d'onde de choc via le sol (remonté via la terre), Scaleway à mis le site de DC3 au même potentiel (même terre). c'est possible car les transformateurs 20 000 volts sont sur le site. Il n'y a donc plus de risque remontée via la terre vu que c'est la même terre qui sert de référence pour l'électricité et le bâtiment.

Pour la terre, Scaleway a vu grand : c'est un trou de 80 mètres qui a été effectué. Le bout de métal injecté dans la terre est spécial et a un système au bout pour faciliter le passage du courant qui est appelé « Terre en patte d’oies ».
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:30:06
Un peu de doc : (cliquez sur les miniatures ci-dessous - les documents sont au format PDF)
(https://lafibre.info/images/datacenter/200904_guide_parafoudres.jpg) (https://lafibre.info/images/datacenter/200904_guide_parafoudres.png) (https://lafibre.info/images/datacenter/201004_doc_paratonnerres.png) (https://lafibre.info/images/datacenter/201004_doc_paratonnerres.pdf) (https://lafibre.info/images/datacenter/201008_doc_paratonnerres_FRANKLIN.jpg) (https://lafibre.info/images/datacenter/201008_doc_paratonnerres_FRANKLIN.pdf)

(https://lafibre.info/images/datacenter/201004_doc_paratonnerres_1.png)

(https://lafibre.info/images/datacenter/201008_doc_paratonnerres_FRANKLIN_1.png)
(https://lafibre.info/images/datacenter/201008_doc_paratonnerres_FRANKLIN_2.png)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:30:37
Les groupes électrogènes pour obtenir une certification Uptime Institute Tiers III ou Tiers IV

Merci Arnaud pour les différents éclaircissements. Peu de DC privés cherchent la certification de l'uptime institute et préfèrent appliquer la réglementation sans discuter quite à avoir un SPOF.
Concernant la certification, c'est avant tout un travail (conséquent) technique et technologique, c'est au maitre d'ouvrage ou à l'exploitant d'arriver au résultat tout en appliquant la réglementation locale. Le plus gros du boulot est surtout au niveaux des groupes électrogènes, la certification ne prends pas en compte (du tout) les arrivées électriques du data center et considère le data center et son niveau de redondance exclusivement sur groupe électrogène en production permanente.

La certification considère que le data center fonctionne exclusivement sur groupe électrogène en production permanente. Cela signifie que les pièces qui s'usent doivent pourvoir être changées sans avoir besoin d’arrêter le groupe.
Il faut aussi deux arrivées en carburant complèmentent distinct (secondes cuve, seconde canalisation pour apporter le carburant).

Savez-vous qu'un groupe électrogènes consomme de l'huile ? Un peu (1 litre par heure, c'est peu par rapport à la consommation de carburant qui est de 500 litres par heure a pleine puissance) et généralement une réserve en local est suffisante.
Là pour la certification, il faut une double arrivée d'huile !

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_09.jpg)

Chaque groupe a une nourrice de 1000 litres de gazole qui se remplit quand elle arrive à 300 litres via un double circuit reliés à deux cuves (réserve pour 50 heures à pleine charge).

Pour l'huile, le carter contiens 220 litres d’huile soit (sans complèment automatique) un maximum 9 jours de fonctionnement continu.

Les deux arrivées de gazole et les deux arrivées d'huile :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_10.jpg)

Les sorties électriques du groupe :

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_11.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:31:02
Chaque groupe électrogène a son propre Masterpact :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_12.jpg)

Chaque groupe fournir 1233 kW.
Avec l'extension et le passage à 5 onduleurs de 550kVA par chaîne électrique (soit 495 kW par onduleur - 2475 kW au total), il faut un second groupe pour porter la capacité de la chaîne à 2466 kW.

Le couplage est un couplage à Froid : Les deux groupes synchronisent leur phase à froid pour fournir ensemble 2475 kW. La perte d'un des deux groupes entraîne l’arrêt complet de la production.


(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_13.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:31:31
Les pièces en rouge et blanc peuvent être changées sans avoir besoin d’arrêter le groupe :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_14.jpg)

Le filtre peut être purgé par le bas pour enlever les impuretés, sans avoir besoin d’arrêter le groupe :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_15.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:31:57
Le groupe a deux démarreurs, deux blocs de batteries pour le démarrage, double ventilation,... tout est doublé et l’installation est bien réalisée (et insonorisée pour les voisins immédiats). Ce sont des moteurs diesels de bateau, assez simples, afin qu'il ne soit pas nécessaire de faire venir des experts étrangers pour les réparer. Les groupes électrogènes sont refroidis par l'air. Cela peut paraître bête, mais j'ai visité un data-center où c'est un refroidissement par eau, avec une piscine (et si la panne dure trop longtemps et que la piscine est trop chaude, le refroidissement se fait par eau de ville perdue)

Extraction de l'air chaud en redondance 2N :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_16.jpg)

Entrée de l'air dans le moteur :

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_17.jpg)
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:32:23
Sortie des gaz d’échappement :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_18.jpg)

Fumée du diesel au démarrage :

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_19.jpg)

Chaque groupe est testé à vide, chaque mois, et en charge pendant 8 heures d'affilé.
Ces tests sont effectués en semaine et en journée, pour ne pas importuner les voisins.
Titre: Data center DC3 Scaleway: Énergie
Posté par: vivien le 23 octobre 2015 à 13:32:52
L'automate de contrôle du groupe

En cas de panne ERDF, les 10 premières secondes les groupes ne sont pas démarrés (la majorité des coupures font moins de 10 secondes). Les groupes électrogènes sont préchauffés et démarrent en 30 secondes.

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_20.jpg)

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_21.jpg)

Le bouton d’arrêt d'urgence du groupe :

(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_22.jpg)
Titre: Data center DC3 Scaleway: reportage photo de la visite
Posté par: vivien le 23 octobre 2015 à 13:33:21
Le coût de construction d'un data center ?

Selon Arnaud Bermingham : Hors foncier (qui n'a au final que très peu d'impact), à la louche
- Redondance 2N => 5000€/m² net + 4000€ / kW^m² (+20% par kW au delà de 2 kW / m²)
- Redondance N+1 => 4500€/m² net + 2200€ / kW^m²
- Pas de redondance (N) => 3000 €/m² net + 2000€ / kW^m² (voir beaucoup moins)


Un résumé de DC3 en vidéo (vidéo Online) :

https://www.youtube.com/watch?v=3E3cL8uWQbw


La doc de référence : La brochure "descritptif technique iliad DC3" : (cliquez sur la miniature ci-dessous - le document est au format PDF)
(https://lafibre.info/images/datacenter/201403_online_dc3_descritptif_technique.jpg) (https://lafibre.info/images/datacenter/201403_online_dc3_descritptif_technique.pdf)
Les information dans le PDF inclues la future extension.
Titre: Antenne tube Free-Mobile
Posté par: vivien le 23 octobre 2015 à 13:33:53
L'antenne tube Free-Mobile 3 secteurs du site et son paratonnerre au sommet

Un centre d'appel Free Mobile est situé dans le même bâtiment que le data-center. Ce site a une capacité de 400 places : 350 télé-conseillers et 50 personnes pour le support. Une équipe est composée de 20 télé-conseillers pour un superviseur et un "n2" technique. Il est ouvert 7 jour sur 7 et accueille 500 collaborateurs (plus de collaborateurs que de places car tous ne travaillent pas sur la même tranche horaire)

Pour ceux qui connaissent Centrapel sur Paris 8ème , là les canettes ne sont pas gratuites, par contre l'ambiance de travail est mieux pensée (à Paris ce sont des plateaux de 160 positions, 160 personnes au téléphone dans la même salle c'est très bruyant). Là ce sont des plus petites salles mais l'espace à disposition de chaque téléconseiller est restreint principalement à son ordinateur sous Linux Ubuntu.

Une antenne Free-Mobile 3 secteurs a été installée sur le parking :
(https://lafibre.info/images/datacenter/201509_online_dc3_freemobile_01.jpg)

Un curieux au pied du tube :
(https://lafibre.info/images/datacenter/201509_online_dc3_freemobile_02.jpg)

Les blocs du Lego NSN : les avantages de cette configuration : Il est facile de mettre en place ces blocs en haut d'un toit, alors qu'il faut une grue pour mettre une armoire traditionnelle.
(https://lafibre.info/images/datacenter/201509_online_dc3_freemobile_03.jpg)

Il n'y a eu aucune plainte des voisins pour le datacenter, mais dès que l'antenne FreeMobile a été posée, et avant même son branchement électrique, il y a eu des voisins qui étaient dérangés par les ondes imaginaires...

Vue aérienne du site avec l'antenne Free-mobile à droite :

(https://lafibre.info/images/datacenter/201509_online_dc3_12.jpg)
Titre: Data center DC3 Scaleway: reportage photo de la visite
Posté par: vivien le 23 octobre 2015 à 13:36:12
Ce reportage est terminé.

Je remercie beaucoup Arnaud de Bermingham et ses équipes : C'est le seul data center en France qui organise des visites massives (des centaines de personnes) et a être aussi transparent sur de nombreux sujets sensibles.

Je le remercie également pour les photos fournies depuis un drone et lors de la construction du site : c'est vraiment un plus pour comprendre le fonctionnement d'un Data center.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Vanilu76 le 23 octobre 2015 à 13:46:40
Très belles photos et très bon reportage ! Beau boulot Vivien !
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 23 octobre 2015 à 14:10:16
Bravo pour le reportage Vivien,

une petite précision tout de meme sur le réseau, les offres dont l'uplink public est en 1gb/s sont en cours d'upgrade en uplink 10gb/s ;)
(afin de pouvoir recycler les machines sur des offres avec de meilleures garanties réseaux)

on a commencé sur DC2 principalement , cf par ex https://status.online.net/index.php?do=details&task_id=319 , mais on va attaquer ce qui reste à DC3 (sauf les SC dont les switchs ne sont pas compatibles 10gb/s)

petit regret je ne vois pas mes ASR ! :)

Mik
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Hugues le 23 octobre 2015 à 14:12:47
Waw, bravo Vivien pour ce superbe reportage, extrêmement complet avec de belles images !


Et félicitations aux équipes d'Online/Illiad pour leur transparence, ils ont vraiment ouvert toutes les portes !

T'as des nouvelles de DC4Data pour les photos, au fait ?
(Ah oui, aussi, tu prévois de faire un reportage pour MaxNod ? J'ai quelques photos si tu veux ;-) )
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 23 octobre 2015 à 14:16:15
petit regret je ne vois pas mes ASR ! :)

Et oui, on est resté tellement longtemps dans la salle opérateur N° 1 que deux groupes patientaient à l'extérieur, et on n'a pas eu le temps de voir les équipements réseaux d'Online qui doivent être impressionnants vu le trafic géré en centaines de Gb/s.

Pour le reste de la visite, il y avait possibilité de doubler, on a put prendre notre temps (et celui de Arnaud)
Titre: Data center DC3 d'Iliad: Énergie
Posté par: miky01 le 23 octobre 2015 à 14:17:18

Chaque groupe a une nourrice de 1000 litres de gazole qui se remplit quand elle arrive à 300 litres via un double circuit reliés à deux cuves (réserve pour 50 heures à pleine charge).


A part que quand tu as un couillon qui branche pas la pompe gazoil sur un UPS ,
c'est du vecu... panne totale apres 2 minutes, le temps de vider les canaliation de mazout.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 23 octobre 2015 à 14:19:44
Là tu as vu qu'il y a un soin apporté à tout ce qui est sécurisation (nécessaire pour la certification Uptime Institute) : même les Aéro-refroidisseur / Dry coolers sont alimentés par deux chaînes électriques.

Les armoires techniques qui cachent un inverseur de source (on peut voir l’inverseur SOCOMEC au travers de la vitre)
Certification uptime institute oblige, même les dry-coolers doivent être double alimentés depuis deux circuits électriques différents… qui contrôlent les moteurs :

(https://lafibre.info/images/datacenter/201509_online_dc3_froid_07.jpg)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Synack le 23 octobre 2015 à 14:25:33
Bravo pour le reportage Vivien,

une petite précision tout de meme sur le réseau, les offres dont l'uplink public est en 1gb/s sont en cours d'upgrade en uplink 10gb/s ;)
(afin de pouvoir recycler les machines sur des offres avec de meilleures garanties réseaux)

on a commencé sur DC2 principalement , cf par ex https://status.online.net/index.php?do=details&task_id=319 , mais on va attaquer ce qui reste à DC3 (sauf les SC dont les switchs ne sont pas compatibles 10gb/s)

petit regret je ne vois pas mes ASR ! :)

Mik

+1 pour les ASR 9K, c'est des jolis jouets, ils mériteraient d'être montrés ;)


Sinon bravo pour le boulot de reportage, c'est énorme :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: miky01 le 23 octobre 2015 à 14:28:27
J'ai bien rigolé le jour ou ils on fait un test des groupes dans un centre d'ebergement et que plus de 1000 sytèmes sont tombé juste a cause de la pompe  pour les groupes etait pas branchée au bon endroit....
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Paul le 23 octobre 2015 à 14:37:40
Quel formidable reportage Vivien, bravo !

J'aurais beaucoup aimé y être, mais le reportage est tellement exhaustif que l'on s'y croit :)

En tous cas si une occasion se présente et que je suis libre je ne manquerais pas de venir !
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: yapret le 23 octobre 2015 à 15:01:46
Excellent reportage hyper complet, bravo Vivien, et merci !
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: ore932 le 23 octobre 2015 à 15:20:36
Épique, bravo pour cet excellent reportage Vivien !
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: apteor le 23 octobre 2015 à 16:21:20
Superbe reportage, merci à toi Vivien.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 23 octobre 2015 à 21:19:03

petit regret je ne vois pas mes ASR ! :)

Mik

Tu parles de ceux-là ? ;)

+1 pour les ASR 9K, c'est des jolis jouets, ils mériteraient d'être montrés ;)

D'ailleurs faudrait pas dire ASR 9K9 ? L'ASR 9K est plus "petit" !
(https://lafibre.info/images/datacenter/201510_online_cisco_asr9k9.jpg)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Synack le 23 octobre 2015 à 21:23:09
Tu parles de ceux-là ? ;)

D'ailleurs faudrait pas dire ASR 9K9 ? L'ASR 9K est plus "petit" !

C'est la gamme 9K, après y'a les déclinaisons du 9001 au réacteur d'avion :p
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: louis54000 le 23 octobre 2015 à 21:29:24
Excellent reportage, merci Vivien !!
Titre: Data center DC3 d'Iliad: La salle N°3
Posté par: BadMax le 23 octobre 2015 à 21:33:48

Le groupe "LaFibre.info" à l'emplacement où les serveurs d'octobre seront mis en place : (les trous sur le faux plancher sont déjà réalisés) :
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_20.jpg)

Avis aux participants: vous nous faites un petit "Who's who" ? :)
Bon, pas Arnaud, on sait qui c'est :D
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: miky01 le 24 octobre 2015 à 00:03:33
Vraiment un excellent reportage, merci Vivien, ca fait plaisir.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: e-TE le 24 octobre 2015 à 01:56:45
très intéressant! merci pour le reportage :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 24 octobre 2015 à 08:33:49
Tout pareil, merci Viven, et merci Online. Vous avez vraiment vu beaucoup plus de choses que notre groupe pendant la visite! Je rappelle que nous ne sommes rentré dans aucune cage!

Online-DC3 reste un datacenter très propre, mais j'ai été surpris par plusieurs choses pendant la visite, et en regardant les photos, je vois d'autres choses étranges. 

* une seule salle technique "climatisation" (déjà mentionné dans le reportage). Avoir des climatisations redondantes, mais espacées de quelques mètres seulement, ça ne permet pas de se protéger sereinement des incendies . Pour bien faire il aurait fallu isoler dans des pièces différentes, avec des murs anti-feu.

* la proximité entre les différents transformateurs et aussi avec les groupes. Pareil, si un équipement explose (transformateur qui explose, ça existe), est-on certain de ne pas amocher les autres? Et comment des hommes pourront-ils lutter sereinement contre un incendie tenace dans un espace aussi peu dégagé, si un groupe brule par exemple (là aussi, ça existe).

* le faible espace dans les couloirs des salles, entre les grille et le mur. Comment transporter sereinement des équipements imposants, des baies avec un espace aussi étroit? Surtout qu'il y a des équipements très sensibles sur le côté mur, qu'il ne faut surtout pas abimer : baie optique, distribution électrique, etc...

* Le dimensionnement du "RPN". Le réseau RPN est beaucoup plus petit que le réseau "Internet". L'uplink des switches de baie du RPN est visiblement à 1Gb/s seulement, c'est quand même peu pour proposer du 1Gb/s par serveur (certes en option payante).   

* Non redondance des switches de collecte (ou switches de rangée de baie) du réseau "internet". OK, Online n'est pas le seul à appliquer ça, mais ça me surprend. Certes, l'uplink de ces switches vers les routeurs est redondé, mais pas les switches eux-mêmes. Or, la perte d'un switch unique, d'un seul équipement, fera perdre la connexion à des milliers de serveurs. Le plus surprenant c'est que les switches de rangée du RPN, eux, semblent redondés.

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 24 octobre 2015 à 09:11:50
* une seule salle technique "climatisation" (déjà mentionné dans le reportage). Avoir des climatisations redondantes, mais espacées de quelques mètres seulement, ça ne permet pas de se protéger sereinement des incendies . Pour bien faire il aurait fallu isoler dans des pièces différentes, avec des murs anti-feu.
Ce choix a fait perdre la certification Tiers IV selon Arnaud.
L'argument d'Arnaud est que le risque d'un incendie dans cette salle est faible.
Si c'est vrais que c'est beaucoup de tuyaux avec de l'eau, mais il a aussi des puissances électriques consommées impressionnantes.

* la proximité entre les différents transformateurs et aussi avec les groupes. Pareil, si un équipement explose (transformateur qui explose, ça existe)
Un transformateur qui explose va bien sur endommager ses voisins immédiats et c'est plusieurs jours d’arrêt complet.

Maintenant ce qui fait exploser un transformateur, c'est la foudre et DC3 me semble plutôt bien protégé et les arrivées électriques 20 000v sont enterrées.

2 jours de coupure d'un datacenter Amazon après l'explosion d'un transformateur :
Dans la nuit du 7 au 8 août 2011 de violents orages ont éclaté sur Dublin, en Irlande. La foudre est tombée sur un DataCenter d'Amazon coupant les serveurs pendant presque 2 jours.

"Amazon explique ainsi que la foudre a frappé directement l’un des transformateurs impliqués dans l’alimentation de ses centres de données à Dublin causant une explosion et un incendie. Normalement, cela n’aurait pas dû couper complètement l’alimentation sur une partie des serveurs comme cela est arrivé. Cependant, l’explosion était telle qu’elle s’est propagée à une portion du système de contrôle de phase qui synchronise les générateurs. Résultat pour Amazon : il a fallu intervenir manuellement sur les installations. Les réparations ont commencé le 8 août à 10h41 et les premières instances de services sont revenues le 9 aout à 13h47. Amazon avait prévenu dans la foulée qu’il faudrait sans doute de 24 à 48 heures pour restaurer l’intégralité des instances et des volumes EBS."


* le faible espace dans les couloirs des salles, entre les grille et le mur.
Je ne suis pas choqué, il y a quand même de la place : (Les traverses de faux plancher font 1,2 mètres)

Il est vrai que les allées de TH2, avant de rentrer dans les salles privées, sont plus grandes. TH2 a choisit de mettre des petites portes au niveau des paliers ascenseurs, ce qui fait qu'il est compliqué de faire rentrer le chariot avec écran / clavier qui est à prendre au RDC. On doit ouvrir le second volet de la porte, après être rentré. Si on laisse le chariot libre, il roule, car on est sur une pente (pente avant de rentrer dans la salle qui a un faux plancher). Bref TH2 a peut être des allées plus grandes, mais c'est bien moins fonctionnel.
(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_01.jpg)

* Le dimensionnement du "RPN". Le réseau RPN est beaucoup plus petit que le réseau "Internet". L'uplink des switches de baie du RPN est visiblement à 1Gb/s seulement, c'est quand même peu pour proposer du 1Gb/s par serveur (certes en option payante).

Online propose que 100 Mb/s sur le réseau RPN, alors que les serveurs ont 1 Gb/s vers Internet. J'imagine que c'est plus pour l'administration de serveurs (ssh)

Réseau RPN

Principe de fonctionnement

Le RPN est un réseau privé, dédié, câblé sur la deuxième interface de votre serveur.
Ce réseau offre de très hautes performances grâce à des latences très faibles et au support des jumbo frames en standard.
Vous pouvez ainsi regrouper physiquement, en quelques clics, votre parc de serveurs, quelque soit leur nombre et leur emplacement physique, au sein de votre réseau privé.

En pratique

De nombreuses applications nécessitent, pour des raisons de sécurité et de performance, un réseau privé et dédié, telles que les technologies de stockage ou les clusters Hadoop.
Vos applications peuvent échanger des données de manière sûre, sans utiliser la carte réseau publique, avec un très haut niveau de sécurité.

Vos différent serveurs peuvent échanger des données de manière sécurisée, via votre réseau, distinct et raccordé sur votre deuxième carte réseau.

La solution technique

Online a déployé le réseau RPN sur un réseau redondé Juniper basé sur les commutateurs Ethernet de la série EX2200, EX3300 et EX4500.
Bien entendu, ce réseau est totalement géré par Online, indépendant du réseau public, et ne dispose d'aucune interconnexion à Internet.
[/color]


* Non redondance des switches de collecte (ou switches de rangée de baie) du réseau "internet". OK, Online n'est pas le seul à appliquer ça, mais ça me surprend. Certes, l'uplink de ces switches vers les routeurs est redondé, mais pas les switches eux-mêmes. Or, la perte d'un switch unique, d'un seul équipement, fera perdre la connexion à des milliers de serveurs. Le plus surprenant c'est que les switches de rangée du RPN, eux, semblent redondés.

Pour le réseau RPN, c'est redondé (chaque switch est connecté à deux autres switchs).
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 24 octobre 2015 à 09:35:25
Online propose que 100 Mb/s sur le réseau RPN, alors que les serveurs ont 1 Gb/s vers Internet. J'imagine que c'est plus pour l'administration de serveurs (ssh)
A partir de la dedibox LT (40€/mois), tu peux prendre une option RPN 1Gb/s. Donc si c'est réalisé avec des switches qui n'ont qu'1Gb/s d'uplink, ça ne peut pas aller.
Ce plus, ça n'est clairement pas dédié aue pour de l'administration. Les serveurs "storage" haut de gamme sont reliés en 10Gb/s au RPN, c'est bien pour servir de serveur de fichier déportés.
Après, peut-être que les baies montrées ici sont des serveurs plus anciens, qui ne sont pas compatibles RPN 1Gb/s. Nos 2 amis d'Online présents sur le forum (Arnaud et Mickaël) nous renseignerons certainement là dessus.

Citer
Maintenant ce qui fait exploser un transformateur, c'est la foudre et DC3 me semble plutôt bien protégé et les arrivées électriques 20 000v sont enterrées.
A priori, il n'y a pas que la foudre qui peut faire exploser un transformateur. Certaines défaillances (court circuit), si elles ne sont pas détectées à temps, peuvent amener à une telle explosion. On parle de transfos de 3MW, donc ça commence à faire.

Dans les sites industriels sensibles que je connais, chaque transformateur est dans un "box" à l'air libre, entouré de 3 murs épais en béton armé; jusqu'ici, c'est comme chez Online DC3. Mais ces "boxes" sont séparés entre eux d'une certaine distance. Cela permet de canaliser l'éventuelle explosion, c'est conçu pour. Et dans l'axe laissé libre pour que l'explosion puisse s'étendre, à proximité du transfo, il n'y a que des équipements liés à ce propre transformateur. Aucun groupe électrogène comme à Online, aucun bus-bar commun avec d'autres branches de l'installation.
C'est valable pour les gros transfos HT-MT comme pour les plus petits MT-BT.

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: miky01 le 24 octobre 2015 à 09:37:20
Ben remplacer un transfo c'est quasi 2 jours de boulot, comme en plus c'est du matos qui est pas en stock...
 
Mais pour le client qui loue un hebergement, il accepte jamais 2 jours de downtime, c'est des millions de perdus pour une banque qui perd les transactions en cours.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 24 octobre 2015 à 09:51:35
Une fuite d'huile ça peut arriver sur un transfo. Très rigolo ça, le manque d'huile.

Cela dit sur DC3:
 - Ils sont à l'extérieur donc peu d'impact pour le DC lui même
 - chaque transfo a sa protection brouillard d'eau, ça doit suffire pour avoir le temps d'isoler la chaine et eviter la propagation aux autres
 - Ils sont sur-dimensionné ça laisse encore un peu plus de marge de sécurité

Globalement c'est un DC bien optimisé et bien conçu. La non séparation physique des groupes froids ça ne me surprend pas plus que ça vu les contraintes du site. Rajouter une cloison n'aurait pas été suffisant, il faut que la tuyauterie suive !
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 24 octobre 2015 à 09:54:42
Pour les transformateurs, OVH fait pire, avec des serveurs proches les un des autres, sans protection et à l'intérieur d'un bâtiment.

Il y a quand même une cuvette sous le transfo pour récupérer une fuite d'huile :
(https://lafibre.info/images/ovh/201105_rbx2_8_transformateurs_20000v_dont_2_en_attente_de_cellules_haute_tension_10MVA_2.jpg)

Online DC3 :
(https://lafibre.info/images/datacenter/201509_online_dc3_groupes_01b.jpg)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Phach le 24 octobre 2015 à 10:32:42
merci pour ce reportage très complet et pour la transparence sur les informations concernant ces installations.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 24 octobre 2015 à 12:08:05
Hello,

* Le dimensionnement du "RPN". Le réseau RPN est beaucoup plus petit que le réseau "Internet". L'uplink des switches de baie du RPN est visiblement à 1Gb/s seulement, c'est quand même peu pour proposer du 1Gb/s par serveur (certes en option payante).   

oui comme dit précédemment, de base c'est du 100mb/s par machine, le 1gb/s est une option payante, avec 2gb/s d'uplink ca rentre bien actuellement (on a tout de meme la possibilité de rajouter x * 1gb/s si besoin, on garde toujours un certain nombre de ports libres sur nos switchs et routeurs de collectes)
mais bon, ca reste "pas énorme" on est d'accord. C'est (entre autres) pour ca qu'on a décidé de changer, ca arrive ;p
Edit: pour les offres storage, le RPN est en x*10gb/s bien sur ;)


* Non redondance des switches de collecte (ou switches de rangée de baie) du réseau "internet". OK, Online n'est pas le seul à appliquer ça, mais ça me surprend. Certes, l'uplink de ces switches vers les routeurs est redondé, mais pas les switches eux-mêmes. Or, la perte d'un switch unique, d'un seul équipement, fera perdre la connexion à des milliers de serveurs. Le plus surprenant c'est que les switches de rangée du RPN, eux, semblent redondés.

Alors la redondance, oui ... et non ;)

J'explique, y a plusieurs points :
1 - le coût (forcèment) : double équipement de collecte, double cablage , double boulot pour les équipes de déploiement, ca aurait forcèment un impact négatif sur nos prix
2 - la simplicité de gestion: oui, c'est p-e un peu tordu mais gérer 1 équipement qui route vers les baies d'access, c'est 100 fois plus simple que gérer tous les pbls que tu vas avoir à gérer une redondance *layer2* parfaite (spanning-tree ? VPC ? MLAG ? Stack ? HSRP ? synchros de conf et j'en passe, tout autant de technos *remplies* de bugs)
3 - les stats : ca fait 6 ans que je gère le réseau Online. En 6 ans, je crois avoir remplacé maximum *2* routeurs de collectes pour défaillance majeure (panne matos ou bug lié au matos), on a bien eu des reboots par moments (bug soft/upgrades), mais dans ce cas, un reboot de 4500x : 7-9 min de coupure, de Nexus 9000 : 4-5 min de coupure et les reboots, c'est rare ... la plupart des routeurs de collecte ont >2 ans d'uptime). Enfin, un remplacement de matos qui tombe en rade, faut compter 1-2h max normalement... (on a tjrs du spare en stock + tech sur site h24)

alors, en pesant le pour et le contre, rajouter 10-20% (je dis ca au pif) au prix de vente de nos machines pour éviter 5 min de coupure 1 fois par an (max), serait-ce bien raisonnable ?

Mik
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: acontios le 24 octobre 2015 à 12:46:54
Sympathique reportage !
... mais: où est la photo de groupe, à la fin, devant le GE ouvert ? :)

(et non, pas  là où tout le monde pense... :))
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 24 octobre 2015 à 17:12:34
Merci mikmak.
Il faut savoir que d'autres hébergeurs mettent beaucoup moins de BP sur la collecte.

oui comme dit précédemment, de base c'est du 100mb/s par machine, le 1gb/s est une option payante, avec 2gb/s d'uplink ca rentre bien actuellement (on a tout de meme la possibilité de rajouter x * 1gb/s si besoin, on garde toujours un certain nombre de ports libres sur nos switchs et routeurs de collectes)
2 Gb/s ? Ah je me suis trompé je pensais que c'était 1 Gb/s vers un Juniper EX3300 et 1 Gb/s vers le second Juniper EX3300.

Je me demandait aussi à quoi servent les 2 câbles Ethernet noir connectés sur les ports d'uplink avec le label 2 et 3 sur les deux Juniper EX3300 ?

Chaque Juniper EX3300 gère 45 switch (pour 45 baies) et a 4 ports uplink  en bas à droite :
- Le port d'uplink avec le label 0 est connecté via un SFP+ à une fibre 10 Gb/s qui va vers la salle telecom.
- Le port d'uplink avec le label 1 est inutilisé
- Le port d'uplink avec le label 2 et 3 est connecté en cuivre à l'autre switch et configuré comme VCPs. You can use these uplink ports to interconnect Virtual Chassis members.

(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_16.jpg)

Une autre question : pourquoi avoir du Cisco et du Juniper ? Pourtant vous avez des switch Cisco qui pourraient convenir. Trop cher Cisco ? Volonté de diversification ?
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 24 octobre 2015 à 17:51:23
c'est bien 1gb/s vers chaque EX3300,
logiquement les 2 x EX3300 sont en virtual-chassis (un truc proprio juniper ...), les 2 twinax (cables noirs) servent au virtual-chassis
ca nous fait donc 2gb/s par baie (LACP) sur les 2 EX3300 ;)

pour le choix du constructeur, on a mis en concurrence sur un cahier des charges précis et pris le meilleur qualité/prix/features/intégration du moment

Mik
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 24 octobre 2015 à 18:01:39
Merci Mickaël pour toutes ces infos. Tant de franchise, et de transparence, c'est très appréciable!

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 24 octobre 2015 à 19:14:35
Tiens ?

Personne n'a relevé le Raspberry posé sur le Juniper EX3300 :)

Mikmak, Arnaud, une explication ? ;)

Je remarque aussi les fibres sur les ports 10Gb du Nexus 9396PX en multimode (ça vous rappelle pas un débat ? :D). Pour le 40Gb par contre c'est du mono, trop loin pour les 40G-SR-BiDi ?

Titre: Data center DC3 d'Iliad: La salle N°3
Posté par: vivien le 24 octobre 2015 à 19:18:51
+1 sur la transparence

Pour la multimode on avait dit que la fibre coûtait plus cher (car peu utilisés de nos jour) mais que les optiques sont moins cher en multimode.
Je vois quand même de nombreuses installations ou même à l'intérieur d'une baie, donc sur de très courtes distances, c'est de la monomode.

Sinon, j'ai fait un hypothèse sur le raccordement de différents switchs de collecte Cisco Nexus 9396PX : J'ai bon sur le fait que c'est une boucle de 80 Gb/s ?

Il y a une seconde hypothèse qui est qui est que chaque Nexus 9396PX est connecté directement en 2 x 80 Gb/s sur les 2 routeurs.

Pour ceux qui se demandent quelle est la différence, voici les ports consommés, si il y a 8 Nexus 9396PX :
- La première hypothèse (boucle) utilise 2 ports 40 Gb/s par routeur.
- La seconde hypothèse (liens directs) utilise 16 ports 40 Gb/s par routeur.

Ces switchs Cisco Nexus 9396PX sont connectés sur une boucle de 80 Gb/s, via deux liens 40 Gb/s agrégés. Cette boucle se termine sur deux routeurs Online différents, hébergés dans deux salles opérateurs différentes. En théorie, il devrait être possible de faire passer 160 Gb/s, mais Online dimensionne les liens pour avoir la capacité de tout envoyer via un seul coté de la boucle sans saturer : En cas de coupure de la boucle, elle se transforme en deux demi-boucles ouvertes de 80 Gb/s chacune.

Si un routeur tombe entièrement, le second routeur de la boucle prend l'intégralité du trafic.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: NBQG1304 le 24 octobre 2015 à 19:20:12
Tiens ?

Personne n'a relevé le Raspberry posé sur le Juniper EX3300 :)
Si si, j'avais vu, je me demandais aussi pourquoi :D
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 24 octobre 2015 à 20:04:54
ha ha ;)

alors les raspberry pi servent au déploiement et au debug quand on a besoin d'une console ;)
connexion wifi + console serie en usb tout simplement ;)
(on sait prêter aux clients DC2/DC3 si besoin temporaire ;) )

pour les Nexus, on ne fait pas (encore) de 40gb/s (enfin on en fait depuis peu, mais vous ne le voyez pas dans les photos)
en fait, sur ASR9k, le 40gb/s, bah c'est pas encore ca ... (merci cisco :/ )
sur la partie ASR, le plus rentable niveau coût (linecards + optiques) ca reste le 10gb/s et le 100gb/s , le 40gb/s reste un truc "a part" (et heu, chiant)

du coup, les uplinks de salles (monomode obligatoire vu nos distances vers les salles OPE) sont du x*10gb/s
sauf erreur, Vivien a pris en photo la baie B11 en S3-5 qui n'a pour le moment (on déploie encore des serveurs dedans) que 2x2x10gb/s d'uplinks (vous pouvez voir des adaptateurs "QSA" pour plugguer les SFP+ dans des ports QSFP) , ca fait donc une boucle 40gb/s (c'est notre unité de base, on upgrade en 80gb/s quand le besoin est là), c'est par exemple le cas en S3-4 (cf le n9k-s34-2.dc3 et n9k-s34-3.dc3 sur http://map.online.net ). Vu notre map, l'upgrade en 80gb/s de la S3-5 va sans doute se lancer dans pas longtemps.
Le n9k-s34-1.dc3 par exemple n'a pas (encore?) eu besoin d'une boucle 80gb/s (sans doute une majorité d'offres servers avec des BPs garanties inférieures)


n9k-s34-2.dc3# show int status | i Eth2
Eth2/1        --                 connected trunk     full    10G     10Gbase-LR
Eth2/2        --                 connected trunk     full    10G     10Gbase-LR
Eth2/3        --                 connected trunk     full    10G     10Gbase-LR
Eth2/4        --                 connected trunk     full    10G     10Gbase-LR
Eth2/5        --                 xcvrAbsen 1         auto    auto    --         
Eth2/6        --                 xcvrAbsen 1         auto    auto    --         
Eth2/7        --                 xcvrAbsen 1         auto    auto    --         
Eth2/8        --                 xcvrAbsen 1         auto    auto    --         
Eth2/9        --                 connected trunk     full    10G     10Gbase-LR
Eth2/10       --                 connected trunk     full    10G     10Gbase-LR
Eth2/11       --                 connected trunk     full    10G     10Gbase-LR
Eth2/12       --                 connected trunk     full    10G     10Gbase-LR


si le besoin en terme de capa se fait sentir, on saura tout de même plugguer des QSFP et réutiliser les mêmes fibres, mais pour le moment ça tient bien avec 2x40gb/s (on peut encore rajouter du 10gb/s pour faire 2*50 ou 2*60gb/s par Nexus 9000 sans trop se prendre la tete),
au final nos routeurs savent gérer une boucle max de 6*40gb/s (soit 480gb/s capa total uplink max)

on peut aussi mettre des modules uplinks x*100gb/s sur les nexus 9000 , ca fait partie de mes réflexions en cours d'aggréger des uplinks 40gb/s en salle OP sur des n9k et repartir en uplink 100gb/s vers nos ASR, ca rajoute un niveau d'aggrégation en plus à gérer par contre et le coût n'est pas encore forcèment intéressant aujourd'hui,
l'alternative c'est du port 40gb/s sur les ASR directement mais cisco n'a pas de solution à coûts raisonnables pour le moment (clairement il y un trou dans leur catalogue sur le 40gb/s et l'ASR ... mais c'est pas nouveau ... il est probable que le 100gb/s gagnera avant que ca n'arrive...)

en tout cas, même en x*10gb/s, je suis serein pour le moment , le seul inconvénient c'est la multiplication de ports physiques (10gb/s) à gérer (un cold-co = 16 ports uplinks/fibres à maintenir ...)

pour le multimode, on s'en sert uniquement à desservir les baies d'une même salle, les optiques restent largement moins chères.
On fait même du twinax (passif) quand les distances le permettent
Pour le moment c'est du 10gb/s vers les baies pour le réseau public (les 2960X ne savent pas mieux faire de toute facon ...)

Mik


Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 24 octobre 2015 à 20:49:05
Pour les ASR et 40G tu parles :
 - du non-support des 40G-SR-BiDi qui oblige à utiliser des 40G-SR4 avec des MPO ?
 - de l'obligation d'utiliser les MOD160 au lieu d'avoir une carte native façon 100G ?

Sinon la 4x100G pour N9K semble dispo, vous allez pouvoir upgrader ! :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 24 octobre 2015 à 21:02:49
Pour les ASR et 40G tu parles :
 - du non-support des 40G-SR-BiDi qui oblige à utiliser des 40G-SR4 avec des MPO ?

ha bah multimode déjà moi c'est mort ;)

- de l'obligation d'utiliser les MOD160 au lieu d'avoir une carte native façon 100G ?

oui, l'alternative c'est les CPAK 2x40gb/s (qui se plugguent sur un port 100gb/s , donc 20gb/s perdu sur la linecard ...) (je vous laisse imaginer le prix du CPAK aussi)

Mik
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 24 octobre 2015 à 21:10:50
Ah, encore un point sur lequel je me suis complètement trompé.

On le vois bien sur http://map.online.net/ : chaque routeur Cisco Nexus 9396PX est directement connecté aux deux routeurs.

J'avais imaginé que chaque switch était connecté a ses voisins au vu de la capacité que j'avais imaginé (2 x 80 Gb/s)

J'ai alors une question : Pourquoi acheter un module pour les Cisco Nexus 9396PX avec un module 12 ports 40-Gbps QSFP+, si c'est pour utiliser uniquement des ports 10 Gb/s ? Les ports 48 ports 10 Gb/s ne peuvent pas être utilisées pour ça ? Un module avec des ports SFP+ ne serait plus économique ?

(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_16.jpg)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 24 octobre 2015 à 21:25:13
déjà tu as des cold-corridor de 46 baies, ca fait au moins 45 uplinks de baies , tu as déjà bien rempli les 48x10gb/s du nexus , difficile d'y rajouter les uplinks vers les ASR ensuite.

ensuite on ne veut plus revivre ca : https://status.online.net/index.php?do=details&task_id=69 ;)

Mik
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 24 octobre 2015 à 21:26:00
oui, l'alternative c'est les CPAK 2x40gb/s (qui se plugguent sur un port 100gb/s , donc 20gb/s perdu sur la linecard ...) (je vous laisse imaginer le prix du CPAK aussi)
Forcèment, si tu prends la linecard 4x100G en CPAK... 510000 $ prix public :)
Par contre, pas vu que l'ASR supportait les CPAK 2x40G.

En CFP c'est moins "cher", 150000$ la 1x100G mais pas de 40G possible. Tant qu'on est dans les chiffres et histoire que tout le monde nous suive, pour du 40G sur ASR9K, il faut un module MOD160 (genre de fond de panier) à 60000$ sur lequel on peut mettre 2x cartes 2x40G à 150000$ pièce.

Pour ne rien oublier, compter un peu plus de 100000$ pour le chassis avec ses 2 Supervisor.

Tout ça c'est des prix publics, hein :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Nico le 24 octobre 2015 à 21:29:02
Des gens paient les prix catalogue ?
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 24 octobre 2015 à 21:29:44

J'ai alors une question : Pourquoi acheter un module pour les Cisco Nexus 9396PX avec un module 12 ports 40-Gbps QSFP+, si c'est pour utiliser uniquement des ports 10 Gb/s ? Les ports 48 ports 10 Gb/s ne peuvent pas être utilisées pour ça ? Un module avec des ports SFP+ ne serait plus économique ?

Y'a pas de module uplink 10Gb pour Nexus 9300. Le minimum c'est 6x 40Gb :)

La gamme Nexus 9000 est particulière car prévue pour supporter le SDN de Cisco : ACI qui est construit autour d'une Fabric Spine/Leaf en VXLAN (modifié par Cisco évidemment). Mais on peut l'utiliser "classiquement" sous NX-OS comme les Nexus 5000/6000/7000.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 24 octobre 2015 à 21:31:22
Des gens paient les prix catalogue ?

Bien sur que non le rabais "standard" chez un grossiste c'est 36% si tu négoties pas.

Ensuite c'est fonction de qui tu es et du montant de la commande :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 24 octobre 2015 à 21:32:45
Par contre, pas vu que l'ASR supportait les CPAK 2x40G.

tu as le CPAK 10x10gb/s et 2x40gb/s, ca existe et c'est supporté, faut juste 6 mois pour avoir un exemplaire d'une optique ;)
(Cisco n'a pas l'habitude de produire des optiques en masse et ils ont eu des pbls dans leurs usines qui a retardé énormèment la prod il me semble ...)

Mik
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 25 octobre 2015 à 06:53:12
Modération:
Je me suis permis de séparer le hors sujet sur le débat "fibre monomode/multimode en datacenter" ici :
https://lafibre.info/datacenter/data-center-dc3-diliad-reportage-photo-de-la-visite/

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 25 octobre 2015 à 09:17:28
déjà tu as des cold-corridor de 46 baies

46 baies dans un cold-corridor ?
3 cold-corridor par salle de 250m², c'est ça ?
=> Donc cela fait 138 baies par salle de 250m², non ?

Je me suis trompé avec mon 132 baies par salle de 250m²
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 25 octobre 2015 à 11:10:28
46 baies dans un cold-corridor ?
3 cold-corridor par salle de 250m², c'est ça ?
=> Donc cela fait 138 baies par salle de 250m², non ?

Je me suis trompé avec mon 132 baies par salle de 250m²

les cold-co ont 3 tailles dans un module : 2x23 / 2x22 / 2x21
ca doit faire 132 :)

Mik
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 25 octobre 2015 à 11:19:50
Ok, je comprend, c'est l'espace pris par la clim qui fait que à cet endroit là, on doit être dans un cold-corridor de 2x21 baies

Face au tableau électrique, cela doit être 2x22baies et là où il n'y a ni clim ni tableau électrique, c'est 2x23 baies.

J'ai bon ?

(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_06.jpg)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 25 octobre 2015 à 11:23:00
oui ça doit être ça

Mik
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 25 octobre 2015 à 18:12:33
Ok, je comprend, c'est l'espace pris par la clim qui fait que à cet endroit là, on doit être dans un cold-corridor de 2x21 baies

Face au tableau électrique, cela doit être 2x22baies et là où il n'y a ni clim ni tableau électrique, c'est 2x23 baies.

J'ai bon ?
Oui, bien vu Vivien, ça a l'air bon. Voici une vue 3D d'une salle privative de DC3, prise sur le site web:
http://iliad-datacenter.fr/nos-services/datacenter-privatif

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: ut0mt8 le 26 octobre 2015 à 11:10:46
C'est la config de notre salle :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: dj54 le 26 octobre 2015 à 13:26:26
Sauf erreur de ma part
comment font il pour enlever la poussière coté serveur?
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 26 octobre 2015 à 13:35:22
Il n'y a pas de poussière  ;D

Les sur-chaussures limitent la poussière.

Les clim ont des filtres qui doivent être changées de temps en temps.

(https://lafibre.info/images/datacenter/201509_online_dc3_salle3_07.jpg)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: abermingham le 27 octobre 2015 à 18:53:39
Tout pareil, merci Viven, et merci Online. Vous avez vraiment vu beaucoup plus de choses que notre groupe pendant la visite! Je rappelle que nous ne sommes rentré dans aucune cage!

Online-DC3 reste un datacenter très propre, mais j'ai été surpris par plusieurs choses pendant la visite, et en regardant les photos, je vois d'autres choses étranges. 

* une seule salle technique "climatisation" (déjà mentionné dans le reportage). Avoir des climatisations redondantes, mais espacées de quelques mètres seulement, ça ne permet pas de se protéger sereinement des incendies . Pour bien faire il aurait fallu isoler dans des pièces différentes, avec des murs anti-feu.

* la proximité entre les différents transformateurs et aussi avec les groupes. Pareil, si un équipement explose (transformateur qui explose, ça existe), est-on certain de ne pas amocher les autres? Et comment des hommes pourront-ils lutter sereinement contre un incendie tenace dans un espace aussi peu dégagé, si un groupe brule par exemple (là aussi, ça existe).

* le faible espace dans les couloirs des salles, entre les grille et le mur. Comment transporter sereinement des équipements imposants, des baies avec un espace aussi étroit? Surtout qu'il y a des équipements très sensibles sur le côté mur, qu'il ne faut surtout pas abimer : baie optique, distribution électrique, etc...

* Le dimensionnement du "RPN". Le réseau RPN est beaucoup plus petit que le réseau "Internet". L'uplink des switches de baie du RPN est visiblement à 1Gb/s seulement, c'est quand même peu pour proposer du 1Gb/s par serveur (certes en option payante).   

* Non redondance des switches de collecte (ou switches de rangée de baie) du réseau "internet". OK, Online n'est pas le seul à appliquer ça, mais ça me surprend. Certes, l'uplink de ces switches vers les routeurs est redondé, mais pas les switches eux-mêmes. Or, la perte d'un switch unique, d'un seul équipement, fera perdre la connexion à des milliers de serveurs. Le plus surprenant c'est que les switches de rangée du RPN, eux, semblent redondés.

Leon.

Pour répondre à tes questions purement DC (mikmak t'a déjà répondu sur la partie réseau)

1- Oui, nous avons fait le choix de regrouper la production frigorifique pour plusieurs raisons.
La première est le risque très faible, nous avons des pompes, des moteurs, des tuyauteries remplies d'eau et un gaz/compresseurs ininflammable, et le tout dans un local protégé avec un système de détection précoce d'incendie (VESDA) et extinction incendie (HIFOG). Le risque est infiniment inférieur à des groupes froids en extérieur, sans détection ou extinction incendie.
La deuxième est la quantité de gaz. Nous avons près de 18 tonnes de gaz R134A dans nos groupes froids, et pour des raisons de sécurité nous avons préféré les regrouper dans une grande salle, ayant un gros volume (900m2 au sol, 8 mètres de hauteur sous plafond) pour éviter les risques de déflagration par surpression en cas de fuite. Concrètement on avait largement la place de faire deux locaux, mais le volume de chaque local n'aurait pas permis de contenir la quantité totale de gaz sans porter atteinte gravement à la structure du bâtiment.
Donc choix pragmatique : moins de risques, mais recalé en tier3 avec quasiment un niveau tier4 de conception.

2- Les transformateurs sont équipés de : 1- un DMCR (http://mt.schneider-electric.be/Main/tfo/catalogue/DMCR_FR.PDF) permettant d'isoler au niveau HT et BT le transformateur en cas de sur-chauffe ou dégagement de gaz 2- d'un bac à rétention étouffeur de feu (http://www.gmtinternational.fr/fr/nos-produits-et-accessoires/gamme-anti-feu/bacs-de-r%C3%A9tention-anti-feu-modulaires-bafx) 3- de murs en béton vibré capable de résister à une explosion jusqu'à 18 tonnes par m2, évitant les effets domino 4- Ils sont équipés d'extinction incendie et de détection incendie (détecteurs de flamme infrarouge).
Une nouvelle fois, on est les seuls à les placer en extérieurs. Un transformateur à l'intérieur d'un bâtiment c'est tout de même un risque considérable d'incendie, surtout que je ne connais personne qui les placent sous extinction incendie d'ailleurs ...

3- Notre densité moyenne sur DC2/DC3 est de 1 baie 600x1000 tous les 2,3m2. Oui, c'est "dense" ...

Arnaud
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: abermingham le 27 octobre 2015 à 18:56:03
Il n'y a pas de poussière  ;D
Les sur-chaussures limitent la poussière.
Les clim ont des filtres qui doivent être changées de temps en temps.

Oui, surtout la salle est mise en sur-pression en permanence via une CTA dédiée pour ça, avec une série de filtres G4 et F7 (filtres à poches)
On maintiens toujours environs 100hPA de différence de pression entre la salle et l'extérieur de la salle. Ca aide énormèment.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 27 octobre 2015 à 19:12:57
3- Notre densité moyenne sur DC2/DC3 est de 1 baie 600x1000 tous les 2,3m2. Oui, c'est "dense" ...

Bonsoir Arnaud, merci pour les informations. je me demande comment est réalisé ce calcul :

- Sans compter les 100m² de couloir de chaque salle : 132 baies par espace de 250m² (densité moyenne de 1 baie 600x1000 tous les 1,89m²)

- Avec les couloirs de la salle : 792 baies par salle de 1600m² (densité moyenne de 1 baie 600x1000 tous les 2,02m²)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: abermingham le 27 octobre 2015 à 21:21:22
Bonsoir Arnaud, merci pour les informations. je me demande comment est réalisé ce calcul :

- Sans compter les 100m² de couloir de chaque salle : 132 baies par espace de 250m² (densité moyenne de 1 baie 600x1000 tous les 1,89m²)

- Avec les couloirs de la salle : 792 baies par salle de 1600m² (densité moyenne de 1 baie 600x1000 tous les 2,02m²)

C'est bien ça.
Le 2.3m2/baie comprends également les salles opérateur qui sont nettement moins dense avec des baies au format 800x1200 et la MMR
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: s3phy le 28 octobre 2015 à 04:19:46
Superbe dossier !

Quelques petites coquilles de français que j'ai repéré dans les premiers messages (j'ai plus fait gaffe par la suite…)

Premier message : https://lafibre.info/datacenter/dc3-iliad/msg269034/#msg269034
"Au passage Online cherchait à se faire certifier tiers IV mais la redondance des 2N de la climatisation ne suffit pas : il faut que les deux unités soient dans des salles différentes. Un seul à réussi le challenge en France : le data center du Crédit Agricole !"
> Un seul a réussi

Juste plus bas, même message
"Un grand parking, utilisé également par le service client FreeMobile qui à un petit centre d'appel sur le site."
> qui a un petit centre d'appel

Deuxième message : https://lafibre.info/datacenter/dc3-iliad/msg269036/#msg269036
"Après avoir passé un SAS, on a accès a de grands couloirs comme celui-ci"
> On a accès à de grands couloirs

Message 8 : https://lafibre.info/datacenter/dc3-iliad/msg269042/#msg269042
"On repéré les fibres à leur couleur jaune sur la photo"
> On repère les fibres

Message 9 : https://lafibre.info/datacenter/dc3-iliad/msg269043/#msg269043
"Cela limite le risque de déclenchement par erreur mais rend pus difficile un arrêt d'urgence."
> rend plus difficile
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 28 octobre 2015 à 07:59:47
Merci, c'est corrigé.

Je suis fâché avec les "a", il faut que je réalise une relecture centré sur ça uniquement.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Branco le 30 octobre 2015 à 10:32:51
Très bon reportage Vivien, cela permet aux néophytes de mieux comprendre les enjeux d'un datacenter, la pierre angulaire du monde numérique  8)

"Celui qui détient le plus gros datacenter gagnera la guerre" Atch Tzu arrière-arrière...etc petit-fils de Sun Tzu
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: toshopp le 30 octobre 2015 à 16:08:29
Merci pour ce reportage très complet et absolument passionnant   :D
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 01 novembre 2015 à 07:50:23
Modération:
Le débat hors sujet sur "cloud versus redondance électrique" a été déplacé ici:
https://lafibre.info/datacenter/cloud-et-redondance-electrique/

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Gwadagamer le 26 novembre 2015 à 12:22:54
Super reportage sur le dc3, j'ai plusieurs servers dédiés chez eux ils sont vraiment trés bien au niveau de la réactivité. Perso j'ia connu la fameuse sale server qui a prit feu par chance je n'ai pas était touché mais je sais qu'ils ont royalement géré la situation. Je ne sais pas comment sont les autres datacenter mais j'ai l'impression que el groupe iliad a bien penser son infrastructure. Vivien tu as le droit de faire un petit tour chez les ingé IP de numéricable outremer qui sont a PAris xD Bonne journée
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: PGRN le 13 janvier 2016 à 17:15:04
Bonjour,

J'ai lu avec intérêt le reportage sur la visite du Datacenter qui est vraiment très intéressant et instructif. J’ai toutefois 2 remarques :
•Je suis surpris que la protection des PDU (bandeaux de prises dans les baies) soit de 20 A, il me semble qu'une protection de 16 A est le bon calibre pour ce type  d'équipement.
•   Je suis très surpris de la réponse de Free en ce qui concerne l'absence de disjoncteur différentiel (DDR) pour la protection des baies compte tenu des photos disponibles et de l'extrait ci-dessous de la norme C15-100 qui concerne les protections complèmentaires (différentielles). il me semble que Free n'est pas en accord avec la norme, et qu'en cas de problème de protection des personnes, Free pourrait avoir de sérieux soucis de justification auprès de l'inspection du travail. J'ai peut-être loupé quelque chose mais la justification me semble un peu légère :
o   Il faut lire soigneusement la C15-100 et ne pas céder au dictâtes de Schneider Electric,  soit, mais j'ai beau lire la C15-100 rien ne me laisse penser que Free peut se dispenser de mettre des DDR. Quelqu'un peut-il préciser ce point avec un peu plus de détails car j'aimerais comprendre ?
o   Le fait que la France soit le seul pays à "imposer" des DDR en Europe, soit, mais le DC est en France et est donc soumis à la réglementation électrique française.
Voilà, tous les commentaires sur ce sujet seront les bienvenues.

(https://lh6.googleusercontent.com/-1hB3OzYEpeA/Vo-gfvyO7EI/AAAAAAAABcA/juvIgwpCIsI/w1009-h851-no/20160105_150236.jpg)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 14 janvier 2016 à 09:12:47
PDU: ça dépend, tu as des PDU 32A, des 16A, etc.

DDR:
Le paragraphe que tu décris s'applique au régime de neutre "TT" qui est obligatoire en distribution publique -> DDR obligatoire.

Le DC n'est pas considéré comme une distribution publique et peut donc modifier son régime de neutre (ou schéma de liaison à la terre si tu préfères). Ainsi ils ont pu se passer de DDR.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: s3phy le 14 janvier 2016 à 11:46:42
•   Je suis très surpris de la réponse de Free en ce qui concerne l'absence de disjoncteur différentiel (DDR) pour la protection des baies compte tenu des photos disponibles et de l'extrait ci-dessous de la norme C15-100 qui concerne les protections complèmentaires (différentielles). il me semble que Free n'est pas en accord avec la norme, et qu'en cas de problème de protection des personnes, Free pourrait avoir de sérieux soucis de justification auprès de l'inspection du travail.
La "blague" (j'y ai été confronté en 2012…) c'est que la NF C 15-100 ne concerne que les installations domestiques. Tout ce qui n'est pas une habitation (donc : industrie, agricole, tertiaire, administration, etc.) n'est pas réagi par la NF C 15-100 mais par le code du travail ! Qui à son tour fait appel à certains passages de la 15-100, mais pas à la norme dans sa totalité.

Il y a des choses qui sont faisables en industrie qui vont complètement à l'encontre de la NF C 15-100.

Pour m'être un peu penché dessus (en 2012 j'ai réalisé l'installation électrique de bureaux neufs + entrepôt attenant) c'est un sacré bordel et pour pas se compliquer la vie, sur des petits chantiers, on se retrouve à suivre les directives de la NF C 15-100 ; mais à l'échelle d'un datacenter ça me surprends pas qu'on cherche à exploiter tout ce que permet le code en vigueur !
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Synack le 14 janvier 2016 à 12:06:33
Hum est-ce que ça ne dépend pas de qui travaille dans l'environnement ? A savoir que les personnes doivent être formées pour ça ?

Le cas du DC est particulier, il y a les employés qui ont probablement une formation pour ça, mais aussi les clients qui utilisent les arrivées électriques. C'est plus là où j'ai un doute.

Surtout dans ce cas je ne vois pas pourquoi les autres DC en France ont suivi cette contrainte du différentiel qui est souvent à l'origine des problèmes de disjonctions de baies.

Je serais intéressé également par une réponse compétente sur le sujet :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 14 janvier 2016 à 13:34:03
Les autres DC en France utilisent l'électricien du coin pour réaliser les travaux et celui-ci applique la NF C 15-100.

Comme tu dis, pour intervenir il faut être formé et habilité (H0B0 à minima pour avoir le droit de brancher un équipement et remonter un disjoncteur en DC). Cela a un coût, beaucoup (tout le monde ?) sous-traite à un électricien qualifié qui applique ce qu'il a l'habitude de faire.

En plus tu as plusieurs spécialités : HT (transfos+cellules+automates), onduleurs (en BT), armoires/tableaux...

Dans mon précédent boulot, j'ai travaillé avec des gens très compétents pour installer des armoires (sous-entendu avec un cablage plutot complexe entre les différents disjoncteurs) et c'est pourtant moi qui leur ai expliqué comment raccorder une centrale de mesure Diris. Ce genre de truc sort de leur périmètre habituel, ça ne m'a pas choqué plus que ça.

Tout ça pour dire qu'Online a semble-t-il choisi de faire une vraie ingénierie sur la distribution et cela lui a permet de faire une belle réalisation :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: PacOrly le 14 janvier 2016 à 19:54:32
H0B0 est un non électricien, il peut travailler à proximité d'installation électrique sans y toucher, il ne peut même pas changer une lampe et encore moins réarmer un disjoncteur.
Il faut minimum pour réarmer un disjoncteur sur un TGBT H0BE Manœuvre.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 14 janvier 2016 à 20:13:55
Tu as raison, j'étais H0BE. C'est Nico H0B0 :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Hugues le 14 janvier 2016 à 20:21:21
Je suis H0B0 aussi, j'ai le droit de regarder un tableau électrique, cette chance :D
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Nico le 14 janvier 2016 à 23:15:22
Tu as raison, j'étais H0BE. C'est Nico H0B0 :)
Arrête de te la péter :).
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: abermingham le 14 janvier 2016 à 23:19:41
PDU: ça dépend, tu as des PDU 32A, des 16A, etc.

DDR:
Le paragraphe que tu décris s'applique au régime de neutre "TT" qui est obligatoire en distribution publique -> DDR obligatoire.

Le DC n'est pas considéré comme une distribution publique et peut donc modifier son régime de neutre (ou schéma de liaison à la terre si tu préfères). Ainsi ils ont pu se passer de DDR.

Un peu plus compliqué que ca, le régime de neutre rentre pas dans une procédure d'exemption des DDR.
La vraie raison qui justifie à elle seule l'absence de DDR est simple : absence de socles de prise.
Les PDU des baies sont raccordés sur des borniers à ressort dans des boitiers étanches et sur-élevés conçus spécifiquement.

Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Gwadagamer le 14 janvier 2016 à 23:40:31
C'est le DC3 ou le DC4 qui a une partie de ses infras dans un ancien abris antii-atomique ?
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: underground78 le 14 janvier 2016 à 23:59:47
C'est le DC4. Le suivant DC5 sera un datacenter classique d'après ce que j'ai compris.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Optrolight le 15 janvier 2016 à 08:36:52
C'est le DC3 ou le DC4 qui a une partie de ses infras dans un ancien abris antii-atomique ?

La partie anti- atomique sera pour les clients voulant une protection maximal d'après ce que j'ai compris. Bref ça va être cher le m²
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: PGRN le 15 janvier 2016 à 10:21:43
Bonjour, et merci à tous de vos réponses :

Les PDU 32 A existent oui, mais l'offre est réduite et ceux présentés sur les photos semblent bien être des PDU 16A, c'est pour cela que je me demande pourquoi ils sont protégés par un disjoncteur 20A

En ce qui concerne le domaine d'application de la norme NFC15100 et le mise en place des disjoncteurs différentiels (DDR). Les bâtiments d'habitation et les bâtiments industriels (y compris les Datacenters) sont soumis à la NFC15100. Les protections différentielles sont à installer quelque soit le régime de neutre (TT,IT ou TN). Voici les extraits de la norme :

En ce qui concerne le domaine d'application de la norme :

Dans le titre 1 on peut lire le texte :
La présente norme s’applique principalement aux installations électriques telles que celles des :
a)   bâtiment à usage d’habitation ;
b)   bâtiment à usage commercial ;
c)   établissements recevant du public ;
d)   établissements industriels ;
e)   établissements agricoles et horticoles ;
f)   bâtiments préfabriqués ;
g)   terrains der camping et installations analogues ;
h)   chantiers, fêtes foraines, foire, expositions et autres installations temporaires ;
i)   marinas ; installations d’éclairage public ou privé

La présente norme ne s’applique pas :
a)   matériels de traction électrique
b)   équipements électriques des automobiles
c)   équipements électriques des caravanes et de véhicules de loisirs
d)   équipements électriques à bord des navires et plates-formes
e)   équipements électriques à bord des aéronefs
f)   installations dans les mines et carrières
g)   matériels de réduction des perturbations radioélectriques
h)   clôtures électriques
i)   installations de paratonnerres des bâtiments
j)   aux réseaux de distribution d’énergie publique
k)   aux installations de production et de transport pour ces réseaux

Il n'y a aucune mention d'une quelconque exclusion des installations électriques des Datacenters. Les installations électriques de tous les établissements industriels sont bien soumises à la norme NFC15100.

En ce qui concerne les protections complèmentaires (DDR)

La demande de dispositif DDR 30mA apparaît aux chapitres suivants :
    411.3.3 chapitre contacts indirects ;
    415.1 chapitre contacts directs ; je cite : « pour le caractère préventif par défaut d’entretien, usure normale, ou anormale de l’isolation ou imprudence ».
    Pour ces deux articles, les régimes de neutre ne sont pas cités. Ces 2 articles ne sont pas des sous articles relatifs à des régimes de neutre spécifiques ni incorporés à de tels articles.
    Ces deux articles demandent une protection complèmentaire par DDR30mA.

Le Datacenter de Free qui est installé en France est donc soumis à la NFC15100 qui impose l'installation de disjoncteurs différentiels 30 mA pour la protection des personnes (même si elles sont habilitées); que l'installation soit faite par l'électricien du coin ou un bureau d'études spécialisé.

Je suis donc toujours curieux qu'on m'explique la lecture qu'a faite Free (ou son conseil en électricité) de la NFC15100 qui permette de se soustraire à la mise en place des DDR.

Merci de vos commentaires et réponses éclairés

 
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 15 janvier 2016 à 11:00:30
Renseignes-toi un peu plus,

http://www.schneider-electric.fr/sites/france/fr/support/faq/faq_main.page?page=content&country=FR&lang=fr&locale=fr_FR&id=FA17782&redirect=true

Citer
Pour la protection contre les contacts directs (In = 30 mA) et protection des installations débrochables (valable pour tous les régimes de neutre)

    pour des alimentations monophasées :
    emploi de DDR type A S.I.
    pour des alimentations triphasées :
    emploi de DDR type B ( avec I = 63 A maxi ).

  Pour la protection contre les contacts indirects en régime de neutre TT uniquement :

    pour des alimentations monophasées :
    emploi de DDR type A S.
    pour des alimentations triphasées :
    emploi de DDR type B (avec I = 63 A maxi).

   Pour la protection contre les contacts indirects en régime de neutre TN ou IT :

    Pas besoin de DDR, la protection est assurée par la fonction Magnétique du disjoncteur de ligne.

Par contre on peut utiliser un CPI (Contrôleur Permanent d'Isolement) pour détecter un défaut d'isolement. Ce contrôleur d'isolement doit être compatible avec les variateurs de vitesse (courant mesure injecté BF ou continu).

Ce qu'a expliqué Arnaud :
Un peu plus compliqué que ca, le régime de neutre rentre pas dans une procédure d'exemption des DDR.
La vraie raison qui justifie à elle seule l'absence de DDR est simple : absence de socles de prise.
Les PDU des baies sont raccordés sur des borniers à ressort dans des boitiers étanches et sur-élevés conçus spécifiquement.

Pas de socle de prise -> absence/réduction du risque de contact direct.

Pour le contact indirect, le DDR est inefficace en TN/IT.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Gwadagamer le 15 janvier 2016 à 11:51:22
La partie anti- atomique sera pour les clients voulant une protection maximal d'après ce que j'ai compris. Bref ça va être cher le m²
Ouais chère mais les prix de online.net sont relativement bien placé a chaque fois par rapport a la concurrence, puis il faut être couillu d'investir autant en ce moment .
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: alegui le 15 janvier 2016 à 12:31:31
Le DC4 n'est pas destiné à accueillir des dedibox, mais plutôt à de gros clients qui ont comme critère une sécurité physique importante et qui ont les moyens (et l'envie) de payer plus cher la baie qu'au DC3.
Concernant l'investissement, si c'est une demande des clients, comme le marché du datacenter est en croissance, ce n'est pas si risqué d'investir, surtout sur un site en plein paris (=près des réseaux existants) et pour un hébergeur existant qui possède déjà une base de clients importante
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Hugues le 15 janvier 2016 à 12:41:55
Ouais enfin y'a pas que l'abri anti atomique, y'a aussi des bâtiments au dessus, hein.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 15 janvier 2016 à 19:07:29
Un peu plus compliqué que ca, le régime de neutre rentre pas dans une procédure d'exemption des DDR.
La vraie raison qui justifie à elle seule l'absence de DDR est simple : absence de socles de prise.
Les PDU des baies sont raccordés sur des borniers à ressort dans des boitiers étanches et sur-élevés conçus spécifiquement.
Je n'ai pas compris. Quelqu'un (Arnaud ou quelqu'un d'autre qui s'y connait) peut-il expliquer ça avec des termes compréhensibles? Je ne suis pas spécialiste de ces sujets, et ça m'interpelle carrèment!  :o
Où est le rapport entre la protection différentielle et le fait d'avoir des socles de prises?
Quelle est fondamentalement la différence entre un socle de prise et un bandeau de prises? Je n'en vois pas...
Dans un datacenter, de nombreuses personnes (y compris sans habilitation électrique) sont amenées à manipuler des cordons. Donc un problème d'isolation sur un cordon, ben c'est dangereux, non? Genre cordon partiellement coupé. Comment fait-on sans protection différentielle?

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 15 janvier 2016 à 22:17:22
Si pas d'habilitation, tu n'as pas le droit de manipuler le moindre cordon électrique, y compris et surtout pour faire un branchement. Tu n'as pas le droit non plus d'aller mettre tes mains au milieu de cordons électriques pour faire passer ton cable réseau ou ta fibre. On est d'accord que tout le monde ne respecte pas la législation.

Ensuite la loi française stipule qu'à partir du moment que des prises électriques sont disponibles, un DDR est obligatoire. Admettons par exemple que tout soit raccordé à l'intérieur de boites plexo -> pas de prises -> pas de DDR nécessaire contre les contacts directs. C'est à peu près ce qu'à réalisé Online, les PDU ne sont pas raccordés via une prise 16A 2P+1.

Il me semble qu'un PDU ne fait pas partie de la catégorie "socles de prise" mais plutot équipement électrique donc sa présence ne change rien.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Synack le 16 janvier 2016 à 00:14:18
Si pas d'habilitation, tu n'as pas le droit de manipuler le moindre cordon électrique, y compris et surtout pour faire un branchement. Tu n'as pas le droit non plus d'aller mettre tes mains au milieu de cordons électriques pour faire passer ton cable réseau ou ta fibre. On est d'accord que tout le monde ne respecte pas la législation.

Ensuite la loi française stipule qu'à partir du moment que des prises électriques sont disponibles, un DDR est obligatoire. Admettons par exemple que tout soit raccordé à l'intérieur de boites plexo -> pas de prises -> pas de DDR nécessaire contre les contacts directs. C'est à peu près ce qu'à réalisé Online, les PDU ne sont pas raccordés via une prise 16A 2P+1.

Il me semble qu'un PDU ne fait pas partie de la catégorie "socles de prise" mais plutot équipement électrique donc sa présence ne change rien.

Dans ce cas ça signifie donc que tu es obligé de fournir un PDU et jamais aucune réglette de prises électriques donc, ou plus précisèment un équipement électrique équipé d'un disjoncteur (thermique dans le cas d'un PDU généralement) doit être obligatoirement en bout de chaîne de raccordement, branché et géré par le DC ?

Si le client ne veut pas de PDU mais des prises, c'est mort.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 16 janvier 2016 à 02:52:50
Si pas d'habilitation, tu n'as pas le droit de manipuler le moindre cordon électrique, y compris et surtout pour faire un branchement. Tu n'as pas le droit non plus d'aller mettre tes mains au milieu de cordons électriques pour faire passer ton cable réseau ou ta fibre. On est d'accord que tout le monde ne respecte pas la législation.
Je n'ai pas compris. Est-ce que tu dis qu'une personne non habilitée n'a pas le droit de manipuler le moindre cordon :
* dans n'importe quel bâtiment professionnel (ça serait très très con, donc je n'y crois pas)
* spécifiquement chez Online, vu leur installation non équipée de protection différentiels?
Du coup, si c'est la réponse B (Jean Pierre), est-ce qu'Online demande à ses clients de leur montrer une habilitation électrique?

Ensuite la loi française stipule qu'à partir du moment que des prises électriques sont disponibles, un DDR est obligatoire. Admettons par exemple que tout soit raccordé à l'intérieur de boites plexo -> pas de prises -> pas de DDR nécessaire contre les contacts directs. C'est à peu près ce qu'à réalisé Online, les PDU ne sont pas raccordés via une prise 16A 2P+1.

Il me semble qu'un PDU ne fait pas partie de la catégorie "socles de prise" mais plutot équipement électrique donc sa présence ne change rien.
Je ne comprends toujours pas. Un PDU, surtout ceux qu'on voit chez Online, c'est un simple bandeau de prises, non? Comme un socle de 8 prises.
En terme de risques réel, pas juste de norme, où est la différence entre un PDU et un socle de prises?

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 16 janvier 2016 à 08:37:13
Je n'ai pas compris. Est-ce que tu dis qu'une personne non habilitée n'a pas le droit de manipuler le moindre cordon :
* dans n'importe quel bâtiment professionnel (ça serait très très con, donc je n'y crois pas)
* spécifiquement chez Online, vu leur installation non équipée de protection différentiels?
Du coup, si c'est la réponse B (Jean Pierre), est-ce qu'Online demande à ses clients de leur montrer une habilitation électrique?

Réponse A : https://fr.wikipedia.org/wiki/NF_C18-510 dans tous les environnements à risque électrique. Donc un Datacenter en fait partie.

Tout personnel évoluant dans ces zones est sensé avoir une habilitation. Je ne sais pas s'il est de la responsabilité d'Online de vérifier si chacun des personnels d'un sous-traitant a bien l'habilitation car celle-ci est sensée être délivrée par son employeur.

Habilitation=formation/sensibilisation aux risques, cela ne te transforme pas en électricien mais te donne le droit à effectuer certaines opérations.

Citer
Je ne comprends toujours pas. Un PDU, surtout ceux qu'on voit chez Online, c'est un simple bandeau de prises, non? Comme un socle de 8 prises.
En terme de risques réel, pas juste de norme, où est la différence entre un PDU et un socle de prises?

Leon.

Me suis farci la norme :D

http://www.mainelec.org/app/download/5040185962/Norme+Electrique+officiel+NFC+15-100.pdf?t=1314898287

Pour les PDU, j'ai trouvé ce cas de figure :
Citer
Cette disposition ne vise pas les prises de courant prévues par les constructeurs sur des
machines portant le marquage CE, la directive européenne relative aux machines ne
prévoyant pas cette exigence. Le Ministère chargé du travail considère que, dans ce cas,
l'utilisation de telles prises de courant doit être réservé, sous la responsabilité du chef
d'établissement, au personnel ayant reçu une formation et une consigne d'exploitation.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 16 janvier 2016 à 08:54:50
Merci pour ta réponse.
Réponse A : https://fr.wikipedia.org/wiki/NF_C18-510 dans tous les environnements à risque électrique. Donc un Datacenter en fait partie.

Tout personnel évoluant dans ces zones est sensé avoir une habilitation. Je ne sais pas s'il est de la responsabilité d'Online de vérifier si chacun des personnels d'un sous-traitant a bien l'habilitation car celle-ci est sensée être délivrée par son employeur.
Réponse A, tu es sur et certain?  :o
Quelles zones? Comment définit-on une zone à "risque électrique"? Un simple bureau où un salarié branche te débranche 10 fois par jour son alim de PC portable et/ou sa bouilloire électrique? Tous les salariés de ces bureaux devraient avoir une habilitation électrique? Ca m'étonnerait franchement qu'on ait pondu une norme aussi débile!
Et dans tous les cas, si l'installation est équipée de protection différentielle, je ne vois pas pourquoi on demanderai une habilitation particulière pour brancher une simple prise! La protection différentielle suffit normalement à le protéger (même si ça chatouille).

Me suis farci la norme :D

http://www.mainelec.org/app/download/5040185962/Norme+Electrique+officiel+NFC+15-100.pdf?t=1314898287

Pour les PDU, j'ai trouvé ce cas de figure :

L'emploi de DDR à haute sensibilité est particulièrement justifié pour assurer la protection des
câbles souples alimentant les appareils mobiles ou portatifs, l'usure ou le vieillissement de
ces câbles pouvant entraîner la détérioration de l'isolant ou la rupture du conducteur de
protection, sans que de tels défauts puissent être détectés.

Cette disposition ne vise pas les prises de courant prévues par les constructeurs sur des
machines portant le marquage CE, la directive européenne relative aux machines ne
prévoyant pas cette exigence. Le Ministère chargé du travail considère que, dans ce cas,
l'utilisation de telles prises de courant doit être réservé, sous la responsabilité du chef
d'établissement, au personnel ayant reçu une formation et une consigne d'exploitation.
OK, donc ça voudrait dire que les différentiels ne sont pas obligatoires si:
* personnel formé/habilité
* prises de "machines" (serveurs?) équipés de marquage "CE".

Mais je ne vois toujours pas la différence entre bandeau de prises = PDU et socle de prise...

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 16 janvier 2016 à 09:18:04
Merci pour ta réponse.Réponse A, tu es sur et certain?  :o
Quelles zones? Comment définit-on une zone à "risque électrique"? Un simple bureau où un salarié branche te débranche 10 fois par jour son alim de PC portable et/ou sa bouilloire électrique? Tous les salariés de ces bureaux devraient avoir une habilitation électrique? Ca m'étonnerait franchement qu'on ait pondu une norme aussi débile!
Et dans tous les cas, si l'installation est équipée de protection différentielle, je ne vois pas pourquoi on demanderai une habilitation particulière pour brancher une simple prise! La protection différentielle suffit normalement à le protéger (même si ça chatouille).

C'est pourtant facile de faire la distinction entre un Datacenter et des bureaux:

http://www.cdg62.fr/index.php/prevention/hygiene-et-securite-au-travail/11-prevention/309-le-risque-electrique

Citer
On peut classer les expositions en deux catégories principales :

1) L'exposition délibérée :
Elle concerne les professionnels intervenants sur ou à proximité des équipements et installations électriques
La formation de ces agents ainsi que la délivrance d'habilitations électriques adaptées aux missions sont obligatoires.
2) L'exposition ordinaire :
Sont concernés l'ensemble des agents travaillant dans des locaux alimentés en électricité et donc simples utilisateurs.
Ils ne sont normalement pas exposés au risque, dans l'hypothèse d'installations conformes et d'équipements entretenus.
Leur formation se limite à la connaissance des notices d'utilisation des équipements électriques utilisés.

En d'autres termes, les "utilisateurs" ne sont pas exposés au risque car ils ne sont pas sensés réaliser d'opérations. Le dispositif DDR est là pour les protéger contre les expositions directes et indirectes.

Citer
OK, donc ça voudrait dire que les différentiels ne sont pas obligatoires si:
* personnel formé/habilité
* prises de "machines" (serveurs?) équipés de marquage "CE".

Mais je ne vois toujours pas la différence entre bandeau de prises = PDU et socle de prise...

Leon.

C'est la magie de la norme ! Tu peux acheter un onduleur qui est une source d'énergie mais qui n'a pas de DDR -> pas de "socle de prise" c'est assimilable à un appareillage. Et pourtant tu es exposé de la même manière d'un point de vue mécanique (=même prise FR).




Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 16 janvier 2016 à 09:28:44
C'est pourtant facile de faire la distinction entre un Datacenter et des bureaux:

En d'autres termes, les "utilisateurs" ne sont pas exposés au risque car ils ne sont pas sensés réaliser d'opérations. Le dispositif DDR est là pour les protéger contre les expositions directes et indirectes.
Je ne comprends toujours pas. Je dois vraiment être bête, ou alors il y a un truc qui m'échappe.

Quelle est la différence entre un datacenter et un bureau, qui te semble si évidente??

Avec la définition que tu cites de "exposition délibérée" et "exposition ordinaire", qui ne parle aucunement de DDR, je ne vois absolument aucune différence entre un gars qui branche sa bouilloire ou son PC portable dans un bureau, et un gars qui branche un serveur dans un datacenter. L'installateur de matériel informatique en datacenter n'est-il pas un simple "utilisateur" des bâtiments et des installations électriques du bâtiment?

OK, je suis parfaitement d'accord, quelqu'un qui intervient sur l'installation électrique (remplacer un disjoncteur, rajouter un PDU raccordé à un bornier) devra être habilité, c'est évident. Que l'installation soit en datacenter ou en bureau. C'est alors une "exposition délibérée". Mais le gars qui installe un serveur, ou branche une bouilloire, je ne vois pas...

Bref, je ne comprends toujours pas.

En d'autres termes, les "utilisateurs" ne sont pas exposés au risque car ils ne sont pas sensés réaliser d'opérations. Le dispositif DDR est là pour les protéger contre les expositions directes et indirectes.
Là, j'ai vraiment l'impression que tu te contredits. Tu disais quelques posts plus haut "réponse A", qui correspondait à
Citation de: Leon
Est-ce que tu dis qu'une personne non habilitée n'a pas le droit de manipuler le moindre cordon :
A: dans n'importe quel bâtiment professionnel (ça serait très très con, donc je n'y crois pas)
B: spécifiquement chez Online, vu leur installation non équipée de protection différentiels?

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 16 janvier 2016 à 13:13:23
Je ne comprends toujours pas. Je dois vraiment être bête, ou alors il y a un truc qui m'échappe.

Quelle est la différence entre un datacenter et un bureau, qui te semble si évidente??

Avec la définition que tu cites de "exposition délibérée" et "exposition ordinaire", qui ne parle aucunement de DDR, je ne vois absolument aucune différence entre un gars qui branche sa bouilloire ou son PC portable dans un bureau, et un gars qui branche un serveur dans un datacenter. L'installateur de matériel informatique en datacenter n'est-il pas un simple "utilisateur" des bâtiments et des installations électriques du bâtiment?

OK, je suis parfaitement d'accord, quelqu'un qui intervient sur l'installation électrique (remplacer un disjoncteur, rajouter un PDU raccordé à un bornier) devra être habilité, c'est évident. Que l'installation soit en datacenter ou en bureau. C'est alors une "exposition délibérée". Mais le gars qui installe un serveur, ou branche une bouilloire, je ne vois pas...

Bref, je ne comprends toujours pas.

Clair que c'est plus évident quand t'as eu la formation...

Un datacenter est un environnement avec une densité d'équipements électriques importante et où les puissances en jeu sont sans commune mesure avec des bureaux. Tu as des équipements en triphasé (baies, blades, etc), des PDU avec disjoncteur intégré et aussi des endroits où de l'eau est présente (coucou OVH). C'est pourquoi un minimum de formation est obligatoire, on ne branche pas un blade triphasé comme on branche une bouilloire.

Si tu ne vois toujours pas la différence entre un bureau et un datacenter, je vais m'inquiéter pour toi :)

Citer
Là, j'ai vraiment l'impression que tu te contredits. Tu disais quelques posts plus haut "réponse A", qui correspondait à
Leon.

Dans les bureaux en principe on met un régime TT et des DDR (j'ai été dans des bureaux en régime IT sans aucun DDR), aucune importance si un groupe de prises saute, on n'a pas la problématique de disponibilité d'un réseau et de serveurs.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 16 janvier 2016 à 14:27:44
Un datacenter est un environnement avec une densité d'équipements électriques importante et où les puissances en jeu sont sans commune mesure avec des bureaux. Tu as des équipements en triphasé (baies, blades, etc), des PDU avec disjoncteur intégré et aussi des endroits où de l'eau est présente (coucou OVH). C'est pourquoi un minimum de formation est obligatoire, on ne branche pas un blade triphasé comme on branche une bouilloire.

Si tu ne vois toujours pas la différence entre un bureau et un datacenter, je vais m'inquiéter pour toi :)
Non, je ne comprends toujours pas la différence entre un installateur de serveur qui branche des PC sur des prises dans un datacenter, et un employé de bureau qui branche son PC sur sa prise.
Et tous les paragraphes que tu as cité jusqu'à présent ne mentionnent pas la puissance électrique. Donc bref, c'est incompréhensible pour moi.

J'ai toujours l'impression que tu te contredis, vu que tu disais qu'un salarié dans un bureau qui branche une bouilloire/un PC devait avoir une habilitation électrique quand tu me disais "réponse A". Dans tes 2 dernières réponses, j'ai l'impression que ce salarié n'a plus besoin d'habilitation... Bref, c'est absolument incompréhensible.

J'abandonne. Je n'ai pas envie de lire 500 pages de normes, ça ne m'intéresse pas.

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: PGRN le 18 janvier 2016 à 14:44:03
Bonjour,

Citer
Un peu plus compliqué que ca, le régime de neutre rentre pas dans une procédure d'exemption des DDR.
La vraie raison qui justifie à elle seule l'absence de DDR est simple : absence de socles de prise.
Les PDU des baies sont raccordés sur des borniers à ressort dans des boitiers étanches et sur-élevés conçus spécifiquement.

Merci de vos réponses.

Si je comprends bien, l'absence de DDR est due au fait que les PDU sont branchés avec des boitiers étanches, surélevés conçus spécifiquement. Le problème c'est que pour être valable cette procédure devrait être appliquée à toute la chaine, c'est à dire de l'intérieur du serveur jusqu'à sa protection. Hors ce n'est manifestement pas le cas puisque l'alimentation du serveur est branchée via un cordon standard au PDU. On a donc 2 endroits dans la chaine qui ne correspondent pas à la description :

- Au point de connexion entre la sortie de l'alimentation du serveur et le cordon
- et de l'autre coté au point de connexion entre l'autre extrémité du cordon et le PDU.

Dans l'état actuel de la discussion et des explications données par Free, Il ne fait pour moi aucun doute que des disjoncteurs différentiels devraient installés en lieu et place des disjoncteurs actuels indépendamment du régime de neutre de l'installation, de l'habilitation des personnes qui y travaillent et du label CE des équipements.

J'imagine qu'un bureau de contrôle a validé l'installation. Je suis donc toujours aussi curieux de connaître la raison pour laquelle les différentiels ne sont pas présents.

Merci d'avance
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: abermingham le 18 janvier 2016 à 21:06:42

Dans l'état actuel de la discussion et des explications données par Free, Il ne fait pour moi aucun doute que des disjoncteurs différentiels devraient installés en lieu et place des disjoncteurs actuels indépendamment du régime de neutre de l'installation, de l'habilitation des personnes qui y travaillent et du label CE des équipements.

Online, pas Free :-)
C'est un problème purement normatif, il faut savoir bien interpréter la réglementation et la contourner habillement

La baie est un produit "fini" (comme une machine à laver, ou un onduleur si tu préfères), considéré comme un récepteur unique.
Peu importe comment c'est câblé et sur quoi dedans, l'intervention relève des techniciens spécialisés de ce produit fini, avec les procédures et les habilitations pour y travailler.
Coté DC, on raccorde une baie (peu importe ce qu'il y a dedans) et rien d'autre, sur câbles et sur borniers sans prise.
Au niveau réglementaire, si cette baie était raccordée avec une prise (HYPRA ou autre), l'utilisation d'un DDR serait obligatoire bien que totalement inutile comme tout le monde sait.

Sinon, il faudrait aussi des disjoncteurs différentiels dans ta machine à laver si par exemple son moteur est raccordé avec des prises ou des cosses par exemple.

Es-ce plus clair ?
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: s3phy le 19 janvier 2016 à 17:09:49
Bon mais du coup il y a bien des différences entre la NF C 15-100 dans ses applications domestiques et en dehors : en domestique, depuis le début des années 2000, TOUS les circuits doivent être protégés par un DDR ; même s'ils ne comportent aucune prise de courant (exemple chauffe eau, plaques de cuisson, etc.)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 19 janvier 2016 à 17:23:18
Normal car en domestique, le DDR te sert à te protéger des contacts indirects -> régime TT.

Dans un DC, le régime de neutre TN ou IT te dispense du DDR contre le risque de contacts indirects. Mais la norme dit qu'un socle de prise représente un risque de contact direct -> DDR. Donc si pas de socle comme chez Online, pas de DDR.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: s3phy le 19 janvier 2016 à 18:06:00
Merci, du coup pour moi c'est clair !
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 21 janvier 2016 à 06:48:15
La baie est un produit "fini" (comme une machine à laver, ou un onduleur si tu préfères), considéré comme un récepteur unique.
Peu importe comment c'est câblé et sur quoi dedans, l'intervention relève des techniciens spécialisés de ce produit fini, avec les procédures et les habilitations pour y travailler.
Du coup, je réitère ma question, est-ce que vous imposez aux "techniciens" de vos clients, qui installent les serveurs de vos clients, d'avoir une habilitation électrique particulière, vu qu'ils interviennent dans les baies, branchent des câbles dans les baies sur les PDU, etc?
Si oui, comment est-ce que c'est contractualisé avec les clients d'Online? Car je suppose que beaucoup d'intervenant n'ont, dans la pratique, aucune habilitation!

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mattmatt73 le 21 janvier 2016 à 08:00:11
je suppose que beaucoup d'intervenant n'ont, dans la pratique, aucune habilitation!

tu crois ? j'ai passé le H0 HTA / BR BT en quelques heures
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: abermingham le 21 janvier 2016 à 20:24:50
tu crois ? j'ai passé le H0 HTA / BR BT en quelques heures

L'habilitation est dans 100% des cas obligatoire en entreprise, même pour mettre un serveur dans une baie
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 22 janvier 2016 à 06:41:57
L'habilitation est dans 100% des cas obligatoire en entreprise, même pour mettre un serveur dans une baie
Arnaud, du coup, je repose ma question:
Est-ce qu'Online impose à tous les "intervenants" de ses clients de montrer une habilitation électrique? Est-ce que c'est imposé dans le contrat? Même pour 1/4 de baie?

Est-ce que c'est une condition pour délivrer un badge d'accès? Du coup, est-ce que ces badges d'accès sont strictement nominatifs?

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Boris de Bouygues Telecom le 22 janvier 2016 à 09:54:51
C'est vrai que chez Bouygues Telecom une habilitation électrique de 2h est dispensée à tous les utilisateurs de la "maquette" (maquette du réseau, située à Meudon)

J'imagine que pour les techniciens qui vont sur site ont aussi une habilitation.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Gwadagamer le 22 janvier 2016 à 11:26:37
Arnaud, du coup, je repose ma question:
Est-ce qu'Online impose à tous les "intervenants" de ses clients de montrer une habilitation électrique? Est-ce que c'est imposé dans le contrat? Même pour 1/4 de baie?

Est-ce que c'est une condition pour délivrer un badge d'accès? Du coup, est-ce que ces badges d'accès sont strictement nominatifs?

Leon.
leon_m je te réponds que mon, j'ai eut pendant un temps un badge d'accès avec mon ancienne boite et je n'ai pas d'habilitation. Bon aprés je n'ai jamais eut a aller donc peut être il y a une vérification lors de ta présentation avec ton badge.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: e-TE le 22 janvier 2016 à 11:44:02
Si l'entreprise a l'obligation légal de fournir du personnel formé, je ne suis pas sur que ce soit de la responsabilité d'Online de vérifier ça... c'est plutot une obligation du coté de l'employeur...
apres ca n'empêche pas une vérification croisé par Online mais ca alourdit le process pour une chose qui est normalement déjà fait du coté de l'entreprise envoyant du monde sur place... non?
du moins, si comme le dit Arnaud, c'est une obligation en entreprise de l'avoir...
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Synack le 22 janvier 2016 à 15:17:36
Non mais combien de sociétés dans le web font passer une habilitation électrique ? Personnellement je n'en ai plus passé depuis mon passage chez IBM il y a 15 ans...

Les PME, les SARL à 2 personnes, vous allez me dire que les gars passent ce genre d'habilitations pour mettre un serveur dans une baie ? Vous en connaissez beaucoup des potes dans notre domaine qui font ça ?

Pour la responsabilité, il me semble quand même que donner accès à un environnement "à risque" sans vérifier l'habilitation des personnes me semble de la responsabilité du site non ? Enfin en France ça me paraitrait surprenant que la personne en charge des installations ne soit pas responsable aux yeux de la loi.

A moins qu'un document précise que le client s'engage à être habilité ? Et encore...

Bref, je suis un peu étonné quand même dans l'histoire, même si ça m'arrange bien qu'un DC ne foute pas ces merdes de différentiels 30mA.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 22 janvier 2016 à 19:47:02
leon_m je te réponds que mon, j'ai eut pendant un temps un badge d'accès avec mon ancienne boite et je n'ai pas d'habilitation. Bon aprés je n'ai jamais eut a aller donc peut être il y a une vérification lors de ta présentation avec ton badge.
Non mais combien de sociétés dans le web font passer une habilitation électrique ? Personnellement je n'en ai plus passé depuis mon passage chez IBM il y a 15 ans...

Les PME, les SARL à 2 personnes, vous allez me dire que les gars passent ce genre d'habilitations pour mettre un serveur dans une baie ? Vous en connaissez beaucoup des potes dans notre domaine qui font ça ?
Et voilà, le drame. Oui, tout le monde sait que même si l'habilitation électrique de base (me souviens plus du nom) est facile à obtenir, dans la pratique, peu d'intervenants en datacenter l'ont!

Citation de: Synack
Pour la responsabilité, il me semble quand même que donner accès à un environnement "à risque" sans vérifier l'habilitation des personnes me semble de la responsabilité du site non ? Enfin en France ça me paraitrait surprenant que la personne en charge des installations ne soit pas responsable aux yeux de la loi.

A moins qu'un document précise que le client s'engage à être habilité ? Et encore...

Bref, je suis un peu étonné quand même dans l'histoire, même si ça m'arrange bien qu'un DC ne foute pas ces merdes de différentiels 30mA.
Je confirme ce que dit Synack. Dans mon entreprise, je suis habilité à accueillir des personnels extérieur pour intervention (en atelier). Et clairement, la responsabilité de l'encadrant (=moi) peut être engagée en cas de problème, si je n'ai pas fait appliqué les règles de sécurité internes, et/ou pas vérifié que l'entreprise respectait les règles de sécurité de base!

Donc autant sur un datacenter avec différentiels, ça ne me choque pas d'intervenir "comme à la maison", sans habilitation, mais sur un datacenter sans différentiel, le risque est réel! Rien que brancher un PC portable sur une installation sans différentiel, c'est un risque. 

Du coup, je suis curieux d'avoir une explication sur la présence ou non dans le contrat entre Online et ses clients housing de la mention de ce risque, et des "devoirs" du client hébergé :
* soit explication de quelqu'un qui a signé un contrat en Housing avec Online sur DC3
* soit explication d'Online directement

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: abermingham le 22 janvier 2016 à 20:11:39
Et voilà, le drame. Oui, tout le monde sait que même si l'habilitation électrique de base (me souviens plus du nom) est facile à obtenir, dans la pratique, peu d'intervenants en datacenter l'ont!
Je confirme ce que dit Synack. Dans mon entreprise, je suis habilité à accueillir des personnels extérieur pour intervention (en atelier). Et clairement, la responsabilité de l'encadrant (=moi) peut être engagée en cas de problème, si je n'ai pas fait appliqué les règles de sécurité internes, et/ou pas vérifié que l'entreprise respectait les règles de sécurité de base!

Donc autant sur un datacenter avec différentiels, ça ne me choque pas d'intervenir "comme à la maison", sans habilitation, mais sur un datacenter sans différentiel, le risque est réel! Rien que brancher un PC portable sur une installation sans différentiel, c'est un risque. 

Du coup, je suis curieux d'avoir une explication sur la présence ou non dans le contrat entre Online et ses clients housing de la mention de ce risque, et des "devoirs" du client hébergé :
* soit explication de quelqu'un qui a signé un contrat en Housing avec Online sur DC3
* soit explication d'Online directement

Il faut arrêter la parano hein :)
La France est le seul pays au monde obligeant les DDR sur les socles de prises après avoir cédé lamentablement aux lobbying très puissant de Schneider Electric dans les années 2000, qui voyait un intérêt immédiat pour vendre des disjoncteurs à plus de 150€ l'unité pour une technologie très rudimentaire et peu couteuse à fabriquer.
Pour les pièces humides, salle de bain, cuisine, l'intérêt est indéniable. Pour le reste, il n'y a aucun intérêt. Pour les salles informatiques, c'est un non sens et une source de disjonction / défaillance qui est un enfer à gérer au quotidien.

Le risque de contacts indirects, surtout avec des prises E/F (les prises C13 c'est une autre histoire) est ... proche du néant n'es-ce pas ?
Tu as peur quand tu branches ton PC portable en Allemagne ou partout ailleurs dans le monde sur une prise de courant sans DDR ?

Soyons pragmatiques.

L'habilitation électrique est une obligation de l'employeur, inscrite dans le code du travail. Le code du travail, c'est valable pour tout le monde.
La responsabilité de l'employeur est engagée à 100%.
Nous rappelons dans nos contrats cette obligation, nous réalisons des sessions d'habilitation ouvertes (et gratuites) à nos clients tous les ans
Et pour les clients qui souhaitent ce beau SPOF dans leur baie, nous fournissons sans surcoût des PDU équipés de vigi 30mA SI.

Il n'y a pas de débat, chaque client fait ses choix. Nous on a fait depuis longtemps un choix très pragmatique de ... laisser le choix et de concevoir une architecture avec ses bonnes dérogations permettant d'augmenter très significativement le taux de disponibilité de nos clients.

Fin du troll
Arnaud
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Snickerss le 22 janvier 2016 à 21:34:25
Une entreprise qui ferait de l'ingérence à vérifier les habilitations de ses intervenants ou sous traitants en prendrait la responsabilité. Donc personne ne fait ca, car par définition le code du travail s'applique à tous comme dit Arnaud.

Et la boîte prend très très cher quand ? Quand arrive un accident évidemment, même sans aucun lien avec l'habilitation en question parfois.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Gwadagamer le 23 janvier 2016 à 01:14:09
Mouais quand tu es dans une pme de 5 a 6 employés et que tu coures de tous les côtés pour maintenir et récupérer les clients. Je suis pas sure que l'on place en priorité les habilitations et le coté normatif du fait sur l'état de l'armoire. Après maintenant je vis aux antilles, si a chaque fois qu'une installation électrique n'est pas aux normes on devrait pas intervenir je peut vous dire que l'on travaillerais pas beaucoup.
Sinon je pense que j'aurais jamais calculé cette histoire et pourtant je suis pas aller qu'une seule fois dans des data center ..
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Nico le 23 janvier 2016 à 07:06:46
Me rendant régulièrement sur des sites techniques, j'ai toujours été habilité par mes employeurs perso, c'était une des premières choses faites en arrivant dans les différentes entreprises (pas des PME, certes).
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 23 janvier 2016 à 08:18:02
-snip-
Donc autant sur un datacenter avec différentiels, ça ne me choque pas d'intervenir "comme à la maison", sans habilitation, mais sur un datacenter sans différentiel, le risque est réel! Rien que brancher un PC portable sur une installation sans différentiel, c'est un risque. 
-snip-

Léon, je te mets au défi de:
 - déclencher un différentiel en régime de neutre TN ou IT
 - enfoncer un tournevis dans une prise FR (il en faut 2)
 - mettre tes doigts dans la prise

Au fait Léon, tes différentiels dans ta maison, on est d'accord que tu les testes tous les mois ? Que tu as aussi testé les cas de surcharge et de court-circuit ? Que tu fais des inspections à la caméra thermique ?

J'ai été habilité au bout de 8 ans de carrière et mon habilitation n'a pas été reconduite 3 ans plus tard, je suis resté 4 ans sans. Pourtant j'étais tout le temps dans le DC. Pire, je pouvais être amené à remonter des disjoncteurs en astreinte.

J'étais dans une grande boite mais parfois même le droit de travail y est difficile à faire appliquer.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: PGRN le 26 janvier 2016 à 08:48:35
La baie est un produit "fini" (comme une machine à laver, ou un onduleur si tu préfères), considéré comme un récepteur unique.
Peu importe comment c'est câblé et sur quoi dedans, l'intervention relève des techniciens spécialisés de ce produit fini, avec les procédures et les habilitations pour y travailler.
Coté DC, on raccorde une baie (peu importe ce qu'il y a dedans) et rien d'autre, sur câbles et sur borniers sans prise.
Au niveau réglementaire, si cette baie était raccordée avec une prise (HYPRA ou autre), l'utilisation d'un DDR serait obligatoire bien que totalement inutile comme tout le monde sait.

Sinon, il faudrait aussi des disjoncteurs différentiels dans ta machine à laver si par exemple son moteur est raccordé avec des prises ou des cosses par exemple.

Es-ce plus clair ?

Bonjour,

Merci de vos réponses, mais un produit "fini" ne change pas de configuration or ici les baies informatiques ne sont pas toutes équipées de la même manière et sont sujettes à modifications, ce qui n'est pas le cas d'une machine à laver.

Il n'est pas précisé dans la norme que les qualifications des utilisateurs peuvent dispenser des obligations de la norme; ce serait un peu  facile de faire des dérogations à des dispositions règlementaires.

Je pense donc que la comparaison avec un produit fini avec un câblage fixe qui dispenserait d'in DDR, ne tient pas dans le cas d'une baie d'une salle informatique dans un datacenter. il faut donc bien mettre des différentiels pour protéger les baies.

D'ailleurs, non seulement il y a obligation de mettre des DDR, mais aussi de les tester tous les ans (ou tous les 2 ans avec une dérogation). Un syndicat professionnel, le GIMELEC a déposé récemment auprès de l'AFNOR, une demande pour éviter de devoir faire ces tests compliqués dans le cadre d'un DC, et cette demande a été refusée.

Voilà pourquoi je pense qu'effectivement votre interprétation de la norme est erronée.

Vos commentaires sont bienvenues.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: vivien le 26 janvier 2016 à 16:47:31
Je suis sur que le test tous les deux ans n'est pas fait dans de nombreux de datacenter.

J'ai des datacenter avec des machines alimenté sur une seule voie (c'est pas bien, il faudrait que je mette un commutateur de transfert automatique) et depuis 8ans je n'ai noté aucune coupure.

En fait la question est plus de savoir si il y a des DC qui testent le différentiel tous les 2 ans...
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: yapret le 26 janvier 2016 à 17:31:12
Je rejoins Vivien, mais pour moi une question importante se pose vis à vis de ce contrôle supposé tous les deux ans : est-ce que le non-respect de cette périodicité n'implique pas problèmes avec les assurances en cas de sinistre ? Ne peuvent-elles pas s'en servir comme argument pour empêcher un dédommagement ?
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Gwadagamer le 26 janvier 2016 à 17:43:51
Je suis sur que le test tous les deux ans n'est pas fait dans de nombreux de datacenter.

J'ai des datacenter avec des machines alimenté sur une seule voie (c'est pas bien, il faudrait que je mette un commutateur de transfert automatique) et depuis 8ans je n'ai noté aucune coupure.

En fait la question est plus de savoir si il y a des DC qui testent le différentiel tous les 2 ans...
Je te rejoins en me disant que suivre les normes plus que difficile. SInon c'est pas chez online.net qu'une salle a prise feu ?
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 26 janvier 2016 à 19:32:07
Je rejoins Vivien, mais pour moi une question importante se pose vis à vis de ce contrôle supposé tous les deux ans : est-ce que le non-respect de cette périodicité n'implique pas problèmes avec les assurances en cas de sinistre ?
D'un autre côté, pour avoir des problèmes d'assurance, il faudrait que le sinistre soit une personne "électrisée", à cause d'un différentiel qui n'a pas sauté. La probabilité pour que ça arrive est quand même vachement faible. Il faut qu'il y ait un défaut électrique (défaut d'isolation) et que le différentiel soit collé, tout ça sur le même circuit.

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: PGRN le 26 janvier 2016 à 19:46:01
Je suis sur que le test tous les deux ans n'est pas fait dans de nombreux de datacenter.

J'ai des datacenter avec des machines alimenté sur une seule voie (c'est pas bien, il faudrait que je mette un commutateur de transfert automatique) et depuis 8ans je n'ai noté aucune coupure.

En fait la question est plus de savoir si il y a des DC qui testent le différentiel tous les 2 ans...

Effectivement, cette contrainte est vraiment très lourde pour les machines qui ne seraient pas double-alimentées, car pour ne pas couper l'alimentation de la baie lors du contrôle, il est nécessaire de mettre en place une machinerie spécifique assez lourde et ce pour chaque disjoncteur concerné.

C'est bien pour cela que je voulais savoir quelle interprétation de la norme permettait de se passer des DDR. Pas de DDR = Pas de contrôle, et des économies sur les disjoncteurs. Malheureusement, les arguments avancés jusqu'à présent pour justifier de ne pas les mettre ne sont pas convaincants et je crains qu'en cas d'accident corporel, la justification de ce choix auprès de l'inspection du travail ne serait pas recevable. A mon sens il faut bien mettre des DDR et donc aussi contrôler leur fonctionnement régulièrement.

Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 27 janvier 2016 à 20:39:50
Avant de dire qu'Online a une interprétation erronnée de la norme, il faudrait déjà commencer par comprendre le fonctionnement d'un DDR.

Dans le régime de neutre (ou SLT=schéma de liaison à la terre) adopté par Online, un DDR est inutile, il ne peut pas se déclencher en cas de contact indirect voir même direct.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Anonyme le 27 janvier 2016 à 21:50:49
Et pourquoi ne pas demander un audit à un organisme  comme "Veritas" ?
S'il y a des dysfonctionnements, ils seront répertoriés, un rapport est établis qui permet de couvrir envers les assurances.
Il y a toujours des améliorations possibles, mais les risques majeurs envers l'intégrité des personnes doivent être assurés.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: PGRN le 29 janvier 2016 à 08:57:20
Avant de dire qu'Online a une interprétation erronnée de la norme, il faudrait déjà commencer par comprendre le fonctionnement d'un DDR.

Dans le régime de neutre (ou SLT=schéma de liaison à la terre) adopté par Online, un DDR est inutile, il ne peut pas se déclencher en cas de contact indirect voir même direct.

Citer
Data center DC3 d'Iliad: reportage photo de la visite

« Réponse #154 le: 19 janvier 2016 à 17:23:18 »

Normal car en domestique, le DDR te sert à te protéger des contacts indirects -> régime TT.

Dans un DC, le régime de neutre TN ou IT te dispense du DDR contre le risque de contacts indirects. Mais la norme dit qu'un socle de prise représente un risque de contact direct -> DDR. Donc si pas de socle comme chez Online, pas de DDR.

Il me semble que ces contributions sont contradictoires . il est question de 3 SLT : TN ,TT, IT. Il est très probable que le SLT dont on parle dans le DC est TN.

En résumé, il existe dans les baies, des socles (PDU) de raccordement des serveurs. Ces baies ne peuvent pas être considérées comme un produit fini, puisqu'elles sont sujettes à modification (ajout de serveurs, changement de serveurs par un autre modèles, changement des configurations des serveurs). Elles doivent donc à mon sens être protégées par un disjoncteur différentiel.

Effectivement, l'idée d'un audit ou tout au moins d'un avis d'une personne d'un bureau de contrôle serait bienvenue pour mettre un terme à cette discussion et trancher une fois pour toute.

Cordialment
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Timbadore le 30 mars 2016 à 09:09:16
Merci pour le reportage super intéressant ! Je suis toujours en admiration des câblages réalisés dans les baies car moi même je galère bien à chaque fois :)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 25 juin 2016 à 07:52:24
Je me permet un gros déterrage de topic. J'essayais de calculer les dimensions des salles d'Online à DC3, et je suis retombé là dessus
Je ne suis pas choqué, il y a quand même de la place : (Les traverses de faux plancher font 1,2 mètres)
C'est pas plutôt 60cm les dalles de faux plancher? La dimensions des dalles correspond apparemment à la largeur d'une baie, et les baies online sont étroites et profondes, pour optimiser l'espace, donc ça collerai avec les 60cm, non?

Sinon, quelqu'un connait-il la largeur/profondeur d'une salle Online classique?

Leon.
Titre: Data center DC3 d'Iliad: Salle opérateur N°1
Posté par: vivien le 25 juin 2016 à 10:56:09
Elles ne font pas 1,2m de large, en phase.

Je me demande si 1,2 mettre ne serait pas plutôt la hauteur du faux plancher

La construction de la salle opérateur 1 :
(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_5.jpg)

Les arrivées électriques sous les baies :

(https://lafibre.info/images/free/201209_visite_datacenter_iliad_salle_6.jpg)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mikmak le 25 juin 2016 à 11:40:54
chaque module grillagé (y en a 6 par salle) fait dans les 250m2 (de base on y met 3 cold-co de 46 + 44 + 42 baies = 132 baies)

Mik
Titre: Data center DC3 d'Iliad: Énergie
Posté par: vivien le 01 septembre 2016 à 08:43:07

Les onduleurs 550 kVA en formation parallèle. Il y aura 20 onduleurs au total pour DC3, une fois l'extension réalisée.
(https://lafibre.info/images/datacenter/201509_online_dc3_tgbt_04.jpg)

Upgrade en cours à 2,5MW (5x550kVA) ondulé des 6 chaînes électriques de #DC3 :
(https://lafibre.info/images/datacenter/201608_online_dc3_tgbt_upgrade.jpg)
(source Online)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: renaud07 le 04 novembre 2016 à 03:25:18
Petit dépoussiérage.

Avant de dire qu'Online a une interprétation erronnée de la norme, il faudrait déjà commencer par comprendre le fonctionnement d'un DDR.

Dans le régime de neutre (ou SLT=schéma de liaison à la terre) adopté par Online, un DDR est inutile, il ne peut pas se déclencher en cas de contact indirect voir même direct.

Je ne suis pas tout à fait d'accord.

Avec un régime TN, pour les contacts indirects un DDR ne sert pas effectivement (vu que c'est un court circuit) mais pour les contacts directs en revanche, il va se déclencher, vu qu'il y a bien une fuite de courant à travers la personne qui touche le câble, comme en TT.

Pour le coup, je pense qu'imposer un DDR sur une installation TN, n'est pas si déconnant que ça vu que c'est la seule protection efficace contre les contacts directs.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 04 novembre 2016 à 06:24:29
Petit dépoussiérage.

Je ne suis pas tout à fait d'accord.

Avec un régime TN, pour les contacts indirects un DDR ne sert pas effectivement (vu que c'est un court circuit) mais pour les contacts directs en revanche, il va se déclencher, vu qu'il y a bien une fuite de courant à travers la personne qui touche le câble, comme en TT.

Pour le coup, je pense qu'imposer un DDR sur une installation TN, n'est pas si déconnant que ça vu que c'est la seule protection efficace contre les contacts directs.
+1
Sur des dizaines de milliers de connexions, si un cordon 240V se dénude pour une raison ou une autre, et que ses connecteurs apparaissent à nu, alors il devient dangereux sans DDR.
Donc je comprends la position d'Online pour assurer la disponibilité.
Mais la sécurité des personnes est un moins bonne que sur une installation domestique française classique.

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: renaud07 le 06 novembre 2016 à 02:20:39
De base seul le régime TT protège contre les contacts directs et indirects du fait du différentiel. Pour le TN et l'IT ce n'est que contre les contacts indirects. Il faut rajouter un DDR si on veut aussi une protection contre les contacts directs.

Je me suis toujours demandé pourquoi y'a cette différence de traitement... Car dans n'importe quel régime de neutre il peut y avoir un contact direct  à un moment ou à un autre. Même en cas de personnel formé on est jamais à l'abri d'une bourde.

Je suis sûr que si les fabricants ne vendaient pas si cher les différentiels ça ne choquerait personne d'en mettre systématiquement quelque soit le SLT.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mattmatt73 le 06 novembre 2016 à 05:13:49

Je suis sûr que si les fabricants ne vendaient pas si cher les différentiels ça ne choquerait personne d'en mettre systématiquement quelque soit le SLT.

dans les cars régies, par exemple, c'est le cas, on a un différentiel par départ (ou presque)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: renaud07 le 06 novembre 2016 à 18:23:57
dans les cars régies, par exemple, c'est le cas, on a un différentiel par départ (ou presque)

Un différentiel par départ, càd par disjoncteur ? Ça fait beaucoup !

Mais d'un autre côté est sûr de pas tout faire sauter à la moindre fuite de courant.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: mattmatt73 le 06 novembre 2016 à 20:22:04
Mais d'un autre côté est sûr de pas tout faire sauter à la moindre fuite de courant.

ben voilà.....
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 06 novembre 2016 à 21:15:06
@Leon et @Renaud07 : la solution à votre problématique de contact direct avec un conducteur mis à nu est très simple : le cable d'alimentation doit être équipé d'une tresse métallique reliée à la terre. Si le cable est endommagé, le conducteur touchera la tresse -> ça saute sur le disjoncteur, pas besoin de DDR.

J'ai récupéré ce genre de cable, y'en avait plein le faux-plancher d'un ancien DC. Y'avait même des cables avec blindage par phase.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 07 novembre 2016 à 06:20:43
Salut BadMax
@Leon et @Renaud07 : la solution à votre problématique de contact direct avec un conducteur mis à nu est très simple : le cable d'alimentation doit être équipé d'une tresse métallique reliée à la terre. Si le cable est endommagé, le conducteur touchera la tresse -> ça saute sur le disjoncteur, pas besoin de DDR.

J'ai récupéré ce genre de cable, y'en avait plein le faux-plancher d'un ancien DC. Y'avait même des cables avec blindage par phase.
Oui, oui, je connais. C'est très utilisé dans l'industrie, justement dans les installations dépourvues de différentiel.

Mais dans un datacenter, les cordons qui relient les serveurs aux bandeaux de prises ne sont quasiment jamais faits comme ça, sauf pour les très grosses puissances (mainframe, chassis blade server). Surtout qu'on est dans un datacenter ouvert, et Iliad/Online ne peut clairement pas imposer ça à ses clients, et d'ailleurs ils ne l'imposent pas.
Et c'est bien cette partie finale (les cordons) qui sont manipulés le plus souvent, par le plus grand nombre de personnes différents.
Pourtant, abimer un cordon mal placé en rackant un serveur, c'est quelque chose de tout à fait possible.
C'est donc bien là où je vois le risque.

De même, si l'utilisateur arrive avec un PC portable avec une alimentation "classe 2" et que cette alimentation a un défaut d'isolement grave (c'est rare, mais ça arrive, surtout sur les nombreuses alims no-name chinoises / de contrefaçons), pendant qu'elle est branchée à une prise du datacenter Online, alors la carcasse du PC peut se retrouver à des tensions dangereuses, sans que ça fasse sauter le moindre disjoncteur, vu que la carcasse n'est pas reliée à la "terre".

Et dans ces 2 cas, un différentiel aurait protégé l'utilisateur.

Mais encore une fois, je comprends le choix d'Online. Il faut être conscient que la protection des personnes est moins bonne que dans une installation domestique classique française.

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 07 novembre 2016 à 08:46:43
Exactement et c'est pour cette raison que l'habilitation électrique est obligatoire : le personnel est sensibilisé aux risques.

Anecdote : un jour j'ai vu un type enfiler un casque et gants pour du THT pour ré-enclencher un disjoncteur 3x20A. "On sait jamais"
Bon lui avait été trop sensibilisé.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: eruditus le 07 novembre 2016 à 09:09:32
Il faut dire que généralement, une fois que tu as reçu la formation d'habilitation, tu regardes la gentille fée électricité avec un autre œil. ;D
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: renaud07 le 07 novembre 2016 à 18:17:52
@Leon et @Renaud07 : la solution à votre problématique de contact direct avec un conducteur mis à nu est très simple : le cable d'alimentation doit être équipé d'une tresse métallique reliée à la terre. Si le cable est endommagé, le conducteur touchera la tresse -> ça saute sur le disjoncteur, pas besoin de DDR.

J'ai récupéré ce genre de cable, y'en avait plein le faux-plancher d'un ancien DC. Y'avait même des cables avec blindage par phase.

Je les avaient oubliés ceux-là... mea cupla. Mais comme dit Leon c'est plus sur la partie baie que c'est risqué. Si c'est du câble simple.

De même, si l'utilisateur arrive avec un PC portable avec une alimentation "classe 2" et que cette alimentation a un défaut d'isolement grave (c'est rare, mais ça arrive, surtout sur les nombreuses alims no-name chinoises / de contrefaçons), pendant qu'elle est branchée à une prise du datacenter Online, alors la carcasse du PC peut se retrouver à des tensions dangereuses, sans que ça fasse sauter le moindre disjoncteur, vu que la carcasse n'est pas reliée à la "terre".

Sur du matériel de classe 2, il y a justement une double paroi pour éviter un contact avec une masse métallique. Et même si y'avait un défaut d'isolement, le PC étant alimenté en 12v, c'est totalement inoffensif. La résistance du corps empêche le courant de passer en dessous de +- 50v.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: renaud07 le 07 novembre 2016 à 18:40:16
Il faut dire que généralement, une fois que tu as reçu la formation d'habilitation, tu regardes la gentille fée électricité avec un autre œil. ;D

Je confirme  ;D

Perso j'ai les habilitations B1V et BR (qui englobe aussi BC si me rappelle bien).
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 07 novembre 2016 à 19:25:53
Sur du matériel de classe 2, il y a justement une double paroi pour éviter un contact avec une masse métallique. Et même si y'avait un défaut d'isolement, le PC étant alimenté en 12v, c'est totalement inoffensif. La résistance du corps empêche le courant de passer en dessous de +- 50v.
Là dessus, tu te trompes. Déjà, ton PC comporte quasi obligatoirement des parties métalliques accessibles au toucher par l'utilisateur : prise VGA ou Ethernet par exemple. Ces prises sont reliées à la masse très basse tension.

Ensuite, en théorie, effectivement il y a un isolement poussé sur une alim à découpage "classe 2" entre la partie 240V et la partie très basse tension. Isolement à plusieurs milliers de volts.

Sauf que sur les produits qui ne respectent aucune règle (alim no name, ou contrefaçon), il arrive qu'il y ait défaut d'isolation. Pareil sur une alim endommagée, dont le transfo a commencé à cramer. Du coup, le plus souvent, la "masse" de la Très Basse Tension se retrouve au même potentiel qu'un des pôles du 240V (neutre ou phase), avec un danger énorme pour l'utilisateur! Car dans ce cas, la tension dangereuse se retrouve directement sur les parties accessibles de son PC.
Sur une installation avec DDR, ça va juste chatouiller. Mais sinon, c'est dangereux.
C'est pareil avec les chargeurs USB sur 220V : il faut acheter des produits de marque, les autres sont potentiellement dangereux.

Leon.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: abermingham le 07 novembre 2016 à 20:12:55
La surveillance du contrôle d'isolement n'est pas bien compliqué à faire (CPI)
Il suffit d'avoir un voyant rouge indiquant un courant de fuite potentiellement dangereux interdisant l'intervention de personnels électriciens non habilités TST.
https://www.se.com/africa/fr/product-range/817-vigilohm/?parent-category-id=2700&parent-subcategory-id=2710

Oups, j'ai révélé quelques secrets :-)
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: renaud07 le 07 novembre 2016 à 21:25:32
@Leon : Perso les alimentations c'est bien là ou je ne m'amuse pas à acheter du no-name.

Si l'alim est vraiment mal foutue y'a effectivement un risque, mais sur une alim de bonne marque si y'a défaut d’isolement, je pense qu'il faudra un bon moment avant que la partie TBT se retrouve à un potentiel de 230v.
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: BadMax le 08 novembre 2016 à 14:56:27
La surveillance du contrôle d'isolement n'est pas bien compliqué à faire (CPI)
Il suffit d'avoir un voyant rouge indiquant un courant de fuite potentiellement dangereux interdisant l'intervention de personnels électriciens non habilités TST.
http://www.schneider-electric.com/products/ma/fr/2700-controleurs-disolement/2710-controleurs-disolement/817-vigilohm/

Oups, j'ai révélé quelques secrets :-)

Rhôôô détourner les protection du modèle IT pour TN c'est triché ! :D

Mais c'est bien vu, je m'étais posé la question si c'était possible ou pas (pas au sens technique mais au sens de la norme).
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: renaud07 le 08 novembre 2016 à 17:13:57
Je verrais bien un CPI sur du TT aussi, spécialement sur les installations qui n'ont pas de 30mA mais seulement le 500mA EDF. Même si ça ne protège pas, ça indique au moins qu'il ya un problème. Par contre c'est le prix qui est plus problématique, ça coûte aussi cher que de changer le tableau. Pas sûr que ce soit bien rentable c't'affaire  ;D
Titre: Data center DC3 d'Iliad: reportage photo de la visite
Posté par: Leon le 08 novembre 2016 à 19:35:01
La surveillance du contrôle d'isolement n'est pas bien compliqué à faire (CPI)
Il suffit d'avoir un voyant rouge indiquant un courant de fuite potentiellement dangereux interdisant l'intervention de personnels électriciens non habilités TST.
http://www.schneider-electric.com/products/ma/fr/2700-controleurs-disolement/2710-controleurs-disolement/817-vigilohm/

Oups, j'ai révélé quelques secrets :-)
Merci, c'est intéressant d'associer ce dispositif à un régime TN.
Si j'ai bien compris, ça permet d'avertir en cas de petits défauts d'isolement, avant de couper franchement en cas de gros défaut d'isolement, c'est bien ça?
Et il doit y avoir une astuce pour localiser rapidement le "petit défaut d'isolement", car j'ai souvenir que tu nous en parlais. Si mon souvenir est bon, tu nous disait qu'il était trop complexe de localiser un défaut d'isolement dans  un régime IT.

Mais on est bien d'accord que ça protège uniquement contre les contacts indirects; et ça ne protègera jamais contre les contacts directs dont on parlait avec Renaud, alors que le DDR en est capable.
Encore une fois, je comprends le choix qui est fait, mais ça reste moins sur qu'une installation avec DDR.

Leon.