Auteur Sujet: Data center DC3 de Scaleway: reportage photo de la visite (Lu 189022 fois)

vivien · « **Réponse #12 le:** 23 octobre 2015 à 13:04:50 »

Le dernier espace libre du data center DC3 avant extension :

Les salles 3 et 4 de DC3 sont pleines, la seule place qu'il reste, c'est cet espace en salle 3, d'où les travaux pour construire la phase 2 du data center avec les salles 1 et 2.

Les baies qui seront remplies de serveur la semaine prochaine :

Le trou pour le raccordement électrique et la mise à la terre de la baie :

Le groupe "LaFibre.info" à l'emplacement où les serveurs d'octobre seront mis en place : (les trous sur le faux plancher sont déjà réalisés) :

Comme vous pouvez le voir, les chaussons sont obligatoires (sur-chaussure jetable) pour rentrer dans les salles. Cela permet de limitée l'arrivée de poussières. La très grande majorité des data-center ne prennent pas ces précautions (il y a Interxion qui fait la même chose que Scaleway). Certains, comme Globalswitch à Clichy ou Telehouse 3 ont des tapis "collants" dans les sas pour retenir les cochonneries présentes sous les semelles.

vivien · « **Réponse #13 le:** 23 octobre 2015 à 13:05:14 »

La réserve de fibre :

Entre les salles 3 et 4, il y a un petit espace, utilisé par Scaleway pour stocker les fibres de tous les modèles et longueur possible.

Cet emplacement entre les salles 3 et 4 permet de diminuer la distance à parcourir pour aller chercher une fibre.

En regardant par le plafond, on voit bien qu'il y a de l'espace entre le bâtiment et les matériaux de chambre froide qui forment la salle 3 et 4.

vivien · « **Réponse #14 le:** 23 octobre 2015 à 13:05:35 »

La Salle 4 de DC3 :

Petite photo historique avec les essais de clim et faute de serveurs, ce sont des radiateurs industriels qui ont été mis en place pour chauffer la salle :

On retrouve en salle 4 également des serveurs Online haut de gamme avec double alimentation et KMV IP avec connexion Ethernet dédiée.

Mais ce serait vous mentir que dire que tous les serveurs sont comme ça.

Voici donc des serveurs Dell avec une seule alimentation électrique (Dell PowerEdge R210 / R210 II / R220).

Plus de réseau privé « RPN » sur une seconde carte réseau, mais il y a toujours un KVM IP hardware avec IP dédiée (iDRAC6 Enterprise ou iDRAC7 Enterprise).

Le switch de baie est un Cisco Catalyst 2960-S avec deux ports uplik à 10 Gb/s (cages pouvant accueillir des SFP+) mais les cages SFP+ sont vides et l'uplink est de 1 Gb/s. Ces serveurs se partagent donc 1 Gb/s, mais la "Bande passante garantie Internet" est de 300 Mb/s sur ces serveurs.

vivien · « **Réponse #15 le:** 23 octobre 2015 à 13:06:30 »

Dedibox SC gen2 : Le premier prix en serveur dédié => 5,99€ HT/mois

C'est un petit serveur avec un petit processeur, 2Go de ram et un disque dur 2,5 pouces :

Sa consommation électrique ? seulement 11 watts !

Voici un bloc hébergeant des Dedibox SC gen2 :
- 12 serveurs dédies par châssis 2u Dell (proche des châssis utilisés pour des disques dur 3,5 pouces pour du SAN)
- 14 châssis par baie, soit 168 serveurs dédié par baie (Arnaud a déjà parlé d'une densité de 252 serveurs par baie mais cela doit être à DC1, car là j'ai bien compté: il y en a 168)
- 7 switchs par baie (2 liens 1 Gb/s par baie qui apportent Internet)

vivien · « **Réponse #16 le:** 23 octobre 2015 à 13:07:05 »

Ici, ce sont des switchs Cisco Catalyst 2960-S 48 ports avec deux ports uplink à 10 Gb/s (cages pouvant accueillir des SFP+) mais les cages SFP+ sont vides et l'uplink est de 1 Gb/s.

En haut de baie, 3 switchs se partagent un lien 1 Gb/s (72 serveurs)
En haut de baie, 4 switchs se partagent un lien 1 Gb/s (96 serveurs)
La "Bande passante garantie Internet" est de 200 Mb/s sur ces serveurs.

Certains vont trouver que Online met beaucoup de serveurs par lien 1 Gb/s. Je rappelle qu'il est statiquement improbable que tous les clients utilisent en même temps au max le débit de leur serveur, tout comme les égouts d'une ville ne sont pas dimensionnés si tous les habitants tirent simultanèment leur chasse d'eau.

Un FAI va mettre bien plus de clients FTTH à 200 Mbs sur un lien 1 Gb/s. Je rappelle la petite règle pour le dimensionnement des liens FTTH :

Citation de: vivien le 06 décembre 2014 à 15:43:38

Voici une formule qui s'approche de ce qu'il faut provisionner :

Le débit offert aux clients x2 + la consommation moyenne par client multiplié par le nombre de client.

Consommation moyenne typique par client au moment du pic de consommation (généralement le dimanche soir):
- ADSL (débit typique offert au client de 8 Mb/s) : 200 Kb/s hors TV
- Câble (débit typique offert au client de 50 Mb/s) : 300 Kb/s hors TV
- FTTH (débit typique offert au client de 300 Mb/s) : 400 Kb/s hors TV

Taille du tuyau nécessaire pour 100 clients à 10 Mb/s (hors flux TV multicast) : 10 x 2 + 0,2 x 100 = 40 Mb/s
Taille du tuyau nécessaire pour 100 clients à 50 Mb/s (hors flux TV multicast) : 50 x 2 + 0,3 x 100 = 130 Mb/s
Taille du tuyau nécessaire pour 100 clients à 100 Mb/s (hors flux TV multicast) : 100 x 2 + 0,4 x 100 = 240 Mb/s

Inversement, avec 1 Gb/s, tu mets :
- ( 1000 - (10 x 2) ) / 0,2 = 4900 clients à 10 Mb/s
- ( 1000 - (50 x 2) ) / 0,3 = 3000 clients à 50 Mb/s
- ( 1000 - (100 x 2) ) / 0,4 = 2000 clients à 100 Mb/s

C'est une estimation pour Internet, sans les flux TV.

Pour les flux TV, tout dépend de jusqu'à où tu descend tous les flux, le débit des flux et l'usage de tes clients.

Bref, ces Dedibox sont des serveurs avec un incroyable rapport qualité / prix. Les geeks sont clairement la cible visée (Petit serveur pour héberger des pages perso ou des tests divers).

vivien · « **Réponse #17 le:** 23 octobre 2015 à 13:07:33 »

Ici, ce sont des switchs Cisco Catalyst 2960-S 24 ports (sans cage 10Gb/s) qui sont utilisés. Un SPF cuivre est utilisé pour le chaînage qui reste strictement identique à celui vu précédemment :

Un serveur extrait de son rack :

vivien · « **Réponse #18 le:** 23 octobre 2015 à 13:07:51 »

Le coté "allée chaude" de ces serveurs :

Les câbles Ethernet et les fibres ne circulent pas dans le faux plancher, mais dans des chemins de câbles situés au-dessus des baies :

Les fibres qui doivent aller vers des routeurs (dans la salle Telecom) partent, via des chemins de câbles, jusqu'à une des deux "tête optique" de la salle. On a une "tête optique" connectée à la salle opérateur N°1 et une "tête optique" connectée à la salle opérateur N°2 :

vivien · « **Réponse #19 le:** 23 octobre 2015 à 13:08:20 »

Mission N°2 d'un data center : Interconnexion

Salle opérateur N°1

Petit rappel des quatre principales missions d'un data center :
- Sécurité (contrôle d'accès, extinction des incendies, protections des agressions extérieures tels que foudre ou inondations)
- Interconnexion (Offrir une possibilité de se connecter à des réseaux de manière sécurisée)
- Climatisation (garantir une température constante)
- Énergie (garantir une alimentation en énergie sans aucune coupure, même en cas d'incendie)

DC3 est équipé de deux salles opérateurs et deux meet-me-room. Pourquoi deux? Pour offrir plus de sécurité.
- Le seconde salle est alimentée par deux chaînes électriques différentes de la première salle.
- Les fourreaux pour rentrer dans le bâtiment sont différents pour les deux salles.

Le contrôle d’accès est à carte + biométrique (il faut les deux pour ouvrir la porte)

Ce système biométrique est utilisé pour toutes les portes sans exception (sauf les cages client).
C’est un système maison, développé par le lab d’électronique de Scaleway et fabriqué en France dans l'usine à Laval.

La construction de la salle opérateur 1 :

Les arrivées électriques sous les baies :

vivien · « **Réponse #20 le:** 23 octobre 2015 à 13:08:42 »

Un data center cherche à attirer au maximum les opérateurs pour que leurs clients aient du choix.

Scaleway a fait le choix de la gratuité des baies pour les opérateurs, à condition de respecter des conditions strictes, comme être présent dans les deux salles opérateurs. Cela force les opérateurs à proposer des infrastructures sécurisées. Dans beaucoup de data center, les opérateurs ne prennent qu'une baie pour mettre les routeurs. Scaleway fait un pari audacieux pour proposer un maximum d'opérateurs et de sécurité avec la gratuité des baies.

Vous vous demandez l'utilité de forcer les opérateurs a sécuriser leurs installations ?

L'histoire à donné raison à la stratégie de Scaleway :

Citation de: vivien le 03 mai 2013 à 20:01:50

Effondrement d'égout dans la Communauté d'agglomération Val de Bièvre entraînant la coupure de 832 fibres d'Online connectées à DC3.

Bonjour,

La Communauté d'agglomération Val de Bièvre nous as informé d'un problème important dans un égout par lequel transite notre fibre optique sur la liaison nord DC2 - DC3.
Cet égout en train de s'effondrer avec un impact probable sur notre réseau optique.
Il s'agit d'un câble de 832 fibres, reliant les infrastructures de DC1/DC2 vers notre coeur de réseau à DC3.

Ce réseau optique est doublé, par un circuit sud DC2-DC3, empruntant un chemin distinct et opposé.
La quasi totalité des fibres sont redondées sur les deux liaisons, les vérifications sont en cours pour s'assurer que c'est bien le cas, à la fois pour Online et à la fois pour les clients des deux data centers.

La communauté procédera dans un premier temps au comblement de l'égout. Cette opération est programmée le 13/05.
Nous sommes en train de planifier en urgence le dévoiement de notre câble afin de le sécuriser et permettre les travaux de réparation.
En attendant, compte tenu de cette situation exceptionnelle, il existe un risque important de rupture de notre liaison optique.
Bien que nos liaisons soient sécurisées, il existe un risque faible de perturbations.

Arnaud

Source : Arnaud, CEO Online.net sur Forum Online, le 3 mai 2013

Les baies proposées aux opérateurs dans la Salle opérateur N°1 :

vivien · « **Réponse #21 le:** 23 octobre 2015 à 13:09:06 »

La MMR1 (meet-me-room)

C'est là que toutes les fibres arrivent :
- Les fibres qui arrivent de la salle 3 et 4
- Les fibres qui arrivent des baies des opérateurs
- Les fibres qui arrivent de l'extérieur

Des jarretières sont posées afin de relier ces différentes fibres.

Alors que aujourd'hui plusieurs data center font le choix de faire payer tous les mois les liens vers la meet-me-room (80€ par paire de fibre par exemple), Scaleway fait le choix de la gratuité (des frais de mise en service sont à payer, comme pour tous les acteurs)

Lors de la construction, l'opération de soudure des câbles : (certains câbles comporte 720 fibres comme celui qui relie les data center Scaleway entre eux)

Le matériel est de marque Idea Optical (un leader dans le domaine)

Arrivée d'un 720 FO depuis un autre data center Scaleway : Les 720 fibres est répartie pour aller sur 5 têtes optiques : chaque tête reçoit 144 fibres chacun (12 tubes de 12 fibres)

Ce sont les mêmes câbles que ceux utilisés par Free pour le déploiement FTTH.
Je vous invite à aller voir le reportage sur les NRO de Free => Visites des NRO de Free

Le câble est éclaté en tubes de 12 fibres au niveau des flèches bleues : (les câbles bleus à droite sont donc des 48 FO)

vivien · « **Réponse #22 le:** 23 octobre 2015 à 13:09:31 »

Une cassette de 12 fibres Idea Optical :

Idea Optical fourni un logiciel qui permet de calculer, en fonction des deux positons, la longueur de jarretière qu'il faut utiliser, afin de limiter les boucles :

L'étiquetage est minutieux :

vivien · « **Réponse #23 le:** 23 octobre 2015 à 13:09:55 »

La meet-me-room N°1 cuivre :

Que dire, sinon qu'elle est peu utilisée et que aujourd'hui les connections hors des baies se font presque exclusivement en optique.

Auteur Sujet: Data center DC3 de Scaleway: reportage photo de la visite (Lu 189022 fois)

vivien

Data center DC3 Scaleway: La salle N°3

vivien

Data center DC3 Scaleway: La réserve

vivien

Data center DC3 Scaleway: La salle N°4

vivien

Data center DC3 Scaleway: La salle N°4

vivien

Data center DC3 Scaleway: La salle N°4

vivien

Data center DC3 Scaleway: La salle N°4

vivien

Data center DC3 Scaleway: La salle N°4

vivien

Data center DC3 Scaleway: Salle opérateur N°1

vivien

Data center DC3 Scaleway: Salle opérateur N°1

vivien

Data center DC3 Scaleway: Salle opérateur N°1

vivien

Data center DC3 Scaleway: Salle opérateur N°1

vivien

Data center DC3 Scaleway: Salle opérateur N°1