Auteur Sujet: Visite des data center Free (Iliad Datacenter) (Lu 19095 fois)

vivien · « **le:** 06 avril 2011 à 00:53:51 »

Chez Free, on a le record du nombre de serveur par baie : 252 serveurs par baie

La Dedibox v3, un serveur qui a la taille d'un disque dur et qui se rack dans une baie de stockage standard à la place des disques dur :

vivien · « **Réponse #1 le:** 06 avril 2011 à 01:02:56 »

Visite du Datacenter Online/Free de DC1 (Bezon dans le Val-d'Oise) et DC2 (Vitry-sur-Seine dans le Val-de-Marne) :

Le datacenter DC2 de Vitry avant son racahat par Iliad : (la vidéo date d'avril 2006)

vivien · « **Réponse #2 le:** 06 avril 2011 à 22:45:51 »

Pour compléter ce post sur les data center, il y a 2 ans, Le Journal du Freenaute a fait une reportage photo complet du datacenter de Free de Bezon. L'article est ici http://www.journaldufreenaute.fr/15/04/2009/visite-du-datacenter-de-free.html (daté du 15 avril 2009)

En voici de larges extraits :

Voici la salle des onduleurs, c’est là que sont stockées les 90 tonnes de batteries de 160 Ah chacune qui permettent d’alimenter toute l’infrastructure en cas de coupure de courant le temps du démarrage des groupes électrogènes. Ils permettent également de lisser la tension distribuée par EDF pour palier les variations.

Il y a au total 13 onduleurs, dont 4 servant en cas de défaillance des autres (redondance N+1), l’autonomie annoncée est d’environ 20 minutes (largement suffisante pour démarrer les groupes électrogènes).

La rangée d’onduleurs protégeant le site

Une petite partie des batteries des onduleurs

Plus loin dans la salle se trouvent des armoires de distribution électrique de 400 kVA chacune ainsi que les panneaux de contrôle des cinq groupes électrogènes.

Les panneaux de contrôle des groupes électrogènes

Supervision de l’alimentation électrique de secours

vivien · « **Réponse #3 le:** 06 avril 2011 à 22:47:14 »

Dans un local dédié se trouvent tout d’abord les disjoncteurs principaux des arrivées 20 000 V ainsi que les fusibles de rechange.

Les disjoncteurs principaux du bâtiment

En vert, les fusibles !

Après avoir passé une seconde porte nous arrivons aux fameuses arrivées 20 000 V où se trouvent les 4 transformateurs électriques qui abaissent la tension à 400 V, ceux-ci étant surmontés de barres de puissances (barres de cuivre) qui conduisent le courant (de simples câbles électriques n’étant pas suffisants, ils fondraient immédiatement du fait de l’intensité).

Les transformateurs HT/BT

vivien · « **Réponse #4 le:** 06 avril 2011 à 22:48:07 »

La visite continue toujours avec la partie électrique, mais cette fois-ci à l’extérieur du bâtiment, où se trouvent les shelters renfermant les groupes électrogènes.

Le gasoil nécessaire pour faire fonctionner les groupes est stocké dans 2 cuves souterraines de 30 000 litres chacune. Six pompes servent à alimenter les nourrices (de 4000 litres chacune) situées au dessus des groupes.

Les pompes de fuel

Des tests de charge des groupes électrogènes sont effectués tous les mois, dans le but de prévenir toute défaillance matérielle en cas de vrai besoin.

L’intérieur d’un shelter renfermant un groupe électrogène

Les groupes sont préchauffés en permanence : cela reviens à quelques milliers d’euros par mois en électricité mais assure un temps de démarrage de moins de 30 secondes.

Batteries des groupes électrogènes

Là aussi la redondance N+1 est de mise, 4 groupes suffisant à assurer la charge électrique du site, le dernier n’étant là qu’en cas de défaut des autres.

vivien · « **Réponse #5 le:** 06 avril 2011 à 22:48:45 »

De retour à l’intérieur du bâtiment, voici l’une des 56 armoires de climatisation, chacune contient deux compresseurs de 96 kW en partage de charge, ceci permet d’assurer une température constante de 19 C° dans les salles d’hébergement.

Armoire de climatisation

vivien · « **Réponse #6 le:** 06 avril 2011 à 22:49:28 »

Attaquons maintenant le vif du sujet, à savoir les salles d’hébergement de Free. Nous n’allons pas nous attarder sur les salles appartenant à Dedibox, car des photos officielles figurent sur leur site et plusieurs reportages photo ont été déjà publiés sur différents sites communautaires.

La visite commence par la partie « système », c’est à dire les serveurs pour les mails, les newsgroups, les pages perso, dl.free.fr…

Une rangée de serveur (ici l’architecture historique des mails)

Une partie de l’infrastructure de dl.free.fr

Une partie de l’infrastructure Zimbra

vivien · « **Réponse #7 le:** 06 avril 2011 à 22:50:25 »

Poursuivons ensuite par les serveurs pour la télévision, ces derniers réceptionnent les flux satellite et les réencodent au débit du bouquet Freebox TV. Ce sont essentiellement les chaînes étrangères qui subissent ce traitement, la plupart des autres chaînes arrivant directement encodées par fibre optique de chez Canalsat et Cognac Jay Image.

Arrivées satellite de certaines chaînes

Les flux des chaînes bas débit (MPEG-4) sont elles encodées sur place par le biais d’encodeurs de marque Ateme.

Encodeurs MPEG4

Voici ensuite les serveurs de TV Perso, avec le routeur (et ses 6x10G !) dans la baie du centre et les serveurs dans les 2 baies autour. Les serveurs de stockage sont situés au bas des baies.

Le routeur bzn-6k-6 gérant la TV Perso

Serveurs TV Perso et baies de stockage en bas

Puis enchaînons par les différentes plates-formes de vidéo à la demande (VoD), avec la même configuration que pour TV Perso.

Une petite partie des plates-formes de VOD.

vivien · « **Réponse #8 le:** 06 avril 2011 à 22:51:03 »

La visite s’est terminée par la salle de routage, c’est ici que se trouve un des deux routeurs (Cisco CRS pour Carrier Routing System) qui assurent le routage du coeur du réseau de Free (bzn-crs16-1 pour ne pas le nommer) et où transitent la plupart des données des 3 millions d’abonnés.

Celui-ci se compose de 3 châssis dont 2 appelés LCC pour Line Card Chassis, où sont connectés les liens et 1 appelé FCC pour Fabric Card Chassis qui assure l’interconnexion des multiples LCC (le nombre maximum de LCC pouvant être de 72 chassis, chacun possédant une capacité de commutation d’environ 1,2 Tbps).

Les 3 chassis du CRS

Chaque LCC contient 16 slots (8 en haut et 8 en bas) dans lesquels on insère des cartes 8×10G où sont connectés les liens 10G.

Les interfaces et les cartes de routage (au centre) d’un châssis Cisco CRS

Les deux cartes au centre en haut du châssis servent à gérer les ventilateurs, tandis que les deux du bas assurent le routage (Route Processor)

Tout en haut du châssis se trouvent les alimentations qui délivrent l’électricité dans tout le châssis. Un FCC consomme au maximum 7 kW tandis que les LCC consomment eux 9,6 kW chacun.

vivien · « **Réponse #9 le:** 06 avril 2011 à 22:51:51 »

Dans un coin de la salle se trouvent les équipements longue distance (DWDM) de terminaison des liaisons, chaque châssis (de marque Huawei) correspond à une direction (par exemple Bordeaux, Nantes…)

Un châssis Huawei, et des redresseurs de tension à gauche

Cela permet de multiplexer sur une seule fibre 32 lambdas (longueurs d’onde) différents dans le but de multiplier le nombre de liens logiques dans une seule fibre optique.

Bien entendu cela nécessite un brin de fibre pour chaque direction (une pour l’émission et une pour la réception).

Après être passé par différentes cartes d’amplification/booster (cartes WPA et WBA) pour être régénéré et amplifié (sens montant et descendant) le signal optique est muxé et démuxé sur les cartes M32 et D32 avant d’être envoyé sur des transpondeurs pour obtenir un signal 10 Gigabit Ethernet à partir du signal coloré.

Cartes WPA et WBA et les compensateurs de dispersion chromatique (en bas en noir)

Carte M32 et D32

Transpondeurs

vivien · « **Réponse #10 le:** 06 avril 2011 à 22:54:49 »

Et pour finir deux autres routeurs (bzn-6k-1 et 2), plus petit que le CRS où sont connectés quelques liaisons 10G et 1G.

Un routeur Cisco Catalyst 6509

Source : Le Journal du Freenaute le 15 avril 2009

vivien · « **Réponse #11 le:** 06 avril 2011 à 23:00:38 »

Félicitation au Journal du Freenaute pour cet excellent reportage.

J'ai noté une petite coquille :

Citation de: vivien le 06 avril 2011 à 22:48:07

Les groupes sont préchauffés en permanence : cela reviens à quelques milliers d’euros par mois en électricité mais assure un temps de démarrage de moins de 30 secondes.

Cela me semble impossible d'avoir quelques milliers d'euros par mois d'électricité juste pour le préchauffage d'un moteur diesel.