La Fibre
Datacenter et équipements réseaux => Datacenter => 
Opcore / Scaleway Datacenter => Discussion démarrée par: vivien le 06 avril 2011 à 00:53:51
-
Chez Free, on a le record du nombre de serveur par baie : 252 serveurs par baie
La Dedibox v3, un serveur qui a la taille d'un disque dur et qui se rack dans une baie de stockage standard à la place des disques dur :
https://lafibre.info/videos/datacenter/201102_online_dedibox_sc_dell.mp4
-
Visite du Datacenter Online/Free de DC1 (Bezon (https://fr.wikipedia.org/wiki/Bezons) dans le Val-d'Oise) et DC2 (Vitry-sur-Seine dans le Val-de-Marne) :
https://lafibre.info/videos/datacenter/201101_online_datacenter_tour_dc1_dc2.mp4
Le datacenter DC2 de Vitry avant son racahat par Iliad : (la vidéo date d'avril 2006)
https://lafibre.info/videos/datacenter/200604_datacenter_telecom_italia_vitry-sur-seine.mp4
-
Pour compléter ce post sur les data center, il y a 2 ans, Le Journal du Freenaute a fait une reportage photo complet du datacenter de Free de Bezon. L'article est ici http://www.journaldufreenaute.fr/15/04/2009/visite-du-datacenter-de-free.html (http://www.journaldufreenaute.fr/15/04/2009/visite-du-datacenter-de-free.html) (daté du 15 avril 2009)
En voici de larges extraits :
Voici la salle des onduleurs, c’est là que sont stockées les 90 tonnes de batteries de 160 Ah chacune qui permettent d’alimenter toute l’infrastructure en cas de coupure de courant le temps du démarrage des groupes électrogènes. Ils permettent également de lisser la tension distribuée par EDF pour palier les variations.
Il y a au total 13 onduleurs, dont 4 servant en cas de défaillance des autres (redondance N+1), l’autonomie annoncée est d’environ 20 minutes (largement suffisante pour démarrer les groupes électrogènes).
La rangée d’onduleurs protégeant le site
(https://lafibre.info/images/free/200904_free_onduleurs.jpg)
Une petite partie des batteries des onduleurs
(https://lafibre.info/images/free/200904_free_batteries.jpg)
Plus loin dans la salle se trouvent des armoires de distribution électrique de 400 kVA chacune ainsi que les panneaux de contrôle des cinq groupes électrogènes.
Les panneaux de contrôle des groupes électrogènes
(https://lafibre.info/images/free/200904_free_distri_electrique.jpg)
Supervision de l’alimentation électrique de secours
(https://lafibre.info/images/free/200904_free_afficheur_cat.jpg)
-
Dans un local dédié se trouvent tout d’abord les disjoncteurs principaux des arrivées 20 000 V ainsi que les fusibles de rechange.
Les disjoncteurs principaux du bâtiment
(https://lafibre.info/images/free/200904_free_disjoncteurs.jpg)
En vert, les fusibles !
(https://lafibre.info/images/free/200904_free_fusibles.jpg)
Après avoir passé une seconde porte nous arrivons aux fameuses arrivées 20 000 V où se trouvent les 4 transformateurs électriques qui abaissent la tension à 400 V, ceux-ci étant surmontés de barres de puissances (barres de cuivre) qui conduisent le courant (de simples câbles électriques n’étant pas suffisants, ils fondraient immédiatement du fait de l’intensité).
Les transformateurs HT/BT
(https://lafibre.info/images/free/200904_free_arrivees_edf.jpg)
-
La visite continue toujours avec la partie électrique, mais cette fois-ci à l’extérieur du bâtiment, où se trouvent les shelters renfermant les groupes électrogènes.
Le gasoil nécessaire pour faire fonctionner les groupes est stocké dans 2 cuves souterraines de 30 000 litres chacune. Six pompes servent à alimenter les nourrices (de 4000 litres chacune) situées au dessus des groupes.
Les pompes de fuel
(https://lafibre.info/images/free/200904_free_pompes_fuel.jpg)
Des tests de charge des groupes électrogènes sont effectués tous les mois, dans le but de prévenir toute défaillance matérielle en cas de vrai besoin.
L’intérieur d’un shelter renfermant un groupe électrogène
(https://lafibre.info/images/free/200904_free_groupes.jpg)
Les groupes sont préchauffés en permanence : cela reviens à quelques milliers d’euros par mois en électricité mais assure un temps de démarrage de moins de 30 secondes.
Batteries des groupes électrogènes
(https://lafibre.info/images/free/200904_free_batteries_groupes.jpg)
Là aussi la redondance N+1 est de mise, 4 groupes suffisant à assurer la charge électrique du site, le dernier n’étant là qu’en cas de défaut des autres.
-
De retour à l’intérieur du bâtiment, voici l’une des 56 armoires de climatisation, chacune contient deux compresseurs de 96 kW en partage de charge, ceci permet d’assurer une température constante de 19 C° dans les salles d’hébergement.
Armoire de climatisation
(https://lafibre.info/images/free/200904_free_armoire_clim.jpg)
-
Attaquons maintenant le vif du sujet, à savoir les salles d’hébergement de Free. Nous n’allons pas nous attarder sur les salles appartenant à Dedibox, car des photos officielles figurent sur leur site et plusieurs reportages photo ont été déjà publiés sur différents sites communautaires.
La visite commence par la partie « système », c’est à dire les serveurs pour les mails, les newsgroups, les pages perso, dl.free.fr…
Une rangée de serveur (ici l’architecture historique des mails)
(https://lafibre.info/images/free/200904_free_allee_serveurs.jpg)
Une partie de l’infrastructure de dl.free.fr
(https://lafibre.info/images/free/200904_free_baies_dl.jpg)
Une partie de l’infrastructure Zimbra
(https://lafibre.info/images/free/200904_free_serveurs_zimbra.jpg)
-
Poursuivons ensuite par les serveurs pour la télévision, ces derniers réceptionnent les flux satellite et les réencodent au débit du bouquet Freebox TV. Ce sont essentiellement les chaînes étrangères qui subissent ce traitement, la plupart des autres chaînes arrivant directement encodées par fibre optique de chez Canalsat et Cognac Jay Image.
Arrivées satellite de certaines chaînes
(https://lafibre.info/images/free/200904_free_arrivees_coax.jpg)
Les flux des chaînes bas débit (MPEG-4) sont elles encodées sur place par le biais d’encodeurs de marque Ateme.
Encodeurs MPEG4
(https://lafibre.info/images/free/200904_free_encodeurs_mpeg4.jpg)
Voici ensuite les serveurs de TV Perso, avec le routeur (et ses 6x10G !) dans la baie du centre et les serveurs dans les 2 baies autour. Les serveurs de stockage sont situés au bas des baies.
Le routeur bzn-6k-6 gérant la TV Perso
(https://lafibre.info/images/free/200904_free_bzn_6k_7.jpg)
Serveurs TV Perso et baies de stockage en bas
(https://lafibre.info/images/free/200904_free_tv_perso.jpg)
Puis enchaînons par les différentes plates-formes de vidéo à la demande (VoD), avec la même configuration que pour TV Perso.
Une petite partie des plates-formes de VOD.
(https://lafibre.info/images/free/200904_free_serveurs_vod2.jpg)
-
La visite s’est terminée par la salle de routage, c’est ici que se trouve un des deux routeurs (Cisco CRS pour Carrier Routing System) qui assurent le routage du coeur du réseau de Free (bzn-crs16-1 pour ne pas le nommer) et où transitent la plupart des données des 3 millions d’abonnés.
Celui-ci se compose de 3 châssis dont 2 appelés LCC pour Line Card Chassis, où sont connectés les liens et 1 appelé FCC pour Fabric Card Chassis qui assure l’interconnexion des multiples LCC (le nombre maximum de LCC pouvant être de 72 chassis, chacun possédant une capacité de commutation d’environ 1,2 Tbps).
Les 3 chassis du CRS
(https://lafibre.info/images/free/200904_free_crs16.jpg)
Chaque LCC contient 16 slots (8 en haut et 8 en bas) dans lesquels on insère des cartes 8×10G où sont connectés les liens 10G.
Les interfaces et les cartes de routage (au centre) d’un châssis Cisco CRS
(https://lafibre.info/images/free/200904_free_crs_routage.jpg)
Les deux cartes au centre en haut du châssis servent à gérer les ventilateurs, tandis que les deux du bas assurent le routage (Route Processor)
Tout en haut du châssis se trouvent les alimentations qui délivrent l’électricité dans tout le châssis. Un FCC consomme au maximum 7 kW tandis que les LCC consomment eux 9,6 kW chacun.
-
Dans un coin de la salle se trouvent les équipements longue distance (DWDM) de terminaison des liaisons, chaque châssis (de marque Huawei) correspond à une direction (par exemple Bordeaux, Nantes…)
Un châssis Huawei, et des redresseurs de tension à gauche
(https://lafibre.info/images/free/200904_free_chassis_huawei.jpg)
Cela permet de multiplexer sur une seule fibre 32 lambdas (longueurs d’onde) différents dans le but de multiplier le nombre de liens logiques dans une seule fibre optique.
Bien entendu cela nécessite un brin de fibre pour chaque direction (une pour l’émission et une pour la réception).
Après être passé par différentes cartes d’amplification/booster (cartes WPA et WBA) pour être régénéré et amplifié (sens montant et descendant) le signal optique est muxé et démuxé sur les cartes M32 et D32 avant d’être envoyé sur des transpondeurs pour obtenir un signal 10 Gigabit Ethernet à partir du signal coloré.
Cartes WPA et WBA et les compensateurs de dispersion chromatique (en bas en noir)
(https://lafibre.info/images/free/200904_free_huawei_wpa.jpg)
Carte M32 et D32
(https://lafibre.info/images/free/200904_free_huawei_cartes.jpg)
Transpondeurs
(https://lafibre.info/images/free/200904_free_transpondeurs2.jpg)
-
Et pour finir deux autres routeurs (bzn-6k-1 et 2), plus petit que le CRS où sont connectés quelques liaisons 10G et 1G.
Un routeur Cisco Catalyst 6509
(https://lafibre.info/images/free/200904_free_bzn_6k_2.jpg)
Source : Le Journal du Freenaute (http://www.journaldufreenaute.fr/15/04/2009/visite-du-datacenter-de-free.html) le 15 avril 2009
-
Félicitation au Journal du Freenaute pour cet excellent reportage.
J'ai noté une petite coquille :
Les groupes sont préchauffés en permanence : cela reviens à quelques milliers d’euros par mois en électricité mais assure un temps de démarrage de moins de 30 secondes.
Cela me semble impossible d'avoir quelques milliers d'euros par mois d'électricité juste pour le préchauffage d'un moteur diesel.
-
j'ai une vue directe sur les groupes electrogenes du DC Free Bezons depuis mon bureau,
contrairement a ceux de la video de OVH, eux n'ont pas l'air de fumer lors de leur mise en charge, est ce qu'ils sont equipes de filtres comme sur une voiture ou bien est ce qu'ils ne sont jamais testes ? :P
On voit que le haut des tuyaux est un peu marque par le degagement de chaleurs, j'aimerais bien poster une photo, mais je sais pas si free est d'accord qu'on poste comme ca des photos de leur infra sans leur consentement ...
-
Si c'est une photos prise depuis l'extérieur du data center no souci.
Voici l'antenne sat pour recevoir les flux TV sur Bezon : (photo prise en octobre 2005, il est probable qu'il y ait eu des changements)
(https://lafibre.info/images/pau/PBC-07.jpg)
-
elle est tjrs la l'antenne ;)
rien n'a bouge.
-
Iliad Datacenter (groupe Iliad-Free) a mis en place un tableau de bord unique qui livre quelques précieuses informations sur l’état du centre de données situé à Vitry, en banlieue parisienne : http://www.iliad-datacenter.fr/datacenters/status-dc2.xhtml (http://www.iliad-datacenter.fr/datacenters/status-dc2.xhtml)
On y retrouve l’évolution du PUE en temps réel, la répartition de l’énergie consommée dans le datacenter, la température issue d’un réseau de sondes ou encore l’état des infrastructures électriques. On regretera que la température de la sonde extérieur semble de plusieurs degrés au dessus de la réalité (copie d'écran réalisée le 3 novembre 2011 à 8h30, la température extérieur n'étais pas de plus de 20°c en réalité)
(https://lafibre.info/images/free/201111_Datacenter_Iliad_Vitry.png)
Iliad espère sans doute faire bouger les lignes de conduite sur un marché qui manque parfois d’un peu de transparence…