La Fibre

Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => OVH OVHcloud => Discussion démarrée par: vivien le 09 juin 2011 à 08:03:50

Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:03:50
Visite du data-center OVH de Roubaix 1
(https://lafibre.info/images/ovh/logo_ovh_80.png)
Également disponible :
- Visite du data-center OVH de Roubaix 2 (https://lafibre.info/datacenter/data-center-ovh-roubaix-2/)
- Visite du data-center OVH de Roubaix 3 (https://lafibre.info/datacenter/data-center-ovh-roubaix-3/)
- Visite du data-center OVH de Roubaix 4 (https://lafibre.info/datacenter/data-center-ovh-roubaix-4/)
- Test des groupes électrogènes de Roubaix 2... vive l'écologie ! (https://lafibre.info/datacenter/test-de-groupes/)
- Visite du laboratoire de test OVH (https://lafibre.info/ovh/laboratoire-de-test-ovh/)
- Visite des lignes de montages du 4ème fabriquant de PC en France : OVH (https://lafibre.info/ovh/lignes-de-montages-ovh/)
- Visite du data center Bouygues Telecom de Montigny (78) (https://lafibre.info/datacenter/visite-du-data-center-bouygues-telecom-de-montigny/)


Coucher de Soleil sur Roubaix où OVH à installé 4 DataCenter.
Les cheminées sont celles des groupes :
(https://lafibre.info/images/ovh/201105_rbx1_couche_de_soleil_a_Roubaix_Valley.jpg)

Un 5ème groupe en cours d'installation :
(https://lafibre.info/images/ovh/201105_rbx1_groupes_du_datacentre_et_un_5eme_en_cours_installation.jpg)

5 groupes pour le DataCenter de roubaix1 et au fond le refroidissement sur les toits du DataCenter Roubaix3 :
(https://lafibre.info/images/ovh/201105_rbx1_les_5_groupes_pour_le_rbx1_et_rbx3_10MVA_et_le_refroidissement_sur_les_toits_du_rbx1_1.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:05:43
(https://lafibre.info/images/ovh/201105_rbx1_les_5_groupes_pour_le_rbx1_et_rbx3_10MVA_et_le_refroidissement_sur_les_toits_du_rbx1_2.jpg)

Photos des travaux fin 2010 pour augmenter la hauteur des cheminées des groupes électrogènes. C'est une demande de la DREAL Nord - Pas-de-Calais - Direction Régionale de l’Environnement de l’Aménagement et du Logement :
(https://lafibre.info/images/ovh/201011_rbx1_01.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:06:03
En sortie de chaque groupe, un transformateur 400v vers 20 000v :
(https://lafibre.info/images/ovh/201105_rbx1_en_sortie_de_chaque_groupe_un_transformateur_400V_vers_20000V2.jpg)

(https://lafibre.info/images/ovh/201105_rbx1_en sortie_de_chaque_groupe_un_transformateur_400V_vers_20000V.jpg)

Le moteur d'un groupe V16, 2MVA en pleine charge, 400l de fuel par heure :
(https://lafibre.info/images/ovh/201105_rbx1_le_moteur_d_un_groupe_V16_2MVA_en_pleine_charge_400L_de_fuel_heure_1.jpg)

(https://lafibre.info/images/ovh/201105_rbx1_le_moteur_d_un_groupe_V16_2MVA_en_pleine_charge_400L_de_fuel_heure_2.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:07:15
Poste ERDF 20 000v avec 3 arrivées électriques au cas où :
(https://lafibre.info/images/ovh/201105_rbx1_poste_EDF_20000V_avec_3_arrivees_electriques_en_cas_ou.jpg)

Distribution 20 000v, depuis OVH a fortement simplifié cette partie dans ses nouveaux data-center :
(https://lafibre.info/images/ovh/201105_rbx1_la_distribution_20000v_vers_d_autres_transformateurs_tres_complexe_a_eviter_1.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:07:28
Les cellules haute tension 20 000v :
(https://lafibre.info/images/ovh/201105_rbx1_la_distribution_20000v_vers_d_autres_transformateurs_tres_complexe_a_eviter_2.jpg)

Les transformateurs 20 000v => 410v :
(https://lafibre.info/images/ovh/201105_rbx1_les_cellules_haute_tension_20000v_les_transformateurs_20000v410v.jpg)

(https://lafibre.info/images/ovh/201105_rbx1_les_transformateurs_20000v410v_1.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:07:53
Transformateur 20 000v => 410v
(https://lafibre.info/images/ovh/201105_rbx1_les_transformateurs_20000v410v_2.jpg)

Armoires de condensateurs Merlin Gerin pour améliorer le cos phi et limiter les pénalités d'EDF :
(https://lafibre.info/images/ovh/201105_rbx1_pour_ameliorer_le_cos_phi_on_utilise_les_armoires_des_condensateurs_ici_un_merlin_gerin_1.jpg)

Cos phi de 0,95 :
(https://lafibre.info/images/ovh/201105_rbx1_pour_ameliorer_le_cos_phi_on_utilise_les_armoires_des_condensateurs_ici_un_merlin_gerin_2.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:08:12
Les batteries pour alimenter les onduleurs le temps que les groupes démarrent et se synchronisent :
(https://lafibre.info/images/ovh/201105_rbx1_les_murs_des_batteries_1.jpg)

(https://lafibre.info/images/ovh/201105_rbx1_les_murs_des_batteries_2.jpg)

(https://lafibre.info/images/ovh/201105_rbx1_les_murs_des_batteries_3.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:09:55
Les systèmes d'évacuation de chaleur à partir du circuit d'eau. Pour évacuer la chaleur avec une puissance électrique minimale on n'a pas trouvé mieux. 6000w (les petits moteurs des ventilateurs) arrivent a refroidir 5000 serveurs en watercooling (l'eau refroidit le processeur) :
(https://lafibre.info/images/ovh/201105_rbx1_les_echangeurs_6KW_pour_refroidir_5000_serveurs_pue_proche_de_1.03.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:10:43
Les expérimentations d'OVH en 2007 : Un mini-datacenter dans un conteneur.
Le premier a du watercooling pour refroidir le CPU et de la climatisation pour le reste.
Le second a du watercooling pour refroidir le CPU et de l'air extérieur pour le reste :
(https://lafibre.info/images/ovh/201105_rbx1_contenaire_1et2_en_test_depuis_2007_watercooling_clim_et_watercooling_air_exterieur.jpg)

Les expérimentations d'OVH : Une piscine de 15 mètres de profondeur pour stocker de l'eau glacée produit par des groupes frigorifiques la nuit, là où l’électricité est moins chèere.
OVH a trouvé une autre solution : refroidir par l'air extérieur, encore moins cher !
(https://lafibre.info/images/ovh/201105_rbx1_un_test_rate_15m_de_profondeur_pour_stocker_le_froid_la_nuit_pour_utiliser_la_journee.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:11:23
Salle crée en 2007 qui héberge 100 serveurs Kimsufi à base de processeur Atom.
100 serveurs par baie selon OVH (j'en compte 70 par baie) soit 1600 serveurs sur 12 mètres :
(https://lafibre.info/images/ovh/201105_rbx1_fait_en_2007_une_range_de_100_serveurs_par_baie_soit_1600_serveurs_sur_12m_1.jpg)

En haut le switch, en dessous l’alimentation électrique (avec possibilité de coupure a distance) et les 20 serveurs Kimsufi, 2 par u avec pour de nombreux une clé USB (ces serveurs ne comportent pas de disque dur et ont un accès au NAS, le seul stockage local est la clé USB)
(https://lafibre.info/images/ovh/201105_rbx1_fait_en_2007_une_range_de_100_serveurs_par_baie_soit_1600_serveurs_sur_12m_2.jpg)

(https://lafibre.info/images/ovh/201105_rbx1_salle4_de_2006_ancienne_generation_clim_et_les_allees_chaude_froides_1.jpg)

Ancienne génération de climatisation avec le principe des allées chaudes et allées froides :
(https://lafibre.info/images/ovh/201105_rbx1_salle4_de_2006_ancienne_generation_clim_et_les_allees_chaude_froides_2.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:11:44
Salle 0, des Firewalls dédiés par client (Cisco asa 5505, 5510 et 5520) :
(https://lafibre.info/images/ovh/201105_rbx1_salle0_des_firewalls_dedies_par_client_Cisco asa_5505_5510_et_5520.jpg)

Un routeur Cisco 6509 avec une carte 48 ports 1 Gb/s cuivre et 3 cartes avec 4 ports 10 Gb/s :
(https://lafibre.info/images/ovh/201105_rbx1_cisco-sup720-10giga.jpg)

Routage du datacentre :
(https://lafibre.info/images/ovh/201105_rbx1_salle0_routage_du_datacentre.jpg)

(https://lafibre.info/images/ovh/201106_rbx1_routage_ovh.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:12:00
Routeur rbx-g2-a9, un Cisco asr9010 avec 640 Gb/s en fonctionnement :
(https://lafibre.info/images/ovh/201105_rbx1_routeur_rbx-g2-a9_un_Cisco_asr9010_avec_640Gbps_en_fonctionnement.jpg)

ASR 9010 avec 320Gbps connectés et qui attend une évolution à droite de 320Gbps :
(https://lafibre.info/images/ovh/201011_rbx1_03.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:13:02
Équipement Infinera : Une fibre en entrée (en haut à gauche) et on sort en 8x 100 Gb/s soit 800 Gb/s vers une direction.
Ici 2 directions :
(https://lafibre.info/images/ovh/201105_rbx1_infinera_on_sort_8x100Gbps_soit_800Gbps_vers_une_direction_ici_2_directions.jpg)

Équipement Infinera pour allumer les fibres optiques entre les data-center et Paris, Amsterdam, Francfort, Bruxelles, Londres :
(https://lafibre.info/images/ovh/201105_rbx1_infinera_pour_allumer_les_fibres_optiques_entre_les_datacentres_et_PAR_AMS_FRA_BRU_LDN.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:13:21
Salle 0 : Des kilomètres de câbles, on sent les 5 ans du data-center !
(https://lafibre.info/images/ovh/201105_rbx1_salle 0_des_km_de_cables_on_sent_les_5_ans_du_datacentre.jpg)

Salle 0 : Nexus 5020 avec 400 Gb/s en production et 120 Gb/s encore disponible :
(https://lafibre.info/images/ovh/201105_rbx1_salle0_nexus5020_avec_400Gbps_en_production_et_120Gbps_encore_disponible.jpg)

Salle 0 : Nexus 7016 avec 380 Gb/s en production :
(https://lafibre.info/images/ovh/201105_rbx1_salle0_nexus7016_380Gbps_en_production.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:13:39
La salle de Gestion (présence de techniciens 24h/24 et 7j/7) :
(https://lafibre.info/images/ovh/201105_rbx1_salle_de_gestion_1.jpg)

(https://lafibre.info/images/ovh/201105_rbx1_salle_de_gestion_2.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:13:51
Une intervention en cours :
(https://lafibre.info/images/ovh/201105_rbx1_une inter_en_cours.jpg)

Le système de mise à jour de switch en 1 clic pour les équipes qui travaillent 24h/24h dans le data-centre:
(https://lafibre.info/images/ovh/201011_rbx1_04.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juin 2011 à 08:14:08
Un 10 Gb/s entre OVH et le SFINX, Un GIX (Global Internet eXchange point) parisien, géré par Renater. On voit la coupure chez Renater à 8h45 :
(https://lafibre.info/images/ovh/201105_rbx1_10G_entre_ovh_et_sfinx_on_voit_la_coupure_chez_renater_a_8h45.jpg)

Les résultats des travaux anti-bruit : -26dB
(https://lafibre.info/images/ovh/201105_rbx1_les_resultats_des_travaux_anti_bruit_-26dB.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juillet 2011 à 11:45:34
Remplacement d'une carte HS dans un routeur

Étape 1 - débrancher les fibres en notant précisèment leur emplacement :
(https://lafibre.info/images/ovh/201107_rbx1_remplacement_carte_hs_1.jpg)

Étape 2 - retirer la carte défectueuse :
(https://lafibre.info/images/ovh/201107_rbx1_remplacement_carte_hs_2.jpg)

Étape 3 - sortir la nouvelle carte du carton :
(https://lafibre.info/images/ovh/201107_rbx1_remplacement_carte_hs_3.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 juillet 2011 à 11:47:14
Étape 4 - Mettre en place la nouvelle carte :
(https://lafibre.info/images/ovh/201107_rbx1_remplacement_carte_hs_4.jpg)

Étape 5 - Reconnexion des fibres :
(https://lafibre.info/images/ovh/201107_rbx1_remplacement_carte_hs_5.jpg)

Étape 6 - Vérification des log afin de voir si tout est ok :
(https://lafibre.info/images/ovh/201107_rbx1_remplacement_carte_hs_6.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 27 juillet 2011 à 09:03:44
3 parafoudre en cours d'installation pour protéger OVH :
(https://lafibre.info/images/ovh/201107_rbx1_3_parafoudre_en_cours_installation_1.jpg)

(https://lafibre.info/images/ovh/201107_rbx1_3_parafoudre_en_cours_installation_2.jpg)

(https://lafibre.info/images/ovh/201107_rbx1_3_parafoudre_en_cours_installation_3.jpg)

(https://lafibre.info/images/ovh/201107_rbx1_3_parafoudre_en_cours_installation_4.jpg)
Titre: Visite du data-center OVH de Roubaix 1
Posté par: corrector le 28 juillet 2011 à 00:04:53
Les câbles plats ne sont pas reliés?

On dirait qu'il y a un câble plat qui descend puis qui s'arrête à 2 m du sol?
Titre: Visite du data-center OVH de Roubaix 1
Posté par: Leon le 28 juillet 2011 à 07:03:51
Corrector, C'est juste qu'ils n'ont pas terminé l'installation, c'est tout.

C'est plutôt rare de voir ce genre d'installation. Est-ce que quelqu'un a déjà vu ça autour d'un datacenter?

Leon.
Titre: Visite du data-center OVH de Roubaix 1
Posté par: corrector le 28 juillet 2011 à 07:07:47
Est-ce que les nuages d'orages sont prévenus que l'installation n'est pas finie?
Titre: Visite du data-center OVH de Roubaix 1
Posté par: Leon le 30 juillet 2011 à 07:59:44
Voilà, l'installation est finie, les orages arrivent dans 3 jours!  ;D
(https://lafibre.info/images/ovh/201107_rbx1_3_parafoudre_1.jpg)

(https://lafibre.info/images/ovh/201107_rbx1_3_parafoudre_2.jpg)

(https://lafibre.info/images/ovh/201107_rbx1_3_parafoudre_3.jpg)

(https://lafibre.info/images/ovh/201107_rbx1_3_parafoudre_4.jpg)

Leon.
Titre: Visite du data-center OVH de Roubaix 1
Posté par: vivien le 09 août 2011 à 20:40:49
Pour ceux qui se demandent à quoi cela sert : Dans la nuit du 7 au 8 août 2011 de violents orages ont éclaté sur Dublin, en Irlande. La foudre est tombée sur un DataCenter d'Amazon coupant les serveurs pendant presque 2 jours.

"Amazon explique ainsi que la foudre a frappé directement l’un des transformateurs impliqués dans l’alimentation de ses centres de données à Dublin causant une explosion et un incendie. Normalement, cela n’aurait pas dû couper complètement l’alimentation sur une partie des serveurs comme cela est arrivé. Cependant, l’explosion était telle qu’elle s’est propagée à une portion du système de contrôle de phase qui synchronise les générateurs. Résultat pour Amazon : il a fallu intervenir manuellement sur les installations. Les réparations ont commencé le 8 août à 10h41 et les premières instances de services sont revenues le 9 aout à 13h47. Amazon avait prévenu dans la foulée qu’il faudrait sans doute de 24 à 48 heures pour restaurer l’intégralité des instances et des volumes EBS."