La Fibre
Datacenter et équipements réseaux => Datacenter => 
Câblage dans un datacenter => Discussion démarrée par: vivien le 25 août 2012 à 21:41:40
-
Câblage dans un datacenter : fake ou réalité ?
Cela me semble un peu trop pour être vrai. Cela pourrais ressembler au câblage sale d'une baie de brassage, mais on ne fait pas des allées de brassage vu la distance limitée de l'Ethernet (100m)
La limitation à 100m est un vrai problème dans certains Datacenter.
(https://lafibre.info/images/bistro/201208_cables_datacenter.jpg)
-
Beuh ... j ai deja vu ca moi ...
En fait les admins avaient renoncé a enlever les câbles inutiles en cas de modif. Trop merdique a démêler
Ils en rajoutaient juste un par dessus...
A+
-
J'aimerais bien dire que c'est un fake mais ... vu ce que j'ai pu voir ça et là, ça ne m'étonnerai même pas !
-
Je me rappelle avoir lu un article, il y a 10 ou 15 ans, où ils montraient des photos équivalentes. C'était un super-calculateur fait à partir de serveurs x86 en rack (donc plutôt low cost), où chaque noeud (chaque serveur) devait être connecté à plusieurs fois 1Gb/s avec d'autres noeuds (peut-être une dizaine). En fait, à l'époque, les interconnexions à plus de 1Gb/s n'existaient pas, donc ils multipliaient les interconnexions. Du coup, ça donnait ce genre de câblage complètement ingérable.
Leon.
-
Le jour où on doit faire le ménage on prend un sécateur???
-
Si il y a des serveurs derrière (que ce n'est pas uniquement des baies de brassage), je m’inquiète pour le refroidissement, surtout en haut.
-
Vous vous trompez tous ! C'est le plus gros plat de spaghetti pour être dans le guiness des records ;D
-
Salut,
Je pense que la photo est vrai mais cela n'ai pas un datacenter... mais plus une salle réseau dans une grosse entreprise avec un administrateur réseau qui à du ce laisser emporté dans le développement de l'infrastructure xD
Photo du datacenter d'OVH :
(https://lafibre.info/images/ovh/201208_ovh_canada.jpg)
Photo du datacenter Online (Salle Ex dedibox) :
(https://lafibre.info/images/free/201208_data_center_dedibox_mini.jpg)
-
Là tu parles d'une architecture simple ou chaque serveur est relié à un switch dans la baie lui même relié au backbone.
Il y a des architectures plus complexes où chaque équipement (pas forcèment des serveurs mais des équipements réseaux) a plusieurs câbles réseaux connectés chacun dans plusieurs autres baies dans la même salle.
Dans ce cas là le brassage est beaucoup plus complexe et généralement on dédie plusieurs baies dans chaque salle pour faire du brassage.
-
oui mais on trouve pas cela dans un datacenter, sauf si une entreprise loue des baies dans un datacenter... oui mais vue l’état du brasage je pense que la sécurité du datacenter aurais déjà gueuler pour nettoyer tout leur bordel il y a des règles à respecter dans un datacenter je pense pas que cela soit dans les règles de l'art xD
Yann
-
Voici d'autres exemples de câblage qui débordent. Et là, c'est 100% réel. C'est dans un des plus gros centre d'interconnexion pour opérateur télécom à Los Angeles. Imaginez l'épaisseur du plat de nouilles, et les mêtres cubes de câblage que ça fait! C'est du délire!
Et un petit album photo :
http://eecue.com/a/1547/One-Wilshire-Tour.html (http://eecue.com/a/1547/One-Wilshire-Tour.html)
http://www.tnarg.org/mmr.html (http://www.tnarg.org/mmr.html)
Leon.
(https://lafibre.info/images/datacenter/200312_One_Wilshire_01.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_02.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_03.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_04.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_05.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_06.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_07.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_11.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_12.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_13.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_14.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_15.jpg)
(https://lafibre.info/images/datacenter/200312_One_Wilshire_16.jpg)
-
TH2 on est pas à ce niveau là, mais il y a un air quand même !
-
Ce que j'ai du mal à comprendre, c'est pourquoi les opérateurs de datacenter ont laissé la possibilité aux occupants de déployer eux mêmes leur cablage, pour en arriver a de telles installations. Qui garantit que le cable tout en dessous ne dépasse pas ses criteres d'écrasement?
Est-ce qu'il n'aurait pas étéplus judicieux pour l'opérateur de datacenter de proposer exclusivement des intrco structurées et cablées par leur soins? Ca permettrait de mutualiser au maximum les cables à l'intérieur du datacenter.
Leon.
-
Ce que j'ai du mal à comprendre, c'est pourquoi les opérateurs de datacenter ont laissé la possibilité aux occupants de déployer eux mêmes leur cablage, pour en arriver a de telles installations.
C'est la même chose sur Telehouse2.
Tu mets toi même les câbles. Difficile de mutualiser vu que en général les origines / destinations sont toujours spécifiques (baie A1 <=> baie C7 , baie B2 <=> baie C4 , ...)
Tous les opérateurs qui peerent entre eux ont des fibres entre eux. Les différents GiX sont présents et ont chacun une centaine de fibre / câble qui arrivent dans leur baie, en provenance de tout le bâtiment.
A noter que sur Telehouse1, on doit obligatoirement passer par Telehouse pour passer un câble. (il est assez limité en place).
-
Ben ce qu'il faudrait c'est que le câblage soit intégré au baie. Et n'avoir que des jaretières de 30cm à installer pour connecter un équipement.
Après il y a aussi un métier qui s'appelle câbleur, ça change tout, même sur des gros instruments scientifiques.
-
Vivien, le brassage optique, c'est bien ce à quoi je pensais! Il faut de vrais cables de renvois entre les salles, de gros cables équipés chacuns de centaines de fibres. Le brassage peut se faire en bout de rangée par exemple. Et on peut prévoir dés le début beaucoup de spare en cable (des cables de grosses capacité), quitte à ne pas les cabler integralement sur des patch-pannel, et à installes ces patch pannel au fur et a mesure de la demande.
Si dans les centraux téléphoniques on arrive à réaliser des dizaines de milliers d'interconnexion de manière structurée (cables de renvois), je pense que c'est également faisable en datacenter!
Leon
-
A noter que sur Telehouse1, on doit obligatoirement passer par Telehouse pour passer un câble. (il est assez limité en place).
Non non, seulement à TH3. A TH1 t'as le choix encore.
Vivien, le brassage optique, c'est bien ce à quoi je pensais! Il faut de vrais cables de renvois entre les salles, de gros cables équipés chacuns de centaines de fibres. Le brassage peut se faire en bout de rangée par exemple. Et on peut prévoir dés le début beaucoup de spare en cable (des cables de grosses capacité), quitte à ne pas les cabler integralement sur des patch-pannel, et à installes ces patch pannel au fur et a mesure de la demande.
C'est ce qui est fait dans plusieurs DC (genre TH3 justement), t'as des "baies MMR" dans les salles et pour t'interco avec une autre société présente tu dois passer par cette baie et demander un brassage entre tes positions et celles de ton client. A noter que tu as le droit d'aller en direct d'une baie à une autre baie directement si t'es opérateur et qu'elles sont à toi.
-
Photos d'OVH.
Roubaix 1 :
(https://lafibre.info/images/ovh/201105_rbx1_salle%200_des_km_de_cables_on_sent_les_5_ans_du_datacentre.jpg)
Roubaix 3 :
(https://lafibre.info/images/ovh/201105_rbx3_routage_et_brassage_1.jpg)
D'autres photos :
- Visite du data-center OVH de Roubaix 1 (https://lafibre.info/datacenter/data-center-ovh-roubaix-1/)
- Visite du data-center OVH de Roubaix 2 (https://lafibre.info/datacenter/data-center-ovh-roubaix-2/)
- Visite du data-center OVH de Roubaix 3 (https://lafibre.info/datacenter/data-center-ovh-roubaix-3/)
- Visite du data-center OVH de Roubaix 4 (https://lafibre.info/datacenter/data-center-ovh-roubaix-4/)
- Test des groupes électrogènes de Roubaix 2... vive l'écologie ! (https://lafibre.info/datacenter/test-de-groupes/)
- Visite du laboratoire de test OVH (https://lafibre.info/ovh/laboratoire-de-test-ovh/)
- Visite des lignes de montages du 4ème fabriquant de PC en France : OVH (https://lafibre.info/ovh/lignes-de-montages-ovh/)
-
Pour le brassage propre de fibres optique, des solutions existent, même pour les très gros besoins en brassage.
Dans les datacenters, ils devraient utiliser ça exclusivement, et interdire à tout prix la dépose de câble par les clients eux mêmes comme on le voit à TH2 et surtout "one Wilshire". Donc ramener des câbles de renvoi de grosse capacité depuis les baies (1 baie de renvoi par rangée) vers 2 ou 3 salles de brassage optiques comme ça.
Leon.
(https://lafibre.info/images/datacenter/201208_brassage_optique_1.jpg)
(https://lafibre.info/images/datacenter/201208_brassage_optique_2.jpg)
(https://lafibre.info/images/datacenter/201208_brassage_optique_3.jpg)
(https://lafibre.info/images/datacenter/201208_brassage_optique_4.jpg)
(https://lafibre.info/images/datacenter/201208_brassage_optique_5.jpg)
(https://lafibre.info/images/orange/201302_orange_fibre_23.jpg)
-
Et pour les brassage "cuivre", on peut arriver à des trucs énormes, sans que ça soit le bordel. Imaginez, on arrive à brasser des dizaines de milliers de lignes téléphoniques dans un central, qu'il faut ramener au bon DSLAM.
Et puis regarder la taille du faisceau de câble multipaires sur la 3ieme photo, pourtant c'est propre.
Leon.
(https://lafibre.info/images/datacenter/201208_brassage_cuivre.jpg)
(https://lafibre.info/images/orange/201302_orange_fibre_13.jpg)
(https://lafibre.info/images/orange/201302_orange_fibre_14.jpg)
(https://lafibre.info/images/orange/201302_orange_fibre_15.jpg)
(https://lafibre.info/images/orange/201302_orange_fibre_16.jpg)
-
Le SIEA, dans son offre d'hébergement fait payer chaque jarretière 10€/mois + 100€ pour la mise en place :
Passage d’une jarretière entre 2 baies. Aucune opération sous le plancher technique n’est autorisée hors du personnel de la Régie. Le tarif mensuel a pour objectif d’éviter l’accumulation de jarretières inutilisées
FAS 100 € HT
Tarif mensuel 10 € HT
-
Ce client depuis migrer en fibre avait des soucis en ADSL et SDSL (1600m du NRA) + un peut de longueur pour monter au 11eme étage + quelques pertes au niveau du brassage.
Brassage cuivre d'une tour a Paris (proche Gare de Lyon)
(https://lafibre.info/images/orange/201105_brassage_ft_tour_paris_1.jpg)
(https://lafibre.info/images/orange/201105_brassage_ft_tour_paris_2.jpg)
(https://lafibre.info/images/orange/201105_brassage_ft_tour_paris_3.jpg)
(https://lafibre.info/images/orange/201105_brassage_ft_tour_paris_4.jpg)
La desserte sur les étages (ici le 11eme)
(https://lafibre.info/images/orange/201105_brassage_ft_tour_paris_5.jpg)
Depuis on a fibrer le client
(https://lafibre.info/images/pro/201105_lasotel_fibre_pro_paris.jpg)
Photos réelles prises par moi même.
-
Voici une vidéo amusante d'un recâblage de baie réseau. C'est pas moins de 2 jours de travail...
Regardez les mètres cubes de câbles qu'ils déplacent dans les bennes...
Network Room Recabling Time Lapse (https://www.youtube.com/watch?v=W_lfLmsYqD8#)
Leon.
-
Impressionnant
Le commentaire annonce 55 heures de travail et ils étaient au moins 4.
-
Ça ferait pas mal de faire ça sur certaines baies optiques, en particulier à TH2 :D
-
Le pauvre tech qui va devoir trouver un cable defecteux vas en chier... et plus d'une heure ;)
(https://lafibre.info/images/bistro/201208_cables_datacenter.jpg)
-
Allez, on passe à l’extrême opposé.
Il y en a qui aiment bien travailler proprement.
(https://lafibre.info/images/datacenter/201610_cablage_datacenter.jpg)
Leon.
-
C'est beautiful...
-
Personnellement, je pense qu'il y a un juste milieu entre le "tout compact", et le foutoir de "câbles volants" ;D
Le but est de pouvoir intervenir sans couper 40 colliers colson dès qu'il faut brasser une nouvelle machine ou remplacer un câble.
Allez, j'y mets ma petite couche, avec le supercalculateur que j'administre au boulot.
J'avoue être assez fier de mon câblage 8)
(https://lafibre.info/images/datacenter/201708_cablage_datacenter_1.jpg)
(https://lafibre.info/images/datacenter/201708_cablage_datacenter_2.jpg)
La baie seule est une des fabriques infinibrand (QDR Intel 40Gbps) surplombant quelques nœuds de calcul.
Chaque nœud de calcul reçoit un un câble QDR pour l'interconnexion, un câble pour le réseau de management (RJ45 bleus ou SFP+ en fonction des générations de nœuds) et un câble pour les consoles virtuelles (RJ45 jaunes).
J'essaierai de faire un topic si mon employeur le permet.
-
En effet, le câblage est propre.
C'est du Dell C6620, du C6220II ou du C6320 ? Voire un autre modèle.
J'avais été étonné de voir que les alimentations des C6220II ne sont pas très puissantes, et qu'on ne peut pas consommer beaucoup avec 4 lames par châssis.
-
Environ une centaine de 6220, et une centaine de 6320.
4 lames bi-socket par châssis.
Les alimentation sont des 1600W redondantes pour les 6320.
Pour les 6220, ça doit être des 1400 si ma mémoire est bonne.
Le problème est qu'elles sont assez sensibles aux micro-coupures, contrairement aux 1600W des 6320.
-
D'après la documentation de Dell, pour les C6220II, avec des alimentations de 1400W (le maximum), on ne peut mettre avec 4 lames qu'un processeur 130W (max.) par lame, si l'on veut que la redondance soit garantie. Cela ne me fait pas trop comprendre cette gamme et sa raison d'être.
Mais nous nous écartons du sujet du câblage. ;)
-
Quelques Photos qui respect les règles de l'art ;D
(https://lafibre.info/images/datacenter/201708_cablage_datacenter_3.jpg)
(https://lafibre.info/images/datacenter/201708_cablage_datacenter_4.jpg)
(https://lafibre.info/images/datacenter/201708_cablage_datacenter_5.jpg)
-
J'essaierai de faire un topic si mon employeur le permet.
Ça m'intéresse. :)
-
Chaque nœud de calcul reçoit un un câble QDR pour l'interconnexion, un câble pour le réseau de management (RJ45 bleus ou SFP+ en fonction des générations de nœuds) et un câble pour les consoles virtuelles (RJ45 jaunes).
Il y a deux choses que j'ai un peu de mal à comprendre :
- Pourquoi un SFP+ (10 Gb/s) pour le réseau de management ?
- Les "consoles virtuelles" c'est le Dell iDrac ? Pourquoi ne pas avoir mutualisé sur un même port réseau de management et iDrac ? (Dell le permet)
-
Comme ils se plaisent à le dire, certains choix techniques sont "historiques". :-\
Mais il est vrai que ça augmente considérablement la quantité de câble ...
À 350 lames, on économiserai 350 câbles RJ45 et les commutateurs qui vont avec.
Mais j'ai pour projet de faire bouger les choses, surtout que certains de ces choix viennent de moi (biens qu'ils aient été fait en fonction d'autres). ;)
Le problème est qu'il est difficile de changer radicalement une infra en production sans l'impacter.