Pour les transformateurs, OVH fait pire, avec des serveurs proches les un des autres, sans protection et à l'intérieur d'un bâtiment.

Il y a quand même une cuvette sous le transfo pour récupérer une fuite d'huile :


Online DC3 :

Hello,

* Le dimensionnement du "RPN". Le réseau RPN est beaucoup plus petit que le réseau "Internet". L'uplink des switches de baie du RPN est visiblement à 1Gb/s seulement, c'est quand même peu pour proposer du 1Gb/s par serveur (certes en option payante).   

oui comme dit précédemment, de base c'est du 100mb/s par machine, le 1gb/s est une option payante, avec 2gb/s d'uplink ca rentre bien actuellement (on a tout de meme la possibilité de rajouter x * 1gb/s si besoin, on garde toujours un certain nombre de ports libres sur nos switchs et routeurs de collectes)
mais bon, ca reste "pas énorme" on est d'accord. C'est (entre autres) pour ca qu'on a décidé de changer, ca arrive ;p
Edit: pour les offres storage, le RPN est en x*10gb/s bien sur

* Non redondance des switches de collecte (ou switches de rangée de baie) du réseau "internet". OK, Online n'est pas le seul à appliquer ça, mais ça me surprend. Certes, l'uplink de ces switches vers les routeurs est redondé, mais pas les switches eux-mêmes. Or, la perte d'un switch unique, d'un seul équipement, fera perdre la connexion à des milliers de serveurs. Le plus surprenant c'est que les switches de rangée du RPN, eux, semblent redondés.

Alors la redondance, oui ... et non

J'explique, y a plusieurs points :
1 - le coût (forcèment) : double équipement de collecte, double cablage , double boulot pour les équipes de déploiement, ca aurait forcèment un impact négatif sur nos prix
2 - la simplicité de gestion: oui, c'est p-e un peu tordu mais gérer 1 équipement qui route vers les baies d'access, c'est 100 fois plus simple que gérer tous les pbls que tu vas avoir à gérer une redondance *layer2* parfaite (spanning-tree ? VPC ? MLAG ? Stack ? HSRP ? synchros de conf et j'en passe, tout autant de technos *remplies* de bugs)
3 - les stats : ca fait 6 ans que je gère le réseau Online. En 6 ans, je crois avoir remplacé maximum *2* routeurs de collectes pour défaillance majeure (panne matos ou bug lié au matos), on a bien eu des reboots par moments (bug soft/upgrades), mais dans ce cas, un reboot de 4500x : 7-9 min de coupure, de Nexus 9000 : 4-5 min de coupure et les reboots, c'est rare ... la plupart des routeurs de collecte ont >2 ans d'uptime). Enfin, un remplacement de matos qui tombe en rade, faut compter 1-2h max normalement... (on a tjrs du spare en stock + tech sur site h24)

alors, en pesant le pour et le contre, rajouter 10-20% (je dis ca au pif) au prix de vente de nos machines pour éviter 5 min de coupure 1 fois par an (max), serait-ce bien raisonnable ?

Mik

Merci mikmak.
Il faut savoir que d'autres hébergeurs mettent beaucoup moins de BP sur la collecte.

oui comme dit précédemment, de base c'est du 100mb/s par machine, le 1gb/s est une option payante, avec 2gb/s d'uplink ca rentre bien actuellement (on a tout de meme la possibilité de rajouter x * 1gb/s si besoin, on garde toujours un certain nombre de ports libres sur nos switchs et routeurs de collectes)

2 Gb/s ? Ah je me suis trompé je pensais que c'était 1 Gb/s vers un Juniper EX3300 et 1 Gb/s vers le second Juniper EX3300.

Je me demandait aussi à quoi servent les 2 câbles Ethernet noir connectés sur les ports d'uplink avec le label 2 et 3 sur les deux Juniper EX3300 ?

Chaque Juniper EX3300 gère 45 switch (pour 45 baies) et a 4 ports uplink  en bas à droite :
- Le port d'uplink avec le label 0 est connecté via un SFP+ à une fibre 10 Gb/s qui va vers la salle telecom.
- Le port d'uplink avec le label 1 est inutilisé
- Le port d'uplink avec le label 2 et 3 est connecté en cuivre à l'autre switch et configuré comme VCPs. You can use these uplink ports to interconnect Virtual Chassis members.

Une autre question : pourquoi avoir du Cisco et du Juniper ? Pourtant vous avez des switch Cisco qui pourraient convenir. Trop cher Cisco ? Volonté de diversification ?

Merci Mickaël pour toutes ces infos. Tant de franchise, et de transparence, c'est très appréciable!

Leon.

+1 sur la transparence

Pour la multimode on avait dit que la fibre coûtait plus cher (car peu utilisés de nos jour) mais que les optiques sont moins cher en multimode.
Je vois quand même de nombreuses installations ou même à l'intérieur d'une baie, donc sur de très courtes distances, c'est de la monomode.

Sinon, j'ai fait un hypothèse sur le raccordement de différents switchs de collecte Cisco Nexus 9396PX : J'ai bon sur le fait que c'est une boucle de 80 Gb/s ?

Il y a une seconde hypothèse qui est qui est que chaque Nexus 9396PX est connecté directement en 2 x 80 Gb/s sur les 2 routeurs.

Pour ceux qui se demandent quelle est la différence, voici les ports consommés, si il y a 8 Nexus 9396PX :
- La première hypothèse (boucle) utilise 2 ports 40 Gb/s par routeur.
- La seconde hypothèse (liens directs) utilise 16 ports 40 Gb/s par routeur.

Ces switchs Cisco Nexus 9396PX sont connectés sur une boucle de 80 Gb/s, via deux liens 40 Gb/s agrégés. Cette boucle se termine sur deux routeurs Online différents, hébergés dans deux salles opérateurs différentes. En théorie, il devrait être possible de faire passer 160 Gb/s, mais Online dimensionne les liens pour avoir la capacité de tout envoyer via un seul coté de la boucle sans saturer : En cas de coupure de la boucle, elle se transforme en deux demi-boucles ouvertes de 80 Gb/s chacune.

Si un routeur tombe entièrement, le second routeur de la boucle prend l'intégralité du trafic.

ha ha

alors les raspberry pi servent au déploiement et au debug quand on a besoin d'une console
connexion wifi + console serie en usb tout simplement
(on sait prêter aux clients DC2/DC3 si besoin temporaire )

pour les Nexus, on ne fait pas (encore) de 40gb/s (enfin on en fait depuis peu, mais vous ne le voyez pas dans les photos)
en fait, sur ASR9k, le 40gb/s, bah c'est pas encore ca ... (merci cisco :/ )
sur la partie ASR, le plus rentable niveau coût (linecards + optiques) ca reste le 10gb/s et le 100gb/s , le 40gb/s reste un truc "a part" (et heu, chiant)

du coup, les uplinks de salles (monomode obligatoire vu nos distances vers les salles OPE) sont du x*10gb/s
sauf erreur, Vivien a pris en photo la baie B11 en S3-5 qui n'a pour le moment (on déploie encore des serveurs dedans) que 2x2x10gb/s d'uplinks (vous pouvez voir des adaptateurs "QSA" pour plugguer les SFP+ dans des ports QSFP) , ca fait donc une boucle 40gb/s (c'est notre unité de base, on upgrade en 80gb/s quand le besoin est là), c'est par exemple le cas en S3-4 (cf le n9k-s34-2.dc3 et n9k-s34-3.dc3 sur http://map.online.net ). Vu notre map, l'upgrade en 80gb/s de la S3-5 va sans doute se lancer dans pas longtemps.
Le n9k-s34-1.dc3 par exemple n'a pas (encore?) eu besoin d'une boucle 80gb/s (sans doute une majorité d'offres servers avec des BPs garanties inférieures)

n9k-s34-2.dc3# show int status | i Eth2
Eth2/1        --                 connected trunk     full    10G     10Gbase-LR 
Eth2/2        --                 connected trunk     full    10G     10Gbase-LR 
Eth2/3        --                 connected trunk     full    10G     10Gbase-LR 
Eth2/4        --                 connected trunk     full    10G     10Gbase-LR 
Eth2/5        --                 xcvrAbsen 1         auto    auto    --         
Eth2/6        --                 xcvrAbsen 1         auto    auto    --         
Eth2/7        --                 xcvrAbsen 1         auto    auto    --         
Eth2/8        --                 xcvrAbsen 1         auto    auto    --         
Eth2/9        --                 connected trunk     full    10G     10Gbase-LR 
Eth2/10       --                 connected trunk     full    10G     10Gbase-LR 
Eth2/11       --                 connected trunk     full    10G     10Gbase-LR 
Eth2/12       --                 connected trunk     full    10G     10Gbase-LR 

si le besoin en terme de capa se fait sentir, on saura tout de même plugguer des QSFP et réutiliser les mêmes fibres, mais pour le moment ça tient bien avec 2x40gb/s (on peut encore rajouter du 10gb/s pour faire 2*50 ou 2*60gb/s par Nexus 9000 sans trop se prendre la tete),
au final nos routeurs savent gérer une boucle max de 6*40gb/s (soit 480gb/s capa total uplink max)

on peut aussi mettre des modules uplinks x*100gb/s sur les nexus 9000 , ca fait partie de mes réflexions en cours d'aggréger des uplinks 40gb/s en salle OP sur des n9k et repartir en uplink 100gb/s vers nos ASR, ca rajoute un niveau d'aggrégation en plus à gérer par contre et le coût n'est pas encore forcèment intéressant aujourd'hui,
l'alternative c'est du port 40gb/s sur les ASR directement mais cisco n'a pas de solution à coûts raisonnables pour le moment (clairement il y un trou dans leur catalogue sur le 40gb/s et l'ASR ... mais c'est pas nouveau ... il est probable que le 100gb/s gagnera avant que ca n'arrive...)

en tout cas, même en x*10gb/s, je suis serein pour le moment , le seul inconvénient c'est la multiplication de ports physiques (10gb/s) à gérer (un cold-co = 16 ports uplinks/fibres à maintenir ...)

pour le multimode, on s'en sert uniquement à desservir les baies d'une même salle, les optiques restent largement moins chères.
On fait même du twinax (passif) quand les distances le permettent
Pour le moment c'est du 10gb/s vers les baies pour le réseau public (les 2960X ne savent pas mieux faire de toute facon ...)

Mik