La Fibre
Datacenter et équipements réseaux => Équipements réseaux => 
Infrastructure réseau (opérateurs) => Discussion démarrée par: Leon le 14 février 2016 à 08:21:06
-
Salut à tous,
Quelles sont les technologies actuellement privilégiées pour interconnecter des serveurs en Ethernet 10Gb/s, à (très) courte distance, vers leurs switches ethernet "top of rack"?
Je connais les solutions suivantes, mais je ne sais pas s'il en existe d'autre, ni celles qui sont privilégiées.
N'hésitez pas à nous partager les avantages/inconvénients des différentes solutions
* 10Gbase-T : Economique à l'achat, mais apparemment critiqué en terme de fiabilité et consommation électrique.
* CX4 : je n'en vois pas beaucoup. Pourtant, ça semble une très bonne solution. Google utilise ça visiblement. Ces produits (carte réseau, et switches) ne semble pas très répandus. Visiblement, la largeur du connecteur pose problème pour les switches denses.
* câbles SFP+ "direct attach". Avantage : utilise des switches à cage SFP+, très répandus. C'est la solution d'OVH.
* SFP+ optique : forcèment plus cher
Leon.
-
Il me semble que c'est le SFP+ "direct attach" qui est le plus économique. Je trouve que les câbles direct attach sont assez cher.
Le 10Gbase-T semble problématique en terme de dissipation d'énergie (pas de switch avec une haute densité de ports, limitation à 2 ports par carte, contre 4 en direct attach).
-
Dans la liste de Léon, le choix se limite entre 10G-T et DirectAttach. CX4->nécessite de très gros cable infiniband, peu pratique à manipuler, nécessite un gros connecteur type 10G-X2. A été beaucoup utilisé il y a 4-5 ans avant la généralisation du SFP+. L'optique est hors de prix si on achète des SFP+ de marque. Sinon en multi-mode 10G-SR en SolidOptics, c'est pas cher.
Le 10G-T existe en haute-densité : Nexus 93128Tx, 96x 1G/10G-T non-bloquant dans 3U. En FEX, on trouve du 32x SFP+ et du 32x 10G-T. Sur N7K, il y a des cartes 48x SFP+ et 48x 10G-T. Donc égalité entre les deux.
Pour moi la différence se fait sur la connectique : le DirectAttach est bien plus fiable (détection de la connexion/dé-connexion instantanée, cable plus solide, connecteur SFP). Cela dit j'ai déjà utilisé du 10G-T, ça marche bien.
-
Il y a de l’électronique dans les câble SFP+ "direct attach" ?
Je me demande si il y a risque d’incompatibilité, comme c'est le cas avec les SFP+
-
Passif= non (i.e moins les 3 octets d'EEPROM contenus dedans pour connaitre la marque du cable)
Actif= oui
A moins d'un bridage volontaire (exemple: mettre un DirectAttach Juniper sur un switch Cisco) il n'y a pas d'incompatibilité avec les passifs. Avec les actifs, il ne devrait pas y en avoir non plus mais apparemment il y aurait quelques entorses sur les specs électriques pour pouvoir supporter des longueurs de 10m (par exemple).
-
Il me semble que c'est le SFP+ "direct attach" qui est le plus économique. Je trouve que les câbles direct attach sont assez cher.
Salut,
Si tu négocies bien, une solution à base de SFP+ SR (en LR, c'est fois deux) aux deux extrémités plus breakouts fibres usinés sur mesure revient au même prix. Cette solution a à mon sens plusieurs avantages comme :
- support du DOM au niveau des optiques, très pratique pour du debug. Et en cas de panne, tu ne changes qu'une seule extrémité au lieu de tout le câble DAC,
- flexibilité et épaisseur faible du câblage, surtout quand tu en câbles des dizaines sur des TOR massifs,
- distances couvertes plus importantes entre les équipements (jusque 500m), surtout en cas de transport de protocole type FCoE qui est limité à 5m / 7m en théorie,
Dans notre cas, nous raccordons nos châssis blade en passthrough sur nos TORs, ca monte très vite en nombre de ports câblés, donc la solution optiques + fibres de bout en bout devient vite intéressante.
My 2 cents.
@++
-
J'ai des devis de cette année, le DAC est beaucoup moins cher que le triplet 2*SR + paire de fibre, d'un facteur 3-4
-
Dans notre cas, nous raccordons nos châssis blade en passthrough sur nos TORs, ca monte très vite en nombre de ports câblés, donc la solution optiques + fibres de bout en bout devient vite intéressante.
J'ai installé du Blade IBM en passthrough+DAC sur des ToR. Même en inter-rack c'est resté gérable en cablage.
-
et le prix DAC (Direct Attach Cable) vs 10Gbase-T ?
-
Je ne sais pas
Le 10G-baseT, ça consomme beaucoup de jus (2-5W/port, il parait, ça fait quand même jusqu'à 250W par switch, ce n'est pas négligeable)
La question du type de port se pose aussi : switch 10G-baseT vs switch SFP+. Est-ce que la densité est la même ? (vu le post de badmax: oui. Reste à voir la question du coût)
-
Le 10G-T existe en haute-densité : Nexus 93128Tx, 96x 1G/10G-T non-bloquant dans 3U. En FEX, on trouve du 32x SFP+ et du 32x 10G-T. Sur N7K, il y a des cartes 48x SFP+ et 48x 10G-T. Donc égalité entre les deux.
Pour moi la différence se fait sur la connectique : le DirectAttach est bien plus fiable (détection de la connexion/dé-connexion instantanée, cable plus solide, connecteur SFP). Cela dit j'ai déjà utilisé du 10G-T, ça marche bien.
-
::)
Badmax, est-ce que c'est aussi comparable au niveau du prix ?
-
Sinon, ce qui m'étonne dans une carte avec des cages SFP+, c'est que sans SFP+ le lien est considéré comme ok en direct attach alors que je n'ai rien mis dans la cage :
SFP + avec une carte Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) :
$ dmesg | grep ixgbe
[ 3.207176] ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver - version 4.0.1-k
[ 3.221897] ixgbe: Copyright (c) 1999-2014 Intel Corporation.
[ 3.407951] ixgbe 0000:01:00.0: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8
[ 3.408175] ixgbe 0000:01:00.0: PCI Express bandwidth of 32GT/s available
[ 3.408190] ixgbe 0000:01:00.0: (Speed:5.0GT/s, Width: x8, Encoding Loss:20%)
[ 3.408305] ixgbe 0000:01:00.0: MAC: 2, PHY: 18, SFP+: 5, PBA No: E66560-005
[ 3.408317] ixgbe 0000:01:00.0: 90:e2:ba:19:f7:50
[ 3.422525] ixgbe 0000:01:00.0: Intel(R) 10 Gigabit Network Connection
[ 4.571968] ixgbe 0000:01:00.1: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8
[ 4.589804] ixgbe 0000:01:00.1: PCI Express bandwidth of 32GT/s available
[ 4.598945] ixgbe 0000:01:00.1: (Speed:5.0GT/s, Width: x8, Encoding Loss:20%)
[ 4.608450] ixgbe 0000:01:00.1: MAC: 2, PHY: 1, PBA No: E66560-005
[ 4.617403] ixgbe 0000:01:00.1: 90:e2:ba:19:f7:51
[ 4.626857] ixgbe 0000:01:00.1: Intel(R) 10 Gigabit Network Connection
[ 4.639489] ixgbe 0000:01:00.0 p1p1: renamed from eth0
[ 4.657241] ixgbe 0000:01:00.1 p1p2: renamed from eth1
[ 12.715244] ixgbe 0000:01:00.0: registered PHC device on p1p1
[ 12.877320] ixgbe 0000:01:00.0 p1p1: detected SFP+: 5
[ 13.132163] ixgbe 0000:01:00.0 p1p1: NIC Link is Up 10 Gbps, Flow Control: RX/TX
[ 196.588395] ixgbe 0000:01:00.0 p1p1: NIC Link is Down
[ 197.843582] ixgbe 0000:01:00.0 p1p1: NIC Link is Up 10 Gbps, Flow Control: RX/TX
10Gbase-T : Avec une carte "Intel Corporation Ethernet Controller 10-Gigabit X540-AT2 (rev 01)" :
$ dmesg | grep ixgbe
[ 2.341867] ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver - version 4.0.1-k
[ 2.346498] ixgbe: Copyright (c) 1999-2014 Intel Corporation.
[ 2.664894] ixgbe 0000:08:00.0: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8
[ 2.725862] ixgbe 0000:08:00.0: PCI Express bandwidth of 32GT/s available
[ 2.731996] ixgbe 0000:08:00.0: (Speed:5.0GT/s, Width: x8, Encoding Loss:20%)
[ 2.898573] ixgbe 0000:08:00.0: MAC: 3, PHY: 0, PBA No: G54042-005
[ 2.904420] ixgbe 0000:08:00.0: a0:36:9f:31:50:6e
[ 3.164002] ixgbe 0000:08:00.0: Intel(R) 10 Gigabit Network Connection
[ 3.550195] ixgbe 0000:08:00.0 p2p1: renamed from eth0
[ 8.956142] ixgbe 0000:08:00.0: registered PHC device on p2p1
[ 14.865953] ixgbe 0000:08:00.0 p2p1: NIC Link is Up 10 Gbps, Flow Control: RX/TX
-
J'ai des devis de cette année, le DAC est beaucoup moins cher que le triplet 2*SR + paire de fibre, d'un facteur 3-4
Salut,
Ça dépend beaucoup des conditions commerciales que tu as avec ton revendeur/grossiste et du volume.
Je t'invite à en demander plusieurs et à faire jouer la concurrence 😀
@++
-
J'ai installé du Blade IBM en passthrough+DAC sur des ToR. Même en inter-rack c'est resté gérable en cablage.
On a de ca et du bladecenter H (en fin de vie) et du Dell M1000e, mais bon OSEF un peu.
Je ne dis pas que le DAC est une mauvaise solution. Mon propos est que j n'aime pas trop cette solution car ça devient vite le bordel à gérer quand tu en as plusieurs dizaines et surtout c'est beaucoup moins flexible qu'un breakout usiné à mon sens.
Les goûts et les couleurs 😉
@++
-
Ça dépend beaucoup des conditions commerciales que tu as avec ton revendeur/grossiste et du volume.
Je t'invite à en demander plusieurs et à faire jouer la concurrence 😀
Tu le touches à combien, ton DAC ?
-
Je suis intéressé par des tarifs (sans citer le fournisseur si c'est problématique)
PS: indiquez bien si c'est HT ou TTC
-
Salut,
Faisant tourner du Brocade, on doit utiliser des DACs actifs. Comme très compliqué à re-coder et qu'on ne veut pas à se faire chier avec le support pour des histoires de compatibilité, on les prends chez Brocade / $GROSSISTE :
- 1 pack de 8 en 3m : à peu près 700€ H.T,
- 1 pack de 8 de 5m : à peu près 850€ H.T,
Un SFP+ recodé comme tu veux, c'est grosso merdo dans les 30-33€ pièce chez les fournisseurs habituels.
Donc pour un chassis blade 16 lames avec deux passthrough, je compte :
- 64 SFP+ SR à 30€ pièce + un breakout fibre 40 brins multi-mode 10m usiné à 500€ pièce = 2500€ / blade vs les prix pour du DAC au dessus.
- En DAC 3m : 2800€ H.T
- En DAC 5m : 3400€ H.T
Perso, avec les avantages cités avant, je prends en optique.
My 2 cents.
@++
-
T'as des prix pour du moins long (genre 30cm ?)
-
T'as des prix pour du moins long (genre 30cm ?)
30 cm en DAC ? ou en fibre ?
@++
-
En DAC
-
A ma connaissance, les longueurs standards pour des DACs, c'est : 1 / 3 / 5 / 7m. Je sais que du 10 et 15m existent.
Jamais vu de DACs en dessous de 1m. D'ailleurs, ça se fait usiner à moins de 1m ?!?
@++
-
Au temps pour moi: c'est du 1m
(je trouve ça énorme pour brancher des serveurs, m'enfin)
-
Au temps pour moi: c'est du 1m
(je trouve ça énorme pour brancher des serveurs, m'enfin)
Tout dépend de l'urbanisation de tes salles et de ce que tu transportes sur ton media. Tous nos blades ne sont pas dans les baies où se trouvent les TOR.
Globalement, il n'y a pas de bonnes et/ou de mauvaises solutions. Il y a celles qui te correspondent.
@++
-
A ma connaissance, les longueurs standards pour des DACs, c'est : 1 / 3 / 5 / 7m. Je sais que du 10 et 15m existent.
10 et 15m sont forcèment en actif alors que jusqu'à 7m, on fait en passif.
Globalement, il n'y a pas de bonnes et/ou de mauvaises solutions. Il y a celles qui te correspondent.
+1
-
10 et 15m sont forcèment en actif alors que jusqu'à 7m, on fait en passif.
Il y a aussi de l'actif en dessous du 7m pour les longueurs que j'ai cité auparavant.
@++
-
Je sais, j'ai rien dit, car je trouve que c'est de l'arn.. une escr.. euh.... bref, < 7m, le passif c'est moins cher et ça suffit :)
-
Je sais, j'ai rien dit, car je trouve que c'est de l'arn.. une escr.. euh.... bref, < 7m, le passif c'est moins cher et ça suffit :)
Je suis d'accord, mais quand tu n'as pas le choix côté équipement bah... Voilà, tout est dit !
@++
-
Au temps pour moi: c'est du 1m
(je trouve ça énorme pour brancher des serveurs, m'enfin)
20€.