La Fibre

Datacenter et équipements réseaux => Équipements réseaux => Matériel informatique Matériel informatique (réseaux domestiques) => Discussion démarrée par: delurk le 14 décembre 2018 à 15:48:28

Titre: Les Cartes Ethernet 10Gb
Posté par: delurk le 14 décembre 2018 à 15:48:28
Bonjour,

À l’avènement du réseau domestique 10Gb (Freebox Delta), je crée ce topic pour regrouper nos expériences et recommandations concernant le choix des cartes Ethernet 10Gb.

Mon expérience :
Je possède un seul modèle : une carte Ethernet 10Gb/40Gb Mellanox Connect-X 3 OEM IBM avec deux ports SFP+ acheté 60€ d'occasion.
Les difficultés rencontrées : driver à compiler, màj firmware arrêté cause OEM IBM, problème perte IPv6, flow control activé par défaut et difficile/impossible à désactiver

À vos claviers pour compléter cette liste de cartes 10Gb et apporter vos expériences  :
- Mellanox ConnectX-2
- Intel X520
- Chelsio T320
- FS.com #75851 (PCIe2.0 x8 Single Port SFP+ 10 Gigabit Server Adapter)
Titre: Les Cartes Ethernet 10Gb
Posté par: Nico le 14 décembre 2018 à 15:59:51
Est-ce que ce topic ne correspondrait pas ?

https://lafibre.info/free-les-news/comment-obtenir-10gbps-sur-son-reseau-local/
Titre: Les Cartes Ethernet 10Gb
Posté par: delurk le 14 décembre 2018 à 16:08:13
Citation de: Nico le 14 décembre 2018 à 15:59:51
Est-ce que ce topic ne correspondrait pas ?

https://lafibre.info/free-les-news/comment-obtenir-10gbps-sur-son-reseau-local/

Le topic cité ci-dessus explique la mise en œuvre d'une l'infrastructure 10Gb domestique. Ici, je souhaite focaliser l'attention sur le choix des cartes Ethernet 10Gb. Comme il existe un topic sur le choix des switchs Mikrotik 10Gb https://lafibre.info/switch/switchs-mikrotik-10g/
Titre: Les Cartes Ethernet 10Gb
Posté par: Ilyazam le 14 décembre 2018 à 18:58:15
J'ai chez moi :
- Intel 10 Gigabit AF DA Dual Port SFP+ E10G42AFDA : 2 ports SFP+ mais ne supporte que les DAC, pas les SFP+ fibre ou cuivre (bridage par Intel dans le firmware)
=> fonctionne bien (testé avec Ubuntu 18.04 et avec un câble DAC Cisco)
- Mellanox ConnectX-2 EN  : 1 port SFP+
=> fonctionne bien (testé avec Proxmox / Debian et un SFP+ FS.com)

Globalement Intel, Mellanox et Chelsio sont des marques réputées et les cartes fonctionnent bien. Le seul problème est de trouver une carte pas trop chère mais pas trop ancienne pour la compatibilité, vu que les cartes restent chères en neuf.
Enfin c'est ce que je pensais, mais FS.com est passé par là : 110 € pour une carte 1 port SFP+ sur base Intel :
https://www.fs.com/fr/products/75851.html
Le chip est ancien mais toujours supporté :
https://ark.intel.com/products/66004/Intel-82599EN-10-Gigabit-Ethernet-Controller?q=Intel%c2%ae%2082599EN
Titre: Les Cartes Ethernet 10Gb
Posté par: delurk le 17 décembre 2018 à 12:35:04
@Ilyazam merci pour ton post.

Si je comprends bien, Intel nomme ses modèles "DA" lorsque ses cartes sont uniquement compatibles "Direct Attach". Et que signifie "AF" ?
À ce propos, Mellanox nomme ses modèles "InfiniBand" lorsqu'il s'agit de carte SAN.

@Thornhill sur l'InfiniBand  :
Citer
@delurk : tu peux voir Infiniband comme un concurrent d'Ethernet à faible latence et gros débit pour des interconnexions courtes (cas typique : interconnexions de composants serveurs en clusters et stockage dans des appliances). Le matériel est consitué de cartes (HCA) et de switchs. Tu peux faire transiter par dessus plusieurs protocoles, le plus courant étant IP (IPoIB).


Je rajoute la carte FS à la liste.
Titre: Les Cartes Ethernet 10Gb
Posté par: Thornhill le 17 décembre 2018 à 13:33:31
Citation de: delurk le 17 décembre 2018 à 12:35:04

À ce propos, Mellanox nomme ses modèles "InfiniBand" lorsqu'il s'agit de carte SAN.

Tu as vu ça où ? Parce que Infiniband c'est pas vraiment ce qu'on appelle traditionnellement du SAN (même si on peut faire du protocole de stockage mode bloc  dessus en encapsulant avec FCoIB ou avec iSCSI à travers IPoIB ).
Titre: Les Cartes Ethernet 10Gb
Posté par: delurk le 17 décembre 2018 à 16:05:36
@Thornhill

Effectivement, j'ai fait un raccourci par manque de connaissance à ce sujet. J'ai juste constaté que les cartes Mellanox Ethernet qui nous intéressent dans ce topic (Connect-X) peuvent également être nommées "InfiniBand" ou "VPI".

Maintenant, si tu veux bien je t'invite à nous expliquer de quoi il s'agit.
Titre: Les Cartes Ethernet 10Gb
Posté par: mattmatt73 le 17 décembre 2018 à 18:02:56
Citation de: Thornhill le 17 décembre 2018 à 13:33:31
Tu as vu ça où ? Parce que Infiniband c'est pas vraiment ce qu'on appelle traditionnellement du SAN (même si on peut faire du protocole de stockage mode bloc  dessus en encapsulant avec FCoIB ou avec iSCSI à travers IPoIB ).

FCoIB: même dans une soirée réseau geeks avec beaucoup d'alcools, ça ne doit pas arriver dans la liste des sujets...
Titre: Les Cartes Ethernet 10Gb
Posté par: Thornhill le 17 décembre 2018 à 18:40:52
Citation de: mattmatt73 le 17 décembre 2018 à 18:02:56
FCoIB: même dans une soirée réseau geeks avec beaucoup d'alcools, ça ne doit pas arriver dans la liste des sujets...

Effectivement, jamais vu ça déployé.
On a des appliances Oracle avec des switchs Infiniband pour interconnecter les nœuds, mais il font soit de l'IPoIB (pour de l'IP simple ou bien comme support à iSCSI pour les accès stockage mode bloc), soit du RDS pour les IPC des noeuds RAC. Et quand il s'agit de se connecter à un SAN ils ajoutent de bons vieux HBA Fibre Channel.

@delurk : tu peux voir Infiniband comme un concurrent d'Ethernet à faible latence et gros débit pour des interconnexions courtes (cas typique : interconnexions de composants serveurs en clusters et stockage dans des appliances). Le matériel est consitué de cartes (HCA) et de switchs. Tu peux faire transiter par dessus plusieurs protocoles, le plus courant étant IP (IPoIB).
Titre: Les Cartes Ethernet 10Gb
Posté par: Hugues le 17 décembre 2018 à 19:14:53
Ca sert surtout quand tu fais évoluer ton réseau de FC vers IP j'imagine :)
Titre: Les Cartes Ethernet 10Gb
Posté par: Thornhill le 17 décembre 2018 à 19:29:19
Citation de: Hugues le 17 décembre 2018 à 19:14:53
Ca sert surtout quand tu fais évoluer ton réseau de FC vers IP j'imagine :)

Même pas, :  point d'IP dans FCoIB: c'est du protocole FC directement encapsulé dans de l'Infiniband. A part pour interconnecter un stockage FC avec des serveurs IB-only, je ne vois pas l'intérêt. Il semble que des gateways FC-FCoIB existent mais ça n'a pas du beaucoup se vendre.

Le standard pour accéder du stockage mode bloc sur de l'IP c'est plutôt iSCSI.
Titre: Les Cartes Ethernet 10Gb
Posté par: Hugues le 17 décembre 2018 à 21:05:18
Ah oui pardon, j'ai lu FCoIP :)
Titre: Les Cartes Ethernet 10Gb
Posté par: Thornhill le 17 décembre 2018 à 21:46:07
FCoIP je ne sais pas si ça existe par contre dans le genre protocole confidentiel y'a aussi FCoE (over Ethernet). Idem, jamais vu ça déployé...
Les industriels aiment bien inventer des protocoles exotiques, avec un peu de chance si ça prend ils sont une poignée sur le marché et vendent ça une fortune...
Titre: Les Cartes Ethernet 10Gb
Posté par: Ilyazam le 17 décembre 2018 à 22:40:09
Citation de: delurk le 17 décembre 2018 à 12:35:04
@Ilyazam merci pour ton post.

Si je comprends bien, Intel nomme ses modèles "DA" lorsque ses cartes sont uniquement compatibles "Direct Attach". Et que signifie "AF" ?
À ce propos, Mellanox nomme ses modèles "InfiniBand" lorsqu'il s'agit de carte SAN.

Je rajoute la carte FS à la liste.
Je ne sais pas exactement mais en décomposant le part number je trouve ça.
E10G42AFDA
E = Ethernet
10G = 10Gbps  :)
4 = PCIE 4x ?
2 = deux ports
A = génération A (Intel X520 = génération B d'après la fiche technique de ce modèle)
F = Fibre (SFP+)
DA = direct Attach

Par contre ils n'ont pas utilisé cette norme sur les cartes plus haut de gamme (X710 par exemple) visiblement.
Titre: Les Cartes Ethernet 10Gb
Posté par: delurk le 18 décembre 2018 à 13:26:16
@Thornhill Merci pour ces informations très instructives à propos d'InfiniBand.
@Ilyazam Merci pour la décomposition du nom de ta carte Intel.
Titre: Les Cartes Ethernet 10Gb
Posté par: Hugues le 18 décembre 2018 à 14:19:06
Citation de: Thornhill le 17 décembre 2018 à 21:46:07
FCoIP je ne sais pas si ça existe par contre dans le genre protocole confidentiel y'a aussi FCoE (over Ethernet). Idem, jamais vu ça déployé...
Les industriels aiment bien inventer des protocoles exotiques, avec un peu de chance si ça prend ils sont une poignée sur le marché et vendent ça une fortune...

https://en.wikipedia.org/wiki/Fibre_Channel_over_IP

Ça existe, mais j'en ai jamais vu :)
Titre: Les Cartes Ethernet 10Gb
Posté par: escaflowne62 le 23 décembre 2018 à 19:48:10
bonjour

j'ai besoin de votre avis pour un choix matériel  je suis fibré avec une delta et je voudrais utiliser les 10Gb

Asus Xg-c100c Carte Réseau
http://amzn.eu/d/8PkQScM
avec un adapteur 10Gb/s SFP+ RJ45 Cuivre Transceiver
http://amzn.eu/d/4eH7OMp

ou

une carte sfp+ Carte Controleur PCIe Reseau 10G SFP+
http://amzn.eu/d/few9THM
avec un cable 10Gtek Câble SFP+ 10G 2m Intel XDACBL2M
http://amzn.eu/d/2urEGQ9

merci pour votre retour

Titre: Les Cartes Ethernet 10Gb
Posté par: escaflowne62 le 23 décembre 2018 à 20:01:17
j'ai trouvé de la lecture  8)

https://lafibre.info/free-les-news/comment-obtenir-10gbps-sur-son-reseau-local-35574/
Titre: Les Cartes Ethernet 10Gb
Posté par: docmarc le 31 décembre 2018 à 18:42:54
Je met une liste des réfs des carte intel  x5xx pour aider dans  les recherches sur les sites d'occasions

a savoir que les modules SFP RJ45 son incompatible  avec les cartes DA1 et DA2

Les cartes DA1 et DA2 ne supporte  que les modules LR et SR


Liste des cartes réseaux Intel x520 > x550
Les références sont faciles à comprendre
Le chiffre  signifie le nombre de port(s) 
Exemple  :
Modules optique seul Intel
carte RJ45
Carte Cage SFP
Cartes optique (attention  elle doivent être livrer avec leur modules Optiques, ce sont a priori des cartes DA1/DA2 packager avec des modules sfp)
Titre: Les Cartes Ethernet 10Gb
Posté par: delurk le 03 janvier 2019 à 11:04:01
merci @docmarc pour toutes ces précisions.

Étant donné que la X520 utilise le même controller (Intel® 82599) que les cartes neuves 10G proposées par Fiberstore, je pense qu'il s'agit d'une bonne alternative au vu du prix.

Titre: Les Cartes Ethernet 10Gb
Posté par: docmarc le 03 janvier 2019 à 12:52:55
Citation de: delurk le 03 janvier 2019 à 11:04:01
merci @docmarc pour toutes ces précisions.

Étant donné que la X520 utilise le même controller (Intel® 82599) que les cartes neuves 10G proposées par Fiberstore, je pense qu'il s'agit d'une bonne alternative au vu du prix.

Intel® 82599 et x-520 pour moi c'est la mème chose ?

de plus :

La serie 700 des carte intel semble être une fausse bonne idée  pour l'utilisation  sous Windows  le tableau de compatibilité l'indique bien.

Tableaux des compatibilités OS  sur les différentes cartes réseaux INTEL (https://www.intel.com/content/www/us/en/support/articles/000025890/network-and-i-o/ethernet-products.html)

(Et aucune versions de Windows 32 bits ne sont supporters par Intel en 10G)


X710-DA2 - Drivers, Applications et Firmwares  (https://ark.intel.com/products/83964/Intel-Ethernet-Converged-Network-Adapter-X710-DA2)
Titre: Les Cartes Ethernet 10Gb
Posté par: delurk le 03 janvier 2019 à 14:17:35
Citation de: docmarc le 03 janvier 2019 à 12:52:55
Intel® 82599 et x-520 pour moi c'est la mème chose ?

Euh, pour toi ? Ce n'est pas ce que j'ai dit.

Je faisais juste un rapprochement par rapport au post d'@Ilyazam qui a évoqué ce controller sur les cartes Fiberstore.
Titre: Les Cartes Ethernet 10Gb
Posté par: docmarc le 03 janvier 2019 à 14:24:04
Citation de: delurk le 03 janvier 2019 à 14:17:35
Euh, pour toi ? Ce n'est pas ce que j'ai dit.

Je faisais juste un rapprochement par rapport au post d'@Ilyazam qui a évoqué ce controller sur les cartes Fiberstore.
oui c'est un clone de la x520  on en trouve chez Dell, HP , supermicro , celle de supermicro sont courte , ideal pour le mini-itx
 (https://www.ebay.fr/itm/Supermicro-AOC-STGN-I1S-Single-Port-10GbE-SFP-Ethernet-Card-Adapter-X520-10G/173697820307?hash=item2871326693:g:jzkAAOSwUWpa37OQ:rk:5:pf:0)

(https://i.ebayimg.com/images/g/v1IAAOSwK~da37OS/s-l1600.jpg)

Titre: Les Cartes Ethernet 10Gb
Posté par: goursa le 08 février 2019 à 15:48:52
Bonjour tout le monde,
J'aurais besoin des conseils concernant l'optimisation des performances (réglages avancés du pilote) de la carte Intel X520-DA1, Intel 82599ES Contrôleur Cartes Réseau Ethernet 10 Gigabit (NIC/CNA), PCI Express 2.0 X8, Singel SFP+ Port.
Merci de votre attention.
Titre: Les Cartes Ethernet 10Gb
Posté par: Hugues le 08 février 2019 à 22:37:28
C'est assez simple : Aucune.
Titre: Les Cartes Ethernet 10Gb
Posté par: STRAT38 le 08 février 2019 à 22:40:28
Citation de: Hugues le 08 février 2019 à 22:37:28
C'est assez simple : Aucune.

même au niveau des options comme tailles des jumbo, ou tailles des tampons, paquets étendus ... ?
Titre: Les Cartes Ethernet 10Gb
Posté par: Hugues le 08 février 2019 à 23:44:32
Ben le Jumbo, vu que la freebox est à 1500 octets, non.

Pour le reste, les drivers sont bien codés, pas besoin de tuner quoi que ce soit !
Titre: Les Cartes Ethernet 10Gb
Posté par: STRAT38 le 09 février 2019 à 00:08:21
Citation de: Hugues le 08 février 2019 à 23:44:32
Ben le Jumbo, vu que la freebox est à 1500 octets, non.

Pour le reste, les drivers sont bien codés, pas besoin de tuner quoi que ce soit !

Merci.

Effectivement, il n'y a pas d'accès à ces options avancés sur la delta ... qui sait.
Titre: Les Cartes Ethernet 10Gb
Posté par: Hugues le 09 février 2019 à 00:11:18
Non mais ça n'a aucun intéret, la MTU d'internet est à 1500 octets (enfin pour être exact tu as quelques réseaux qui gèrent plus mais ça n'a aucun intéret)
Titre: Les Cartes Ethernet 10Gb
Posté par: goursa le 09 février 2019 à 11:47:47
Merci, mais j'ai remarqué qu'après l'activation/désactivation des paramètres de flux RX et TX mon débit change d'une façon exponentielle.
Titre: Les Cartes Ethernet 10Gb
Posté par: STRAT38 le 09 février 2019 à 14:21:27
Citation de: goursa le 09 février 2019 à 11:47:47
Merci, mais j'ai remarqué qu'après l'activation/désactivation des paramètres de flux RX et TX mon débit change d'une façon exponentielle.

Dans quel mesure et sous quel modification ?  des captures écrans ou autres ?
Titre: Les Cartes Ethernet 10Gb
Posté par: goursa le 10 février 2019 à 15:42:47
Bonjour,
Voici les captures d'écran. Comme vous voyez, le débit change en fonction des paramètres de flux control. Mais le plus étrange, c'est qu'après le redémarrage le débit chute sans aucune modification des réglages de la carte. Je modifie le paramètres, même en revenant vers les mêmes, et le débit monte 10 fois...On dirait que les réglages de la carte ne sont pas sauvegardés.... je comprends plus rien.
Merci de vos lumières