La Fibre
Datacenter et équipements réseaux => Équipements réseaux => 
Switch => Discussion démarrée par: Guigui_L92 le 03 novembre 2019 à 17:55:46
-
Bonjour à tous,
Désolé si la question a déjà été posée mais j'ai l'impression que les choses ont un peu changé ces derniers mois.
Avec un pote, on a un NAS Synology avec 4 prises ethernet gigabit. On voudrait augmenter la vitesse de la liaison entre un mac et ce NAS (>Gibts).
Je sais bien que quand on parlait jusqu'à maintenant d'agrégation de lien ethernet, tout le monde disait bien en disclaimer que cela n'avait d'intérêt que si plusieurs équipements réseau voulaient dialoguer avec le NAS. Maintenant qu'il existe des switch avec 1 prise 10Gbits (et les autres en 1 Gbits), la limitation existe-t-elle toujours ? Ou peut on se dire que puisque qu'au niveau du switch, un lien virtuel est à 4gbits, il peut communiquer avec le mac à 4gbits ?
J'espère que le "problème" est clair 😀 Merci pour vos réponses !!
-
Bonjour,
Quel est le modèle exact de ton NAS ?
-
Bonjour,
Quel est le modèle exact de ton NAS ?
Salut,
c'est le DiskStation DS1819+ ! On a bien tout paramétré les liens NAS <--> Switch mais actuellement le switch est un switch Gigabit donc l'agrégation ne bénéficie que quand 2 ordi ou en tous cas 2 équipements distincts discutent simultanèment avec le NAS.
On voudrait comprendre si en changeant de Switch vers un modèle qui pourrait relier un mac (par exemple) en 10 Gbits au switch, est ce qu'il discutera au max de la capacité du lien NAS <--> switch (en négligeant ici les limitations du RAID / NAS dont on a bien conscience). La question c'est la partie en gras ci dessous
NAS <---- Max: 4 x 1Gbits ---> SWITCH (4 x 1Gigabit, 1x 10Gbits) <---- Max : 10 Gbits ---> MacBook Pro
Merci =)
-
J'ai trouvé un peu d'explication pour 2 ports RJ45 qui peut s'appliquer pour 4 -> https://monserveurnas.com/agregation-de-lien/
-
J'ai trouvé un peu d'explication pour 2 ports RJ45 qui peut s'appliquer pour 4 -> https://monserveurnas.com/agregation-de-lien/
Merci ! En fait j'ai lu plein de trucs aussi. La seule limite à ce que je lis c'est qu'on dit toujours 'chaque ordinateur étant relié en gigabit, de toute manière il ne pourra pas dépasser le gigabit'
Mais maintenant qu'il existe (plus communèment qu'il y a 3-4 ans) des interfaces 10G grand public : est ce qu'un équipement avec un seul lien 10G peut recevoir le traffic de 4 lien 1G agrégé... Je trouve pas la réponse =(
-
Il faut apparemment avoir un switch ou routeur LACP qui peut agréger les 2/4 liens et te les sortirs sur 10Gbits.
Après, le NAS permet d'installer une carte PCIe 10Gbits.
Si tu te trouves un switch 2x10Gbit (Base-T ou cage SFP+) et 4xRJ45 1Gbits tu pourras te connecter dessus en 10Gbits (l'autre port étant pour le NAS) et sur les 4 autres tu pourras relier d'autres PC 1Gbits qui ne generont pas le 10Gbits.
C'est comme ça que je contournerais le problème et le doute.
-
Je crois qu'on va tester avec Amazon et ses 14 jours de retour ;)
Mais toute l'idée c'est d'éviter de "dépenser" dans du 10Gbits côté NAS... vu que les disques vont jamais avoir la capacité de saturer du 4Gbits de toute.
Je viens de trouver cette vidéo plutôt rassurante : https://www.youtube.com/watch?v=cCygGB2-6Uw
Merci pour ton aide :)
-
De rien 😉
-
Mais maintenant qu'il existe (plus communèment qu'il y a 3-4 ans) des interfaces 10G grand public : est ce qu'un équipement avec un seul lien 10G peut recevoir le traffic de 4 lien 1G agrégé... Je trouve pas la réponse =(
Vers le NAS ça ne fonctionnera qu'en multisession (plusieurs transferts en parallèle).
Pour la bonne et simple raison que sur une agrégation de port, le load balancing s'effectue en fonction de la session dans le meilleur des cas (si l'équipement et le switch gère le L4 (ports TCP/UDP) somme critère de hashage pour le load balancing).
Donc avec une seule session, les paquets passeront tous par le même port Ethernet (car combinaison unique MAC,IP,PORT), ce qui conduira à brider le transfert à 1 Gbps.
Attention: vérifie bien que le switch et le NAS savent faire du load balancing L4 (ports TCP/UDP) sans quoi, même en multisession, tu seras bridé à 1 Gbps vers ton NAS (car combinaison unique MAC,IP ou MAC donc toutes les sessions passeront par un seul et même port).
-
Ok merci ! Mais du coup ça veut dire que concrètement si on déplace par exemple une dizaine de fichiers, on bénéficiera en moyenne des 4Gbits ?
On va tester tout ça, tu penses que des switch « grand public » font ça (j’ai vu un Netgear à ~200€ mais je sais pas s’il fait ce que tu dis).
-
Ok merci ! Mais du coup ça veut dire que concrètement si on déplace par exemple une dizaine de fichiers, on bénéficiera en moyenne des 4Gbits ?
oui s'il y a une session de partage de fichier par fichier copié. Il faut regarder quel protocol de partage est utilisé (smb? nfs?) et quelle version ? de base avec SMB c'est une seul session TCP ( un seul quad "source ip,source port,dest ip,dest port" donc) meme si on fait plusieurs fichiers en meme temps. (tu peux check avec la commande "netstat" sous Mac).
Avec SMBv3, si le client et le serveur le supporte, il y a le mode MultiChannel qui permettrais de transférer une seul fichier a 4 Gbps. Il me semble qu'on peut activer cela dans les Syno. Pour NFSv4 il y a aussi l'équivalent, je ne sais pas pour les Syno.
Sinon iSCSI (avec MPIO) pourrait aussi convenir mais ce n'est plus du NAS grand public (serveur partageant des fichiers via SMB ou NFS). Le volume iSCSI (volume LUN) sur le NAS sera directement accéder par le Mac (on pourra donc aussi formater le volume en HFS+ par exemple).
Franchement le plus simple est de mettre une carte 10G dans le NAS ...
-
Merci kgersen c’est super complet. Je vous dirai si on s’en sort et comment 😀
-
Pour le multichannel en smb, il me semble qu'il faut aussi que ce soit supporté de l'autre coté, dans son cas le pc en face du nas (en gros avoir plusieurs interfaces réseaux + l'os qui supporte).
-
Pour le multichannel en smb, il me semble qu'il faut aussi que ce soit supporté de l'autre coté, dans son cas le pc en face du nas (en gros avoir plusieurs interfaces réseaux + l'os qui supporte).
oui faut le support multichannel des 2 cotés mais pas forcement plusieurs interface réseaux.
L'intro ici: https://blogs.technet.microsoft.com/josebda/2012/06/28/the-basics-of-smb-multichannel-a-feature-of-windows-server-2012-and-smb-3-0/ mentionne du multichannel entre client & serveur avec une carte réseau de chaque coté (1-1) OU avec plusieurs cartes de chaque coté (N-N). Mais il n'y a pas d'exemple 1-N.
du coup il n'est pas certain que 10G<->4x1G fonctionne. a moins de partitionner la connection 10G en 4 VLAN pour avoir 4 IPs différentes ?
-
Merci à tous les deux.
En fait la vidéo que je vous ai mise à la première page, la personne bénéficie de ça en effet. Apparement MacOS est compatible avec SMB V3. On va commander donc un switch et un adaptateur pour le mac. On vous tient au courant !!
-
Sinon, tu utilises du FTP ou du SSH et tu es sûr d'avoir un port source différent par transfert, donc une distribution sur LACP.
-
On a commandé le matos, on vous dira ce que ça donne !
-
Bonjour à tous, merci @Guigui_L92 pour avoir initié ce sujet à ma place ! Merci à tous pour ces premiers éléments de réponses.
J'ai bien reçu le matos (Switch Netgear 110EMX 10GB manageable ; et adaptateur 5GBe QNAP QNA-UC5G1T)
Link aggregation en place sur le NAS et le Switch
je fais mes tests et (l'inverse aurait été étonnant…) aucun transfert (meme en cumulé sur 2 clients) ne dépasse 110MB/sec (en SMB, AFP, FTP, c'est pareil…).
J'ai bien pris soin d'activer SMB v3 sur Synology (minimum autorisé défini à SMBv2), et normalement intégré toutes vos remarques … je ne vois juste pas où trouver les infos multichannel
Des images des configurations coté NAS et Switch en PJ. Les ports 1 et 6 sont reliés au CPL, et les 2 à 5 au NAS.
Une idée de ce qui pourrait clocher ?
Merci d'avance !
-
et la liste des ports utilisés
-
je fais mes tests et (l'inverse aurait été étonnant…) aucun transfert (meme en cumulé sur 2 clients) ne dépasse 110MB/sec (en SMB, AFP, FTP, c'est pareil…).
déja est-ce que ton NAS peut dépasser 110 MB/sec sur ses disques? c'est peut-etre la le maillon lent (ou les clients).
sinon as tu un moyen de monitorer le traffic sur les 4 ports LACP (coté switch ou coté NAS) pour voir si ca réparti bien entre les 4 ?
c'est quoi ton modele de NAS ? que vient faire le CPL dans l'histoire ?
et a priori le SMB multichannel ne marchera que si chaque coté a plusieurs ports donc le client et le serveur.
Si le client est en 5G vers un switch puis 4 ports 1G vers le serveur, le SMB multichannel ne se déclenchera pas car il n'y a qu'un port coté client.
Par contre 2 sessions pourront atteindre 2 Gbps cumulé (2 ftp en meme temps par exemple).
-
Merci pour ton retour !
J'ai un DS1819+, capable de débiter plus de 600 MO /s normalement. Des gens avec des setup similaires (5 HDD en RAID 5 - 10 GB) sortent du 400mo/s environ. Le client peut encaisser 1 Go/s
J'ai pas moyeen d'avoir le débit sur chaque port, par contre jep eux avoir les octets cumulés. Clairement c'est pas réparti également sur les 4 ports…
J'ai testé avec une session SMB et une FTP en parallèle : toujours max 117 Mo/s (et pas bien réparti sur les 4 ports)
ça sent pas bon pour moi tout ça, j'avais pas envie de lâcher encore 150€ de plus pour la carte 10GB PCI-e pour le NAS j'avoue, mais là…
Merci en tout cas
-
hum ca voudrait dire que le LACP ne fonctionne pas correctement entre le NAS et le switch.
Il se peut qu'une meme adresse MAC ne change pas de port dans ce cas reste a savoir qui est le fautif, le nas, le switch ou le paramétrage.
-
Bonjour à tous, merci @Guigui_L92 pour avoir initié ce sujet à ma place ! Merci à tous pour ces premiers éléments de réponses.
J'ai bien reçu le matos (Switch Netgear 110EMX 10GB manageable ; et adaptateur 5GBe QNAP QNA-UC5G1T)
Link aggregation en place sur le NAS et le Switch
je fais mes tests et (l'inverse aurait été étonnant…) aucun transfert (meme en cumulé sur 2 clients) ne dépasse 110MB/sec (en SMB, AFP, FTP, c'est pareil…).
J'ai bien pris soin d'activer SMB v3 sur Synology (minimum autorisé défini à SMBv2), et normalement intégré toutes vos remarques … je ne vois juste pas où trouver les infos multichannel
Des images des configurations coté NAS et Switch en PJ. Les ports 1 et 6 sont reliés au CPL, et les 2 à 5 au NAS.
Une idée de ce qui pourrait clocher ?
Merci d'avance !
Avec plaisir et bienvenue surtout !!!
Mais j’y pense : je me trompe peut être mais le lien 5gbits ne devrait pas être dans le LAG avec les 4 liens agrégés. Lui peut être « seul ».
-
hum ca voudrait dire que le LACP ne fonctionne pas correctement entre le NAS et le switch.
Il se peut qu'une meme adresse MAC ne change pas de port dans ce cas reste a savoir qui est le fautif, le nas, le switch ou le paramétrage.
Merci ! As-tu une idée pour savoir d'où viendrait le problème ?
Merci !
-
Merci ! As-tu une idée pour savoir d'où viendrait le problème ?
Merci !
y'a quoi comme choix de configuration niveau LACP de chaque coté ?
-
Il faut regarder le critère de load balancing pour l'agrégation sur chaque équipement (switch et NAS).
Il est classique pour les équipements bas de gamme de ne prendre en charge que le load balancing L2 (MAC) et/ou L3 (IP).
Dans ce cas il est impossible d'équilibrer avec un seul client même en multisession car les adresses MAC et IP sont identiques pour toutes les sessions, donc l'algo de load balancing (en général un bête XOR+modulo) choisira toujours le même port.
Pour équilibrer avec un seul client en multisessions il faut un load balancing sur critère L4 (port TCP/UDP).
Linux sait faire ça (xmit_hash_policy), mais de nombreux switchs ne savent pas le faire (même sur certaines gammes Cisco type 2960 par exemple).
-
J'ai l'impression de ne pas avoir beaucoup de choix en effet : seulement le "LACP System Priority" sur le switch ; et le choix du type d'agrégation sur le NAS
-
supprime le LACP sur le switch (l’interrupteur ! ::) ;D ) et test avec 'adaptive load balancing' sur le NAS ?
-
Balance XOR sur le Syno.
Et configurer le LAG (pas le LACP !) sur le switch, c'est mieux :)
-
Merci pour vos retours !
J'ai essayé le XOR et le adaptive lord balancing, toujours pareil :( l'agrégation ne semble vraiment pas fonctionner. La répartition de la charge par port du switch ne se fait pas.
Faut redémarrer le NAS / Switch à chaque fois ?
-
J'ai essayé le XOR et le adaptive lord balancing, toujours pareil :( l'agrégation ne semble vraiment pas fonctionner. La répartition de la charge par port du switch ne se fait pas.
tout simplement parce que ton switch et/ou ton NAS ne sait pas faire du load balancing L4 sur l'agrégat.
Il doit probablement utiliser l'IP et/ou la MAC uniquement.
-
En fait ce qui m'étonne, c'est que même en téléchargeant en simultané depuis 2 clients, je ne dépasse pas les 120 MO/Sec…
Je crois pas qu'il y ait besoin d'un switch de dinguos pour permettre une LAG qui permette à 2 clients de télécharger à 1Gb nan ?
-
En fait ce qui m'étonne, c'est que même en téléchargeant en simultané depuis 2 clients, je ne dépasse pas les 120 MO/Sec…
Je crois pas qu'il y ait besoin d'un switch de dinguos pour permettre une LAG qui permette à 2 clients de télécharger à 1Gb nan ?
Test simple à faire : lance un client, puis après quelques secondes le deuxième : est-ce que la vitesse du premier diminue significativement et est-ce que la somme des deux s'approche de celle du premier quand il était seul ?
Après même avec 2 clients sur un LB L2, tu peux avoir les 2 clients qui tombent sur le même port, en fonction des adresses MAC.
Par exemple sous Linux la formule est la suivante :
0 or layer2 — Default setting. This parameter uses the XOR of hardware MAC addresses to generate the hash. The formula used is:
(source_MAC_address XOR destination_MAC) MODULO slave_count
This algorithm will place all traffic to a particular network peer on the same slave, and is 802.3ad compliant.
=> Sur l'ensemble de l'espace d'adressage MAC tu auras une distribution des clients sur le nombre de ports de l'agrégat.
Par exemple, prenons 2 adresses MAC sources identiques à l'exception du dernier octet, l'algo va répartir comme suit pour une même MAC cible :
0:1:0:1:0:0 => port 0
0:1:0:1:0:1 => port 1
0:1:0:1:0:2 => port 2
0:1:0:1:0:3 => port 3
0:1:0:1:0:4 => port 0
0:1:0:1:0:5 => port 1
etc...
=> les 2 clients 0:1:0:1:0:0 et 0:1:0:1:0:4 seront affectés au même port.
-
Merci pour vos retours !
J'ai essayé le XOR et le adaptive lord balancing, toujours pareil :( l'agrégation ne semble vraiment pas fonctionner. La répartition de la charge par port du switch ne se fait pas.
Faut redémarrer le NAS / Switch à chaque fois ?
Attention a bien supprimer le LAG dans le switch quand tu test le NAS est en mode adaptive.
si tu mélanges les modes de fonctionnement ca ne peut marcher
Donc en fonction de la config du NAS:
Adaptive Load Balacing:
-ne pas faire de LAG dans le switch
Link aggregation dynamic 802.3ad
- LAG en mode LACP dans le switch
XOR
- LAG en mode static dans le switch
en principe pas besoin de reboot le switch/nas mais je recommande de débrancher les 4 cables a chaque changement de config.
-
J'avais bien activé / désactiver les LAG dans le switch / NAS quand il fallait oui :(
J'ai commandé des nouveaux câbles éthernet cat 7, j'avais un petit doute sur les miens. je vous tiens au courant. Merci bcp en tout cas
-
Hello,
Alors j'ai essayé avec les CAT7, et la carte 10GBe dans le NAS, mon adaptateur 5GBe <->Thunderbolt 3.
Résultat : 150-170Mo/s max en transfert NAS <-> client (la lecture depuis le client est plus lente, environ 100Mo/s). Même résultat en branchant directement le client au NAS sans switch. Mon client peut encaisser 2Go/s en lecture / écriture.
J'ai alors testé sur une copie de dossier interne dans le NAS (depuis le DSM) : ça plafonne à 120Mo/s… ce qui est très lent.
Le soucis ne semble donc pas être l'agrégation ou la vitesse de connexion mais bien une lenteur interne...
Je n'ai aucun autre programme qui tourne (fermé Cloud Sync, drive, Universal Search). Sans opération en cours, je n'entends pas les HDD travailler.
Quand je fais un transfert, les disques ne sont utilisés qu'à max 35 MB/sec chaque, le volume à 70%, CPU & RAM entre 15-20%. Volume rempli à 79%. Ni les disques ni le NAS ne semblent être le facteur limitant...
Pour rappel, j'ai un Synology DS1819+ (donne pour 2045 Mo/s en lecture séquentielle et 656 Mo/s en écriture), avec 5HDD en RAID 5 (4x3To WD red et 1x6To WD Red). De ce que je lis, en RAID 5 les débits devraient être autour de 350-450Mo/ (chaque disque peut débiter +/- 150Mo/s)
J'ai regardé tous les paramètres, fais une défragmentation, tous les HDD ont un SMART étendu OK, je ne vois vraiment pas ce qui peut clocher…
Peut-être avez-vous des idées ? Meme si je sais que ce n'est pas vraiment le sujet principal de la fibre.info ^^
Mile merci d'avance !!
-
Il y a un anti-virus (cas classique)?
-
Et un iperf entre les machines ? (ça élimine le problème des disques dur, etc)
-
Peut-être que le CPU du NAS est trop limitant et ne peut pas suivre en RAID 5, qui est plus complexe qu'un RAID 1 lambda car il faut faire tous les calculs de parité associés
+1 pour un test iperf, il me semble qu'il y a un package iperf pour Synology
-
Merci beaucoup pour vos retours.
L'iperf entre les machines me donne le résultat suivant, à 1,3Gbit/sec en moyenne. Alors que je suis branché en 5GBe, 'c'est normal ?
Un test de vitesse avec "echo 3 > /proc/sys/vm/drop_caches; time dd if=/dev/sda1 of=/dev/null bs=1M count=1K" me donne environ 120MB/sec. C'est lent… ça vous semble cohérent pour un WD Red 5400rpm ? J'avais plutôt lu 150mo/s mais bon.
si chacun débite 120Mo/s on devrait quand même être à plus que 160Mo/s en transfert …
Le CPU ne bronche pas pendant les transferts (cf PJ), et les disques ne sont utilisés qu'à max 36MB/sec environ.
j'obtiens les mêmes vitesses de transfert sur un dossier non crypté / sans la checksum activé
je commence à être perdu / désespéré ^^
-
test iperf avec l'option "-P 4" ( 4 flux en meme temps).
-
même résultat ...:(
J'ai pareil aussi en connexion directe mac <-> NAS
-
Bonjour à tous !
Petit follow-up :
Même avec la carte PCI-E 10Gbe dans le Synology, il apparaissait que les vitesses de transferts étaient plafonnées vers 200-250Mo/s (plus lent en lecture qu'en écriture). Impossible d'obtenir mieux, de comprendre ce qu'il se passait malgré l'assistance Synology.
Pour agrégation : mon adaptateur ethernet <-> USB C ne prenait pas en chargé l'agrégation de liens, donc impossible de dépasser les 100mo/s en transfert.
J'ai donc renvoyé tout ; le prix ne me semblait pas justifié au regard du faible gain de performance.
Abandon pour l'instant donc, merci encore pour votre aide en tout cas !