Auteur Sujet: GS108T + NC360T + N5550 load balancing : 33MB/s ??  (Lu 21683 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 169
    • Twitter LaFibre.info
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #12 le: 19 juin 2012 à 08:32:00 »
D’après ton fichier de configuration, je lis "Bonding Mode: IEEE 802.3ad Dynamic link aggregation" => tu es bien en mode 4, le mode recommandé :
- Mode 4 : IEEE 802.3ad : Groupement de ports pour load balancing et Failover : Fonctionne les switchs Ethernet qui supportent cette norme. Le mécanisme de load blancing est similaire à celui du mode Balance-XOR.Il est basé sur le principe qui consiste à affecter toujours le même chemin à la même machine en fonction du couple IP source / IP destination / port. Cela implique que le switch gère le 802.ad et les interfaces soient compatibles mii-tool et/ou ethtool.

La répartition du trafic se fait par un hash XOR (eXclusive OR ou OU exclusif) en fonction des arguments sélectionnables suivants :
  • les adresses MAC(source et ou destination)
  • les adresses IP (source et ou destination)
  • le port applicatif (destination)

Tous les ports d'un groupe doivent obligatoirement être paramétrés à la même vitesse, même duplex (full/half), même VLAN, même mode (access/trunk).

Par contre je lit Transmit Hash Policy: layer2 (0) ce qui signifie que la destination est choisie uniquement ne fonctionne des adresses niveau 2 (contre niveau 3 et 4 dans mon exemple, soit les adresses IP et les ports).
Un PC (adresse mac unique) utilisera donc toujours le même lien. Par exemple les adresses mac paires utiliseront le lien 1 en upload et les adresses mac impaires utiliseront le lien 2 en upload (c'est un exemple simplificateur mais on est assez proche de ce fonctionnement).

Pour le download, c'est le switch qui choisit qui  va utiliser quel lien, il faudrait la configuration du switch pour comprendre.

seb

  • Pau Broadband Country (64)
  • Abonné SFR fibre FttH
  • *
  • Messages: 515
  • FTTH 1 Gbps sur Pau (64)
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #13 le: 19 juin 2012 à 08:55:35 »
Quelques explications sont données sur SmallNetBuilder.

Mais quitte à me répéter, il ne me semble pas rationnel de batailler à monter du LACP tant qu'on a pas vérifié les perfs sur un seul lien ...

corrector

  • Invité
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #14 le: 19 juin 2012 à 15:55:22 »
Pour le plaisir!

seb

  • Pau Broadband Country (64)
  • Abonné SFR fibre FttH
  • *
  • Messages: 515
  • FTTH 1 Gbps sur Pau (64)
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #15 le: 19 juin 2012 à 20:14:10 »
Loin de moi l'idée de brider son plaisir, bien au contraire.

C'est juste que notre ami ne sait pas vraiment où sa configuration pose problème, et qu'il me semble utile d'être méthodique :
1. Je teste individuellement les 4 combinaisons possibles entre le PC et le NAS : je dois obtenir ~1 Gbps partout dans les deux sens
2. Je monte l'agrégat du PC , et je refais les tests à partir des 2 cartes du NAS :  je dois obtenir ~1 Gbps sur les deux liens du NAS, dans les deux sens
3. Je casse l'agrégat du PC, monte celui du NAS , et je refais les tests à partir des 2 cartes du PC :  je dois obtenir ~1 Gbps sur les deux liens du PC, dans les deux sens
4. Je remonte l'agrégat du PC, et teste à nouveau : je dois obtenir au moins 1 Gbps dans les deux sens

C'est l'affaire d'une toute petite heure de tests, et ça permettra de valider tous les éléments du circuit.
Si c'est non conforme quelque part, il saura où exactement, et pourra alors investiguer sur les causes du problème avec un maximum de billes en main.

scavenger

  • Abonné Free adsl
  • *
  • Messages: 12
  • Paris (75)
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #16 le: 08 novembre 2012 à 22:46:34 »
merci pour ces précisions

je vais devoir tester chaque carte d'après ce que tu indiques...
ça va prendre bien plus qu'une heure !!!  :P

à chaque modif de la config du NAS, je dois le rebooter et ça prend 100 secondes, sans compter  que ça risque de le planter car une fois j'ai du faire un RAZ du réseau (et des /etc/passwd également)

Depuis, j'ai tout reconfiguré en team 802.3ad des deux côtés, avec pour le NAS l'interface fournie (pas le choix) et pour le PC un outil de HP (HP network configuration utility)
Je n'ai pas créé de VLAN car je n'en vois aucune utilité: le PC comme le NAS doivent tout 2 accéder au web donc, pas de VLAN. Est-ce nécessaire ?
Tout le monde est en 1000/full et 9000 jumbo frame
LACP est activé sur le switch

Le switch est dit de niveau 2 et accepte des frames de 9216 max partout :


ci joint le dernier test iperf :

la config du PC :




test1 : PC->NAS (65MB/s)

les cartes du NAS :

les cartes du PC :


je suis pas expert mais ça montre clairement qu'à chaque fois une carte sert à l'envoi et l'autre à la réception.
et au retour c'est toujours la même carte qui est utilisée :

test2 : NAS->PC (85MB/s)

les cartes du NAS :

les cartes du PC :


Les envois de paquets sont clairement routés par la même carte, quelque soit le sens, et selon une règle qui m'échappe.

Si je débranche un câble ou l'autre du PC, je garde les mêmes débits.

Peut être que c'est le fonctionnement normal de l'aggrégation 802.3ad ?
Peut être que je n'ai pas compris quelque chose ?

Ma question de départ serait plutôt :
peut-on forcer 2 cartes en load balancing à répartir la charge aussi également que possible et donc à profiter de la bande passante de la somme des 2 ?

je veux juste pouvoir transférer à 100MB/s entre le PC et le NAS.
Si c'est impossible n'hésitez pas à me le dire comme ça je laisserai tomber, j'en ferai pas une maladie  ;)
« Modifié: 08 novembre 2012 à 23:21:45 par scavenger »

vivien

  • Administrateur
  • *
  • Messages: 47 169
    • Twitter LaFibre.info
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #17 le: 09 novembre 2012 à 14:08:54 »
Il existe plusieurs types de 802.3ad. Si tu fais la répartition par Adresse mac ou par adresse IP il faut de nombreux PC connectés pour utiliser les deux ports simultanèment.

Si tu fais la répartition en ajoutant en plus les ports alors avec de multiples connexions en parallèle (-P 10 sous Iperf), tu pourras utiliser les deux ports simultanèment.

Pour rappel :
- Mode 4 : IEEE 802.3ad : Groupement de ports pour load balancing et Failover : Fonctionne les switchs Ethernet qui supportent cette norme. Le mécanisme de load blancing est similaire à celui du mode Balance-XOR.Il est basé sur le principe qui consiste à affecter toujours le même chemin à la même machine en fonction du couple IP source / IP destination / port. Cela implique que le switch gère le 802.ad et les interfaces soient compatibles mii-tool et/ou ethtool.

La répartition du trafic se fait par un hash XOR (eXclusive OR ou OU exclusif) en fonction des arguments sélectionnables suivants :
  • les adresses MAC(source et ou destination)
  • les adresses IP (source et ou destination)
  • le port applicatif (destination)

Tous les ports d'un groupe doivent obligatoirement être paramétrés à la même vitesse, même duplex (full/half), même VLAN, même mode (access/trunk).

Concrètement, sous linux, c'est le fichier n/etc/modprobe.d/aliase-bond.conf à configurer.

alias bond0 bonding
options bonding mode=4 xmit_hash_policy=layer3+4 miimon=100 downdelay=200 updelay=200

mode=4 : signifie que nous utilisons le mode 802.3ad
xmit_hash_policy=layer3+4 : choix de l'interface en upload via les info niveau 3 (IP source et IP destination) et 4 (port source et port destination). Par défaut c'est le niveau 2 (adresse mac) => Dans la cas d'un serveur avec une passerelle par défaut, tout le trafic hors du réseau local part via la même interface. Cela ne concerne que l'upload. Pour le download, la configuration se fait sur le switch.
miimon=100 : une vérification de l'état des interfaces physiques est effectuée toutes les 100ms.

En 802.3ad, quel que soit la configuration utilisé, une connexion TCP ou UDP passera toujours par un seul port.

scavenger

  • Abonné Free adsl
  • *
  • Messages: 12
  • Paris (75)
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #18 le: 28 novembre 2012 à 22:10:23 »
tu as tout à fait raison, je n'avais pas saisi cette subtilité. Le mode 802.3ad n'était pas ce que je voulais.
en modifiant des paramètres de la TEAM du PC, j'ai ainsi découvert que mes ports se mettaient en Tx/Rx ou Tx ou Rx seul, selon la configuration.

- j'ai ainsi sélectionné le mode SLB + round Robin => j'ai bien du Tx/Rx sur les 2 ports, et la charge est bien répartie
- sur le NAS j'ai sélectionné le mode correspondant : Balance-ALB

quand je transfert dans les 2 sens, j'ai bien une répartition sur les 2 ports :-) mission réussie !!
Sur le NAS par contre c'est toujours Tx ou Rx sur une seul des 2 cartes, mais ce n'est pas grave, j'ai la réponse à ma recherche :

mes taux de transferts sont toujours aussi dégueulasses voir pire. En effet dans le switch je remarque un tas de paquets en erreur.
Comme il est indiqué dans la config du PC, le mode Round Robin ne garanti pas l'ordre des paquets à l'arrivée. Ce qui provoque des rejets et donc des retransmissions, d'où la présence de paquets en erreur (le switch n'indique pas ce que veut dire "paquet en erreur" et ce n'est pas son rôle, c'est juste mon interprétation)
Le débit n'est donc pas meilleur, puisque ce que je gagne d'un côté je le perd de l'autre.

Ma conclusion de tout ce temps perdu c'est que aujourd'hui en 2012 avec les technologies actuelles à ma disposition, il m'est impossible de transférer plus d'information avec 2 cables qu'avec un seul.
Peut être existe-t-il des switchs qui réordonnent les paquets à transmettre, mais ce n'est que pure hypothèse, et si ça existe c'est sûrement très cher.

Je crois que je vais devoir me contenter d'un mode qui permet un seul sens de transmission sur chaque cable, et ce des 2 côtés, en sus d'un failover.
Je suis très déçu, j'avais un rêve et je constate que la technologie le permettant n'existe pas.

comment font les gens qui testent les NAS sur les site de tests pour avoir des débits de 90MB ??

vivien

  • Administrateur
  • *
  • Messages: 47 169
    • Twitter LaFibre.info
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #19 le: 29 novembre 2012 à 12:00:07 »
Pour avoir de meilleurs débit ce n'est pas le réseau qui est important (avec un seul câble 1Gb/s tu peux avoir 110 Mo/s) mais les disques dur et/ou le processeur de ton NAS.

Je privilégie plus le disque sur. Pour faire du 90Mo/s il faut un disque dur qui ne soit pas bas de gamme et faire une lecture séquentielle d'un gros fichier (non fragmenté)

scavenger

  • Abonné Free adsl
  • *
  • Messages: 12
  • Paris (75)
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #20 le: 29 novembre 2012 à 20:40:16 »
en local sur le NAS je copie un fichier à 120MB/s et quand je transfert, le CPU est pas franchement utilisé...
je transfert sur un RAM disk du PC bien entendu...
J'ai testé d'autres versions de Windows, notamment 7, mais pas mieux...
Les cables sont CAT5 donc c pas le souci.

Le sujet dérive donc je vais repasser sur les forums de Thecus.

merci vivien seb et tous les autres pour l'aide apportée !!!  8)

vivien

  • Administrateur
  • *
  • Messages: 47 169
    • Twitter LaFibre.info
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #21 le: 02 octobre 2013 à 13:19:54 »
Avec l’arrivée des connexions FTTH à 1 Gb/s, Je cherche à faire la même chose pour un serveur.
Aujourd'hui je suis en Mode 4 : IEEE 802.3ad donc une connexion TCP est toujours sur la même interface limitée à 1 Gb/s.
=> Si il y a 100 Mb/s au moment ou le test 1 Gb/s est réalisé, le débit max sera de 900 Mb/s.

Vous avez compris si le Mode 0 : Round Robin (équilibrage de charge) permet d'envoyer 2 Gb/s et recevoir 2 Gb/s avec une même connexion TCP ?

Si oui, quel est la différence avec le Mode 6 : Adaptative load balancing (balance-alb) ?

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 091
  • Paris (75)
GS108T + NC360T + N5550 load balancing : 33MB/s ??
« Réponse #22 le: 03 octobre 2013 à 01:15:00 »
seul le mode balance-rr permet de distribuer une même connexion TCP sur plusieurs liens physiques.
Ce mode génère souvent des 'out of order' qui entraînent des retransmissions.
Ce mode doit être supporté par le switch ce qui n'est pas souvent le cas.

Sinon ce que tu cherches à faire s’appelle du Multipath TCP , c'est en cours de normalisation et de mise au point donc expérimental et très peu supporté. En labo, le record est de 50Gbs pour un meme connexion TCP sur 6 liens 10Gbps. C'est plus haut niveau que LACP dont devrait marcher quelque soit l’équipement hardware.

Le port de Multipath pour Linux: http://www.multipath-tcp.org/
un GoogleTechTalks d'1h30 d'explications de MultiPath:

Mistic77

  • Abonné SFR THD (câble)
  • *
  • Messages: 212
  • Savigny-le-Temple (77)