La Fibre
Datacenter et équipements réseaux => Équipements réseaux => NAS, serveurs et micro-serveurs => Discussion démarrée par: blanguedoc le 17 mars 2020 à 17:51:13
-
Bien le bonjour :)
Voilà cela fait plusieurs mois que j'essaye de comprendre pourquoi en LACP avec 2 Proxmox je n'atteints même pas les 2 Gbps avec 3x1 Gbps
Switch : Allied Telesis AT-9924 T-EMC
Serveurs : HP Proliant DL360p 4x 1 Gbps 1 réservait au management
J'ai essayé de mettre 3 cartes virtuelles et faire un LACP avec une VM j'atteignis Max 1 Gbps
J'ai essayé de mettre les 3 cartes physiques en LACP cela ne change rien
Je dispose d'un VLAN dédié au VM en TaggedPort sur les 6 Cartes réseaux physiques
Je n'ai plus aucune idée.. :/
Merci d'avance
Cordialement Bastien L
-
Salut,
Mes connaissances dans le domaine sont assez limitées, mais voici comment est configuré mon nœud chez moi (petit serveur home-made avec une carte réseau intel 82575 2x1 GbE). C'est le seul équipement que j'ai sur le réseau en 2 Gbps, mais en faisant des iperf depuis et vers d'autres postes en simultané, j'arrive presque à saturer mes 2 Gbps (je pense que le peu qu'il me manque vient du fait que la carte soit en PCIe 2.0, et que le bus sature).
Si ça peut aider...
-
Merci de ta réponse je vais test cela de suite
(https://zupimages.net/up/20/12/v3kd.png)
(https://zupimages.net/up/20/12/rjup.png)
-
Bon je sens une grosse amélioration en faisais qu'un seul serveur j'atteint 1.4 Gbps plus qu'à faire l'autre voir :)
-
Déçu... voir screen
(https://zupimages.net/up/20/12/sf6m.png)
(https://zupimages.net/up/20/12/knrt.png)
-
Quel type de trafic mesures-tu ? Un seul flux entre deux postes ?
Et apparemment, tu n'as pas choisi de politique ?
Par défaut, si je ne m'abuse, le choix est celui-ci :
balance-rr or 0
Round-robin policy: Transmit packets in sequential
order from the first available slave through the
last. This mode provides load balancing and fault
tolerance.
En gros, ça n'améliore pas les performances. Il faut regarder les options pour le hashage sur la MAC, sur le port TCP etc.
Regarde les options sur https://www.kernel.org/doc/Documentation/networking/bonding.txt ou cherche sur Internet
Il faut faire un cat /proc/net/bonding/bond0 (de mémoire) pour voir le détail.
Edit : Ah oui, si tu fais un iperf, c'est un seul flux entre deux IP et deux MAC, le Bonding n'apporte pas forcément grand chose, il faut regarder le réglage etc.
-
Ceux que je comprend pas c'est que j'ai suivis plein de tutoriel ils arrivent tous à mini 2Gbps moi.. 1Gbps
(https://zupimages.net/up/20/12/283l.png)
Transfert SMB VM Windows Proxmox2 à VM Windows Proxmox1
(https://zupimages.net/up/20/12/rlt5.png)
LACP bien détecté par le Switch "1-4" "5-8"
-
Par défaut, si je ne m'abuse, le choix est celui-ci :
balance-rr or 0
Non, ça c'est un mode différent de LACP
En gros, ça n'améliore pas les performances. Il faut regarder les options pour le hashage sur la MAC, sur le port TCP etc.
Oui, voilà pour LACP il faut choisir un hash Policy qui permet de répartir sur plusieurs interfaces en fonction du port UDP/TCP et pas seulement les MAC (par défaut sous Linux) ou l'IP.
Et bien sûr il faut paralléliser les transferts pour en tirer parti (mutli-flux).
xmit_hash_policy
Selects the transmit hash policy to use for slave selection in
balance-xor, 802.3ad, and tlb modes. Possible values are:
layer2
Uses XOR of hardware MAC addresses and packet type ID
field to generate the hash. The formula is
hash = source MAC XOR destination MAC XOR packet type ID
slave number = hash modulo slave count
This algorithm will place all traffic to a particular
network peer on the same slave.
This algorithm is 802.3ad compliant.
layer2+3
This policy uses a combination of layer2 and layer3
protocol information to generate the hash.
Uses XOR of hardware MAC addresses and IP addresses to
generate the hash. The formula is
hash = source MAC XOR destination MAC XOR packet type ID
hash = hash XOR source IP XOR destination IP
hash = hash XOR (hash RSHIFT 16)
hash = hash XOR (hash RSHIFT 8)
And then hash is reduced modulo slave count.
If the protocol is IPv6 then the source and destination
addresses are first hashed using ipv6_addr_hash.
This algorithm will place all traffic to a particular
network peer on the same slave. For non-IP traffic,
the formula is the same as for the layer2 transmit
hash policy.
This policy is intended to provide a more balanced
distribution of traffic than layer2 alone, especially
in environments where a layer3 gateway device is
required to reach most destinations.
This algorithm is 802.3ad compliant.
layer3+4
This policy uses upper layer protocol information,
when available, to generate the hash. This allows for
traffic to a particular network peer to span multiple
slaves, although a single connection will not span
multiple slaves.
The formula for unfragmented TCP and UDP packets is
hash = source port, destination port (as in the header)
hash = hash XOR source IP XOR destination IP
hash = hash XOR (hash RSHIFT 16)
hash = hash XOR (hash RSHIFT 8)
And then hash is reduced modulo slave count.
If the protocol is IPv6 then the source and destination
addresses are first hashed using ipv6_addr_hash.
For fragmented TCP or UDP packets and all other IPv4 and
IPv6 protocol traffic, the source and destination port
information is omitted. For non-IP traffic, the
formula is the same as for the layer2 transmit hash
policy.
This algorithm is not fully 802.3ad compliant. A
single TCP or UDP conversation containing both
fragmented and unfragmented packets will see packets
striped across two interfaces. This may result in out
of order delivery. Most traffic types will not meet
this criteria, as TCP rarely fragments traffic, and
most UDP traffic is not involved in extended
conversations. Other implementations of 802.3ad may
or may not tolerate this noncompliance.
-
J'ai essayé Layer 2+3 et 3+4 aucuns n'ont fonctionné... 1 Gbps pas plus
-
ce n'est absolument par clair comment tu mesure le débit...
et pour que SMB utilise plusieurs canaux (SMB Multichannel) c'est plus compliqué que ca.
voir: https://docs.microsoft.com/en-us/archive/blogs/josebda/the-basics-of-smb-multichannel-a-feature-of-windows-server-2012-and-smb-3-0
-
J'ai suivi l'ensemble du tuto pour le multichannel SMB vitesse max 985 Mbps
Pourtant je devrais être au minimum à 2 Gbps
Client Ok
(https://zupimages.net/up/20/12/n7d0.png)
Server Ok
(https://zupimages.net/up/20/12/qppr.png)
-
Dans Proxmox, configure ton bonding en "balance-rr" et coupe le LACP, et vroom :)
-
D'accord je go faire ça alors ;)
(https://zupimages.net/up/20/12/gzqd.png)
-
Bon j'ai testé...
(https://zupimages.net/up/20/12/keee.png)
Mes VM en Vlan plante toute les 5sec perte de connectivité constamment
-
Le balance-rr est très con : il balance les paquets sur autant de ports qui sont dans le bonding de façon équitable. Mais attention. Si tu débranches un port, il continuera à émettre dessus !
68% de perte ? Bah il faut brancher les 2 autres liens :)
-
Bonjour, tout les liens sont branchée
-
Bonjour, tout les liens sont branchée
Ok, au niveau du switch, le LACP est bien coupé ?
Il faut aussi mettre les ports dans un aggrégat static (le lacp est un aggrégat dynamique). Et après tu seras bon.
-
Ah non suite que 4 ports WAN en LACP sur le Firewall