Auteur Sujet: Serveurs Proxmox LACP (Lu 6218 fois)

blanguedoc · « **le:** 17 mars 2020 à 17:51:13 »

Bien le bonjour

Voilà cela fait plusieurs mois que j'essaye de comprendre pourquoi en LACP avec 2 Proxmox je n'atteints même pas les 2 Gbps avec 3x1 Gbps

Switch : Allied Telesis AT-9924 T-EMC
Serveurs : HP Proliant DL360p 4x 1 Gbps 1 réservait au management

J'ai essayé de mettre 3 cartes virtuelles et faire un LACP avec une VM j'atteignis Max 1 Gbps
J'ai essayé de mettre les 3 cartes physiques en LACP cela ne change rien
Je dispose d'un VLAN dédié au VM en TaggedPort sur les 6 Cartes réseaux physiques

Je n'ai plus aucune idée.. :/

Merci d'avance
Cordialement Bastien L

Zweit · « **Réponse #1 le:** 17 mars 2020 à 18:16:49 »

Salut,

Mes connaissances dans le domaine sont assez limitées, mais voici comment est configuré mon nœud chez moi (petit serveur home-made avec une carte réseau intel 82575 2x1 GbE). C'est le seul équipement que j'ai sur le réseau en 2 Gbps, mais en faisant des iperf depuis et vers d'autres postes en simultané, j'arrive presque à saturer mes 2 Gbps (je pense que le peu qu'il me manque vient du fait que la carte soit en PCIe 2.0, et que le bus sature).

Si ça peut aider...

blanguedoc · « **Réponse #2 le:** 17 mars 2020 à 18:43:19 »

Merci de ta réponse je vais test cela de suite

blanguedoc · « **Réponse #3 le:** 17 mars 2020 à 18:56:28 »

Bon je sens une grosse amélioration en faisais qu'un seul serveur j'atteint 1.4 Gbps plus qu'à faire l'autre voir

blanguedoc · « **Réponse #4 le:** 17 mars 2020 à 19:53:58 »

Déçu... voir screen

JeannotPlanche · « **Réponse #5 le:** 17 mars 2020 à 19:56:43 »

Quel type de trafic mesures-tu ? Un seul flux entre deux postes ?
Et apparemment, tu n'as pas choisi de politique ?
Par défaut, si je ne m'abuse, le choix est celui-ci :

Citer

balance-rr or 0

      Round-robin policy: Transmit packets in sequential
      order from the first available slave through the
      last. This mode provides load balancing and fault
      tolerance.

En gros, ça n'améliore pas les performances. Il faut regarder les options pour le hashage sur la MAC, sur le port TCP etc.
Regarde les options sur https://www.kernel.org/doc/Documentation/networking/bonding.txt ou cherche sur Internet

Il faut faire un cat /proc/net/bonding/bond0 (de mémoire) pour voir le détail.

Edit : Ah oui, si tu fais un iperf, c'est un seul flux entre deux IP et deux MAC, le Bonding n'apporte pas forcément grand chose, il faut regarder le réglage etc.

blanguedoc · « **Réponse #6 le:** 17 mars 2020 à 20:10:21 »

Ceux que je comprend pas c'est que j'ai suivis plein de tutoriel ils arrivent tous à mini 2Gbps moi.. 1Gbps

Transfert SMB VM Windows Proxmox2 à VM Windows Proxmox1

LACP bien détecté par le Switch "1-4" "5-8"

Thornhill · « **Réponse #7 le:** 17 mars 2020 à 20:12:59 »

Citation de: JeannotPlanche le 17 mars 2020 à 19:56:43

Par défaut, si je ne m'abuse, le choix est celui-ci :
balance-rr or 0

Non, ça c'est un mode différent de LACP

Citation de: JeannotPlanche le 17 mars 2020 à 19:56:43

En gros, ça n'améliore pas les performances. Il faut regarder les options pour le hashage sur la MAC, sur le port TCP etc.

Oui, voilà pour LACP il faut choisir un hash Policy qui permet de répartir sur plusieurs interfaces en fonction du port UDP/TCP et pas seulement les MAC (par défaut sous Linux) ou l'IP.
Et bien sûr il faut paralléliser les transferts pour en tirer parti (mutli-flux).

xmit_hash_policy

   Selects the transmit hash policy to use for slave selection in
   balance-xor, 802.3ad, and tlb modes. Possible values are:

   layer2

      Uses XOR of hardware MAC addresses and packet type ID
      field to generate the hash. The formula is

      hash = source MAC XOR destination MAC XOR packet type ID
      slave number = hash modulo slave count

      This algorithm will place all traffic to a particular
      network peer on the same slave.

      This algorithm is 802.3ad compliant.

   layer2+3

      This policy uses a combination of layer2 and layer3
      protocol information to generate the hash.

      Uses XOR of hardware MAC addresses and IP addresses to
      generate the hash. The formula is

      hash = source MAC XOR destination MAC XOR packet type ID
      hash = hash XOR source IP XOR destination IP
      hash = hash XOR (hash RSHIFT 16)
      hash = hash XOR (hash RSHIFT

      And then hash is reduced modulo slave count.

      If the protocol is IPv6 then the source and destination
      addresses are first hashed using ipv6_addr_hash.

      This algorithm will place all traffic to a particular
      network peer on the same slave. For non-IP traffic,
      the formula is the same as for the layer2 transmit
      hash policy.

      This policy is intended to provide a more balanced
      distribution of traffic than layer2 alone, especially
      in environments where a layer3 gateway device is
      required to reach most destinations.

      This algorithm is 802.3ad compliant.

   layer3+4

      This policy uses upper layer protocol information,
      when available, to generate the hash. This allows for
      traffic to a particular network peer to span multiple
      slaves, although a single connection will not span
      multiple slaves.

      The formula for unfragmented TCP and UDP packets is

      hash = source port, destination port (as in the header)
      hash = hash XOR source IP XOR destination IP
      hash = hash XOR (hash RSHIFT 16)
      hash = hash XOR (hash RSHIFT

      And then hash is reduced modulo slave count.

      If the protocol is IPv6 then the source and destination
      addresses are first hashed using ipv6_addr_hash.

      For fragmented TCP or UDP packets and all other IPv4 and
      IPv6 protocol traffic, the source and destination port
      information is omitted. For non-IP traffic, the
      formula is the same as for the layer2 transmit hash
      policy.

      This algorithm is not fully 802.3ad compliant. A
      single TCP or UDP conversation containing both
      fragmented and unfragmented packets will see packets
      striped across two interfaces. This may result in out
      of order delivery. Most traffic types will not meet
      this criteria, as TCP rarely fragments traffic, and
      most UDP traffic is not involved in extended
      conversations. Other implementations of 802.3ad may
      or may not tolerate this noncompliance.

blanguedoc · « **Réponse #8 le:** 17 mars 2020 à 20:17:13 »

J'ai essayé Layer 2+3 et 3+4 aucuns n'ont fonctionné... 1 Gbps pas plus

kgersen · « **Réponse #9 le:** 17 mars 2020 à 21:43:04 »

ce n'est absolument par clair comment tu mesure le débit...

et pour que SMB utilise plusieurs canaux (SMB Multichannel) c'est plus compliqué que ca.
voir: https://docs.microsoft.com/en-us/archive/blogs/josebda/the-basics-of-smb-multichannel-a-feature-of-windows-server-2012-and-smb-3-0

blanguedoc · « **Réponse #10 le:** 18 mars 2020 à 00:03:20 »

J'ai suivi l'ensemble du tuto pour le multichannel SMB vitesse max 985 Mbps
Pourtant je devrais être au minimum à 2 Gbps

Client Ok

Server Ok

Optix · « **Réponse #11 le:** 18 mars 2020 à 00:11:47 »

Dans Proxmox, configure ton bonding en "balance-rr" et coupe le LACP, et vroom