Je vois toujours pas comment cela t'a amené à parler d'un routeur backup wan.

Pour revenir sur le sujet des ICMP redirect, il reste des machines qui l'accepte donc elles vont ajouter une route /32 vers la bonne passerelle.
Ce qui va "résoudre" l'asymétrie de routage au bout de quelques trames.

Quelqu'un a une FreeBox et un génerateur de paquet afin de tester si elle offload bien les flux vers les routes statiques ?

Je ne suis pas sûr qu'on puisse vérifier ça simplement. Il faudrait pouvoir accéder à la Freebox pour pouvoir lancer des outils locaux et vérifier notamment la charge CPU.

J'ai fait le test de supprimer les règles de NAT du routeur derrière et ajouter la route statique sur la Freebox et j'obtiens un débit normal mais ça ne prouve pas grand chose :

iperf3 -c ping.online.net -p 5208 -P1 -t 15  -R
Connecting to host ping.online.net, port 5208
Reverse mode, remote host ping.online.net is sending
[  5] local 192.168.10.2 port 34034 connected to 51.158.1.21 port 5208
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   706 MBytes  5.92 Gbits/sec                 
[  5]   1.00-2.00   sec   855 MBytes  7.17 Gbits/sec                 
[  5]   2.00-3.00   sec   844 MBytes  7.08 Gbits/sec                 
[  5]   3.00-4.00   sec   826 MBytes  6.93 Gbits/sec                 
[  5]   4.00-5.00   sec   851 MBytes  7.14 Gbits/sec                 
[  5]   5.00-6.00   sec   838 MBytes  7.03 Gbits/sec                 
[  5]   6.00-7.00   sec   876 MBytes  7.35 Gbits/sec                 
[  5]   7.00-8.00   sec   839 MBytes  7.03 Gbits/sec                 
[  5]   8.00-9.00   sec   832 MBytes  6.98 Gbits/sec                 
[  5]   9.00-10.00  sec   824 MBytes  6.91 Gbits/sec                 
[  5]  10.00-11.00  sec   644 MBytes  5.41 Gbits/sec                 
[  5]  11.00-12.00  sec   835 MBytes  6.99 Gbits/sec                 
[  5]  12.00-13.00  sec   824 MBytes  6.91 Gbits/sec                 
[  5]  13.00-14.00  sec   864 MBytes  7.25 Gbits/sec                 
[  5]  14.00-15.00  sec   835 MBytes  7.00 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-15.04  sec  12.1 GBytes  6.91 Gbits/sec  180258            sender
[  5]   0.00-15.00  sec  12.0 GBytes  6.88 Gbits/sec                  receiver

Sur l'interface WAN du routeur on voit bien le hostname du client et non plus la passerelle :

12:15:11.780982 IP 51.158.1.21.5208 > xxxx.yyyy.lan.52096: Flags [.], seq 2190866521:2190876657, ack 38, win 8, options [nop,nop,TS val 904245968 ecr 2381116567], length 10136
12:15:11.781104 IP xxxx.yyyy.lan.52096 > 51.158.1.21.5208: Flags [R], seq 2759547502, win 0, length 0

Edit : avec le NAT actif :

iperf3 -c ping.online.net -p 5208 -P1 -t 15  -R
Connecting to host ping.online.net, port 5208
Reverse mode, remote host ping.online.net is sending
[  5] local 192.168.10.2 port 39690 connected to 51.158.1.21 port 5208
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   777 MBytes  6.51 Gbits/sec                 
[  5]   1.00-2.00   sec   836 MBytes  7.01 Gbits/sec                 
[  5]   2.00-3.00   sec   839 MBytes  7.04 Gbits/sec                 
[  5]   3.00-4.00   sec   818 MBytes  6.86 Gbits/sec                 
[  5]   4.00-5.00   sec   834 MBytes  7.00 Gbits/sec                 
[  5]   5.00-6.00   sec   834 MBytes  7.00 Gbits/sec                 
[  5]   6.00-7.00   sec   827 MBytes  6.94 Gbits/sec                 
[  5]   7.00-8.00   sec   828 MBytes  6.94 Gbits/sec                 
[  5]   8.00-9.00   sec   779 MBytes  6.54 Gbits/sec                 
[  5]   9.00-10.00  sec   813 MBytes  6.82 Gbits/sec                 
[  5]  10.00-11.00  sec   645 MBytes  5.41 Gbits/sec                 
[  5]  11.00-12.00  sec   830 MBytes  6.96 Gbits/sec                 
[  5]  12.00-13.00  sec   825 MBytes  6.92 Gbits/sec                 
[  5]  13.00-14.00  sec   833 MBytes  6.99 Gbits/sec                 
[  5]  14.00-15.00  sec   818 MBytes  6.86 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-15.04  sec  11.9 GBytes  6.82 Gbits/sec  101126            sender
[  5]   0.00-15.00  sec  11.9 GBytes  6.79 Gbits/sec                  receiver

12:18:56.656764 IP 192.168.200.254.39690 > 51.158.1.21.5208: Flags [.], ack 3271692817, win 21746, options [nop,nop,TS val 2381341465 ecr 904470846], length 0
12:18:56.656767 IP 51.158.1.21.5208 > 192.168.200.254.39690: Flags [P.], seq 3271692817:3271694265, ack 38, win 8, options [nop,nop,TS val 904470846 ecr 2381341445], length 1448


Ce qu'il faudrait aussi essayer c'est un test de débit en interne en bloquant les ICMP redirect. Dans la direction FB > routeur. Le client envoie tout à la FB qui redirige sur le routeur.

On verrait au moins si elle supporte les 2,5 Gbps si jamais c'est pas offload.

Y'a pas une genre de moniteur système pour voir la charge CPU ? Il me semblait pourtant avoir vu un truc ou je confonds avec la température...

Je n'arrive pas franchement à voir comment on peut faire sans outil ni accès à la Freebox. Si t'as des idées je suis preneur.
Il faudrait un iperf3 ou du genre mais il n'y a pas.

J'ai désactivé le "send-redirects" sur mon routeur VyOS et refait un iperf3 depuis un client dont la route existe sur la fbx (client > routeur > fbx) mais j'ai toujours le même résultat (débit max).

Il n'y a pas de courbes CPU, uniquement température et débit.

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-60.04  sec  52.4 GBytes  7.50 Gbits/sec  522467            sender
[  5]   0.00-60.00  sec  52.3 GBytes  7.49 Gbits/sec                  receiver


On utilise pas la Freebox : un test iperf entre un client win/linux sur le subnet freebox, vers le subnet du routeur. Et le client côté FB bloque les ICMP redirect.

Bon je pense avoir réussi après pas mal d'essais.

- VM Linux en 192.168.200.4 (subnet Freebox) avec la Freebox en gateway et send|accept_redirect à 0.
- VM Linux en 192.168.10.5 (subnet local, route ajoutée sur la Freebox).

J'ai fait pas mal de tests et je voyais bien sur les ports de switches les flux iperf3 entre les switches, les Proxmox, le routeur mais pas sur la Freebox ce qui indiquait que cela ne transitait pas par elle.
J'ai fini par réussir (sans doute un redirect non bloqué initialement) et là je vois bien le port de la Freebox (côté switch).



J'obtiens quasi 8 Gbps :

iperf3 -c 192.168.200.4 -R
Connecting to host 192.168.200.4, port 5201
Reverse mode, remote host 192.168.200.4 is sending
[  5] local 192.168.10.5 port 32934 connected to 192.168.200.4 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   884 MBytes  7.41 Gbits/sec                 
[  5]   1.00-2.00   sec   908 MBytes  7.61 Gbits/sec                 
[  5]   2.00-3.00   sec   890 MBytes  7.47 Gbits/sec                 
[  5]   3.00-4.00   sec   880 MBytes  7.38 Gbits/sec                 
[  5]   4.00-5.00   sec   892 MBytes  7.49 Gbits/sec                 
[  5]   5.00-6.00   sec   890 MBytes  7.46 Gbits/sec                 
[  5]   6.00-7.00   sec   891 MBytes  7.47 Gbits/sec                 
[  5]   7.00-8.00   sec   886 MBytes  7.43 Gbits/sec                 
[  5]   8.00-9.00   sec   893 MBytes  7.50 Gbits/sec                 
[  5]   9.00-10.00  sec   878 MBytes  7.36 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  8.69 GBytes  7.46 Gbits/sec  2154            sender
[  5]   0.00-10.00  sec  8.68 GBytes  7.46 Gbits/sec                  receiver

Si je teste sans passer par la Freebox on voit que j'ai plus de débit :

iperf3 -c 172.16.5.2 -R
Connecting to host 172.16.5.2, port 5201
Reverse mode, remote host 172.16.5.2 is sending
[  5] local 192.168.10.5 port 55192 connected to 172.16.5.2 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  1.05 GBytes  9.05 Gbits/sec                 
[  5]   1.00-2.00   sec  1.08 GBytes  9.30 Gbits/sec                 
[  5]   2.00-3.00   sec  1.07 GBytes  9.22 Gbits/sec                 
[  5]   3.00-4.00   sec  1.06 GBytes  9.15 Gbits/sec                 
[  5]   4.00-5.00   sec  1.08 GBytes  9.31 Gbits/sec                 
[  5]   5.00-6.00   sec  1.05 GBytes  9.04 Gbits/sec                 
[  5]   6.00-7.00   sec  1.07 GBytes  9.17 Gbits/sec                 
[  5]   7.00-8.00   sec  1.08 GBytes  9.29 Gbits/sec                 
[  5]   8.00-9.00   sec  1.07 GBytes  9.17 Gbits/sec                 
[  5]   9.00-10.00  sec  1.08 GBytes  9.31 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  10.7 GBytes  9.21 Gbits/sec  209            sender
[  5]   0.00-10.00  sec  10.7 GBytes  9.20 Gbits/sec                  receiver

Est-ce qu'on peut vraiment conclure ?
Pas sûr en fait : soit la Freebox gère bien l'offload soit son CPU est suffisant pour supporter 8 Gbits/s sans firewalling etc. ?

On voit bien que le CPU "chauffe" quand ça transite par la Freebox :