Je vois toujours pas comment cela t'a amené à parler d'un routeur backup wan.

Pour revenir sur le sujet des ICMP redirect, il reste des machines qui l'accepte donc elles vont ajouter une route /32 vers la bonne passerelle.
Ce qui va "résoudre" l'asymétrie de routage au bout de quelques trames.

Quelqu'un a une FreeBox et un génerateur de paquet afin de tester si elle offload bien les flux vers les routes statiques ?

Je ne suis pas sûr qu'on puisse vérifier ça simplement. Il faudrait pouvoir accéder à la Freebox pour pouvoir lancer des outils locaux et vérifier notamment la charge CPU.

J'ai fait le test de supprimer les règles de NAT du routeur derrière et ajouter la route statique sur la Freebox et j'obtiens un débit normal mais ça ne prouve pas grand chose :

iperf3 -c ping.online.net -p 5208 -P1 -t 15  -R
Connecting to host ping.online.net, port 5208
Reverse mode, remote host ping.online.net is sending
[  5] local 192.168.10.2 port 34034 connected to 51.158.1.21 port 5208
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   706 MBytes  5.92 Gbits/sec                 
[  5]   1.00-2.00   sec   855 MBytes  7.17 Gbits/sec                 
[  5]   2.00-3.00   sec   844 MBytes  7.08 Gbits/sec                 
[  5]   3.00-4.00   sec   826 MBytes  6.93 Gbits/sec                 
[  5]   4.00-5.00   sec   851 MBytes  7.14 Gbits/sec                 
[  5]   5.00-6.00   sec   838 MBytes  7.03 Gbits/sec                 
[  5]   6.00-7.00   sec   876 MBytes  7.35 Gbits/sec                 
[  5]   7.00-8.00   sec   839 MBytes  7.03 Gbits/sec                 
[  5]   8.00-9.00   sec   832 MBytes  6.98 Gbits/sec                 
[  5]   9.00-10.00  sec   824 MBytes  6.91 Gbits/sec                 
[  5]  10.00-11.00  sec   644 MBytes  5.41 Gbits/sec                 
[  5]  11.00-12.00  sec   835 MBytes  6.99 Gbits/sec                 
[  5]  12.00-13.00  sec   824 MBytes  6.91 Gbits/sec                 
[  5]  13.00-14.00  sec   864 MBytes  7.25 Gbits/sec                 
[  5]  14.00-15.00  sec   835 MBytes  7.00 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-15.04  sec  12.1 GBytes  6.91 Gbits/sec  180258            sender
[  5]   0.00-15.00  sec  12.0 GBytes  6.88 Gbits/sec                  receiver

Sur l'interface WAN du routeur on voit bien le hostname du client et non plus la passerelle :

12:15:11.780982 IP 51.158.1.21.5208 > xxxx.yyyy.lan.52096: Flags [.], seq 2190866521:2190876657, ack 38, win 8, options [nop,nop,TS val 904245968 ecr 2381116567], length 10136
12:15:11.781104 IP xxxx.yyyy.lan.52096 > 51.158.1.21.5208: Flags [R], seq 2759547502, win 0, length 0

Edit : avec le NAT actif :

iperf3 -c ping.online.net -p 5208 -P1 -t 15  -R
Connecting to host ping.online.net, port 5208
Reverse mode, remote host ping.online.net is sending
[  5] local 192.168.10.2 port 39690 connected to 51.158.1.21 port 5208
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   777 MBytes  6.51 Gbits/sec                 
[  5]   1.00-2.00   sec   836 MBytes  7.01 Gbits/sec                 
[  5]   2.00-3.00   sec   839 MBytes  7.04 Gbits/sec                 
[  5]   3.00-4.00   sec   818 MBytes  6.86 Gbits/sec                 
[  5]   4.00-5.00   sec   834 MBytes  7.00 Gbits/sec                 
[  5]   5.00-6.00   sec   834 MBytes  7.00 Gbits/sec                 
[  5]   6.00-7.00   sec   827 MBytes  6.94 Gbits/sec                 
[  5]   7.00-8.00   sec   828 MBytes  6.94 Gbits/sec                 
[  5]   8.00-9.00   sec   779 MBytes  6.54 Gbits/sec                 
[  5]   9.00-10.00  sec   813 MBytes  6.82 Gbits/sec                 
[  5]  10.00-11.00  sec   645 MBytes  5.41 Gbits/sec                 
[  5]  11.00-12.00  sec   830 MBytes  6.96 Gbits/sec                 
[  5]  12.00-13.00  sec   825 MBytes  6.92 Gbits/sec                 
[  5]  13.00-14.00  sec   833 MBytes  6.99 Gbits/sec                 
[  5]  14.00-15.00  sec   818 MBytes  6.86 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-15.04  sec  11.9 GBytes  6.82 Gbits/sec  101126            sender
[  5]   0.00-15.00  sec  11.9 GBytes  6.79 Gbits/sec                  receiver

12:18:56.656764 IP 192.168.200.254.39690 > 51.158.1.21.5208: Flags [.], ack 3271692817, win 21746, options [nop,nop,TS val 2381341465 ecr 904470846], length 0
12:18:56.656767 IP 51.158.1.21.5208 > 192.168.200.254.39690: Flags [P.], seq 3271692817:3271694265, ack 38, win 8, options [nop,nop,TS val 904470846 ecr 2381341445], length 1448


Ce qu'il faudrait aussi essayer c'est un test de débit en interne en bloquant les ICMP redirect. Dans la direction FB > routeur. Le client envoie tout à la FB qui redirige sur le routeur.

On verrait au moins si elle supporte les 2,5 Gbps si jamais c'est pas offload.

Y'a pas une genre de moniteur système pour voir la charge CPU ? Il me semblait pourtant avoir vu un truc ou je confonds avec la température...

Je n'arrive pas franchement à voir comment on peut faire sans outil ni accès à la Freebox. Si t'as des idées je suis preneur.
Il faudrait un iperf3 ou du genre mais il n'y a pas.

J'ai désactivé le "send-redirects" sur mon routeur VyOS et refait un iperf3 depuis un client dont la route existe sur la fbx (client > routeur > fbx) mais j'ai toujours le même résultat (débit max).

Il n'y a pas de courbes CPU, uniquement température et débit.

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-60.04  sec  52.4 GBytes  7.50 Gbits/sec  522467            sender
[  5]   0.00-60.00  sec  52.3 GBytes  7.49 Gbits/sec                  receiver