Auteur Sujet: Problème de débit sur interfaces tunnelles type IPIP ou GRE (IPv4 IPv6) (Lu 13029 fois)

kaktuss77 · « **le:** 03 décembre 2019 à 15:28:02 »

Bonjour,

Je me permet d'ouvrir un post car je constate une "anomalie" sur la FTTH Orange (Offre LiveBox Fibre)

L'interconnexion à base de tunnel IPIP ou GRE est faite à partir d'un Routeur x86 (VyOS) (local) et un Mikrotik (Distant) hébergé (coucou Hugues

)

J'ai 2 connexion pour tester, Une Free sur archi 10G-EPON et une Orange 2G/600M

Je monte donc un tunnel de type IPIPv6, lorsque je le monte depuis le tunnel depuis la connexion Free j'ai entre 500 et 700Mbps ==> Parfait,
Cependant, lorsque je monte le même tunnel entre les même équipements via la FTTH Orange, je tombe à 100-150Mbps.

J'avais initialement un Mikrotik x86 coté local également, mais je dépassait à peine les 40Mbps sur la FTTH Orange et aucun soucis sur depuis la Free.

Ci joint les captures Iperf, les traceroute et un schéma (désolé j'avais que paint sous la main)

IPerf quand le tunnel est monté par Free

Code: [Sélectionner]

kaktuss@VyOS-RtR# iperf3 -c 89.84.1.186 -R -p 5206 -P 1
Connecting to host 89.84.1.186, port 5206
Reverse mode, remote host 89.84.1.186 is sending
[  4] local 10.70.70.1 port 36264 connected to 89.84.1.186 port 5206
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec  85.7 MBytes   719 Mbits/sec
[  4]   1.00-2.00   sec  59.1 MBytes   496 Mbits/sec
[  4]   2.00-3.00   sec  96.1 MBytes   806 Mbits/sec
[  4]   3.00-4.00   sec  91.4 MBytes   766 Mbits/sec
[  4]   4.00-5.00   sec  72.1 MBytes   605 Mbits/sec
[  4]   5.00-6.00   sec  91.5 MBytes   768 Mbits/sec
[  4]   6.00-7.00   sec  88.5 MBytes   742 Mbits/sec
[  4]   7.00-8.00   sec  81.2 MBytes   682 Mbits/sec
[  4]   8.00-9.00   sec  64.4 MBytes   540 Mbits/sec
[  4]   9.00-10.00  sec  77.9 MBytes   654 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec   814 MBytes   683 Mbits/sec  2669             sender
[  4]   0.00-10.00  sec   809 MBytes   678 Mbits/sec                  receiver

iperf Done.

Traceroute IPv4 du flux encapsulé dans le tunnel

Code: [Sélectionner]

kaktuss@VyOS-RtR# traceroute 89.84.1.186
traceroute to 89.84.1.186 (89.84.1.186), 30 hops max, 60 byte packets
 1  10.70.70.2 (10.70.70.2)  3.047 ms  2.969 ms  3.032 ms
 2  * * *   3.387 ms  3.354 ms  3.314 ms
 3  * * *  3.259 ms  3.186 ms  3.189 ms
 4  bouyguestelecom.par.franceix.net (37.49.236.63)  3.669 ms  3.657 ms  3.607 ms
 5  62.34.2.57 (62.34.2.57)  5.021 ms  5.001 ms  4.954 ms
 6  * * *
 7  89.89.101.141 (89.89.101.141)  5.003 ms  4.912 ms  4.850 ms
 8  89.84.1.186 (89.84.1.186)  4.309 ms  4.275 ms  4.238 ms

Traceroute IPv6 Routeur à Routeur via Free

Code: [Sélectionner]

kaktuss@VyOS-RtR# traceroute 2a0e:e701:xxxx::2
traceroute to 2a0e:e701:xxxx::2 (2a0e:e701:xxxx::2), 30 hops max, 80 byte packets
 1  2a01:e0a:14c:xxxx::1 (2a01:e0a:14c:xxxx::1)  0.232 ms  0.173 ms  0.215 ms
 2  2a01:e00:2b:f836:83e9::ffff (2a01:e00:2b:f836:83e9::ffff)  2.511 ms  2.497 ms  2.461 ms
 3  2a01:e00:2b:1700::ffff (2a01:e00:2b:1700::ffff)  2.359 ms * *
 4  * * 2a01:e00:2b::12 (2a01:e00:2b::12)  2.257 ms
 5  2a01:e00:2a::5 (2a01:e00:2a::5)  2.138 ms  2.078 ms  2.044 ms
 6  free.th2-1.rt.hopus.net (2a02:e5c:1:13::1)  1.819 ms  2.456 ms  2.491 ms
 7  lag-th2-1.dc3-2.rt.hopus.net (2a02:e5c:0:16::2)  2.622 ms  1.925 ms  1.806 ms
 8  appliwave.dc3-2.hopus.net (2a02:e5c:2:11::2)  1.936 ms  1.916 ms  2.027 ms
 9  milkywan.rbgp1-10g.dc2.paris.france.as200780.net (2a05:46c0:0:210::5)  2.246 ms  2.243 ms  2.190 ms
10  moon.milkywan.space (2a0b:cbc0:1::46)  1.979 ms  2.021 ms  1.960 ms
11  2a0e:e701:xxxx::2 (2a0e:e701:xxxx::2)  2.587 ms *  3.039 ms

Même chose depuis la FTTH Orange

IPerf

Code: [Sélectionner]

kaktuss@VyOS-RtR# iperf3 -c 89.84.1.186 -R -p 5206 -P 1
Connecting to host 89.84.1.186, port 5206
Reverse mode, remote host 89.84.1.186 is sending
[  4] local 10.70.70.1 port 36238 connected to 89.84.1.186 port 5206
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec  16.8 MBytes   141 Mbits/sec
[  4]   1.00-2.00   sec  14.0 MBytes   118 Mbits/sec
[  4]   2.00-3.00   sec  13.3 MBytes   111 Mbits/sec
[  4]   3.00-4.00   sec  15.5 MBytes   130 Mbits/sec
[  4]   4.00-5.00   sec  17.1 MBytes   144 Mbits/sec
[  4]   5.00-6.00   sec  15.1 MBytes   127 Mbits/sec
[  4]   6.00-7.00   sec  16.4 MBytes   138 Mbits/sec
[  4]   7.00-8.00   sec  13.7 MBytes   115 Mbits/sec
[  4]   8.00-9.00   sec  15.8 MBytes   133 Mbits/sec
[  4]   9.00-10.00  sec  14.7 MBytes   124 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec   164 MBytes   137 Mbits/sec  1533             sender
[  4]   0.00-10.00  sec   153 MBytes   128 Mbits/sec                  receiver

iperf Done.

Traceroute Flux encapsulé dans le tunnel

Code: [Sélectionner]

aktuss@VyOS-RtR# traceroute 89.84.1.186
traceroute to 89.84.1.186 (89.84.1.186), 30 hops max, 60 byte packets
 1  10.70.70.2 (10.70.70.2)  4.900 ms  5.137 ms  6.034 ms
 2  * * * 6.735 ms  7.150 ms  7.599 ms
 3  * * *  8.276 ms  8.609 ms  8.888 ms
 4  bouyguestelecom.par.franceix.net (37.49.236.63)  9.946 ms  10.395 ms  11.070 ms
 5  62.34.2.57 (62.34.2.57)  14.255 ms  14.233 ms  16.115 ms
 6  212.194.171.68 (212.194.171.68)  15.312 ms  7.351 ms  5.719 ms
 7  89.89.101.141 (89.89.101.141)  7.139 ms  7.108 ms  7.800 ms
 8  89.84.1.186 (89.84.1.186)  7.828 ms  8.064 ms  8.668 ms

et le traceroute Routeur a Routeur via Orange

Code: [Sélectionner]

kaktuss@VyOS-RtR# traceroute6 2a0e:e701:xxxx::2
traceroute to 2a0e:e701:xxxx::2 (2a0e:e701:xxxx::2), 30 hops max, 80 byte packets
 1  2a01cb080650xxxxd25794fffe46003a.ipv6.abo.wanadoo.fr (2a01:cb08:650:xxxx:d257:94ff:fe46:3a)  0.609 ms  0.802 ms  1.173 ms
 2  2a01cb08a00402020193025300770035.ipv6.abo.wanadoo.fr (2a01:cb08:a004:202:193:253:77:35)  11.306 ms  11.766 ms  12.320 ms
 3  2a01:cfc0:200:8300:193:252:102:49 (2a01:cfc0:200:8300:193:252:102:49)  12.778 ms  13.250 ms  13.699 ms
 4  2a01:cfc4:0:1b00::13 (2a01:cfc4:0:1b00::13)  14.293 ms  14.915 ms  15.338 ms
 5  lag-th2-1.dc3-2.rt.hopus.net (2a02:e5c:0:16::2)  15.886 ms  17.260 ms  17.711 ms
 6  appliwave.dc3-2.hopus.net (2a02:e5c:2:11::2)  18.233 ms  5.122 ms  7.822 ms
 7  te4.2985-0.ccr1072.core.dc2.infra.ip6.milkywan.net (2a0b:cbc0:1::91)  8.277 ms  8.693 ms  9.170 ms
 8  moon.milkywan.space (2a0b:cbc0:1::46)  9.992 ms  10.419 ms  10.897 ms
 9  2a0e:e701:xxxx::2 (2a0e:e701:xxxx::2)  11.322 ms  11.789 ms  12.444 ms

Si vous avez une idée, j'ai le même phénomène avec du GREv6, ou en IPv4 (Gre IPIP etc) ou encore de l'OVPN sans chiffrement.

Merci

edit : J'ai tester depuis chez un autre ami en FTTH Orange, dans le 95, même symptôme. impossible de passer les 100Mbps, (même matos qu'énoncé)
@++

vivien · « **Réponse #1 le:** 03 décembre 2019 à 21:04:38 »

Tu as essayé en désactivant au maximum le firewall IPv6 de la Livebox ?

Hugues · « **Réponse #2 le:** 03 décembre 2019 à 21:35:26 »

Hello,

D'aussi loin que je me souvienne, j'avais exactement le même souci chez Orange en ayant bypassé ma box avec un EdgeRouter Lite. Les tunnels étaient aussi poussifs. Je pense donc qu'il y'a une limite chez Orange sur les paquets L2TP/GRE...

(De mémoire, j'avais grand max 300Mbit/s)

kgersen · « **Réponse #3 le:** 03 décembre 2019 à 21:50:45 »

manque les iperf3 hors tunnel pour voir le débit sans tunnel.

kaktuss77 · « **Réponse #4 le:** 03 décembre 2019 à 22:58:03 »

@kgersen : c'est le premier truc que j'ai testé. Les IPerfs IPv6 Hors tunnel sont au max des uploads des connexions respectives, c'est tellement évidant que je ne l'ai pas poster

@Vivien : Il est en mode faible, après j'ai 0 règle dans le FW IPv6

J'ai tester à l'instant plusieurs tunnels de Mikrotik à Mikrotik

J'ai tester plusieurs cas de figure, Upload et Download depuis à la fois la connexion Free et la connexion Orange

La connexion distance est une FTTH Orange que j’appellerai Orange95

Je test également depuis une connexion FTTH Bouygues nommée bygt95

Test en Tunnel GREv6 connexions Orange <--> Orange
Orange------> Vers Orange95 : 15Mbps
Orange <---- Depuis Orange95 : 15Mbps

Test en Tunnel IPIP6 connexions Orange <--> Orange
Orange------> Vers Orange95 : 580Mbps (max Upload Local)
Orange <---- Depuis Orange95 : 580Mbps (max Upload Distant)

Test en Tunnel GREv6 connexions Free <--> Orange
Free------> Vers Orange95 : 15Mbps
Free<---- Depuis Orange95 : 15Mbps

Test en Tunnel IPIP6 connexions Free <--> Orange
Free------> Vers Orange95 : 560Mbps (max Upload Local)
Free<---- Depuis Orange95 : 570Mbps (max Upload Distant)

~~Test en Tunnel GREv6 connexions Free <--> bygt95~~
Free------> Vers bygt95 : KO le tunnel ne monte pas
Free<---- Depuis bygt95 : KO le tunnel ne monte pas

Test en Tunnel EoIP6 connexions Free <--> bygt95
Free------> Vers bygt95 : 32Mbps (max Upload Local)
Free<---- Depuis bygt95 : 32Mbps (max Upload Distant)

Test en Tunnel IPIP6 connexions Free <--> bygt95
Free------> Vers bygt95 : 32Mbps (max Upload Local)
Free<---- Depuis bygt95 : 32Mbps (max Upload Distant)

Test en Tunnel EoIP6 connexions Orange<--> bygt95
Orange------> Vers bygt95 : 22Mbps (max Upload Local)
Orange<---- Depuis bygt95 : 22Mbps (max Upload Distant)

Test en Tunnel IPIP6 connexions Orange<--> bygt95
Orange------> Vers bygt95 : 22Mbps (max Upload Local)
Orange<---- Depuis bygt95 : 22Mbps (max Upload Distant)

Voila pour les tests

kgersen · « **Réponse #5 le:** 04 décembre 2019 à 03:01:36 »

Citation de: kaktuss77 le 03 décembre 2019 à 22:58:03

@kgersen : c'est le premier truc que j'ai testé. Les IPerfs IPv6 Hors tunnel sont au max des uploads des connexions respectives, c'est tellement évidant que je ne l'ai pas poster

en UDP aussi ? ou juste le protocol par défaut d'iperf3 ?

Code: [Sélectionner]

iperf3 -c server -u -B xxxM [-R] xxxM = max débit upload local (ou download local si -R), par exemple "500M"

as-tu tester avec plusieurs flux en meme temps dans les tunnels ? (option -P 4 d'IPerf)

Tout tes tests sont avec des protocoles L4 spécifiques (gre=47, ipip=4, etc) donc sans UDP ou TCP ? as tu essayé avec un tunnel au dessus d'UDP ou TCP ? Peut-être qu'Orange limite le débit max par session de tout ce qui n'est pas TCP ou UDP (j'ai des souvenirs qu'a une époque ils limitaient le débit en UDP avec certains FAI... a cause des attaques DDOS) ?

Test au dessus de TCP avec iperf3 dans un tunnel ssh:

Code: [Sélectionner]

ssh -t -L  5201:localhost:5201  2001:xxx:xxx:xxx::xxx iperf3 -s
puis dans un autre terminal
iperf -c localhost

sinon essais avec wireguard (c'est de l'UDP) ? (j'ai des tunnels entre Orange FTTH et OVH sans souci de débits).

sinon autre piste le mtu ? si y'a un mauvais réglage quelque part, les paquets IPv4 dans le tunnel peuvent être fragmentés et faire chuter le débit. A priori Orange FTTH n'a plus le mtu comme en PPPoE mais on sait jamais...

en tout cas c'est chelou.

vivien · « **Réponse #6 le:** 04 décembre 2019 à 18:10:07 »

Je reformule tes tests pour être sur d'avoir bien compris : vu que entre deux clients Orange on atteint 600 Mb/s, la box n'est pas en cause, ni le réseau d’accès.

Ce serait une limitation pour le flux à destination ou provenant d'internet, c'est ça ?

kaktuss77 · « **Réponse #7 le:** 04 décembre 2019 à 18:16:29 »

@Vivien :

Je suis justement en train de refaire des tests ce aujourd'hui je dépasse pas les 50 - 100Mbps, je comprends plus rien

avec 1 ou 4 ou 10 connexion (-P xx) ca ne change rien le débit est le même

kaktuss77 · « **Réponse #8 le:** 04 décembre 2019 à 18:44:09 »

Bon j'ai pu faire un Iperf de Machine à Machine en IPv6 (Hors tunnel - Pas facile quand la LB ne propose pas de délégation de prefix)

Verdict tombe :

FLux Orange95 --> Vers mon Orange

Code: [Sélectionner]

iperf3.exe -c 2a01:cb08:650:xxxx::2 -P 10 | find "SUM"
[SUM]   0.00-1.00   sec  2.88 MBytes  24.1 Mbits/sec
[SUM]   1.00-2.00   sec  2.75 MBytes  23.1 Mbits/sec
[SUM]   2.00-3.00   sec  2.00 MBytes  16.8 Mbits/sec
[SUM]   3.00-4.00   sec  2.88 MBytes  24.1 Mbits/sec
[SUM]   4.00-5.00   sec  2.12 MBytes  17.8 Mbits/sec
[SUM]   5.00-6.00   sec  2.38 MBytes  19.9 Mbits/sec
[SUM]   6.00-7.00   sec  2.25 MBytes  18.9 Mbits/sec
[SUM]   7.00-8.00   sec  2.50 MBytes  21.0 Mbits/sec
[SUM]   8.00-9.00   sec  1.62 MBytes  13.6 Mbits/sec
[SUM]   9.00-10.00  sec  3.00 MBytes  25.2 Mbits/sec
[SUM]   0.00-10.00  sec  24.4 MBytes  20.4 Mbits/sec                  sender
[SUM]   0.00-10.00  sec  23.0 MBytes  19.3 Mbits/sec                  receiver

et flux inverse

Code: [Sélectionner]

iperf3.exe -c 2a01:cb08:650:xxxx::2 -P 10 -R | find "SUM"
[SUM]   0.00-1.00   sec  18.1 MBytes   152 Mbits/sec
[SUM]   1.00-2.00   sec  11.4 MBytes  95.7 Mbits/sec
[SUM]   2.00-3.00   sec  10.3 MBytes  86.4 Mbits/sec
[SUM]   3.00-4.00   sec  10.6 MBytes  89.2 Mbits/sec
[SUM]   4.00-5.00   sec  9.86 MBytes  82.8 Mbits/sec
[SUM]   5.00-6.00   sec  9.45 MBytes  79.3 Mbits/sec
[SUM]   6.00-7.00   sec  9.98 MBytes  83.7 Mbits/sec
[SUM]   7.00-8.00   sec  9.58 MBytes  80.4 Mbits/sec
[SUM]   8.00-9.00   sec  10.0 MBytes  84.0 Mbits/sec
[SUM]   9.00-10.00  sec  10.4 MBytes  87.0 Mbits/sec
[SUM]   0.00-10.00  sec   126 MBytes   106 Mbits/sec  315             sender
[SUM]   0.00-10.00  sec   111 MBytes  92.9 Mbits/sec                  receiver

Je vais tester depuis et vers la Free, et également depuis la Bouygues95

kaktuss77 · « **Réponse #9 le:** 04 décembre 2019 à 22:31:51 »

Je viens de faire de refaire des tests iperf, machines a machine avec une fois 1 connexion et une fois 10 connexions en // , le tout en IPv6

Accès utilisés

Free -> Bouygues ---- 1 connexion : 200M ---- 10 connexions 290M
Bouygues -> Free ---- 1 connexion : 390M ---- 10 connexions 500M

Orange-> Bouygues ---- 1 connexion : 169M---- 10 connexions 240M
Bouygues -> Orange ---- 1 connexion : 359M---- 10 connexions 500M

Orange -> Orange 2 ---- 1 connexion : 270M---- 10 connexions 600M
Orange 2 -> Orange ---- 1 connexion : 400MM ---- 10 connexions 600M

Free-> Orange 2 ---- 1 connexion : 200M ---- 10 connexions 300M
Orange 2-> Free ---- 1 connexion : 437M---- 10 connexions 600M

Toute les iperf sont fait avec l'option -O 5 et -w 512m, c'est la valeur SUM du sender en fin de test qui est relevée ici

Il était 20h30 quand j'ai fait les tests.

obinou · « **Réponse #10 le:** 04 décembre 2019 à 23:13:03 »

Il n'y a pas une histoire de marquage TOS = 6 chez Orange ?

Si ça se trouve la box le fait pour les paquets TCP et UDP, et pas pour les paquets GRE ou IPIP ?

Si c'est le cas t'aura la même limite avec les autres protocoles niveau 4, genre ESP et AH et plus généralement tous les protocoles L4
( https://en.wikipedia.org/wiki/List_of_IP_protocol_numbers )

On a toujours dit qu'a cause du NAT point de salut en dehors de TCP & UDP , si ça ce trouve ce sera une autre limitation...

zoc · « **Réponse #11 le:** 05 décembre 2019 à 05:25:40 »

Citation de: obinou le 04 décembre 2019 à 23:13:03

Il n'y a pas une histoire de marquage TOS = 6 chez Orange ?

Ça ne concerne que DHCP ICMP et ARP (que la box envoie avec une CoS 802.1p à 6).

Et d’ailleurs si la box forward ait du GRE avec la mauvaise CoS (6 au lieu de 0), alors les débits seraient encore bien plus bas, genre 20 Mbps, c’est ce qui arrive à ceux qui remplacent la box et envoient tout en CoS 6 au lieu de DHCP seulement.