Auteur Sujet: Problème IPSEC entrant  (Lu 3608 fois)

0 Membres et 1 Invité sur ce sujet

yazur

  • Abonné Free Pro
  • *
  • Messages: 47
Problème IPSEC entrant
« le: 14 juin 2021 à 15:21:06 »
Bonjour,

Nous avons reçu notre Freebox pro, il y a quelques semaines et nous rencontrons des problèmes de débits IPSEC.

Pour schématiser notre infrastructure, nous avons :

Infrastructure Virtuelle :

- Infra OVH 3Gb/s symétrique

Infrastructure physique :

- Internet 1 - Freebox pro au siège social (fibre mutualisée) avec un débit de 1Gb/s et 700Mb/s
- Internet 2 - Fingerprint au siège social (fibre dédiée) avec un débit de 100Mb/s symétrique

Nous utilisons la solution Pfsense pour faire communiquer notre siège social avec l'infrastructure hébergée chez OVH par IPSEC.

Il faut savoir qu'actuellement nous fonctionnons avec un tunnel IPSEC instancié par l'intermédiaire de notre connexion internet N°2 et tout fonctionne parfaitement.
Voici les tests de débits observés lorsque le tunnel est instancié par l'intermédiaire de la freebox pro :

SIEGE --> OVH = 40Mo/s (Normal)
OVH --> SIEGE = 500Ko/s (Incohérent)

Résultat après plusieurs tests avec d'autres membres du forum :

Le flux entrant sur la Freebox sur les protocoles GRE / AH / ESP est bloqué.

Un ticket au support à été ouvert.

« Modifié: 23 juin 2021 à 10:46:28 par yazur »

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 091
  • Paris (75)
VPN - IPSEC - Bridage
« Réponse #1 le: 18 juin 2021 à 09:55:58 »
comment le débit est mesuré ?

yazur

  • Abonné Free Pro
  • *
  • Messages: 47
VPN - IPSEC - Bridage
« Réponse #2 le: 18 juin 2021 à 10:05:28 »
comment le débit est mesuré ?

Le débit est mesuré par notre routeur/pare-feu Pfsense sur l'interface IPSEC:


(Fichier d'1GB)
GDD --> OVH : https://nsa40.casimages.com/img/2021/06/16/210616063241176875.png
OVH --> GDD : https://nsa40.casimages.com/img/2021/06/16/210616063241106836.png


Nous pouvons également constater ces débits dans le gestionnaire des tâches de la machine Windows ou encore directement affiché dans l'explorateur de fichier.

Je vous invite à prendre connaissance de ce post Github (nous sommes 3 à constater un problème avec certains protocoles) https://github.com/LaFibre-info/Freepro/issues/37



kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 091
  • Paris (75)
VPN - IPSEC - Bridage
« Réponse #3 le: 18 juin 2021 à 10:57:54 »
Je vous invite à prendre connaissance de ce post Github (nous sommes 3 à constater un problème avec certains protocoles) https://github.com/LaFibre-info/Freepro/issues/37

Oui j'ai vu ce post mais github n'est pas un forum mais un "bug-tracker".
Le bug #37 (https://github.com/LaFibre-info/Freepro/issues/37) concerne un souci du serveur VPN de la box elle-meme quand on veut "exiger le chiffrement" dans la config d'un client.

La on parle de 'bridage' ou performance d'un trafic VPN (IPSEC) entre 2 serveurs VPN et ce n'est pas clair si c'est la Freebox Pro est un des serveur (termine t'elle le tunnel IPSec ou passe-il  juste a travers ?).

Si vous mélanger les sujets et les problèmes sur github ca spam et embrouille ceux qui suivent les bugs (chaque commentaire sur github génère l'envoi d'un email a ceux qui suivent les bugs).

Il faut clarifier et identifier le problème et éventuellement ouvrir un nouveau bug sur github concernant un souci de performance quand IPSEC traverse le réseau Free/JN (c'est peut-être pas la Freebox Pro le problème la).

On sait déjà que la Freebox Pro ne permet pas d'envoyer du ESP/GRE/... vers la  DMZ  (en entrée donc) mais en sortie ca devrait fonctionner.

D'ailleurs si y'a du bridage constaté c'est que le trafic passe donc a ce niveau y'a pas de 'bug'.
Si y'a vraiment du bridage il faut essayer de comprendre pourquoi avant et ensuite si la box ou le réseau de Free/JN est vraiment en cause alors éventuellement ouvrir un ticket au support Free et ouvrir un nouveau bug dans le github (qui je le rappelle est non officiel donc ouvrez toujours un ticket au support en plus).

yazur

  • Abonné Free Pro
  • *
  • Messages: 47
VPN - IPSEC - Bridage
« Réponse #4 le: 18 juin 2021 à 11:21:15 »
Oui j'ai vu ce post mais github n'est pas un forum mais un "bug-tracker".
Le bug #37 (https://github.com/LaFibre-info/Freepro/issues/37) concerne un souci du serveur VPN de la box elle-meme quand on veut "exiger le chiffrement" dans la config d'un client.

La on parle de 'bridage' ou performance d'un trafic VPN (IPSEC) entre 2 serveurs VPN et ce n'est pas clair si c'est la Freebox Pro est un des serveur (termine t'elle le tunnel IPSec ou passe-il  juste a travers ?).

Si vous mélanger les sujets et les problèmes sur github ca spam et embrouille ceux qui suivent les bugs (chaque commentaire sur github génère l'envoi d'un email a ceux qui suivent les bugs).

Il faut clarifier et identifier le problème et éventuellement ouvrir un nouveau bug sur github concernant un souci de performance quand IPSEC traverse le réseau Free/JN (c'est peut-être pas la Freebox Pro le problème la).

On sait déjà que la Freebox Pro ne permet pas d'envoyer du ESP/GRE/... vers la  DMZ  (en entrée donc) mais en sortie ca devrait fonctionner.

D'ailleurs si y'a du bridage constaté c'est que le trafic passe donc a ce niveau y'a pas de 'bug'.
Si y'a vraiment du bridage il faut essayer de comprendre pourquoi avant et ensuite si la box ou le réseau de Free/JN est vraiment en cause alors éventuellement ouvrir un ticket au support Free et ouvrir un nouveau bug dans le github (qui je le rappelle est non officiel donc ouvrez toujours un ticket au support en plus).

Alors pour clarifier les choses, j'ai déjà ouvert un nouveau bug sur Github "https://github.com/LaFibre-info/Freepro/issues/38".
Un ticket est déjà ouvert sur https://pro.free.fr/.

Dans notre cas, la Freebox pro n'est pas le serveur VPN source ou destination.
Le tunnel VPN passe par la Freebox et est instancié par l'un de nos routeurs/pare-feu que ce soit d'un côté comme de l'autre.

Sur le lien Github, vous trouverez notre schéma de test.
Le matériel utilisé se trouve dans une configuration standard, il a été remis à zéro afin d'effectuer ces tests.
Nous avons par ailleurs, une autre fibre dédiée avec laquelle les débits sont cohérents.
Un test avec la solution 4G backup de Free a été fait, les débits à travers le tunnel VPN étaient également cohérents.


Les deux potentielles causes seraient :

- Problème de Fragmentation MTU/MSS avec Jaguar Network / Free.
- Problème avec les protocoles ESP / AH / GRE entrants sur la Freebox.

Deux autres membres sur Github ont pu me confirmer qu'ils n'arrivent pas non plus à monter de tunnels IPSEC fiables à cause du blocage des protocoles entrants par la Freebox.

J'ai bien entendu déjà transmis des captures Wireshark au support de Free.
« Modifié: 18 juin 2021 à 11:56:18 par yazur »

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 091
  • Paris (75)
VPN - IPSEC - Bridage
« Réponse #5 le: 18 juin 2021 à 13:02:27 »

Les deux potentielles causes seraient :

- Problème de Fragmentation MTU/MSS avec Jaguar Network / Free.
- Problème avec les protocoles ESP / AH / GRE entrants sur la Freebox.


pour la mtu ca se test facilement (cf commandes tracepath sous Linux, traceroute sous FreeBSD) est-ce que le tunnel pas au dessus d'IPv6 ou IPv4 ?

Mais c'est peut-être plutôt un problème de saturation/limitation du trafic UDP entre JN et OVH (a un époque OVH et Orange avait ce souci entre eux).

Un test avec iperf3 en UDP sera une bonne chose à faire pour voir le taux de perte (ou autre) par exemple et pour savoir si le problème est au niveau UDP ou au dessus.

J'utilise Wireguard (avec Tailscale) entre des machines derrière une Freebox Pro et des machines chez Online et d'autres derrière une Livebox Pro Fibre et aucun souci de débit de tunnel dans les 2 sens. J'ai plus de VPS chez OVH depuis l’incendie donc je ne peux tester avec OVH. Apres c'est du trafic UDP sur IPv6.

L'IPv4 n'étant pas natif chez Free/FreePro autant l'éviter le plus possible.


Deux autres membres sur Github ont pu me confirmer qu'ils n'arrivent pas non plus à monter de tunnels IPSEC fiables à cause du blocage des protocoles entrants par la Freebox.


oui mais ce n'est pas la même problématique justement.

Ne pas pouvoir monter un tunnel (erreur/aucun trafic/port bloqué) et avoir un trafic bridé ou incohérent sont vraiment 2 sujets différents (sauf cas très rare).

on peut facilement tester le blocage avec traceroute sous FreeBSD.

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 091
  • Paris (75)
VPN - IPSEC - Bridage
« Réponse #6 le: 18 juin 2021 à 13:44:05 »
J'ai retrouvé un vieux serveur chez OVH.
Un rapide test avec iperf3 indique pas mal de paquets désordonnés (out of order, qui n'arrivent pas dans l'ordre) en UDP dans le sens FreePro --> OVH (sens montant donc). Ca ne le fait pas avec Online ou Orange.

#serveur  chez OVH (port 5201 ouvert en UDP et TCP):
iperf3 -s

# machine derriere Freebox Pro, envoyer 500Mbps d'UDP
iperf3 -c ip_server_chez_OVH -u -b 500M
résultat:
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-10.00  sec   596 MBytes   500 Mbits/sec  0.000 ms  0/431624 (0%)  sender
[  5]   0.00-10.00  sec   596 MBytes   500 Mbits/sec  0.015 ms  16758/431624 (3.9%)  receiver

il y a  4% de perte et surtout il  a 16641 paquets désordonnés, soit 40% sur un total de 431624 ce qui est énorme...

entre OVH et Online (ipv4):
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-10.00  sec   581 MBytes   487 Mbits/sec  0.000 ms  0/420746 (0%)  sender
[  5]   0.00-10.00  sec   581 MBytes   487 Mbits/sec  0.026 ms  348/420746 (0.083%)  receiver
aucun paquet désordonné.

entre Freebox Pro et Online (IPv6):
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-10.00  sec   596 MBytes   500 Mbits/sec  0.000 ms  0/437669 (0%)  sender
[  5]   0.00-10.00  sec   591 MBytes   496 Mbits/sec  0.017 ms  3314/437643 (0.76%)  receiver
aucun paquet désordonné.

entre Freebox Pro et Online (IPv4):
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-10.00  sec   596 MBytes   500 Mbits/sec  0.000 ms  0/431620 (0%)  sender
[  5]   0.00-10.01  sec   588 MBytes   493 Mbits/sec  0.037 ms  5718/431569 (1.3%)  receiver
aucun paquet désordonné.

y'a clairement un souci UDP dans le sens FreePro/JN vers OVH. par forcément la faute de FreePro/JN donc.

yazur

  • Abonné Free Pro
  • *
  • Messages: 47
VPN - IPSEC - Bridage
« Réponse #7 le: 18 juin 2021 à 17:01:34 »
pour la mtu ca se test facilement (cf commandes tracepath sous Linux, traceroute sous FreeBSD) est-ce que le tunnel pas au dessus d'IPv6 ou IPv4 ?

Mais c'est peut-être plutôt un problème de saturation/limitation du trafic UDP entre JN et OVH (a un époque OVH et Orange avait ce souci entre eux).

Un test avec iperf3 en UDP sera une bonne chose à faire pour voir le taux de perte (ou autre) par exemple et pour savoir si le problème est au niveau UDP ou au dessus.

J'utilise Wireguard (avec Tailscale) entre des machines derrière une Freebox Pro et des machines chez Online et d'autres derrière une Livebox Pro Fibre et aucun souci de débit de tunnel dans les 2 sens. J'ai plus de VPS chez OVH depuis l’incendie donc je ne peux tester avec OVH. Apres c'est du trafic UDP sur IPv6.

L'IPv4 n'étant pas natif chez Free/FreePro autant l'éviter le plus possible.

oui mais ce n'est pas la même problématique justement.

Ne pas pouvoir monter un tunnel (erreur/aucun trafic/port bloqué) et avoir un trafic bridé ou incohérent sont vraiment 2 sujets différents (sauf cas très rare).

on peut facilement tester le blocage avec traceroute sous FreeBSD.

Quelques tests ont étés fait avec iperf, mais aucune perte de paquets à été remarqué d'un côté comme de l'autre (0%).
Nous obtenons sur la Freebox : 800Mbps Upload et 1200Mbps download.

Par contre en TCP, ce ne sont pas du tout les mêmes débits. (voir capture d'écran)

Il règne donc une incompréhension concernant le débit visualisé par envoi avec le protocole SMB sur le port 445, nous obtenons 500ko/s (OVH --> FREEBOX)
Auriez-vous d'autres tests à nous faire faire pour comprendre d'où vient le problème ?

Actuellement, le tunnel IPSEC est monté sur de l'IPv4, nous allons essayer avec de l'IPv6 quand OVH l'activera sur notre infrastructure. (Ticket ouvert)

Juste pour être sur, vous n'avez pas testé le sens OVH --> Freepro alors que pour nous, c'est ce sens-là qui pose problème.

Nous venons de tester l'envoi par FTP plutôt que par SMB et nous avons des débits quasiment identiques.



Client OVH - Serveur Free :

TCP : iperf.exe -c client_OVH https://nsa40.casimages.com/img/2021/06/18/210618051433873512.png

UDP : iperf.exe -c client_OVH -u -b 2000M https://nsa40.casimages.com/img/2021/06/18/210618051433956608.png


Client Free - Serveur OVH :

TCP : iperf.exe -c client_Free https://nsa40.casimages.com/img/2021/06/18/210618050900833826.png

UDP : iperf.exe -c client_Free -u -b 2000M https://nsa40.casimages.com/img/2021/06/18/210618050652932609.png


"Le --get-server-output n'affiche rien de plus"






 

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 091
  • Paris (75)
VPN - IPSEC - Bridage
« Réponse #8 le: 18 juin 2021 à 19:55:19 »
attention avec Windows, iperf3 n'est pas très fiable. surtout la 3.1.3 qui est trop ancienne et buggée en UDP.

ce site tient une version a jour pour Windows : https://files.budman.pw/ (3.10.1 la derniere donc)

Le test UDP indique d'un coté ce que ca envoi mais pas forcement ce qui est reçu. Il faut attendre la fin du test pour voir le rapport de reception.


Citer
Juste pour être sur, vous n'avez pas testé le sens OVH --> Freepro alors que pour nous, c'est ce sens-là qui pose problème.

dans le sens OVH -> Freepro j'ai pas de probleme en UDP.

Mais avoir des pertes/out-of-order dans un sens peut fortement impacter un trafic IPSEC dans l'autre sens si les acquirements sont perdus ou doivent être retransmis car n'arrivant pas dans l'ordre.


et ps: c'est le trafic hors tunnel pas dans le tunnel qu'il faut tester (tester le chemin du tunnel).

yazur

  • Abonné Free Pro
  • *
  • Messages: 47
VPN - IPSEC - Bridage
« Réponse #9 le: 21 juin 2021 à 18:30:30 »
attention avec Windows, iperf3 n'est pas très fiable. surtout la 3.1.3 qui est trop ancienne et buggée en UDP.

ce site tient une version a jour pour Windows : https://files.budman.pw/ (3.10.1 la derniere donc)

Le test UDP indique d'un coté ce que ca envoi mais pas forcement ce qui est reçu. Il faut attendre la fin du test pour voir le rapport de reception.


dans le sens OVH -> Freepro j'ai pas de probleme en UDP.

Mais avoir des pertes/out-of-order dans un sens peut fortement impacter un trafic IPSEC dans l'autre sens si les acquirements sont perdus ou doivent être retransmis car n'arrivant pas dans l'ordre.


et ps: c'est le trafic hors tunnel pas dans le tunnel qu'il faut tester (tester le chemin du tunnel).

@kgersen

Merci pour toutes ces informations, nous avons donc tester iperf depuis Pfsense avec et sans le tunnel IPSEC et TCP/UDP.

Merci pour votre aide.

TCP WITHOUT IPSEC :
https://nsa40.casimages.com/img/2021/06/21/210621063717321230.png

UDP WITHOUT IPSEC :
https://nsa40.casimages.com/img/2021/06/21/210621063717833336.png

TCP WITH IPSEC :
https://nsa40.casimages.com/img/2021/06/21/210621063717221803.png

UDP WITH IPSEC :
https://nsa40.casimages.com/img/2021/06/21/210621063717582204.png


- Constatation :

Sans IPSEC et TCP :

GDD --> OVH = 13Mo/s = PAS OK
OVH --> GDD = 13 Mo/s = PAS OK


Sans IPSEC et UDP :

GDD --> OVH = 77 Mo/s = OK
OVH --> GDD = 111 Mo/s = OK


Avec IPSEC et TCP :

GDD --> OVH = 12Mo/s = Normal en vue du débit sans IPSEC
OVH --> GDD = 0,35Mo/s = PAS OK

Avec IPSEC et UDP :

GDD --> OVH = 75 Mo/s = OK
OVH --> GDD = 107 Mo/s = OK

« Modifié: 22 juin 2021 à 10:51:09 par yazur »