La Fibre

Datacenter et équipements réseaux => Routeurs => TP-Link TP-Link => Discussion démarrée par: quentind le 07 octobre 2022 à 16:17:32

Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 07 octobre 2022 à 16:17:32
Bonjour ! Est-ce que parmi vous certains utilisent OPNsense ?
J'ai un routeur TP-Link TD-W9970 configuré en modem only et bridgé vers une interface ethernet d'un OPNsense (qui se trouve dans un proxmox).

J'arrive bien à obtenir un bail en IPV4, le traffic passe bien etc... Mais au bout d'un certain temps je n'ai plus internet.

Hier j'ai regardé en faisant un tcpdmp côté WAN, et je vois des requêtes ARP vers la gateway WAN (l'entrée ARP est expirée), et aucune réponse. J'ai donc modifié les option modifiers DHCP en ajustant le délais de renew à 3600s (pour que le renouvellement se fasse au bout de 30min). Malgré tout aujourd'hui nouvelle coupure...

J'ai raté quelque chose dans la conf ?

Si vous avez des idées je suis preneur !
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 08 octobre 2022 à 00:11:58
J'ai essayé de creuser un peu et ce qui semble se passer, c'est que l'adresse ARP du serveur DHCP expire, et lors du renouvellement du bail, le serveur DHCP essaie de contacter directement ce serveur, qui ne répond pas.

Du coup j'ai ajouté une option modifier :  supersede dhcp-server-identifier 255.255.255.255
Et j'observe qu'après cette modification la destination des DHCP Request n'est plus l'ip du DHCP initial mais 255.255.255.255, et là j'ai bien un DHCP ACK en retour.

Je laisse tourner comme ça un peu, on va voir si ça règle le souci !
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: Fuli10 le 08 octobre 2022 à 10:22:13
Hello. J'ai remarqué il y a des années que le serveur dhcp/routeur par défaut en xDSL ne répondait pas aux requêtes ARP. J'avais remarqué aussi à l'époque dans les patchs du kernel linux des boxs un petit bout de code qui ajoutait en dure l'entrée ARP IP du DHCP<->MAC reçue.
Du coup quant il a fallut configurer le modem en VDSL, il me fallait entrer en dure cette entrée ARP et j'avais internet depuis le modem (sinon sans la route par défaut ça marchait pas).
Bref sans forcément ajouter le supersed test une entrée arp en dure (arp -s de mémoire, mais je pense que depuis openwrt permet de le faire depuis son interface).
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 08 octobre 2022 à 19:35:18
Salut ! En fait le souci c'est que l'ip du serveur DHCP change à chaque requête, et l'ancien ne répond plus. Donc si la requête se fait sur l'adresse de broadcast j'ai bien une réponse (ARP puis DHCP).
Donc pas sûr qu'avec un ARP statique le serveur réponde quand même..
Pour le moment ça a l'air de tenir avec l'option supersede, on va voir si ça tiens plus de 24h !
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 10 octobre 2022 à 10:07:19
J'avoue que je suis un peu à court d'idée là !

Ce matin mon OPNsense a encore perdu internet. Pourtant il essayait de faire des requêtes DHCP Discover depuis pas mal de temps. Mais aucune réponse.

Pourtant le modem était bien synchronisé.

J'ai reboot le modem, il a choppé une IP direct suite à la resynchronisation.

Y a-t-il un truc qui m'échappe ou ce modem de TP-Link est pas ouf ?
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 10 octobre 2022 à 10:50:53
@Fuli10 je vais tenter de mettre l'ip de la gateway publique en arp statique, on va voir si c'est mieux ^^
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 10 octobre 2022 à 15:48:55
Salut ! En fait le souci c'est que l'ip du serveur DHCP change à chaque requête, et l'ancien ne répond plus. Donc si la requête se fait sur l'adresse de broadcast j'ai bien une réponse (ARP puis DHCP).
Donc pas sûr qu'avec un ARP statique le serveur réponde quand même..
Pour le moment ça a l'air de tenir avec l'option supersede, on va voir si ça tiens plus de 24h !

Bizarre, chez moi c'est toujours le même, en l’occurrence 80.10.247.48 Et je n'ai eu aucunement besoin de bidouiller ARP ou de remettre l'ip en boradcast à chaque renew... En tout cas je garde ce topic sous le coude, car je crois que je n'aurais même pas eu idée que ça pouvait venir de là si jamais ça m'était arrivé.

Ils en ont pas marre chez Orange de faire un réseau autant hétérogène ? Entre la trouzaine d'options à envoyer, la CoS 6 ou non et maintenant le renew DHCP, ça commence à être saoulant  ::)

Sun Oct  2 14:01:55 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Sun Oct  2 14:01:56 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xx obtained, lease time 259200

Tue Oct  4 02:01:56 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Tue Oct  4 02:01:56 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xxobtained, lease time 259200

Wed Oct  5 14:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Wed Oct  5 14:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xx obtained, lease time 259200

Fri Oct  7 02:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Fri Oct  7 02:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xx obtained, lease time 259200

Sat Oct  8 14:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Sat Oct  8 14:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xx obtained, lease time 259200
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 10 octobre 2022 à 16:59:10
Intéressant ! Bon, j'ai essayé de passer en statique la MAC correspondant à la gateway publique...pas mieux ! J'arrive toujours à un point où je n'obtiens aucune réponse DHCP, malgré le fait que la requête DISCOVER soit adressée au broadcast.

Par contre, je vois que tu utilises udhcpc, ce n'est pas sur OPNsense non ? Je vais peut être tester pour voir si le souci viendrait pas de là, peut être voir sur pfsense ou autre !
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 10 octobre 2022 à 17:42:09
En effet j'utilise openWRT (et pfsense/opnsense aussi, mais pas sur mon routeur d'accès)

Vu que tu es en virtuel, ça ne coûte rien d'essayer.

https://downloads.openwrt.org/releases/22.03.0/targets/x86/64/ prendre le squashfs combined et suivre ce tuto (y'a 2-3 prérequis comme la conversion de l'image disque) : https://www.jwtechtips.top/how-to-install-openwrt-in-proxmox/
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 10 octobre 2022 à 17:59:30
ok cool merci ! je regarde ça ! si c'est toujours pas bon au moins je saurais que ça vient d'ailleurs.
parce que j'ai quand même aussi d'autres soucis : des pertes de paquets sur mon bridge vmbr0, sur mon switch au niveau de l'uplink de proxmox, et j'ai aussi des gros soucis avec l'ipv6 dès lors que je suis connecté en wifi.
J'ai fait un branchement qui me semble ok même s'il peut sembler un peu bizarre. il faut que je prenne le temps de faire un schémas pour l'envoyer ici et avoir vos avis ^^
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 17 octobre 2022 à 10:16:49
Bon alors finalement j'ai changé de modem. Même si ça m'a l'air un peu plus stable, j'ai déjà eu le problème de perte ARP qui s'est reproduit.
Je résume :
- j'ai testé avec 2 modems : TP-Link  TD-W9970 et D-Link DSL320B
- j'ai testé avec 3 distribs de routeurs : pfsense, OPNsense et OpenWRT

Au bout d'un "certain temps", qui peut grandement varier, j'observe que même si le bail DHCP n'est pas expiré, et que la connexion ADSL est UP côté modem, je n'ai plus aucune réponse aux requêtes côté WAN. L'entrée ARP de la gateway WAN fini par expirer, plus rien ne se passe.
Au début, un restart de l'interface permet de relancer la connexion (nouveau DHCP discover etc...).
Au bout d'un moment (point à confirmer car je n'ai pas eu le cas avec le nouveau modem), un restart du modem est nécessaire pour retrouver la connectivité.

N'y aurait-t-il pas une sorte d'expiration de l'authentification DHCP ? Peut être qu'il faut renvoyer l'option avec les creds régulièrement pour maintenir la connexion UP ?
J'aimerais être capable de sniffer ce que fait la livebox 4 (car je n'avais pas ce souci avec), mais malheureusement c'est impossible puisqu'elle fait modem+routeur...

Si vous avez des idées je suis preneur, je n'ai pas trouvé grand chose ni sur ce forum ni sur google au sens large...
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: simon le 17 octobre 2022 à 10:44:12
Bizarre, chez moi c'est toujours le même, en l’occurrence 80.10.247.48 Et je n'ai eu aucunement besoin de bidouiller ARP ou de remettre l'ip en boradcast à chaque renew... En tout cas je garde ce topic sous le coude, car je crois que je n'aurais même pas eu idée que ça pouvait venir de là si jamais ça m'était arrivé.

Ils en ont pas marre chez Orange de faire un réseau autant hétérogène ? Entre la trouzaine d'options à envoyer, la CoS 6 ou non et maintenant le renew DHCP, ça commence à être saoulant  ::)

Sun Oct  2 14:01:55 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Sun Oct  2 14:01:56 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xx obtained, lease time 259200

Tue Oct  4 02:01:56 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Tue Oct  4 02:01:56 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xxobtained, lease time 259200

Wed Oct  5 14:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Wed Oct  5 14:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xx obtained, lease time 259200

Fri Oct  7 02:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Fri Oct  7 02:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xx obtained, lease time 259200

Sat Oct  8 14:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: sending renew to 80.10.247.48
Sat Oct  8 14:01:57 2022 daemon.notice netifd: WAN_DHCP (24806): udhcpc: lease of 86.207.xx.xx obtained, lease time 259200


Pareil, chez moi les IP des serveurs DHCP ne changent jamais. En IPv4 l'adresse change de temps en temps: le serveur refuse de renouveler le bail et le client DHCP fait un nouveau discover pour obtenir une nouvelle adresse.
En v6 le préfixe ne change jamais (heureusement!).
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 17 octobre 2022 à 17:10:24
N'y aurait-t-il pas une sorte d'expiration de l'authentification DHCP ? Peut être qu'il faut renvoyer l'option avec les creds régulièrement pour maintenir la connexion UP ?
J'aimerais être capable de sniffer ce que fait la livebox 4 (car je n'avais pas ce souci avec), mais malheureusement c'est impossible puisqu'elle fait modem+routeur...

Si vous avez des idées je suis preneur, je n'ai pas trouvé grand chose ni sur ce forum ni sur google au sens large...

Pour sniffer ce que fait la box, tu peux passer par le port WAN fibre. Et pour tester en conditions réelles, connecter la box via ton modem et faire du port mirroring pour loguer le trafic si ton switch le supporte.

Solution plus légère : créer un sous réseau avec DHCP et la box au cul, de cette manière il y aura beaucoup moins de trafic à analyser (montage typique pour utiliser le téléphone)

il y a
option domain  : orange.fr
option 90 : 00:00:00:00:00:00:00:00:00:00:00:64:68:63:70:6c:69:76:65:62:6f:78:66:72:32:35:30 (dhcpliveboxfr250)
option 120 (SIP servers) :  00:06:73:62:63:74:33:67:03:4e:49:43:06:61:63:63:65:73:73:11:6f:72:61:6e:67:65:2d:6d:75:6c:74:69:6d:65:64:69:61:03:6e:65:74:00 (sbct3g.NIC.access.orange-multimedia.net)
option 125 : 00:00:05:58:0c:01:0a:00:01:00:00:00:ff:ff:ff:ff:ff
option 6 (DNS) 80.10.246.3 81.253.149.10
option 119 (domain search) NIC.access.orange-multimedia.net

Remplacer NIC (Nice), par le serveur le plus proche, liste non exhaustive :
-LYO : Lyon
-STR : strasbourg
-AUB : auberviliers
-PUT : puteaux

Je n'arrive pas à retouver la liste, mais au pire ça n'a pas d'importance.
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 17 octobre 2022 à 17:38:24
Euh, ça fonctionne en ADSL ça ? Je crois pas avoir vu de port WAN en RJ45 derrière la LB4 ?

Sinon, le double NAT je suis vraiment pas fan, c'est un peu pour cette raison que j'ai envie de dégager la LB à la base :)

Merci pour les suggestions :)
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 17 octobre 2022 à 17:43:30
Oui ça fonctionne. Et si y'a un port WAN RJ45, je l'utilise chez moi.

Sinon la solution téléphone devrait marcher aussi pour analyser le comportement (message édité)
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 17 octobre 2022 à 22:58:36
Ok génial j'aurais jamais pensé à ça ^^
Merci ! Là étonnamment ça fait 23h que la connexion fonctionne, mais je pense que ça va couper à un moment...
Dès que j'ai un peu de temps je remet la livebox afin d'analyser ce qui se passe sur le port WAN !

Si j'y branche un PC direct avec wireshark ça devrait le faire non ?
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 18 octobre 2022 à 16:20:28
Si j'y branche un PC direct avec wireshark ça devrait le faire non ?

PC en direct sur la box ?

Oui pour avoir les infos du DHCP, pour voir ce que la box fait lors du renouvellement d'ip, non.

Si tu peux remettre la box temporairement derrière ton modem, ça serait mieux. En théorie ça ne devrait pas changer grand chose, mais sait-on jamais (des fois que le réseau envoie un truc spécifique que tu ne vois pas si la box est connectée après le routeur)

Et par contre là, pense bien à tagguer toute la chaîne.
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 18 octobre 2022 à 22:52:26
ah ok donc je mets la box derrière le modem, et la box dans ce cas ne sert que de routeur. du coup je peux analyser les trames via un port mirorring ?
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 18 octobre 2022 à 23:26:19
Yep
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 19 octobre 2022 à 11:27:25
J'aurais pas pensé à ça ^^

Par contre il faut configurer le modem pour tager les paquets sur le vlan 832 c'est ça ?

Il va falloir que je trouve un moment pour faire ce test :)
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 19 octobre 2022 à 13:04:16
Oui tag obligatoire, sinon tu peux toujours attendre pour une réponse^^
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 31 octobre 2022 à 14:38:08
Bon alors, j'ai essayé des choses diverses, mais sans résultat réellement probant.
J'ai essayé de sniffer le traffic sur le port WAN, mais je pense que comme c'est de l'ADSL et que le vlan 832 n'est pas utilisé (c'est plutôt un channel 8/32 qui est utilisé en ATM), et bien je ne vois aucun traffic sur le port WAN de la livebox.

J'ai essayé de réduire le débit afin d'augmenter la stabilité de la synchro (en améliorant la marge de bruit, mais bon je perdais 4 Mbps au passage), et de réduire le MTU. Malgré tout j'avais encore des soucis de performance, des lenteurs parfois....
Je ne sais pas quel "tuning" ils font sur l'ADSL, mais a mon avis ce n'est pas 100% standard. C'est peut être un problème de QoS aussi ?

En tous cas pour le moment je suis passé en double NAT, j'utilise la box uniquement en modem et mon routeur récupère une adresse LAN, que j'ai configuré en DMZ sur la livebox. Et là je récupère mon débit maximal, plus de perte de paquet ou de paquet en retard.

C'est pas ouf, mais j'espère pouvoir faire mieux une fois la fibre arrivée (si elle arrive un jour :) ).
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 31 octobre 2022 à 16:04:11
Bon alors, j'ai essayé des choses diverses, mais sans résultat réellement probant.
J'ai essayé de sniffer le traffic sur le port WAN, mais je pense que comme c'est de l'ADSL et que le vlan 832 n'est pas utilisé (c'est plutôt un channel 8/32 qui est utilisé en ATM), et bien je ne vois aucun traffic sur le port WAN de la livebox.

Hum. Tu ne vois vraiment rien sur le WAN de la LB ? Pour que ça marche il ne faut évidemment pas la connecter en ADSL (voir il me semble cocher fibre dans l'interface, me rappelle plus exactement)

Chez moi je suis en ADSL et j'ai bien le téléphone et le net fonctionnel via le RJ45 WAN.
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: quentind le 31 octobre 2022 à 16:10:07
Ah oui ok tu veux dire Modem => WAN livebox ?

Mais ce que j'aurais voulu observer c'est la conf ADSL, c'est à dire comment ça se passe sans passer par un modem tierce. D'après mes observations c'était le problème. Là j'aurais pu observer éventuellement la réponse DHCP de la LB mais rien de bien plus probant j'imagine ?
Titre: Bug étrange opnsense avec routeur TP-Link TD-W9970
Posté par: renaud07 le 31 octobre 2022 à 16:15:54
Exactement.

Théoriquement, le contenu entre ADSL et fibre ne doit pas être différent. Et ça permettra de voir si la LB bug derrière ton modem auquel cas ça serait lui le coupable.