Auteur Sujet: Remplacement de la Livebox par un routeur Openwrt (Lu 241697 fois)

ubune · « **Réponse #492 le:** 30 mai 2022 à 08:05:11 »

Citation de: garga le 29 mai 2022 à 22:41:44

Je viens de faire un test avec le nouveau tuto sur un Xiaomi R3G V1 (aussi avec le soc MT7621) flashé en 22.03.RC3. J'ai bien mon IPv4 et IPv6 sur le wan. La seule chose que j'ai du adapter c'est le nom de l'interface qui s'appelle wan au lieu de eth0 sur le R3G. Nickel
Je suis sur une connexion Sosh 300M, donc mes tests sont limités, mais j'ai remarqué que lorsque j'ai activé l'offloading hardware pour la premiere fois, mon débit a été fortement réduit (environ 20M max). En relançant les regles NFT pour forcer les prio à la main, tout est rentré dans l'ordre. Depuis à chaque reboot je n'ai pas de perte de débit malgré l'offloading hardware activé.

edit : J'ai peut être crié victoire trop vite, on dirait que les regles nft sont instables, je suis au moins tombé sur une occurence ou j'ai du les relancer manuellement. Peut-etre faudrait-il prévoir un job cron qui les passerait toutes les 10 minutes.

Et attention, tout changement de config qui va reload le firewall va du coup faire disparaitre les règles.
Les ajouter à la suite c'est pas top car elles apparaissent plusieurs fois dans la table si elles y étaient déjà.
D'ailleurs je les ajoute 15sec (sleep 15 dans le rc.local) après le boot car sinon de temps en temps elles n'étaient pas chargées.

Pour vérifier tu peux utiliser cette commande :

Code: [Sélectionner]

nft list ruleset | grep "chain mangle_postrouting" -A 7
Qui donne comme résultat (si elles sont chargées) :

Code: [Sélectionner]

chain mangle_postrouting {
		type filter hook postrouting priority mangle; policy accept;
		oifname "eth0.832" counter packets 5274903 bytes 2564692315 meta priority set 0:1
		oifname "eth0.832" ip protocol ipv6-icmp counter packets 0 bytes 0 meta priority set 0:6
		oifname "eth0.832" udp dport 547 counter packets 0 bytes 0 meta priority set 0:6
		oifname "eth0.832" ip protocol icmp counter packets 2992 bytes 455392 meta priority set 0:6
		oifname "eth0.832" ip protocol igmp counter packets 0 bytes 0 meta priority set 0:6
		oifname "eth0.832" udp dport 67 counter packets 0 bytes 0 meta priority set 0:6

Puisqu'on a le même soc peux-tu s'il te plait, faire une trace de flux sortant sur ton interface physique, sans mettre le vlan pour qu'on voit l'entete, et me dire si tous les flux initiés vers internet sont également en "p 6" quand tu as l'offloading actif, même si les rules sont chargées (vérifié avec la commande précedente).

La commande pour sniffer (remplace eth0 par le nom de ton interface physique sans vlan de sortie wan) :

Code: [Sélectionner]

tcpdump -nei eth0Tu fais control+c juste après pour cancel.

Merci d'avance !

garga · « **Réponse #493 le:** 30 mai 2022 à 12:02:41 »

Après avoir activé la config de la copie d'écran.
J'ai relancé les nft rules à la main. Ce qui donne :

Code: [Sélectionner]

nft list ruleset | grep "chain mangle_postrouting" -A 10
	chain mangle_postrouting {
		type filter hook postrouting priority mangle; policy accept;
		oifname "wan.832" counter packets 7020 bytes 1281387 meta priority set 0:1
		oifname "wan.832" ip protocol icmp counter packets 541 bytes 33450 meta priority set 0:6
		oifname "wan.832" ip protocol igmp counter packets 0 bytes 0 meta priority set 0:6
		oifname "wan.832" udp dport 67 counter packets 0 bytes 0 meta priority set 0:6
		oifname "wan.832" udp dport 547 counter packets 0 bytes 0 meta priority set 0:6
		oifname "wan.832" ip protocol ipv6-icmp counter packets 0 bytes 0 meta priority set 0:6
	}

	chain mangle_input {

Le "tcpdump -nei wan" montre bien une grosse partie du traffic en prio 0 (p 0) et quelques paquets en (p 6). Speedtest sans soucis de débit.
Je vais garder cette config quelques heures voir si j'ai à nouveau des soucis de débit.

ubune · « **Réponse #494 le:** 30 mai 2022 à 12:24:50 »

Attention !
Le plus gros du traffic visible sera le flux entrant, donc si tu vois le 0 c'est surtout pour les réponses.
Si tu vois encore du P 6 c'est que t'as le même symptome que moi avec l'offload actif.
Pour être sur, identifie les trames initiés depuis le lan, regarde dans le champ ip source quand tu vois ton ip publique ou ton /64, ici tu verras du P 6.
Retest sans l'offload (oublie pas de réappliquer les nft rules) et possiblement tu ne verras que du 0 (ou 6 avec un ping sortant ^^').

garga · « **Réponse #495 le:** 30 mai 2022 à 13:26:21 »

Citation de: ubune le 30 mai 2022 à 12:24:50

Attention !
Le plus gros du traffic visible sera le flux entrant, donc si tu vois le 0 c'est surtout pour les réponses.
Si tu vois encore du P 6 c'est que t'as le même symptome que moi avec l'offload actif.
Pour être sur, identifie les trames initiés depuis le lan, regarde dans le champ ip source quand tu vois ton ip publique ou ton /64, ici tu verras du P 6.
Retest sans l'offload (oublie pas de réappliquer les nft rules) et possiblement tu ne verras que du 0 (ou 6 avec un ping sortant ^^').

Effectivement. Voici un récap des tests :

1/ HW / SW offloading désactivé :
Sans NFT Rules : speedtest 50M down / 1M up
Avec NFT Rules : speedtest 290 down / 295 up + très peu de paquets en p 6 avec source mon ip publique (ICMP seulement)

2/ HW / SW offloading activé :
Sans NFT Rules : speedtest 50 M down / 1.1 M up
Avec NFT rules : speedtest 290 M down / 290 M up + quelques paquets en p 6 avec comme source mon ip publique (autres que ICMP), mais il y a aussi des paquets avec comme source mon ip publique qui partent en p 0.

On dirait que les rules ont de l'effet même dans la config HW offloading activé (vu l'impact sur mon débit). Mais quelques paquets passent tout de même au travers des filtres ?

ubune · « **Réponse #496 le:** 30 mai 2022 à 14:33:54 »

Ok donc même soc même combat

C'est vraiment curieux en effet, si je fais un iperf3 ipv4 ou ipv6 j'ai les débits attendu (down/up).
Mais par exemple un nperf sur serveur ipv6 j'ai un upload catastrophique. Je vois bien le flux sortir en p 6.
Donc du coup je suis sans offload pour le moment (ça donne 700/400Mbps).

Sinon je suis en train de chercher un routeur permettant de faire du 2.5G car je vais acheter un Switch CRS305 + le SFP GPON-ONU-34-20BI.
@cetipabo tu m'avais donné quelques modèles il y a quelques temps, tu avais essayé ?
L'avantage c'est qu'avec le switch je vais pouvoir gerer le changement de COS (prio L2) en gardant l'existant (avec le port cuivre 1Gbps), jusqu'a trouver un routeur 2.5G ou + (en restant sur openwrt).

garga · « **Réponse #497 le:** 30 mai 2022 à 15:19:52 »

C'est un peu HS, mais dans ce cas pourquoi ne pas partir sur une solution type pfsense avec des interfaces en 2.5G ethernet : https://www.aliexpress.com/item/1005003744743799.html?spm=a2g0o.productlist.0.0.3c67495bxmBmI9&algo_pvid=a23d355b-357b-4af5-be9c-f28ea2f32c5d&algo_exp_id=a23d355b-357b-4af5-be9c-f28ea2f32c5d-2&pdp_ext_f=%7B%22sku_id%22%3A%2212000027020913559%22%7D&pdp_npi=2%40dis%21EUR%21%21193.97%21%21%21%21%21%400b0a01f816539164474638472e133e%2112000027020913559%21sea

Pour en revenir au topic, dernière question je pense pour moi, le forward de "wan6->lan" dans le tuto n'est pas un peu violent ? J'ai l'impression qu'il ouvre l'accès à toutes les machines du lan en IPv6.
Sans ce forward, j'ai toujours mon score de 19/20 sur ipv6-test. Pour ceux qui en ont besoin, ne faudrait-il mieux pas autoriser les IP du lan qui ont effectivement un serveur qui tourne ?

ubune · « **Réponse #498 le:** 30 mai 2022 à 15:20:51 »

Citation de: garga le 29 mai 2022 à 22:41:44

edit : J'ai peut être crié victoire trop vite, on dirait que les regles nft sont instables, je suis au moins tombé sur une occurence ou j'ai du les relancer manuellement. Peut-etre faudrait-il prévoir un job cron qui les passerait toutes les 10 minutes.

Je t'ai fait un truc très simple mais efficace (check toutes les 5min):

Code: [Sélectionner]

nano /etc/checknftrules.sh

Code: [Sélectionner]

#!/bin/sh
var=$(nft list ruleset | grep "set 0:" | wc -l);
if [ $var -ne 0 ]; then
    echo "nft rules ok le $(date)" > /root/checkrules.txt
else
echo "nft rules corrige par le script le $(date)" >> /root/error-rules.txt
nft add rule inet fw4 mangle_postrouting oifname "wan.832" counter meta priority set 0:1
nft add rule inet fw4 mangle_postrouting oifname "wan.832" ip protocol icmpv6 counter meta priority set 0:6
nft add rule inet fw4 mangle_postrouting oifname "wan.832" udp dport 547 counter meta priority set 0:6
nft add rule inet fw4 mangle_postrouting oifname "wan.832" ip protocol icmp counter meta priority set 0:6
nft add rule inet fw4 mangle_postrouting oifname "wan.832" ip protocol igmp counter meta priority set 0:6
nft add rule inet fw4 mangle_postrouting oifname "wan.832" udp dport 67 counter meta priority set 0:6
fi

Code: [Sélectionner]

chmod a+x /etc/checknftrules.sh

Code: [Sélectionner]

crontab -e

Code: [Sélectionner]

*/5 * * * * /etc/checknftrules.sh
De plus, hésite pas à ajouter les scripts aux exclusions pour ne pas qu'ils soient supprimés lors d'une maj

ubune · « **Réponse #499 le:** 30 mai 2022 à 15:26:33 »

Citation de: garga le 30 mai 2022 à 15:19:52

C'est un peu HS, mais dans ce cas pourquoi ne pas partir sur une solution type pfsense : https://www.aliexpress.com/item/1005003744743799.html?spm=a2g0o.productlist.0.0.3c67495bxmBmI9&algo_pvid=a23d355b-357b-4af5-be9c-f28ea2f32c5d&algo_exp_id=a23d355b-357b-4af5-be9c-f28ea2f32c5d-2&pdp_ext_f=%7B%22sku_id%22%3A%2212000027020913559%22%7D&pdp_npi=2%40dis%21EUR%21%21193.97%21%21%21%21%21%400b0a01f816539164474638472e133e%2112000027020913559%21sea

Pour en revenir au topic, dernière question je pense pour moi, le forward de "wan6->lan" dans le tuto n'est pas un peu violent ? J'ai l'impression qu'il ouvre l'accès à toutes les machines du lan en IPv6.
Sans ce forward, j'ai toujours mon score de 19/20 sur ipv6-test. Pour ceux qui en ont besoin, ne faudrait-il mieux pas autoriser les IP du lan qui ont effectivement un serveur qui tourne ?

J'adore la customisation/flexibilité d'openwrt, mais ça peut s'installer sur ce boitier X86, j'aurai préféré de l'arm mais à voir

, merci
Concernant le forward, l'icmpv6 fonctionnera toujours grâce à cette rule :

Code: [Sélectionner]

config rule
	option name 'Allow-ICMPv6-Forward'
	option dest '*'
	option proto 'icmp'
	option limit '1000/sec'
	option family 'ipv6'
	option target 'ACCEPT'
	list icmp_type 'bad-header'
	list icmp_type 'destination-unreachable'
	list icmp_type 'echo-reply'
	list icmp_type 'echo-request'
	list icmp_type 'packet-too-big'
	list icmp_type 'time-exceeded'
        list icmp_type 'parameter-problem'
	list icmp_type 'unknown-header-type'
	option src 'wan6'

Pour le Forward "général", c'est un choix, les deux s'argumentent, Free laisse tout open, mais d'un coté il est très difficile de "deviner" une ipv6 d'une de tes machines, et également il y a encore le firewall de la machine derrière.
Mais passer en drop par defaut n'est pas du tout un mauvais choix.
Le plus important c'est de laisser au moins les flux icmpv6 cités dans la rfc (les différents type de message icmpv6 présents dans la rule), voir la RFC 4890 (Section 4.3.1, 4.3.2) pour plus de détail => https://datatracker.ietf.org/doc/html/rfc4890

cetipabo · « **Réponse #500 le:** 30 mai 2022 à 16:06:19 »

Citation de: ubune le 30 mai 2022 à 14:33:54

Sinon je suis en train de chercher un routeur permettant de faire du 2.5G car je vais acheter un Switch CRS305 + le SFP GPON-ONU-34-20BI.
@cetipabo tu m'avais donné quelques modèles il y a quelques temps, tu avais essayé ?

Oula depuis le temps la moitié sont devenus soit introuvables soit morts-nés. il y a peut etre possibilité de trouver des Macchiatobin...
A ce jour en solution apacher, et toujours viable, il n'y a pas grand chose qui me traverse l'esprit...le mieux c'est vraiment le mini-pc type aliexpress.
ou alors a des fins de test, sur une petite tour mettre une carte pcie 4x 2.5G : https://fr.aliexpress.com/item/1005004216189893.html

ubune · « **Réponse #501 le:** 30 mai 2022 à 16:32:58 »

Citation de: cetipabo le 30 mai 2022 à 16:06:19

Oula depuis le temps la moitié sont devenus soit introuvables soit morts-nés. il y a peut etre possibilité de trouver des Macchiatobin...
A ce jour en solution apacher, et toujours viable, il n'y a pas grand chose qui me traverse l'esprit...le mieux c'est vraiment le mini-pc type aliexpress.
ou alors a des fins de test, sur une petite tour mettre une carte pcie 4x 2.5G : https://fr.aliexpress.com/item/1005004216189893.html

Ok merci pour le retour, le truc c'était d'avoir une machine qui consomme assez peu (arm), mais en effet je vais m'orienter vers un mini-pc.

cetipabo · « **Réponse #502 le:** 30 mai 2022 à 16:54:51 »

quelqu'un a parlé du Nanopi R5S
https://www.minimachines.net/actu/nanopi-r5s-109124
https://fr.aliexpress.com/item/1005004297204348.html
https://www.friendlyelec.com/index.php?route=product/product&path=69&product_id=287
un quad core 2.Ghz, avec 2 ports 2.5Gb...après je ne sais pas si la puce Rockchip est vraiment optimisée pour le réseau. les Mhz ca ne fait pas tout.

garga · « **Réponse #503 le:** 30 mai 2022 à 17:03:23 »

Citation de: ubune le 30 mai 2022 à 16:32:58

Ok merci pour le retour, le truc c'était d'avoir une machine qui consomme assez peu (arm), mais en effet je vais m'orienter vers un mini-pc.

Le Intel J4125 semble etre assez raisonnable coté conso à en croire ce test (idle 5W, load 10W)
https://www.servethehome.com/inexpensive-4x-2-5gbe-fanless-router-firewall-box-review-intel-j4125-i225-pfsense/