Configuration pfsense avec ONU G-010S-A et carte dual sfp+ en passthrough sur infra orange OLT Alcatel/nokia
Préambule : Les différentes configurations et options matérielles étant déjà largement renseignées par Gnubyte en
première page, je ne m'attarderai pas sur ce point.
Néanmoins, pour arriver à libérer ce dernier Gigabits, sachez qu'il vous faudra :
- Du temps : En général, ce que l'on entreprend prends 2 à 3 fois plus de temps que ce que l'on a prévu.
- Une bonne dose de patience : Ça marche ? non... pourquoi? je sais pas... mais je vais chercher, pu@&é"'('"é&@ !!!!!!
- Une femme compréhensive : "Il est tard, je vais me coucher chéri" - "D'accord, je te rejoins de suite..."
- Quelquefois punir les enfants de réseau : De toute façon, ils font beaucoup trop d'écran !
Avant la fibre, arrivée fin août 2020 chez nous, nous étions en vdsl à 43Mbps et utilisions un asus RT-AC68U en routeur et point d'accès. Il y a 6 ans environ, j'ai craqué pour un petit serveur : un dell T20 histoire de sauvegarder nos souvenirs, servir quelques vidéos familiales ou encore pour faire des backups Timemachine. Ce petit serveur est un "vrai" serveur dans le sens où toutes les options de virtualisations sont possible autant niveau cpu que carte mère, avec donc la possibilité de "détacher" un dispositif du système hôte pour l'"accrocher" à une machine virtuelle (pci passthrough). J'avais choisi à l'époque Unraid comme système car il me permettait de recycler mes vieux disque durs et j'en suis toujours pleinement satisfait.
Je possédais déjà :
- 1 serveur PowerEdge Dell T20 (Xeon E3-1225 v3 / 12GB ram ecc VT-x)
- 1 routeur/point d'accès Asus RT-AC68U
Pour réaliser le challenge de gnubyte, il me fallait acheter un onu "compatible", un routeur 10Gbps, un switch 10Gbps et des câbles : il y en avait pour une petite fortune, alors, j'ai réfléchis au setup déjà réalisable avec ce que je possédais et j'ai imaginé cette instalation :
J'ai donc acheté :
- 1 onu G-010S-A : 38,49€
- 1 carte Silicom PE310G2SPT10-XR-HT (dual sfp+) : 24,52€
- 1 câble fibre monomode - 3m à Jarretières SC-APC à SC-APC : 8,77€ (l'arrivée murale est loin du serveur)
- 1 Câble 10Gbps - 2m SFP+ Direct Attach Copper Cable (DAC) : 22,98€
J'ai acheté aussi un switch mikrotik CRS326-24G-2S+RM : c'était une bonne occasion et j'aime bien ces machines. Enfin, un convertisseur TP-Link MC220L RJ45/sfp pour 25,86€ car c'est vraiment plus facile pour configurer et tester l'onu.
(et non, ce n'est pas un macpro
)
Vue de la carte
Avertissement :Il est important de souligner un point évoqué en
première page, c'est le choix du bus pcie pour insérer une telle carte.
En effet, si on cumule les possibilités offertes en débits, on obtient au total 40Gbps (2 x 10Gbbs en full duplex), ce qui fait 5GB/s, la carte étant en pcie 8x, il faut au minimum un port pcie 8x 3.0 ou un 16x 2.0.
Ça tombe bien, j'ai les deux (en fait, j'avais vérifié avant 47 fois :-) ).
Le dernier port 8X étant occupé par une carte raid 8 x SATA, je vais utiliser le 16x 3.0, hop le serveur est prêt pour la prochiane génération.
Avertissement 2 : Il y a toujours un risque de casser et/ou bricker quelque chose : Je ne suis pas responsables des avaries éventuelles sur votre matériel. Toutes ces informations sont issues de tests aléatoires, de recherche de documentation, de rétro engineering et aussi... de chance.
Partie pratique
Etape 1: Collecte des informations concernant mon accès sur Livebox 5 et renseignements dans l'onu.Je suis sur un OLT
alcatel/nokia (ALCL). J'ai eu "juste" besoin d'enter dans l'onu les références suivante : MfrID, G984Serial et HardwareVersion.
Ces informations sont disponible dans la Livebox dans /Paramètres avancés/Informations système/ONT
Un reboot AVEC la fibre insérée, vérification du passage en O5 (ssh, gtop a) : l'onu semble connecté.
A cette étape, je n'avais pas encore renseigné la possibilité de l'onu à passer en 2,5Gbps (fw_setenv sgmii_mode 5)
Le passage en O5 ne veut pas dire que ça va marcher : La configuration réseau spécifique à l'olt et au fournisseur peut ne pas fonctionner.
Etape 2 : Validation de la connection par la Livebox via le convertisseur.La Livebox doit fonctionner comme si elle était connectée sur un ONT mural Orange quand on la branche sur son port 4 (souligné en vert).
Youhouuuu ! l'onu est bien inscrit, la config du fourniseur acceptée, la Livebox connectée : ça marche !
(Les tests réalisés avec ce convertisseur m'on donné un débit de 600Mbps/600Mbps, ceci est du au convertisseur lui même.)
A partir de ce moment, vous savez que votre onu fonctionne. Il ne reste plus qu'à mettre derrière ce que vous voulez.
Cette étape est fondamentale et il faut commencer par celle-ci car si vous n'arrivez pas à valider la connection de l'onu, ça ne sert à rien de continuer...
Etape 3 : Configuration de la carte Silicom dual sfp+ et de l'onuVoir les détails en
première page pour passer un des ports en 2,5Gbps.
J'ai dédié le port 2 à l'onu pour des raisons pratiques : dans l'utilitaire de la carte, on peut identifier les adresses mac des ports.
J'ai aussi autorisé le sgmii_mode en 2,5Gbps dans l'onu à cette étape : fw_setenv sgmii_mode 5Etape 4 : installation du kernel module 2,5Gbps de la carte dans pfsense.Pour ma part, j'ai mis ma carte dual sfp+ en passthrough dans une appliance de pfsense, c'est donc le kernel de pfsense qui la prend en charge.
Notre ami @up-n-atom a bien balayé l'histoire et a mis en ligne des modules compilés pour pas mal de configurations, dont pfsense :
https://www.dslreports.com/forum/r32230041-Internet-Bypassing-the-HH3K-up-to-2-5Gbps-using-a-BCM57810S-NICJ'ai pris le module if_bxe_nokia.zip et suivi les instructions disponibles au même endroit :
[2.4.5-RELEASE][admin@pfSense.lan]/root: curl https://www.dslreports.com/r0/download/2417526~b75828570b9e2c7e64f7cf5597a59a95/if_bxe_nokia.zip -O
[2.4.5-RELEASE][admin@pfSense.lan]/root: unzip if_bxe_nokia.zip
Archive: if_bxe_nokia.zip
extracting: if_bxe.ko
[2.4.5-RELEASE][admin@pfSense.lan]/root: cp if_bxe.ko /boot/kernel/
[2.4.5-RELEASE][admin@pfSense.lan]/root: chmod 555 /boot/kernel/if_bxe.ko
[2.4.5-RELEASE][admin@pfSense.lan]/root: chflags schg /boot/kernel/if_bxe.ko
[2.4.5-RELEASE][admin@pfSense.lan]/root: echo 'if_bxe_load="YES"' >> /boot/loader.conf.local
reboot de pfsense : Dans dmesg, on doit trouver des traces du succès du chargement du module patché :
[2.4.5-RELEASE][admin@pfSense.lan]/root: dmesg | grep bxe
...
bxe0: Found 10Gb Fiber media.
bxe0: link state changed to UP
bxe0: NIC Link is Up, 10000 Mbps full duplex, Flow control: ON - receive & transmit
bxe1: Found 10Gb Fiber media.
bxe1: link state changed to UP
bxe1: NIC Link is Up, 2500 Mbps full duplex, Flow control: ON - receive & transmit
Module OK !Etape 5 : configuration des interfaces dans pfsense et adressageInterfaces :- Assignation du port 1 à 10GBps vers le switch (bxe0) au LAN et du port 2 contenant l'onu (bxe1) au WAN
- Création du vlan 832 sur l'interface WAN
- Ajout du vlan 832 en interface
Ce qui donne au final :
Addressage :- Assignation d'une IP fixe pour le LAN : 192.168.88.1/24
- Optionnel : Assignation d'une IP fixe pour l'interface WAN : 192.168.1.9/29. Le /29 me permet d' accéder à l'onu en 192.168.1.10, ça me permet de pouvoir utiliser aussi la Livebox en secours sur une autre interface en 192.168.1.2/29)
- Création d'un serveur dhcp pour le réseau LAN sur 192.168.88.0/24
Etape 6 : Configuration du dhcp sur le vlan832 pour orangeIl faudra ajouter les options suivantes pour obtenir une IPv4 publique
- dhcp-class-identifier "sagem"
- user-class "+FSVDSL_livebox.Internet.softathome.Livebox4"
- option-90 00:00:XX:XX:XX:XX:XX:XX:XX:......:XX:XX (elle est longue)
Pour fabriquer la chaîne d'authentification de l'option 90, je me suis servi de ce lien qui intègre un générateur :
https://wiki.virtit.fr/doku.php/kb:linux:pfsense:remplacer_sa_box_orange_par_un_pfsenseSelon votre emplacement, il faudra aussi indiquer la priorité 6 pour les requêtes dhcp.
Dans
l'interface Vlan832 :
IPv4 Configuration Type : dhcp
Advanced Configuration : coché
DHCP VLAN Priority : coché avec le choix "Internetwork Control (IC6)"
Lease Requirements and Requests :
- Send options : dhcp-class-identifier "sagem", user-class "+FSVDSL_livebox.Internet.softathome.Livebox4", option-90 00:00:XX:XX:XX:XX:XX:XX:XX:......:XX:XX
- Request options : subnet-mask, broadcast-address, dhcp-lease-time, dhcp-renewal-time, dhcp-rebinding-time, domain-search, routers, domain-name-servers, option-90
En image :
A ce stade, vous devez obtenir une adresse IP publique Etape 7 : Passerelle internetIl ne reste plus qu'à créer une passerelle internet IPv4 en indiquant le vlan832
Voilà, ça tourne depuis 2 jours maintenant sans aucun soucis. La semaine prochaine, j'attaque la même chose avec Vyos