Hello !

Petite mise à jour de ce post, quelques années après ! Les anciennes versions de ce post sont disponibles ici : https://lafibre.info/milkywan/archive-milkywan-as57199

MilkyWan est un opérateur associatif que j’ai fondé en 2015, c’était, pendant quelques années mon terrain de jeu personnel. Au fil du temps, j’ai commencé à ramener du monde autour du projet et à faire grandir l’infrastructure, de quelques routeurs dans ma chambre, on est passés à des serveurs dédiés chez Online, des VM chez Hivane ou K-Net à un vrai réseau national indépendant.




1/ Infrastructure

MilkyWan est un réseau associatif expérimental qui fête ses 11 ans cette année, qui a commencé avec des routeurs Linux et des ERL montés en tunnel un peu partout, et qui exploite maintenant une infra en propre.

Je ne vais pas parler de l'ancienne infra ici, c'était en gros basé sur : des dédiés Online, GRE,FRR,BGP,et un peu d'L2TP.

En Février 2018, nous avons décidé de passer à l’étape supérieure en devenant un “vrai” opérateur, en exploitant notre propre infrastructure système et réseau, de la bordure aux routeurs de collecte, en passant par les serveurs et les NAS.

Nous avons d'abord commencé avec des routeurs de la marque Mikrotik, gamme CCR et RB. Ces derniers sont aujourd'hui tous décommissionnés au profit de matériel plus "opérateur" : du Arista sur tout le réseau et du Cisco ASR pour la collecte. Il ne reste du Mikrotik que sur l'Out-Of-Band.

En 2026, MilkyWan s’étend sur 9 points de présence, sur toute la France et en Suisse.

1.a/ Côté Matos :

L'infra réseau est grosso modo séparée en 3 parties :
- L'infra de backbone (appelée Edge)
- L'infra datacenter (appelée Core)
- L'infra de collecte (Appelée Col)

Coté Edge, nous sommes désormais full Arista, sur la gamme 7280R, tous prennent la fulltable :

• Trois Arista 7280QR : Des gros routeurs 12x100G, sur nos plus gros POP (TH2, DC2 et Vénissieux).
• Trois Arista 7280TR (6x100G + 48x10G Cuivre) sur les autres POP : Genève, Lille et Toulouse.

Coté Core, on est également full Arista, adossé à des hyperviseurs full Dell R630/R640 (DDR4, NVMe à D2S, full SSD ailleurs) :

• Quatre Arista 7280SR : Ce sont les routeurs de coeur de nos POP Système à CBO, dc2scale et Vénissieux. Les serveurs y sont également branchés. On en a aussi un à Venissieux chez NetSyst pour agréger des intercos locales.
• Deux Arista 7280TR en core à TH2 et Nexeren.

Bref, une infra assez développée qui permet de délivrer efficacement tout notre trafic et anticiper le futur

Coté Collecte, nous sommes full Cisco ASR1001-X, avec quatre routeurs à CBO, dc2scale, Genève et Vénissieux :

• Ils terminent les collectes L2TP / PPPoE / DHCP et les tunnels L2TP/GRE de nos abonnés. La collecte SIEA est quant à elle livrée en deux points : Genève pour l'Est du département et Nexeren pour l'Ouest, transporté sur l'ASR de Venissieux.

---

Nous sommes présents dans de nombreux DC, par ordre d’apparition :

• OPCORE DC2, ex-Online/Scaleway (Vitry, sud de Paris)
• UltraEdge (ex SFR) Vénissieux (Sud de Lyon), où nous sommes présents dans 3 baies dont une qui nous est entièrement dédiée
• Telehouse 2 (Paris 11), où nous sommes présents dans 2 baies
• ETIX Lille #2
• DC2Scale Velizy
• Eurofiber CBO (Croissy-Beaubourg)
• Nexeren (Civrieux)
• Cogent Toulouse
• Le CERN à Genève, batiment 513

Plus de détails et de photos de nos POP ici : https://lafibre.info/milkywan/milkywan-photos-des-pop/

1.b/ Côté Ressources IP :

En IPv4, nous avons plusieurs blocs alloués par le RIPE : 45.13.104.0/22, 62.204.43.0/24, 193.58.42.0/23, 195.20.209.0/24 et un /24 alloué par Gitoyen : 80.67.167.0/24
On utilise l'allocation Gitoyen pour l'infra et le reste des blocs pour nos chers Abonnés

En IPv6, nous avons trois blocs : 2a0b:cbc0::/29, 2a0e:e700::/29 et 2a0f:ce00::/29
Même principe qu'en v4, le premier sert surtout à l'infra (et aux premiers abonnés), les suivants servent aux abonnés uniquement

Et évidemment, l’AS2027 (anciennement AS57199). C’est quand même plus classe d’avoir un AS 16b, il faut le dire

Côté sécurité du routage, tous nos préfixes sont couverts par des ROA (RPKI), nos routeurs de bordure valident les annonces reçues (ROV), et nous avons enregistré nos objets ASPA auprès du RIPE, pour protéger nos annonces contre les fuites et détournements de routes.

1.c/ : Coté Interconnexions.

Je pense qu’on peut affirmer sans trop se mouiller que nous sommes l’opérateur associatif le mieux interconnecté de France :-)
Coté Transit, nous avons :

• 300Gbit/s de transit Eurofiber (AS35625), en 100G sur trois POP : TH2, DC2 et Vénissieux
• 100Gbit/s de transit protégé Netrix (AS62000) à TH2, avec l'anti-DDoS qui va bien
• 100Gbit/s de transit moji (AS47160) à DC2
• 100Gbit/s de transit NetSyst (AS209097) à Vénissieux
• 100Gbit/s de transit FiberWay (AS49434) à dc2scale
• 10Gbit/s de transit Verixi (AS6696) avec Anti-DDoS également, à TH2
• 10Gbit/s de transit protégé F5, ex-Acorus (AS35280) à TH2

Coté Peering, nous avons :

• 100G sur nine à DC2, plus un vlan sur six, le petit frère parisien de nine
• 100G sur nine à Vénissieux
• 10G sur FranceIX Paris à DC2, avec comme remote peering FranceIX Marseille
• 10G sur FranceIX Lyon à Vénissieux
• 10G sur FranceIX Toulouse, avec un remote-peering vers Paris
• 10G sur le LillIX, à Lille
• 10G sur le CIXP, à Genève
• TOP-IX et LU-CIX en remote peering 10G depuis France-IX à DC2

Ce qui nous donne un total de près d'1Tb/s de capacité vers internet. Une capacité honorable :-)
D’ailleurs, on est régulièrement dans le top HE France sur le nombre de peers IPv4/v6 <3


1.d/ Le reste :
Nous sommes déclarés à l’ARCEP (code MILK), membres de la Task Force IPv6 (enfin moi), et membres d’aucune association d’opérateurs associatifs, vu que la principale ne correspond pas à notre vision et qu'il n'y en a pas d'autres (mais on bosse quand même avec plaisir avec tous les autres FAI Associatifs ! :-)

2/ Le setup :

Nous exploitons donc un backbone principalement en 100G. Il est pur IP (pas de MPLS, de SR ou autre), Il est drivé par un control plane doté d’une part d’OSPF et BGP pour l'underlay, et d’autre part EVPN + VRF pour l'overlay, avec 3 RR virtualisés sur nos POP système (Genève, dc2scale et Vénissieux). Nous apprenons désormais la fullview, en IPv4 comme en IPv6, tout notre parc Edge la tenant sans problème

Tout ce backbone est relié par des Lan2Lan et des Waves DWDM. Ces liens sont fournis par Eurofiber, nine, Kissgroup, IP-Max et FiberWay (merci à eux !)

On essaie d’avoir un backbone le plus redondant possible, mais c’est parfois un peu compliqué, nous faisons donc confiance à la fiabilité de celui de nos sponsors (et on n’a que très rarement eu de coupures).
On relie aussi les serveurs, NAS, et les routeurs de collecte en n*10G ou parfois en n*40G (mais en vrai c'est relou et overkill).

On a de la MTU9k partout, ce qui permet de proposer des tunnels Ethernet avec une MTU 9k entre tous nos PoP, et aussi simplement qu’avec du MPLS, grâce à VxLAN.

Voici la Weathermap du réseau, accessible à cette URL en IPv6 Only : https://weathermap.milkywan.fr/



On fait de l'eBGP + AS privé sur chaque ASR1001-X de collecte, n'étant pas compatibles EVPN IPv4 + IPv6. On fait quand même du VxLAN-EVPN dessus pour transporter les collectes IP en VRF.

Les abonnés Tunnel ayant demandé une redondance sont également livrés en eBGP avec AS privé, c’est plus simple à gérer, encore une fois

3/ L’équipe

Nous sommes actuellement 12 dans l’asso, dont 2 membres d'honneur :

• François, Vice-Président, Responsable Dev et TV
• Raphaël, Admin réseau
• Marc, Secrétaire, Responsable Support & Déploiement
• Gary, Trésorier
• Gabriel, Responsable technique
• Nicolas, Ingénieur sécurité
• Paul, Admin réseau
• Damien, Responsable SI
• Sébastien, Admin Systèmes
• Moi, Admin Réseau, Sys et Président
• Corentin, membre d'honneur
• Julien, membre d'honneur (et papa d'Univers)

4/ Les services
On propose tout ce qu’un “vrai” opérateur peut vous proposer, à peu de choses près.
Pour résumer, on a trois catégories de produits :

4.a/ Pour les particuliers :

• FTTH : Collecte nationale, collectes régionales sur certains réseaux, jusqu'à 8Gbit/s, allez voir le topic dédié : https://lafibre.info/milkywan/ftth-milkywan/
• Data Mobile 4G/5G : Des forfaits data only sur les réseaux Orange ou SFR, de 1Go à 1To par mois, en SIM ou e-SIM
• TV : Un bouquet de chaînes en IPTV inclus avec les abonnements FAI, lisible depuis n'importe quelle application M3U, avec en bonus une app maison sur Apple TV
• Tunnels IP : Un simple tunnel (ou VPN) depuis le réseau de MilkyWan (GRE, WireGuard, L2TP, OpenVPN). On peut même faire de la redondance avec BGP
• OMR : Des instances OpenMPTCPRouter hébergées chez nous, pour agréger et redonder plusieurs liens internet
• Machines virtuelles : On propose plein de VM, je ne vais pas tout détailler ici, mais le point important, c’est que le réseau n’est pas bridé !

Et sur tout ça, l'Anti-DDoS Netrix est inclus

4.b/ : Les services Opérateurs
On propose tout un tas de services à destination des opérateurs, dans le lot :

• Transit IP BGP : Le plus connu, on propose du transit, avec un commit démarrant à 7,5Mbit/s jusqu’à 1Gbit/s (voir plus si besoin), sachant que notre réseau est plutôt très développé (parmi les meilleurs de France selon HE)
• Lan2Lan : On vous transporte en 1G/10G ou plus, entre tous nos PoP !
• Housing : On vous héberge, à DC2Scale, Eurofiber CBO ou UltraEdge Vénissieux. Et on a des partenariats pour les autres DC, au besoin
• FTTO : On sait livrer de la FTTO un peu partout en France pour vous livrer tout ce qui est au dessus.
• LIR : Nous sommes LIR au RIPE NCC, on peut donc sponsoriser vos ressources (ASN, IPv6 PI) ou vous redistribuer de l'IPv6 PA.

Bref, on reste sur du classique, mais efficace, et avec un excellent réseau

4.c / Les services Web :
Principalement des services qu’on utilise en interne, et qu’on ouvre au plus grand nombre :

• Pix: Un service d’hébergement d’images
• Hastebin : Un service de pastebin plutôt joli
• Pad : Un service de pad collaboratif assez efficace.
• Jitsi : De la visioconférence directement depuis le navigateur.
• Du mail : des boîtes ouvertes à tous nos adhérents, pour 1€/mois

4.d/ Univers, notre espace abonné :

Fin 2025, on a lancé Univers, notre espace abonné développé entièrement en interne par nos bénévoles, sous la houlette de Julien. On y retrouve tout ce qu'on attend d'un vrai portail opérateur : suivi de ses services, factures, ticketing avec autodiagnostic FTTH, console de ses VM, test d'éligibilité et souscription en self-service, ou encore recharge des forfaits data mobile. Le tout est construit autour d'une API et pensé en modules, ce qui nous permet d'y brancher facilement les services à venir


Toute l'histoire est racontée dans le topic dédié : https://lafibre.info/milkywan/bienvenue-dans-lunivers-notre-nouvel-espace-abonne-128640/


Conclusion :

Bref, voilà un petit post sur ce qu’on fait, on est plutôt content du chemin parcouru depuis 2015 : partis de quelques routeurs dans une chambre, on exploite aujourd'hui un backbone 100G full Arista, avec près d'1Tb/s de capacité vers internet et du FTTH multi-gig, le tout en associatif et en bénévole. Il y a dix ans je n'aurais jamais osé imaginer ça, et je me demande toujours jusqu'où ça nous mènera

Si vous voulez voir nos nouvelles, on est sur Twitter (@MilkyWan_net), sur IRC (#milkywan sur libera.chat, n'hésitez pas à rejoindre #lafibre aussi, on se marre bien ).
Le site web est ici : https://milkywan.fr/
On est sur PeeringDB et je maintiens les objets RIPE à jour


Je vous laisse sur quelques photos de l’infra

A quand le dégroupage des NRA alors ?

http://wholesalefrance.orange.fr/fr/Nos-offres/Solutions-Fixe-Grand-Public/Offre-Solutions-Fixe-Grand-Public/DSL-Collect-IP

http://wholesalefrance.orange.fr/fr/Nos-offres/Solutions-Infrastructures-de-Reseau/Offres-Solutions-Infrastructures-de-Reseau/Lien-Fibre-Optique-LFO

http://wholesalefrance.orange.fr/fr/Nos-offres/Solutions-Fixe-Grand-Public/Offre-Solutions-Fixe-Grand-Public/Acces-DSL-DSL-Access

Pas de Cisco, Juniper, Alcatel ? Va falloir lâcher un billet quand même.

J'ai bien compris l’intérêt d'avoir un AS 16 bits (compatibilité avec plus de routeurs)

Par contre choisir un AS 32 bits cela a quel intérêt, a part ne pas pouvoir peerer avec ceux qui ont un vieux routeur ?

Sympa ce que tu fais, en tous cas bravo, ca fait plaisir de voir des gens motivés.

Du coup on a monté notre premier peering avec Petrus (AS206155), ça m'a permis de tester mes templates de peering

Très beau projet, bravo à vous !