Hello !

Petite mise à jour de ce post, quelques mois après ! Les anciennes versions de ce post sont disponibles ici : https://lafibre.info/milkywan/archive-milkywan-as57199

MilkyWan est un opérateur associatif que j’ai fondé en 2015, c’était, pendant quelques années mon terrain de jeu personnel. Au fil du temps, j’ai commencé à ramener du monde autour du projet et à faire grandir l’infrastructure, de quelques routeurs dans ma chambre, on est passés à des serveurs dédiés chez Online, des VM chez Hivane ou K-Net à un vrai réseau national indépendant.




1/ Infrastructure

MilkyWan est un réseau associatif expérimental qui fête ses 5 ans cette année, qui a commencé avec des routeurs Linux et des ERL montés en tunnel un peu partout, et qui évolue maintenant vers une infra en propre.

Je ne vais pas parler de l'ancienne infra ici, c'était en gros basé sur : des dédiés Online, GRE,FRR,BGP,et un peu d'L2TP.

En Février 2018, nous avons décidé de passer à l’étape supérieure en devenant un “vrai” opérateur, en exploitant notre propre infrastructure système et réseau, de la bordure aux routeurs de collecte, en passant par les serveurs et les NAS.

Nous avons d'abord commencé avec des routeurs de la marque Mikrotik, gamme CCR et RB, nous sommes progressivement en train de décomissionner ces derniers pour passer sur du matos plus "opérateur" : Cisco, Brocade, Arista, etc

En 2021, MilkyWan s’étend sur près de 11 points de présence, sur toute la France.

1.a/ Côté Matos :

L'infra réseau est grosso modo séparée en 3 parties :
- L'infra de backbone (appelée Edge)
- L'infra datacenter (appelée Core)
- L'infra de collecte (Appelée Col)

Coté Edge, nous exploitons des routeurs des constructeurs Arista, Brocade, Juniper et Mikrotk :

• Trois Arista 7050SX : Nous les avons choisis pour leur excellent rapport qualité prix. Ils tiennent environ 3-400k routes, ce qui nous suffit. Nous avons des modèles 48x10G + 6 ou 12 ports 40G.
• un Brocade CER2024F et sa carte d'extension 2x10G : Il sert à collecter France-IX et quelques clients à Toulouse
• Un CCR1009 : Dans leur version 1x10G. Ce sont les routeurs avec lesquels on a commencé, et que nous déprovisionnons aujourd’hui, il n'en reste plus qu'un, à Rennes, qui récupère Breizh-IX et fournit un peu de connectivité aux copains
• Un Juniper MX80 à Toulouse qui collecte LillIX et divers L2L à travers la France

Coté Core, on exploite pour l'instant uniquement du Cisco, du Brocade et de l'Arista, c'est amené à évoluer pour de l'Arista only. Nous avons :

• Deux Brocade CES2024 : Des routeurs 4x10G + 24x1G SFP, ils servent comme gateway de tout le matériel présent dans nos POP système, ils routent en hardware, bref, c'est un bonheur
• Deux Arista 7050QX-32S : Un à Lyon pour collecter le POP Système, et un à TH2 pour ramener des ports en VxLAN sur notre 7050SX
• Deux Cisco Catalyst 4500X : Des puissants routeurs équivalents en features aux Brocade CES mais que nous n'exploitons qu'en switching dans nos POP système, pour relier des serveurs à un routeur d'agreg
• Un Dell N4032 : Un simple switch 24x10G + 2x40G, il relie des serveurs à un routeur d'agreg

Nous allons très prochainement remplacer les Brocade CES par des Arista 7050QX-32S 32x40G.

Bref, une infra assez simple mais qui marche incroyablement bien

Coté Collecte, nous exploitons plusieurs matériels :

• Un Cisco ASR1001 qui route les abonnés du SIEA et quelques clients à Maxnod
• Un Nexus 3064 qui collecte les abonnés du SIEA et les agrège sur l'ASR1001
• Deux Cisco ASR1002+ESP10 : Pour les collectes L2TP / PPPoE, c'est de la bombe
• Des Mikrotik RB4011 : Des super petits routeurs de collecte, on fait terminer les tunnels L2TP/GRE/IPIP dessus, ça tient super bien la charge et ça fait du 10G, ils vont être migrés sur les ASR1002 à terme

---

Nous sommes présents dans de nombreux DC, par ordre d’apparition :

• Scaleway DC2 (Vitry, sud de Paris) :
• SFR Venissieux (Venissieux, Sud de Lyon)
• Telehouse 2 (Paris 11)
• Cogent Rennes
• CIV Lille
• DC2Scale Velizy
• Appliwave CBO (Croissy-Beaubourg)
• HosTELyon
• Maxnod
• Cogent Toulouse

Plus de détails et de photos de nos POP ici : https://lafibre.info/milkywan/milkywan-photos-des-pop/

1.b/ Côté Ressources IP :

En IP Legacy, nous avons un /22 alloué par le RIPE : 45.13.104.0/22 et un /24 alloué par Gitoyen : 80.67.167.0/24
Le premier est utilisé pour les abonnés, le second pour l'infra

En IPv6, nous avons un /32 alloué par AppliWave : 2a0b:cbc0::/32 et un /29 alloué par le RIPE : 2a0e:e700::/29   
Même principe qu'en v4, le /32 sert surtout à l'infra (et aux premiers abonnés), le /29 sert aux abonnés uniquement

Et évidemment, l’AS2027 (anciennement AS57199), un AS 16 Bits puisqu’il n’est pas possible de faire de la commu étendue sur un AS32b avec Mikrotik. Et c’est quand même plus classe d’avoir un AS 16b, il faut le dire

1.c/ : Coté Interconnexions.

Je pense qu’on peut affirmer sans trop se mouiller que nous sommes l’opérateur associatif le mieux interconnecté de France :-)
Coté Transit, nous avons :

• 90Gbit/s de transit AppliWave (AS200780), sur DC2, TH2 et Vénissieux (Régional), en 25G à chaque fois
• 10Gbit/s de transit partiel Hivane Network (AS34019), qui nous partage ses nombreux peerings
• 10Gbit/s de transit protégé Acorus (AS35280) avec l'anti-DDoS qui va bien
• 40Gbit/s de transit FiberWay (AS49434) (parce que pourquoi pas ?)

Coté Peering, nous avons :

• 10G sur le LyonIX à Venissieux, avec comme remote peering activé : TopIX, TouIX, SwissIX, CIXP, NetIX, LoNAP, AuvernIX, GrenoblIX, EuroGIX
• 10G sur LyonIX à TH2
• 10G sur FranceIX Paris à DC2, avec comme remote peering FranceIX Marseille.
• 10G sur le LillIX, à Lille, on peer notamment avec OVH et Ielo-Liazo là bas.
• 10G sur FranceIX Toulouse avec un remote-peering à Paris
• 10G sur le Breizh-IX à Rennes, IXP dont je suis membre du bureau, et qui sent bon le kouign amann

Ce qui nous donne un total de 210Gbit/s de capacité vers internet. Une capacité honorable :-)
D’ailleurs, on est régulièrement dans le top HE France sur le nombre de peers IPv4/v6 <3


1.d/ Le reste :
Nous sommes déclarés à l’ARCEP (code MILK), membres de la Task Force IPv6 (enfin moi), et membres d’aucune association d’opérateurs associatifs, vu que la principale ne correspond pas à notre vision et qu'il n'y en a pas d'autres (mais on bosse quand même avec plaisir avec tous les autres FAI Associatifs ! :-)

2/ Le setup :

Nous exploitons donc un backbone assez varié, avec du 10G et du 40G. Il est pur IP (pas de MPLS, de SR ou autre), Il est drivé par un control plane doté d’une part d’ OSPF en IPv4 et OSPFv3 en IPv6, et d’autre part iBGP, avec 3 RR virtualisés sur nos POP système. Nous n'apprenons plus la fullview en IPv4, le gap de prix (minimum x5) entre un routeur avec et sans full a fait pencher la balance. Autant avoir un réseau qui marche bien sans full qu'un réseau bricolé avec la full. En IPv6 par contre, nous apprenons la fullview

Tout ce backbone est relié par des Lan2Lan en 10/40G pour les liaisons Nationales et des Waves DWDM en 10G sur tout le réseau métropolitain de Paris/Lyon. Ces liens sont fournis par AppliWave, Rezopole ou Quantic Telecom (merci à eux !)

On essaie d’avoir un backbone le plus redondant possible, mais c’est parfois un peu compliqué, nous faisons donc confiance à la fiabilité de celui de nos sponsors (et on n’a que très rarement eu de coupures).
Nous avons passé en Wave tout ce qui pouvait l'être, ce qui limite notre dépendance à des tiers.
On relie aussi les serveurs, NAS, et les routeurs de collecte en n*10G (quand ils en sont capables) ou en N*1G.
 
On a de la MTU9k partout, ce qui permet de proposer des tunnels L2 avec une MTU 9k entre tous nos PoP, et aussi simplement qu’avec du MPLS, grâce à VxLAN.

Voici la Weathermap du réseau, accessible à cette URL en IPv6 Only : https://weathermap.milkywan.fr/milkywan.html



Historiquement on faisait de l’eBGP avec des AS Privés, chaque routeur de collecte ayant un AS, ce qui permet de bénéficier de la qualité du filtrage de BGP.
Maintenant nous faisons de l'OSPF jusqu'aux routeurs de collecte et de l'iBGP, ça marche très bien aussi et ça évite d'avoir 15 AS à gérer.

Les abonnés Tunnel ayant demandé une redondance sont également livrés en eBGP avec AS privé, c’est plus simple à gérer, encore une fois

3/ L’équipe

Nous sommes actuellement 12 dans l’asso dont notamment :

• Thibault, développeur et trésorier
• Corentin, Admin Sys
• Guilhem, Responsable Communication et DA
• Alexis F, Secrétaire
• Jack, Admin système et réseaux
• Maël, Admin système
• Alexis V, Admin Réseau, Sys et responsable Delivery/Support
• Moi, Admin Réseau, Sys et Président

4/ Les services
On propose tout ce qu’un “vrai” opérateur peut vous proposer, à peu de choses près.
Pour résumer, on a deux catégories de produits :

4.b/ Pour les particuliers :

• FTTH : Collecte nationale, collectes régionales sur certains réseaux, allez voir le topic dédié : https://lafibre.info/milkywan/ftth-milkywan/
• xDSL : Pareil qu'au dessus, même topic
• Tunnels IP : Un simple tunnel (ou VPN) depuis le réseau de MilkyWan. On peut même faire de la redondance avec BGP
• Machines virtuelles : On propose plein de VM, je ne vais pas tout détailler ici, mais le point important, c’est que le réseau n’est pas bridé !

4.a/ : Les services Opérateurs
On propose tout un tas de services à destination des opérateurs, dans le lot :

• Transit IP BGP : Le plus connu, on propose du transit, avec un commit démarrant à 7,5Mbit/s jusqu’à 1Gbit/s (voir plus, mais vous n’avez plus besoin de nous, je pense , sachant que notre réseau est plutôt très développés (parmi les meilleurs de France selon HE)
• Lan2Lan : On vous transporte en 100M/1G ou plus, entre tous nos PoP !
• Housing : On vous héberge, à DC2Scale, Appliwave CBO ou Lyon HosTELyon. Et on a des partenariats pour les autres DC, au besoin
• Gros blocs IP : Si vous êtes un opérateur qui débute, on peut vous router un bloc d’IP (jusqu’à /25), avec une facturation progressive.
• FTTO : On sait livrer de la FTTO un peu partout en France pour vous livrer tout ce qui est au dessus.

Bref, on reste sur du classique, mais efficace, et avec un excellent réseau

4.c / Les services Web :
Principalement des services qu’on utilise en interne, et qu’on ouvre au plus grand nombre :

• Pix: Un service d’hébergement d’images
• Hastebin : Un service de pastebin plutôt joli
• Pad : Un service de pad collaboratif assez efficace.

Conclusion :

Bref, voilà un petit post sur ce qu’on fait, on est plutôt content du chemin parcouru depuis 2015, et on espère que les 5 prochaines années seront encore plus fructueuses, lancer le FTTH et l'xDSL est pour moi une vraie consécration et je me demande jusqu'où ça nous mênera

Si vous voulez voir nos nouvelles, on est sur Twitter (@MilkyWan_net), sur IRC (#milkywan sur libera.chat, n'hésitez pas à rejoindre #lafibre aussi, on se marre bien ).
Le site web est ici : https://milkywan.fr/
On est sur PeeringDB et je maintiens les objets RIPE à jour


Je vous laisse sur quelques photos de l’infra

A quand le dégroupage des NRA alors ?

http://wholesalefrance.orange.fr/fr/Nos-offres/Solutions-Fixe-Grand-Public/Offre-Solutions-Fixe-Grand-Public/DSL-Collect-IP

http://wholesalefrance.orange.fr/fr/Nos-offres/Solutions-Infrastructures-de-Reseau/Offres-Solutions-Infrastructures-de-Reseau/Lien-Fibre-Optique-LFO

http://wholesalefrance.orange.fr/fr/Nos-offres/Solutions-Fixe-Grand-Public/Offre-Solutions-Fixe-Grand-Public/Acces-DSL-DSL-Access

Pas de Cisco, Juniper, Alcatel ? Va falloir lâcher un billet quand même.

J'ai bien compris l’intérêt d'avoir un AS 16 bits (compatibilité avec plus de routeurs)

Par contre choisir un AS 32 bits cela a quel intérêt, a part ne pas pouvoir peerer avec ceux qui ont un vieux routeur ?

Sympa ce que tu fais, en tous cas bravo, ca fait plaisir de voir des gens motivés.

Du coup on a monté notre premier peering avec Petrus (AS206155), ça m'a permis de tester mes templates de peering

Très beau projet, bravo à vous !