Auteur Sujet: Archive - MilkyWan - AS57199  (Lu 3446 fois)

0 Membres et 1 Invité sur ce sujet

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 10 590
  • Lyon (69) / St-Bernard (01)
    • Twitter
Archive - MilkyWan - AS57199
« le: 02 février 2020 à 00:33:59 »
Hello !
Après quelques années de maturation, j'ai enfin le plaisir de pouvoir vous parler plus en détail de MilkyWan, l'asso que j'ai créée qui gère le réseau du même nom :) .



Je vais aborder 2 points, l'infrastructure, et le projet;

· 1/ Infrastructure

MilkyWan est un réseau expérimental qui a environ 2 ans, qui a commencé avec des routeurs Linux et des ERL montés en tunnel un peu partout, et qui évolue maintenant vers une infra en propre.

Je ne vais pas parler de l'ancienne infrastructure ici, c'est en gros basé sur : des dédiés Online, GRE,FRR,BGP,et un peu de l2tp.

Pour l'instant, la nouvelle infrastructure de MilkyWan est très minimaliste, je vais donc aussi parler du futur, histoire d'avoir des choses à raconter !

Donc, nous avons pour le moment un seul routeur BGP, un Mikrotik CCR1009 (Un truc avec 8 ports 1G et un SFP+), hébergé chez AppliWave à DC2.
Nous avons un transit 10G avec eux sur le site, en Dual Stack, et on fait en gros 150M au 95th, sans avoir tout migré de l'ancien réseau.

Coté IP, on a un /32 (IPv6) PA que notre LIR (Toujours AppliWave) nous a attribué. Je voulais récupérer un /44 PI, mais le RIPE est juste insupportable à ce niveau...
On est en train de chercher une bonne piste pour récupérer un /24 (ou /23) IPv4 pour pas trop cher. Mais forcèment, c'est compliqué ! En attendant, on a un /27 prêté par notre merveilleux transitaire :D .

On a un ASN 16Bits (AS57199 donc) parce qu'on a des vieux routeurs (bigiron 4000 récupérés chez Hivane) avec lesquels j'aimerais jouer un jour, et que sur les Mikrotik, les communautés BGP étendues, nécéssaires avec un AS32B ne sont pas gérées.

Accessoirement, on est aussi opérateur L33.1 déclaré auprès de l'ARCEP (Code MILK)  :P

Donc, on a pour projet de monter un Backbone national, full 10G (parce que le Gigabit en 2017 c'est surfait, ça coute vraiment rien de penser 10G), avec des interconnexions au maximum en 10G aussi.
Les premières villes que je vise sont Paris (normal !) à TH2 et à DC2/3 et Lyon (Mère patrie ! Probablement au NetCenter, on pense à DC4Data aussi).
Concernant Lyon, on a un 10G avec LyonIX qui arrive très bientôt (merci Ronan et Samuel de Rézopole :D ), on aura aussi un transit régionalisé sur place.

Les autres villes sont :
Rennes : On a un partenaire (coucou Quantic Telecom) qui peut nous héberger un routeur, les copains du BriezhIX pour s'interco. Il faut juste que je trouve un L2L qui arrive à TH2 dans la baie qui va bien (les crossco restant le nerf de la guerre)...
Toulouse : On a aussi un partenaire qui peut nous héberger là bas, on va surement aller mettre un serveur de Backups sur place, je réfléchis à aller sur le TouIX, mais c'est assez cher, il n'y a pas d'IPv6 et le projet a l'air un peu mort :/.
Marseille : Aller sur le France-IX marseille me plairait bien, mais on a le temps... :)

Voilà ce que ça donnerait, en gros :



On aura un backbone MPLS pour relier tout ça, j'aurais bien fait du VxLAN, mais les Mikrotik ne sont pas compatibles :/

Coté routage, je suis un grand amoureux de BGP, donc je fais au maximum le routage comme ça, après pour le MPLS, on annoncera les loopbacks en OSPF, vu qu'IS-IS (que j'aurais bien aimé tester) n'est pas compatible avec Mikrotik.
On monte une session BGP avec AS privé pour nos clients avec des tunnels fixes (pas vraiment du VPN donc, plutôt du GRE/IPIP/EoIP) c'est bien plus facile à scaler qu'un truc à base de routes statiques, puis un démon BGP, ça s'installe en 5 mins sur n'importe quel serveur/routeur.
Bon, j'ai pas poussé le vice jusqu'à faire ça pour nos clients L2TP/OpenVPN, pas faute d'avoir eu envie (surtout pour v6 sur l2tp...). ::)

Voilà pour la partie infra réseau ! On a aussi une grosse partie système (parce que sinon le réseau serait vide), on en parlera peut-être plus tard... :)

Donc en gros pour résumer :
  • Février 2018 : Création de l'AS, attribution d'IPv6, rackage d'un CCR1009 à DC2
  • Mars 2018 : Changement du CCR1009 pour un CCR1072 (Un seul port 10G, c'est trop peu, et le 1009 apprécie moyennement 2Gig dans la gueule :p), Attributions d'IPv4 PA par un LIR (à définir)
  • Avril : Rackage d'un CCR1009 à Lyon, Peering sur LyonIX, Transit 10G avec Appliwave sur place; Rackage d'un Juniper SSG320M pour faire passerelle VPN sur DC2
Ensuite :
  • Rackage d'un CRS317 (ou autre switch 10G, pas encore arrêté) sur TH2 pour peerer sur place
  • Peering sur France-IX et Equinix-IX Paris, même si n'avoir que 1G d'uplink m'embète un peu :)
  • PoP sur Rennes, peering sur le BriezhIX, on hébergera quelques serveurs sur place aussi
  • PoP sur Toulouse, pour mettre l'infra de backup, peering à définir
Voilà pour la roadmap :) tout ça sera en 2018 si tout se passe bien.

D'ailleurs, si vous êtes un réseau et que vous voulez nous filer un coup de main, nos PoP sont à jour sur PeeringDB  ::)

· 2/ Projet

MilkyWan, c'est à la base mon terrain de jeu, c'était le petit nom du réseau à base de tunnels que j'avais monté y'a quelques années.
Mais le truc grossissant, je me suis dit qu'on pouvait faire quelque chose de plus intéressant, vu que j'adore les projets en groupe, j'ai recruté quelques personnes du forum, de twitter, et d'ailleurs :)
Maintenant, on est 7, 3 admins réseau, 3 admins sys, et un développeur. Après, personne n'est cadré dans un domaine précis, je fais de l'admin sys, et Gaëtan fait aussi beaucoup de réseau, par exemple.

En gros, MilkyWan c'est notre gros Side Project à tous. On a tous un boulot (qui nous plait) à coté, mais c'est plus sympa de s'amuser sur une infra qui nous appartient :)

On propose deux trucs majeurs :

* Du service sur notre infrastructure : On peut vendre des VM, du VPN, de l'ADSL, du FTTO, des hébergements mutu... La base quoi :) On vendra aussi du FTTH le jour où la collecte sera ouverte chez un FAI National (SFR on t'attend).
Après, on est pas revendeur de VPS ni presta VPN, on ne vise pas vraiment le grand public, il n'y a pas de tarifs publics, pas de panel de commande, on ne vend que ce qu'on peut supporter. Mais on est ouvert aux passionnés qui voudraient quelques trucs, ça ne me dérange pas, tant que c'est pas jean-kévin parce qu'il a que 90Mb/s sur son vpn ou qu'il héberge des serveurs de jeux qui se feront DDoS dans les 10 mins... (Bon je caricature, mais j'ai beaucoup de respect envers les boites qui vendent à du GP, je trouve ça insupportable :) )

* Du conseil : C'est vraiment sympa de gérer la partie 'design' d'infrastructure, ou le débug d'un réseau, vu que j'ai reçu quelques demandes ici et là de boites qui me demandaient si je savais faire du conseil/design, je me suis dit que je pouvais faire ça au nom de l'asso.
Du coup, c'est un bon moyen de financer l'infra (bon, pas de quoi partir en vacances au bahamas malheureusement  :-[ :'( ) tout en filant un coup de main et en s'amusant (parce que c'est tellement satisfaisant quand tu construis ce genre de choses, ça me donne des idées pour le futur :p ) surtout qu'on est nombreux dans l'asso à avoir de très bonnes connaissances en infrastructure, donc on arrive presque toujours à trouver la solution. :)

Du coup on va aussi parler pognon, parce que c'est le sujet qui va revenir assez vite (je commence à connaitre un peu ce forum :D ).

Tout d'abord, je tiens à rappeler qu'on soutient aussi des projets, parce que je considère que quand on se monte en Asso, on a un devoir moral d'aider les autres assos, donc si vous avez un projet sympa et besoin de ressources, droppez moi un mail et on en discute avec plaisir (si si, j'insiste !).

On s'est monté en association parce qu'on a pas vraiment pour objectif de faire des bénéfices, l'argent qu'on gagne en vendant de l'infra ou de la presta est vite englouti dans du matos (Et purée, ça coute cher mine de rien :D ).
Mon objectif c'est que l'infra s'autofinance, parce que pour l'instant, on met pas mal de pognon de nos poches, mais c'est pas grave, c'est le jeu. :)

Sinon, on est sur Twitter (@MilkyWan_net), sur IRC (#milkywan sur freenode, n'hésitez pas à rejoindre #lafibre aussi, on se marre bien :) ).
On a un tout récent site web ici : https://milkywan.fr/
On est sur PeeringDB, je maintiens les objets RIPE à jour, et on aura un LG public le jour où je m'en occuperai !


Et pour finir, quelques photos de l'équipe !

Dans l'ordre d'apparition : Votre serviteur, Gaëtan et Corentin, les Lyonnais de l'équipe (il ne manquait que Thibault) en route pour le Meetup MilkyWan à Paris :)


Aloïs, notre Vice Président et NetAdm, devant la "Big Pile of Shit", le stock de serveurs, chez moji. C'était le premier aller-retour, depuis on a environ une demi baie de serveurs, Filers, Hyperviseurs, switchs... qui prendront place dans des baies dans les prochains mois :)


Et pour finir, une petite soirée configuration de matos, avec Squalala et Jack (que vous connaissez bien ici)  ;D

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 10 590
  • Lyon (69) / St-Bernard (01)
    • Twitter
Archive - MilkyWan - AS57199
« Réponse #1 le: 30 avril 2021 à 21:49:31 »
Hello !

Petite mise à jour de ce post, 2 ans après ! Le post original est disponible ici : https://lafibre.info/milkywan/archive-milkywan-as57199

MilkyWan est un opérateur associatif que j’ai fondé en 2015, c’était, pendant quelques années mon terrain de jeu personnel. Au fil du temps, j’ai commencé à ramener du monde autour du projet et à faire grandir l’infrastructure, de quelques routeurs dans ma chambre, on est passés à des serveurs dédiés chez Online, des VM chez Hivane ou K-Net à un vrai réseau national indépendant.




1/ Infrastructure

MilkyWan est un réseau associatif expérimental qui fête ses 5 ans cette année, qui a commencé avec des routeurs Linux et des ERL montés en tunnel un peu partout, et qui évolue maintenant vers une infra en propre.

Je ne vais pas parler de l'ancienne infra ici, c'était en gros basé sur : des dédiés Online, GRE,FRR,BGP,et un peu d'L2TP.

En Février 2018, nous avons décidé de passer à l’étape supérieure en devenant un “vrai” opérateur, en exploitant notre propre infrastructure système et réseau, de la bordure aux routeurs de collecte, en passant par les serveurs et les NAS.

En 2020, MilkyWan s’étend sur près de 7 points de présence, sur toute la France.

1.a/ Côté Matos :

Nous exploitons uniquement des routeurs Mikrotik CCR pour notre coeur de réseau. Ce ne sont pas les meilleurs routeurs du marché, mais ils ont un rapport de conso par port et un tarif incroyable et imbattable à l’heure actuelle.


Dans la gamme, nous exploitons :
  • Des CCR1072 : Le plus gros routeur de Mikrotik, 8 ports 10Gbit, une grosse capa de routage (Quasi 80MPPS en théorie)
  • Des CCR1036 : Dans leur version 2x10G, ils sont pratiques pour les sites sateliltes ou couplés avec un switch d’agrégation
  • Des CCR1016 : Dans leur version 1x10G. Sur les petits sites où l’on raccorde des ports 1Gbit/s
  • Des CCR1009 : Dans leur version 1x10G. Ce sont les routeurs avec lesquels on a commencé, et que nous déprovisionnons aujourd’hui.
  • Des CRS317 : Des gros switch 16x10G qui nous servent de multiprise sur les sites où nous avons une autre baie déportée ou un routeur trop peu dense
  • Des RB3011 et 4011 : Des CPE à l’origine, mais qui font d’excellents routeurs de collecte pour des tunnels GRE, L2TP ou EOIP

En dehors de Mikrotik, nous avons aussi divers équipements :
  • FS S5850 : Un gros switch 4x100G, 2x40G et 48x10G, idéal en coeur de réseau sur les gros sites
  • Brocade GS648p : Pour les sites avec des ports Cuivre, il permet de les agréger vers ses 2x10G vers un plus gros switch
  • Cisco 7301 : Un petit routeur avec seulement 4x1G, il sert de LNS pour les clients ADSL et d’endpoint pour quelques tunnels
  • Divers serveurs dont je vous passerais la config, mais avec plus de 100Go de RAM à chaque fois :)

Nous sommes présents dans de nombreux DC, par ordre d’apparition et avec le stuff associé :
  • Scaleway DC2 (Vitry, sud de Paris) : CCR1072, un R610 et un RB4011
  • SFR Venissieux (Venissieux, Sud de Lyon) : CCR1009, CRS317 et un RB3011
  • Telehouse 2 (Paris 11) : CCR1072, CRS317 et un RB4011
  • Leonix Datacenter Bourse (Paris 2) : CCR1072, FS S5850, Ciscoo 7301, Brocade GS648p, Des HP G6/7 et un NAS Thecus
  • Cogent Rennes : CCR1016
  • CIV Lille : CCR1036
  • (Soon) HosTELyon (Lyon 7) : à définir

1.b/ Côté Ressources IP :

En IP Legacy, nous avons un /22 alloué par le RIPE : 45.13.104.0/22 et un /24 alloué par Gitoyen : 80.67.167.0/24
L’idée à terme est d’utiliser le premier pour nos clients et le second pour l’infrastructure et les services gérés par l’asso

En IPv6, nous avons un /32 alloué par AppliWave : 2a0b:cbc0::/32 et un /29 alloué par le RIPE : 2a0e:e700::/29   
Nous n’utilisons quasiment que le premier, sauf pour quelques tunnels délégués avec un /48 du second bloc.

Et évidemment, l’AS57199, un AS 16 Bits puisqu’il n’est pas possible de faire de la commu étendue sur un AS32b avec Mikrotik. Et c’est quand même plus classe d’avoir un AS 16b, il faut le dire :)

1.c/ : Coté Interconnexions.

Je pense qu’on peut affirmer sans trop se mouiller que nous sommes l’opérateur associatif (à part Hivane, mais il est plus en mode "closed") le mieux interconnecté de France :-)
Coté Transit, nous avons :
  • 30Gbit/s de transit AppliWave (AS200780), sur DC2 (Nominal), TH2 (Backup) et Venissieux (Régional), ce dernier est temporairement shut le temps d’une Maj coté Appliwave
  • 10Gbit/s de transit Leonix Telecom (AS50628) sur Bourse.
  • 10Gbit/s de transit partiel Hivane Network (AS34019), qui nous partage ses nombreux peerings
  • 10Gbit/s de transit protégé Acorus (AS35280) sur TH2, le dernier arrivé, pour contrer les DDoS :)

Coté Peering, nous avons :
  • 10G sur le LyonIX à Venissieux, avec comme remote peering activé : TopIX, TouIX, SwissIX, CIXP, NetIX, LoNAP, AuvernIX, GrenoblIX, EuroGIX
  • 10G sur Rezopole Paris à TH2, l’IXP de Rezopole à Paris (sur la même fabric qu’à Lyon, c’est un peu notre backup de LyonIX)
  • 10G sur FranceIX Paris à DC2, avec comme remote peering FranceIX Marseille.
  • 10G sur le LillIX, à Lille, on peer notamment avec OVH et Ielo-Liazo là bas.
  • 1G sur le Breizh-IX à Rennes, IXP dont je suis membre du bureau, et qui sent bon le kouign amann :)

Ce qui nous donne un total de 101Gbit/s de capacité vers internet. Une capacité honorable :-)
D’ailleurs, on est régulièrement dans le top HE France sur le nombre de peers IPv4/v6 <3


1.d/ Le reste :
Nous sommes déclarés à l’ARCEP (code MILK), membres de la Task Force IPv6 (enfin moi), et membres d’aucune association d’opérateurs associatifs, vu que la principale ne correspond pas à notre vision et qu'il n'y en a pas d'autres :-)

2/ Le setup :

Nous exploitons donc un backbone MikroTik. Il est pur IP (pas de MPLS, de SR ou autre), Il est drivé par un control plane doté d’une part d’ OSPF en IPv4 et… des routes statiques en IPv6. En effet, l’implémentation de MikroTik d’OSPFv3 étant complètement cassée au niveau des routes récursives et rend le machin impossible à utiliser avec iBGP. OSPFv3 est néanmoins installé et fonctionnel, même si il ne fait que de la décoration à l’heure actuelle. Et d’autre part iBGP, en full mesh, et avec une fullview sur tous les POP, vu que nous sommes amenés à livrer du transit sur ceux-là.

Tout ce backbone est relié par des Lan2Lan, des Waves ou des FON à 10Gbit/s (sauf Rennes, en 1G), fournis par AppliWave, Leonix ou Quantic Telecom (merci à eux !)
On essaie d’avoir un backbone le plus redondant possible, mais c’est assez compliqué, nous faisons donc confiance à la fiabilité de celui de nos sponsors (et on n’a que très rarement eu de coupures).
On relie aussi les serveurs, NAS, et les routeurs de collecte en 10G (quand ils en sont capables) ou en N*1G.
 
On a de la MTU9k partout, ce qui permet de proposer des tunnels L2 avec une MTU 9k entre tous nos PoP, et aussi simplement qu’avec du MPLS, grâce à EoIP.

Voici la Weathermap du réseau, accessible à cette URL en IPv6 Only : https://weathermap.milkywan.fr/milkywan.html



Coté routage interne (hors core), on fait de l’eBGP avec des AS Privés, chaque routeur de collecte a un AS, ce qui permet de bénéficier de la qualité du filtrage de BGP tout en ayant un IGP moins tentaculaire qu’OSPF.

Les clients Tunnel ayant demandé une redondance sont également livrés en BGP avec AS privé, c’est plus simple à gérer, encore une fois :)

3/ L’équipe

Nous sommes actuellement 7 dans l’asso :
  • Thibault, développeur et trésorier
  • Corentin, Admin Sys
  • PM, Admin réseau
  • Gaëtan, Admin Sys
  • Aloïs, Admin Réseau et Vice-Président
  • Guilhem, Responsable Communication et DA
  • Moi, Admin Réseau, Sys et Président
On cherche à recruter (ici), si ça vous dit, venez ! :)

4/ Les services

On propose tout ce qu’un “vrai” opérateur peut vous proposer, à peu de choses près.
Pour résumer, on a deux catégories de produits :

4.a/ : Les services Opérateurs
On propose tout un tas de services à destination des opérateurs, dans le lot :
  • Transit IP BGP : Le plus connu, on propose du transit, avec un commit démarrant à 7,5Mbit/s jusqu’à 1Gbit/s (voir plus, mais vous n’avez plus besoin de nous, je pense :)), sachant que notre réseau est plutôt très développés (parmi les meilleurs de France selon PeeringDB)
  • Lan2Lan : On vous transporte en 100M/1G ou plus, entre tous nos PoP !
  • Housing : On vous héberge, à Paris Bourse, Online DC2 ou Lyon HosTELyon. Et on a des partenariats pour les autres DC, au besoin :)
  • Gros blocs IP : Si vous êtes un opérateur qui débute, on peut vous router un bloc d’IP (jusqu’à /25), avec une facturation progressive.
  • FTTO : On sait livrer de la FTTO un peu partout en France pour vous livrer tout ce qui est au dessus.

4.b/ Pour les particuliers :
  • Tunnels IP : Un simple tunnel (ou VPN) depuis le réseau de MilkyWan. On peut même faire de la redondance avec BGP :)
  • Machines virtuelles : On propose plein de VM, je ne vais pas tout détailler ici, mais le point important, c’est que le réseau n’est pas bridé !

Ce qu’on prévoit de proposer dans un futur proche :
  • FTTH : D’abord sur le réseau du SIEA parce que c’est simple, ensuite sur d’autres RIP, et pour finir partout en France quand Orange décidera de relâcher son Bistream FTTH…
  • ADSL : En fait, on pourrait déjà le faire, mais l’intérêt est assez faible, donc pour l’instant, ça attend l’infra pour le FTTH.
Bref, on reste sur du classique, mais efficace, et avec un excellent réseau :)

4.c / Les services Web :
Principalement des services qu’on utilise en interne, et qu’on ouvre au plus grand nombre :
  • Pix: Un service d’hébergement d’images
  • Hastebin : Un service de pastebin plutôt joli
  • Pad : Un service de pad collaboratif assez efficace.


Conclusion :

Bref, voilà un petit post sur ce qu’on fait, on est plutôt content du chemin parcouru depuis 2015, et on espère que les 5 prochaines années seront encore plus fructueuses, on est en train de préparer un gros déploiement sur la région lyonnaise, et, qui sait, peut-être qu’on arrivera enfin à descendre à Marseille, Toulouse et les villes du sud :-)

Si vous voulez voir nos nouvelles, on est sur Twitter (@MilkyWan_net), sur IRC (#milkywan sur freenode, n'hésitez pas à rejoindre #lafibre aussi, on se marre bien :) ).
Le site web est ici : https://milkywan.fr/
On est sur PeeringDB et je maintiens les objets RIPE à jour :)


Je vous laisse sur quelques photos de l’infra :)

TH2

DC2


1G !


BRS


Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 10 590
  • Lyon (69) / St-Bernard (01)
    • Twitter
Archive - MilkyWan - AS57199
« Réponse #2 le: 13 décembre 2021 à 14:38:07 »
Hello !

Petite mise à jour de ce post, 1 an après ! Les anciennes versions de ce post sont disponibles ici : https://lafibre.info/milkywan/archive-milkywan-as57199

MilkyWan est un opérateur associatif que j’ai fondé en 2015, c’était, pendant quelques années mon terrain de jeu personnel. Au fil du temps, j’ai commencé à ramener du monde autour du projet et à faire grandir l’infrastructure, de quelques routeurs dans ma chambre, on est passés à des serveurs dédiés chez Online, des VM chez Hivane ou K-Net à un vrai réseau national indépendant.




1/ Infrastructure

MilkyWan est un réseau associatif expérimental qui fête ses 5 ans cette année, qui a commencé avec des routeurs Linux et des ERL montés en tunnel un peu partout, et qui évolue maintenant vers une infra en propre.

Je ne vais pas parler de l'ancienne infra ici, c'était en gros basé sur : des dédiés Online, GRE,FRR,BGP,et un peu d'L2TP.

En Février 2018, nous avons décidé de passer à l’étape supérieure en devenant un “vrai” opérateur, en exploitant notre propre infrastructure système et réseau, de la bordure aux routeurs de collecte, en passant par les serveurs et les NAS.

Nous avons d'abord commencé avec des routeurs de la marque Mikrotik, gamme CCR et RB, nous sommes progressivement en train de décomissionner ces derniers pour passer sur du matos plus "opérateur" : Cisco, Brocade, Arista, etc

En 2021, MilkyWan s’étend sur de 9 points de présence, sur toute la France.

1.a/ Côté Matos :

L'infra réseau est grosso modo séparée en 3 parties :
- L'infra de backbone (appelée Edge)
- L'infra datacenter (appelée Core)
- L'infra de collecte (Appelée Col)

Coté Edge, nous exploitons pour l'instant uniquement des routeurs Mikrotik :

Dans la gamme, nous exploitons :
  • Trois CCR2004 : Sur les sites centraux (TH2, DC2, VNX), ce sont les routeurs les plus rapides de la gamme en convergence
  • Un CCR1036 : à Lille, où il ne fait que récupérer LillIX et le renvoyer à Paris
  • Un CCR1009 : Dans leur version 1x10G. Ce sont les routeurs avec lesquels on a commencé, et que nous déprovisionnons aujourd’hui, il n'en reste plus qu'un, à Rennes, qui récupère Breizh-IX et fournit un peu de connectivité aux copains :)

Coté Core, on exploite pour l'instant uniquement du Cisco et du Brocade, c'est amené à évoluer. Nous avons :

  • Deux Brocade CES2024 : Des routeurs 4x10G + 24x1G SFP, ils servent comme gateway de tout le matériel présent dans nos POP système, ils routent en hardware, bref, c'est un bonheur
  • Un Cisco ME3600X : Même usage que les CES2024, mais version Cisco, à Lyon. 2x10G + 24x1G
  • Deux Cisco Catalyst 4500X : Des puissants routeurs équivalents en features aux deux routeurs du dessus, mais que nous n'exploitons qu'en switching dans nos POP système, pour relier des serveurs à un routeur d'agreg
  • Un Dell N4032 : Un simple switch 24x10G + 2x40G, il relie des serveurs à un routeur d'agreg

Bref, une infra assez simple mais qui marche incroyablement bien :)

Coté Collecte, nous exploitons deux matériels :
  • Cisco ASR1002 : Pour les collectes L2TP / PPPoE, c'est de la bombe, mais il n'a pas de 10G, il faudrait qu'on achète une MPA 10G à l'occasion :)
  • Des Mikrotik RB4011 : Des super petits routeurs de collecte, on fait terminer les tunnels L2TP/GRE/IPIP dessus, ça tient super bien la charge et ça fait du 10G



Nous sommes présents dans de nombreux DC, par ordre d’apparition :
  • Scaleway DC2 (Vitry, sud de Paris) :
  • SFR Venissieux (Venissieux, Sud de Lyon)
  • Telehouse 2 (Paris 11)
  • Cogent Rennes
  • CIV Lille
  • DC2Scale Velizy
  • Appliwave CBO (Croissy-Beaubourg)
  • HosTELyon
Plus de détails et de photos de nos POP ici : https://lafibre.info/milkywan/milkywan-photos-des-pop/

1.b/ Côté Ressources IP :

En IP Legacy, nous avons un /22 alloué par le RIPE : 45.13.104.0/22 et un /24 alloué par Gitoyen : 80.67.167.0/24
Le premier est utilisé pour les abonnés, le second pour l'infra :)

En IPv6, nous avons un /32 alloué par AppliWave : 2a0b:cbc0::/32 et un /29 alloué par le RIPE : 2a0e:e700::/29   
Même principe qu'en v4, le /32 sert surtout à l'infra (et aux premiers abonnés), le /29 sert aux abonnés uniquement

Et évidemment, l’AS57199, un AS 16 Bits puisqu’il n’est pas possible de faire de la commu étendue sur un AS32b avec Mikrotik. Et c’est quand même plus classe d’avoir un AS 16b, il faut le dire :)

1.c/ : Coté Interconnexions.

Je pense qu’on peut affirmer sans trop se mouiller que nous sommes l’opérateur associatif le mieux interconnecté de France :-)
Coté Transit, nous avons :
  • 75Gbit/s de transit AppliWave (AS200780), sur DC2, TH2 et Vénissieux (Régional), en 25G à chaque fois
  • 10Gbit/s de transit partiel Hivane Network (AS34019), qui nous partage ses nombreux peerings
  • 10Gbit/s de transit protégé Acorus (AS35280) avec l'anti-DDoS qui va bien :D
  • 40Gbit/s de transit FiberWay (AS49434) (parce que pourquoi pas ?)

Coté Peering, nous avons :
  • 10G sur le LyonIX à Venissieux, avec comme remote peering activé : TopIX, TouIX, SwissIX, CIXP, NetIX, LoNAP, AuvernIX, GrenoblIX, EuroGIX
  • 10G sur LyonIX à TH2
  • 10G sur FranceIX Paris à DC2, avec comme remote peering FranceIX Marseille.
  • 10G sur le LillIX, à Lille, on peer notamment avec OVH et Ielo-Liazo là bas.
  • 10G sur le Breizh-IX à Rennes, IXP dont je suis membre du bureau, et qui sent bon le kouign amann :)

Ce qui nous donne un total de 185Gbit/s de capacité vers internet. Une capacité honorable :-)
D’ailleurs, on est régulièrement dans le top HE France sur le nombre de peers IPv4/v6 <3


1.d/ Le reste :
Nous sommes déclarés à l’ARCEP (code MILK), membres de la Task Force IPv6 (enfin moi), et membres d’aucune association d’opérateurs associatifs, vu que la principale ne correspond pas à notre vision et qu'il n'y en a pas d'autres (mais on bosse quand même avec plaisir avec tous les autres FAI Associatifs ! :-)

2/ Le setup :

Nous exploitons donc un backbone assez varié, avec du 10G et du 25G. Il est pur IP (pas de MPLS, de SR ou autre), Il est drivé par un control plane doté d’une part d’ OSPF en IPv4 et… des routes statiques en IPv6. En effet, l’implémentation de MikroTik d’OSPFv3 étant complètement cassée au niveau des routes récursives et rend le machin impossible à utiliser avec iBGP. OSPFv3 est néanmoins installé et fonctionnel, il sert à l'interco avec les Brocade, Cisco et autres matériels qui fonctionnent correctement. Et d’autre part iBGP, avec les 3 CCR2004 comme RR. Nous n'apprenons plus la fullview, les CCR sont trop peu réactifs avec. Mais quand les 3 CCR2004 auront dégagé des POP centraux, on remettra la full !

Tout ce backbone est relié par des Lan2Lan en 10/25G, des Waves en 10G (sauf Rennes, en 1G), fournis par AppliWave, Rezopole ou Quantic Telecom (merci à eux !)
On essaie d’avoir un backbone le plus redondant possible, mais c’est parfois un peu compliqué, nous faisons donc confiance à la fiabilité de celui de nos sponsors (et on n’a que très rarement eu de coupures).
La démarche en ce moment est de faire en sorte de passer en Wave tout ce qui peut l'être, pour réduire notre dependance à des équipements actifs.
On relie aussi les serveurs, NAS, et les routeurs de collecte en n*10G (quand ils en sont capables) ou en N*1G.
 
On a de la MTU9k partout, ce qui permet de proposer des tunnels L2 avec une MTU 9k entre tous nos PoP, et aussi simplement qu’avec du MPLS, grâce à EoIP.

Voici la Weathermap du réseau, accessible à cette URL en IPv6 Only : https://weathermap.milkywan.fr/milkywan.html



Historiquement on faisait de l’eBGP avec des AS Privés, chaque routeur de collecte ayant un AS, ce qui permet de bénéficier de la qualité du filtrage de BGP
Maintenant nous faisons de l'OSPF jusqu'aux routeurs de collecte et de l'iBGP, ça marche très bien aussi et ça évite d'avoir 15 AS à gérer

Les abonnés Tunnel ayant demandé une redondance sont également livrés en eBGP avec AS privé, c’est plus simple à gérer, encore une fois :)

3/ L’équipe

Nous sommes actuellement 8 dans l’asso :
  • Thibault, développeur et trésorier
  • Corentin, Admin Sys
  • Guilhem, Responsable Communication et DA
  • Alexis, Responsable Support et Delivery
  • Jack, Admin système et réseaux
  • Maël, Admin système
  • Nicolas, Admin système et réseaux
  • Moi, Admin Réseau, Sys et Président

4/ Les services
On propose tout ce qu’un “vrai” opérateur peut vous proposer, à peu de choses près.
Pour résumer, on a deux catégories de produits :

4.b/ Pour les particuliers :
  • FTTH : Collecte nationale, collectes régionales sur certains réseaux, allez voir le topic dédié : https://lafibre.info/milkywan/ftth-milkywan/
  • xDSL : Pareil qu'au dessus, même topic :)
  • Tunnels IP : Un simple tunnel (ou VPN) depuis le réseau de MilkyWan. On peut même faire de la redondance avec BGP :)
  • Machines virtuelles : On propose plein de VM, je ne vais pas tout détailler ici, mais le point important, c’est que le réseau n’est pas bridé !


4.a/ : Les services Opérateurs
On propose tout un tas de services à destination des opérateurs, dans le lot :
  • Transit IP BGP : Le plus connu, on propose du transit, avec un commit démarrant à 7,5Mbit/s jusqu’à 1Gbit/s (voir plus, mais vous n’avez plus besoin de nous, je pense :)), sachant que notre réseau est plutôt très développés (parmi les meilleurs de France selon PeeringDB)
  • Lan2Lan : On vous transporte en 100M/1G ou plus, entre tous nos PoP !
  • Housing : On vous héberge, à DC2Scale, Appliwave CBO ou Lyon HosTELyon. Et on a des partenariats pour les autres DC, au besoin :)
  • Gros blocs IP : Si vous êtes un opérateur qui débute, on peut vous router un bloc d’IP (jusqu’à /25), avec une facturation progressive.
  • FTTO : On sait livrer de la FTTO un peu partout en France pour vous livrer tout ce qui est au dessus.

Bref, on reste sur du classique, mais efficace, et avec un excellent réseau :)

4.c / Les services Web :
Principalement des services qu’on utilise en interne, et qu’on ouvre au plus grand nombre :
  • Pix: Un service d’hébergement d’images
  • Hastebin : Un service de pastebin plutôt joli
  • Pad : Un service de pad collaboratif assez efficace.


Conclusion :

Bref, voilà un petit post sur ce qu’on fait, on est plutôt content du chemin parcouru depuis 2015, et on espère que les 5 prochaines années seront encore plus fructueuses, lancer le FTTH et l'xDSL est pour moi une vraie consécration et je me demande jusqu'où ça nous mênera :)

Si vous voulez voir nos nouvelles, on est sur Twitter (@MilkyWan_net), sur IRC (#milkywan sur libera.chat, n'hésitez pas à rejoindre #lafibre aussi, on se marre bien :) ).
Le site web est ici : https://milkywan.fr/
On est sur PeeringDB et je maintiens les objets RIPE à jour :)


Je vous laisse sur quelques photos de l’infra :)

TH2

DC2


1G !


DC2Scale


CBO


HosTELyon