Donc, en résumé, tous les abonnés VPN chez Milky "montent" à Paris, ca n'a rien à avoir avec une histoire de peering avec un FAI, c'est parce que présentement, le serveur OpenVPN est à Paris, c'est aussi simple que ca

Il n’y a pas qu’OpenVPN comme VPN. Il y a (probablement) des mikrotik à Lyon qui peuvent recevoir des terminaisons de tunnels L2TP ou GRE

Au temps pour moi, je pensais qu'il y avait un Mikrotic quelque part pour les tunnels VPN, je sais plus sur quel topic j'ai lu ca pour milky...Ou alors il y 'a un Mikrotic à Lyon mais qui est pas encore operationnel pour acheminer les tunnels vpn ?

Il y'a 3 Mikrotik à Lyon. 2 pour le coeur de réseau et 1 routeur de collecte qui achemine :
- Les L2TP
- Les GRE
- Les EoIP

OpenVPN étant chiffré, et vu que je n'ai pas envie de ruiner les perfs du pauvre routeur de collecte, on n'en fait qu'aux endroits où on a des serveurs. C'est prévu à Lyon, mais les choses prennent du temps.

Je cite ton offre VPN Hugues "Routage régionnalisé a Lyon pour Orange, SFR, Bouygues et K-Net"

Je pense que je vais l'enlever, K-Net m'envoie son trafic n'importe comment, mon transit à Lyon est KO depuis 1 an, donc plus de régionalisé pour Orange, et Bouygues persiste à m'envoyer le traf par Paris. Il n'y a qu'SFR qui fait le taf correctement et passe par LyonIX

- On peer déjà avec SFR/NC sur LyonIX >> Un PNI ou via les RS ?

Via une session directe, donc ni l'un ni l'autre (mais ça ne change pas grand chose, je ne comprend pas l'intéret de la question)

Donc, en résumé, tous les abonnés VPN chez Milky "montent" à Paris, ca n'a rien à avoir avec une histoire de peering avec un FAI, c'est parce que présentement, le serveur OpenVPN est à Paris, c'est aussi simple que ca

Les deux. De toute façon, le routage régionalisé avec les 4 gros FAI, c'est plus un voeu pieu qu'une réalité... J'ai 90% des tunnels qui se finissent à Paris, parce que c'est l'endpoint avec le moins de latence vers les abonnés...

Je pensais que dans le peering, c’était soit du peering public, soit privée (PNI)
En quoi consiste une session direct ?

En temps normal, il faut établir une session de peering pour chaque opérateur  partenaire de peering, ce qui peut être long si l'IXP a beaucoup d'opérateurs. De plus, cela demande de contacter l'opérateur partenaire de peering pour que lui aussi établisse une session de peering.

En gros, quand tu es sur un IXP, tu as 2 moyens de faire du peering public. Soit tu établis une session de peering pour chaque partenaire de peering (opérateur), soit tu peer avec le RS. Et les deux ne sont pas incompatibles.

Par exemple, tu rejoins un IXP avec les opérateurs A, B et C. Les opérateurs A et C peer avec le RS, mais pas l'opérateur B. Si tu veux peer avec A et C, il te suffit de peer avec le RS (mais tu peux aussi établir une session de peering avec chacun d'entre eux). Pour peer avec B, tu es obligé de contacter B et d'établir une session de peering avec lui.

Hello !

Petite mise à jour de ce post, 2 ans après ! Le post original est disponible ici : https://lafibre.info/milkywan/archive-milkywan-as57199

MilkyWan est un opérateur associatif que j’ai fondé en 2015, c’était, pendant quelques années mon terrain de jeu personnel. Au fil du temps, j’ai commencé à ramener du monde autour du projet et à faire grandir l’infrastructure, de quelques routeurs dans ma chambre, on est passés à des serveurs dédiés chez Online, des VM chez Hivane ou K-Net à un vrai réseau national indépendant.




1/ Infrastructure

MilkyWan est un réseau associatif expérimental qui fête ses 5 ans cette année, qui a commencé avec des routeurs Linux et des ERL montés en tunnel un peu partout, et qui évolue maintenant vers une infra en propre.

Je ne vais pas parler de l'ancienne infra ici, c'était en gros basé sur : des dédiés Online, GRE,FRR,BGP,et un peu d'L2TP.

En Février 2018, nous avons décidé de passer à l’étape supérieure en devenant un “vrai” opérateur, en exploitant notre propre infrastructure système et réseau, de la bordure aux routeurs de collecte, en passant par les serveurs et les NAS.

En 2020, MilkyWan s’étend sur près de 7 points de présence, sur toute la France.

1.a/ Côté Matos :

Nous exploitons uniquement des routeurs Mikrotik CCR pour notre coeur de réseau. Ce ne sont pas les meilleurs routeurs du marché, mais ils ont un rapport de conso par port et un tarif incroyable et imbattable à l’heure actuelle.


Dans la gamme, nous exploitons :

• Des CCR1072 : Le plus gros routeur de Mikrotik, 8 ports 10Gbit, une grosse capa de routage (Quasi 80MPPS en théorie)
• Des CCR1036 : Dans leur version 2x10G, ils sont pratiques pour les sites sateliltes ou couplés avec un switch d’agrégation
• Des CCR1016 : Dans leur version 1x10G. Sur les petits sites où l’on raccorde des ports 1Gbit/s
• Des CCR1009 : Dans leur version 1x10G. Ce sont les routeurs avec lesquels on a commencé, et que nous déprovisionnons aujourd’hui.
• Des CRS317 : Des gros switch 16x10G qui nous servent de multiprise sur les sites où nous avons une autre baie déportée ou un routeur trop peu dense
• Des RB3011 et 4011 : Des CPE à l’origine, mais qui font d’excellents routeurs de collecte pour des tunnels GRE, L2TP ou EOIP

En dehors de Mikrotik, nous avons aussi divers équipements :

• FS S5850 : Un gros switch 4x100G, 2x40G et 48x10G, idéal en coeur de réseau sur les gros sites
• Brocade GS648p : Pour les sites avec des ports Cuivre, il permet de les agréger vers ses 2x10G vers un plus gros switch
• Cisco 7301 : Un petit routeur avec seulement 4x1G, il sert de LNS pour les clients ADSL et d’endpoint pour quelques tunnels
• Divers serveurs dont je vous passerais la config, mais avec plus de 100Go de RAM à chaque fois

Nous sommes présents dans de nombreux DC, par ordre d’apparition et avec le stuff associé :

• Scaleway DC2 (Vitry, sud de Paris) : CCR1072, un R610 et un RB4011
• SFR Venissieux (Venissieux, Sud de Lyon) : CCR1009, CRS317 et un RB3011
• Telehouse 2 (Paris 11) : CCR1072, CRS317 et un RB4011
• Leonix Datacenter Bourse (Paris 2) : CCR1072, FS S5850, Ciscoo 7301, Brocade GS648p, Des HP G6/7 et un NAS Thecus
• Cogent Rennes : CCR1016
• CIV Lille : CCR1036
• (Soon) HosTELyon (Lyon 7) : à définir

1.b/ Côté Ressources IP :

En IP Legacy, nous avons un /22 alloué par le RIPE : 45.13.104.0/22 et un /24 alloué par Gitoyen : 80.67.167.0/24
L’idée à terme est d’utiliser le premier pour nos clients et le second pour l’infrastructure et les services gérés par l’asso

En IPv6, nous avons un /32 alloué par AppliWave : 2a0b:cbc0::/32 et un /29 alloué par le RIPE : 2a0e:e700::/29   
Nous n’utilisons quasiment que le premier, sauf pour quelques tunnels délégués avec un /48 du second bloc.

Et évidemment, l’AS57199, un AS 16 Bits puisqu’il n’est pas possible de faire de la commu étendue sur un AS32b avec Mikrotik. Et c’est quand même plus classe d’avoir un AS 16b, il faut le dire

1.c/ : Coté Interconnexions.

Je pense qu’on peut affirmer sans trop se mouiller que nous sommes l’opérateur associatif (à part Hivane, mais il est plus en mode "closed") le mieux interconnecté de France :-)
Coté Transit, nous avons :

• 30Gbit/s de transit AppliWave (AS200780), sur DC2 (Nominal), TH2 (Backup) et Venissieux (Régional), ce dernier est temporairement shut le temps d’une Maj coté Appliwave
• 10Gbit/s de transit Leonix Telecom (AS50628) sur Bourse.
• 10Gbit/s de transit partiel Hivane Network (AS34019), qui nous partage ses nombreux peerings
• 10Gbit/s de transit protégé Acorus (AS35280) sur TH2, le dernier arrivé, pour contrer les DDoS

Coté Peering, nous avons :

• 10G sur le LyonIX à Venissieux, avec comme remote peering activé : TopIX, TouIX, SwissIX, CIXP, NetIX, LoNAP, AuvernIX, GrenoblIX, EuroGIX
• 10G sur Rezopole Paris à TH2, l’IXP de Rezopole à Paris (sur la même fabric qu’à Lyon, c’est un peu notre backup de LyonIX)
  
• 10G sur FranceIX Paris à DC2, avec comme remote peering FranceIX Marseille.
• 10G sur le LillIX, à Lille, on peer notamment avec OVH et Ielo-Liazo là bas.
• 1G sur le Breizh-IX à Rennes, IXP dont je suis membre du bureau, et qui sent bon le kouign amann

Ce qui nous donne un total de 101Gbit/s de capacité vers internet. Une capacité honorable :-)
D’ailleurs, on est régulièrement dans le top HE France sur le nombre de peers IPv4/v6 <3


1.d/ Le reste :
Nous sommes déclarés à l’ARCEP (code MILK), membres de la Task Force IPv6 (enfin moi), et membres d’aucune association d’opérateurs associatifs, vu que la principale ne correspond pas à notre vision et qu'il n'y en a pas d'autres :-)

2/ Le setup :

Nous exploitons donc un backbone MikroTik. Il est pur IP (pas de MPLS, de SR ou autre), Il est drivé par un control plane doté d’une part d’ OSPF en IPv4 et… des routes statiques en IPv6. En effet, l’implémentation de MikroTik d’OSPFv3 étant complètement cassée au niveau des routes récursives et rend le machin impossible à utiliser avec iBGP. OSPFv3 est néanmoins installé et fonctionnel, même si il ne fait que de la décoration à l’heure actuelle. Et d’autre part iBGP, en full mesh, et avec une fullview sur tous les POP, vu que nous sommes amenés à livrer du transit sur ceux-là.

Tout ce backbone est relié par des Lan2Lan, des Waves ou des FON à 10Gbit/s (sauf Rennes, en 1G), fournis par AppliWave, Leonix ou Quantic Telecom (merci à eux !)
On essaie d’avoir un backbone le plus redondant possible, mais c’est assez compliqué, nous faisons donc confiance à la fiabilité de celui de nos sponsors (et on n’a que très rarement eu de coupures).
On relie aussi les serveurs, NAS, et les routeurs de collecte en 10G (quand ils en sont capables) ou en N*1G.
 
On a de la MTU9k partout, ce qui permet de proposer des tunnels L2 avec une MTU 9k entre tous nos PoP, et aussi simplement qu’avec du MPLS, grâce à EoIP.

Voici la Weathermap du réseau, accessible à cette URL en IPv6 Only : https://weathermap.milkywan.fr/milkywan.html



Coté routage interne (hors core), on fait de l’eBGP avec des AS Privés, chaque routeur de collecte a un AS, ce qui permet de bénéficier de la qualité du filtrage de BGP tout en ayant un IGP moins tentaculaire qu’OSPF.

Les clients Tunnel ayant demandé une redondance sont également livrés en BGP avec AS privé, c’est plus simple à gérer, encore une fois

3/ L’équipe

Nous sommes actuellement 7 dans l’asso :

• Thibault, développeur et trésorier
• Corentin, Admin Sys
• PM, Admin réseau
• Gaëtan, Admin Sys
• Aloïs, Admin Réseau et Vice-Président
• Guilhem, Responsable Communication et DA
• Moi, Admin Réseau, Sys et Président

On cherche à recruter (ici), si ça vous dit, venez !

4/ Les services

On propose tout ce qu’un “vrai” opérateur peut vous proposer, à peu de choses près.
Pour résumer, on a deux catégories de produits :

4.a/ : Les services Opérateurs
On propose tout un tas de services à destination des opérateurs, dans le lot :

• Transit IP BGP : Le plus connu, on propose du transit, avec un commit démarrant à 7,5Mbit/s jusqu’à 1Gbit/s (voir plus, mais vous n’avez plus besoin de nous, je pense , sachant que notre réseau est plutôt très développés (parmi les meilleurs de France selon PeeringDB)
• Lan2Lan : On vous transporte en 100M/1G ou plus, entre tous nos PoP !
• Housing : On vous héberge, à Paris Bourse, Online DC2 ou Lyon HosTELyon. Et on a des partenariats pour les autres DC, au besoin
• Gros blocs IP : Si vous êtes un opérateur qui débute, on peut vous router un bloc d’IP (jusqu’à /25), avec une facturation progressive.
• FTTO : On sait livrer de la FTTO un peu partout en France pour vous livrer tout ce qui est au dessus.

4.b/ Pour les particuliers :

• Tunnels IP : Un simple tunnel (ou VPN) depuis le réseau de MilkyWan. On peut même faire de la redondance avec BGP
• Machines virtuelles : On propose plein de VM, je ne vais pas tout détailler ici, mais le point important, c’est que le réseau n’est pas bridé !

Ce qu’on prévoit de proposer dans un futur proche :

• FTTH : D’abord sur le réseau du SIEA parce que c’est simple, ensuite sur d’autres RIP, et pour finir partout en France quand Orange décidera de relâcher son Bistream FTTH…
• ADSL : En fait, on pourrait déjà le faire, mais l’intérêt est assez faible, donc pour l’instant, ça attend l’infra pour le FTTH.

Bref, on reste sur du classique, mais efficace, et avec un excellent réseau

4.c / Les services Web :
Principalement des services qu’on utilise en interne, et qu’on ouvre au plus grand nombre :

• Pix: Un service d’hébergement d’images
• Hastebin : Un service de pastebin plutôt joli
• Pad : Un service de pad collaboratif assez efficace.

Conclusion :

Bref, voilà un petit post sur ce qu’on fait, on est plutôt content du chemin parcouru depuis 2015, et on espère que les 5 prochaines années seront encore plus fructueuses, on est en train de préparer un gros déploiement sur la région lyonnaise, et, qui sait, peut-être qu’on arrivera enfin à descendre à Marseille, Toulouse et les villes du sud :-)

Si vous voulez voir nos nouvelles, on est sur Twitter (@MilkyWan_net), sur IRC (#milkywan sur freenode, n'hésitez pas à rejoindre #lafibre aussi, on se marre bien ).
Le site web est ici : https://milkywan.fr/
On est sur PeeringDB et je maintiens les objets RIPE à jour


Je vous laisse sur quelques photos de l’infra

Salut Hugues.
Merci pour ce gros update. Quelle aventure! C'est franchement impressionnant.

Quelques questions indiscrètes (comme d'hab):

Côté "frais récurrents" (transit, Wave, Lan2Lan, hébergement en datacenter), vous vivez toujours en grande partie sur du mécénat d'opérateurs amis? Tu accepterais de partager une estimation de la part du mécénat (frais récurrents uniquement)?

On peut avoir une idée du chiffre d'affaire actuel? Et du nombre de clients?

Quels sont vos clients? Uniquement des particuliers et associations? Ou alors aussi des entreprises? Si entreprises, quel type d'entreprise?

Tu dis ne pas être en phase avec les idées de la FFDN, tu peux nous en dire plus? Tu parles des discours révolutionnaires, et sensationnalistes de Benjamin et ses camarades, ou c'est plus profond?

Tu ne parles pas des DDoS, vous en êtes où avec ça, vu que vous avez eu des soucis ces derniers mois? Vous avez mis en place des protections efficaces?

L'équipe est uniquement bénévole? Ou alors il y a des salariés (même à temps partiel)?

Question de newbie: Si vos routeurs ne gèrent que les AS 16bits, ça permet quand même de dialoguer avec des AS 32 bits?

Leon.

Wahou, Belle évolution.