Auteur Sujet: MilkyWan - AS57199  (Lu 5357 fois)

0 Membres et 1 Invité sur ce sujet

Hugues

  • AS57199 MilkyWan
  • Expert
  • *
  • Messages: 6 094
  • Lyon & Paris
    • MilkyWan
MilkyWan - AS57199
« le: 26 février 2018 à 22:20:12 »
Hello !
Après quelques années de maturation, j'ai enfin le plaisir de pouvoir vous parler plus en détail de MilkyWan, l'asso que j'ai créée qui gère le réseau du même nom :) .



Je vais aborder 2 points, l'infrastructure, et le projet;

· 1/ Infrastructure

MilkyWan est un réseau expérimental qui a environ 2 ans, qui a commencé avec des routeurs Linux et des ERL montés en tunnel un peu partout, et qui évolue maintenant vers une infra en propre.

Je ne vais pas parler de l'ancienne infrastructure ici, c'est en gros basé sur : des dédiés Online, GRE,FRR,BGP,et un peu de l2tp.

Pour l'instant, la nouvelle infrastructure de MilkyWan est très minimaliste, je vais donc aussi parler du futur, histoire d'avoir des choses à raconter !

Donc, nous avons pour le moment un seul routeur BGP, un Mikrotik CCR1009 (Un truc avec 8 ports 1G et un SFP+), hébergé chez AppliWave à DC2.
Nous avons un transit 10G avec eux sur le site, en Dual Stack, et on fait en gros 150M au 95th, sans avoir tout migré de l'ancien réseau.

Coté IP, on a un /32 (IPv6) PA que notre LIR (Toujours AppliWave) nous a attribué. Je voulais récupérer un /44 PI, mais le RIPE est juste insupportable à ce niveau...
On est en train de chercher une bonne piste pour récupérer un /24 (ou /23) IPv4 pour pas trop cher. Mais forcèment, c'est compliqué ! En attendant, on a un /27 prêté par notre merveilleux transitaire :D .

On a un ASN 16Bits (AS57199 donc) parce qu'on a des vieux routeurs (bigiron 4000 récupérés chez Hivane) avec lesquels j'aimerais jouer un jour, et que sur les Mikrotik, les communautés BGP étendues, nécéssaires avec un AS32B ne sont pas gérées.

Accessoirement, on est aussi opérateur L33.1 déclaré auprès de l'ARCEP (Code MILK)  :P

Donc, on a pour projet de monter un Backbone national, full 10G (parce que le Gigabit en 2017 c'est surfait, ça coute vraiment rien de penser 10G), avec des interconnexions au maximum en 10G aussi.
Les premières villes que je vise sont Paris (normal !) à TH2 et à DC2/3 et Lyon (Mère patrie ! Probablement au NetCenter, on pense à DC4Data aussi).
Concernant Lyon, on a un 10G avec LyonIX qui arrive très bientôt (merci Ronan et Samuel de Rézopole :D ), on aura aussi un transit régionalisé sur place.

Les autres villes sont :
Rennes : On a un partenaire (coucou Quantic Telecom) qui peut nous héberger un routeur, les copains du BriezhIX pour s'interco. Il faut juste que je trouve un L2L qui arrive à TH2 dans la baie qui va bien (les crossco restant le nerf de la guerre)...
Toulouse : On a aussi un partenaire qui peut nous héberger là bas, on va surement aller mettre un serveur de Backups sur place, je réfléchis à aller sur le TouIX, mais c'est assez cher, il n'y a pas d'IPv6 et le projet a l'air un peu mort :/.
Marseille : Aller sur le France-IX marseille me plairait bien, mais on a le temps... :)

Voilà ce que ça donnerait, en gros :



On aura un backbone MPLS pour relier tout ça, j'aurais bien fait du VxLAN, mais les Mikrotik ne sont pas compatibles :/

Coté routage, je suis un grand amoureux de BGP, donc je fais au maximum le routage comme ça, après pour le MPLS, on annoncera les loopbacks en OSPF, vu qu'IS-IS (que j'aurais bien aimé tester) n'est pas compatible avec Mikrotik.
On monte une session BGP avec AS privé pour nos clients avec des tunnels fixes (pas vraiment du VPN donc, plutôt du GRE/IPIP/EoIP) c'est bien plus facile à scaler qu'un truc à base de routes statiques, puis un démon BGP, ça s'installe en 5 mins sur n'importe quel serveur/routeur.
Bon, j'ai pas poussé le vice jusqu'à faire ça pour nos clients L2TP/OpenVPN, pas faute d'avoir eu envie (surtout pour v6 sur l2tp...). ::)

Voilà pour la partie infra réseau ! On a aussi une grosse partie système (parce que sinon le réseau serait vide), on en parlera peut-être plus tard... :)

Donc en gros pour résumer :
  • Février 2018 : Création de l'AS, attribution d'IPv6, rackage d'un CCR1009 à DC2
  • Mars 2018 : Changement du CCR1009 pour un CCR1072 (Un seul port 10G, c'est trop peu, et le 1009 apprécie moyennement 2Gig dans la gueule :p), Attributions d'IPv4 PA par un LIR (à définir)
  • Avril : Rackage d'un CCR1009 à Lyon, Peering sur LyonIX, Transit 10G avec Appliwave sur place; Rackage d'un Juniper SSG320M pour faire passerelle VPN sur DC2
Ensuite :
  • Rackage d'un CRS317 (ou autre switch 10G, pas encore arrêté) sur TH2 pour peerer sur place
  • Peering sur France-IX et Equinix-IX Paris, même si n'avoir que 1G d'uplink m'embète un peu :)
  • PoP sur Rennes, peering sur le BriezhIX, on hébergera quelques serveurs sur place aussi
  • PoP sur Toulouse, pour mettre l'infra de backup, peering à définir
Voilà pour la roadmap :) tout ça sera en 2018 si tout se passe bien.

D'ailleurs, si vous êtes un réseau et que vous voulez nous filer un coup de main, nos PoP sont à jour sur PeeringDB  ::)

· 2/ Projet

MilkyWan, c'est à la base mon terrain de jeu, c'était le petit nom du réseau à base de tunnels que j'avais monté y'a quelques années.
Mais le truc grossissant, je me suis dit qu'on pouvait faire quelque chose de plus intéressant, vu que j'adore les projets en groupe, j'ai recruté quelques personnes du forum, de twitter, et d'ailleurs :)
Maintenant, on est 7, 3 admins réseau, 3 admins sys, et un développeur. Après, personne n'est cadré dans un domaine précis, je fais de l'admin sys, et Gaëtan fait aussi beaucoup de réseau, par exemple.

En gros, MilkyWan c'est notre gros Side Project à tous. On a tous un boulot (qui nous plait) à coté, mais c'est plus sympa de s'amuser sur une infra qui nous appartient :)

On propose deux trucs majeurs :

* Du service sur notre infrastructure : On peut vendre des VM, du VPN, de l'ADSL, du FTTO, des hébergements mutu... La base quoi :) On vendra aussi du FTTH le jour où la collecte sera ouverte chez un FAI National (SFR on t'attend).
Après, on est pas revendeur de VPS ni presta VPN, on ne vise pas vraiment le grand public, il n'y a pas de tarifs publics, pas de panel de commande, on ne vend que ce qu'on peut supporter. Mais on est ouvert aux passionnés qui voudraient quelques trucs, ça ne me dérange pas, tant que c'est pas jean-kévin parce qu'il a que 90Mb/s sur son vpn ou qu'il héberge des serveurs de jeux qui se feront DDoS dans les 10 mins... (Bon je caricature, mais j'ai beaucoup de respect envers les boites qui vendent à du GP, je trouve ça insupportable :) )

* Du conseil : C'est vraiment sympa de gérer la partie 'design' d'infrastructure, ou le débug d'un réseau, vu que j'ai reçu quelques demandes ici et là de boites qui me demandaient si je savais faire du conseil/design, je me suis dit que je pouvais faire ça au nom de l'asso.
Du coup, c'est un bon moyen de financer l'infra (bon, pas de quoi partir en vacances au bahamas malheureusement  :-[ :'( ) tout en filant un coup de main et en s'amusant (parce que c'est tellement satisfaisant quand tu construis ce genre de choses, ça me donne des idées pour le futur :p ) surtout qu'on est nombreux dans l'asso à avoir de très bonnes connaissances en infrastructure, donc on arrive presque toujours à trouver la solution. :)

Du coup on va aussi parler pognon, parce que c'est le sujet qui va revenir assez vite (je commence à connaitre un peu ce forum :D ).

Tout d'abord, je tiens à rappeler qu'on soutient aussi des projets, parce que je considère que quand on se monte en Asso, on a un devoir moral d'aider les autres assos, donc si vous avez un projet sympa et besoin de ressources, droppez moi un mail et on en discute avec plaisir (si si, j'insiste !).

On s'est monté en association parce qu'on a pas vraiment pour objectif de faire des bénéfices, l'argent qu'on gagne en vendant de l'infra ou de la presta est vite englouti dans du matos (Et purée, ça coute cher mine de rien :D ).
Mon objectif c'est que l'infra s'autofinance, parce que pour l'instant, on met pas mal de pognon de nos poches, mais c'est pas grave, c'est le jeu. :)

Sinon, on est sur Twitter (@MilkyWan_net), sur IRC (#milkywan sur freenode, n'hésitez pas à rejoindre #lafibre aussi, on se marre bien :) ).
On a un tout récent site web ici : https://milkywan.fr/
On est sur PeeringDB, je maintiens les objets RIPE à jour, et on aura un LG public le jour où je m'en occuperai !


Et pour finir, quelques photos de l'équipe !

Dans l'ordre d'apparition : Votre serviteur, Gaëtan et Corentin, les Lyonnais de l'équipe (il ne manquait que Thibault) en route pour le Meetup MilkyWan à Paris :)


Aloïs, notre Vice Président et NetAdm, devant la "Big Pile of Shit", le stock de serveurs, chez moji. C'était le premier aller-retour, depuis on a environ une demi baie de serveurs, Filers, Hyperviseurs, switchs... qui prendront place dans des baies dans les prochains mois :)


Et pour finir, une petite soirée configuration de matos, avec Squalala et Jack (que vous connaissez bien ici)  ;D

vivien

  • Administrateur
  • *
  • Messages: 28 797
    • Twitter LaFibre.info
MilkyWan - AS57199
« Réponse #1 le: 26 février 2018 à 22:39:04 »
Il est toujours possible d'avoir un AS 16bits ?

Quel serait l’intérêt alors de choisir un AS 32bits si il n'y a pas de pénurie en 16bits ?

Sinon, voici quelques traceroutes vers ce nouveau réseau :

Bouygues Telecom Interxion2 IPv4 :
$ mtr -z4rwc100 milkywan.fr
Start: Mon Feb 26 22:30:20 2018
HOST:                                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS5410  194.158.119.185                  0.0%   100    0.4   4.0   0.3 358.7  35.8
  2. AS5410  be11.cbr01-ntr.net.bbox.fr       0.0%   100    3.6   2.7   1.5   3.9   0.3
  3. AS5410  la13.rpt02-ix2.net.bbox.fr      81.0%   100    1.2   1.2   1.1   1.2   0.0
  4. AS???   appliwave-dc3.par.franceix.net   0.0%   100    1.5   2.2   1.5  68.4   6.7
  5. AS200780185.217.200.18                   0.0%   100    1.6   1.6   1.5   5.3   0.4
  6. AS???   ? ?                             100.0   100
  7. AS200780130.117.11.5                     0.0%   100    2.1   2.2   1.9   5.8   0.4


Bouygues Telecom Interxion2 IPv6 : Passage par AS 5511 !
$ mtr -z6rwc100 milkywan.fr
Start: Mon Feb 26 22:32:41 2018
HOST: ubuntu                              Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS5410  2001:860:f70a::1              0.0%   100    0.8   0.5   0.4   0.8   0.0
  2. AS5410  2001:860:bbee:4d::1           0.0%   100    1.2   1.2   1.2   1.5   0.0
  3. AS5511  2a01:cfc4:0:e00::4            0.0%   100    2.4   2.1   1.2  38.1   4.4
  4. AS5511  2a01:cfc4:0:1c00::13          0.0%   100    1.2   1.3   1.2   2.2   0.0
  5. AS???   2a02:e5c:0:3::2               0.0%   100    1.6   1.7   1.6   3.8   0.3
  6. AS???   2a02:e5c:2:11::2              0.0%   100    1.7   1.8   1.7   3.5   0.2
  7. AS2007802a05:46c0:0:210::5            0.0%   100    1.8   1.9   1.7   3.2   0.2
  8. AS57199 saturn.dc3.milkywan.network   0.0%   100    2.2   4.3   2.0 141.4  14.5
  9. AS57199 web.milkywan.space            0.0%   100    2.2   2.7   2.0  31.4   2.9


Adeli / Maxnod dans l'Ain IPv4 : C'est le transit Ielo qui est utilisé avant de passer sur France-IX
$ mtr -z4rwc100 milkywan.fr
Start: Mon Feb 26 22:31:34 2018
HOST: lafibre                                                  Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS43142 portevlan.adeli.biz                                0.0%   100    0.3   0.7   0.2   5.0   1.0
  2. AS29075 sw1-le9lyon-ge-1-4.ix-customers-le9lyon.ielo.net   0.0%   100    1.3   3.3   1.2  51.9   6.3
  3. AS???   frpar-th2-a9k1.as29075.net                         1.0%   100    7.7   7.6   7.4   8.3   0.0
  4. AS???   appliwave-dc3.par.franceix.net                     0.0%   100    6.9   6.8   6.5  19.7   1.3
  5. AS200780185.217.200.18                                     0.0%   100    8.8   7.3   6.6  59.6   5.3
  6. AS???   10.1.0.158                                         2.0%   100    8.8   7.2   7.0   8.8   0.3
  7. AS200780130.117.11.5                                       0.0%   100    8.9   7.3   7.0   9.2   0.3


Adeli / Maxnod dans l'Ain IPv6 : Transit Ielo aussi avant de passer sur France-IX
$ mtr -z6rwc100 milkywan.fr
Start: Mon Feb 26 22:34:40 2018
HOST: lafibre                                Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS43142 bgp1.adeli.biz                   0.0%   100    0.3   0.6   0.2   7.9   1.1
  2. AS29075 cr5.rt.ielo.net                  0.0%   100   10.7   8.8   6.6  79.9   7.8
  3. AS29075 frpar-th2-a9k1.as29075.net       1.0%   100    8.3   8.5   8.2  15.1   0.7
  4. AS???   appliwave-dc3.par.franceix.net  95.0%   100    8.2   8.3   8.2   8.8   0.0
  5. AS2007802a05:46c0:0:210::5               0.0%   100    8.2   9.0   8.2  73.2   6.5
  6. AS57199 saturn.dc3.milkywan.network      1.0%   100    8.4   8.9   8.3  27.2   2.3
  7. AS57199 web.milkywan.space               2.0%   100    8.4   8.8   8.4  24.9   1.7


Ikoula Reims IPv4 : Peering France-IX
$ mtr -z4rwc100 milkywan.fr
Start: Mon Feb 26 22:32:26 2018
HOST: ikoula                                      Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS21409 ik063002.ikoula.com                   0.0%   100    0.6   9.9   0.3 665.7  66.7
  2. AS21409 eth-trunk2.core16.ikdc1.ikoula.com    0.0%   100    1.1  21.0   0.8 391.5  65.6
  3. AS21409 eth-trunk14.core14.ikdc1.ikoula.com   0.0%   100    1.0   8.4   0.8 479.8  52.7
  4. AS21409 po2.core13.ikdc2.ikoula.com           0.0%   100    3.8   9.0   3.3 202.3  29.2
  5. AS21409 po3.core12.ikdc2.ikoula.com           0.0%   100    1.1   2.8   1.1  89.1   9.1
  6. AS21409 eth-trunk1.core15.rb.ikoula.com       0.0%   100    3.8  11.5   3.7 225.6  31.8
  7. AS???   appliwave-dc3.par.franceix.net        0.0%   100    3.9   4.2   3.9  24.6   2.2
  8. AS200780185.217.200.18                        0.0%   100    4.1   4.2   3.9  14.3   1.3
  9. AS???   10.1.0.158                            0.0%   100    4.8   5.2   4.3  53.6   5.1
 10. AS200780130.117.11.5                          0.0%   100    4.5   5.5   4.4  72.4   7.0


Ikoula Reims IPv6 : Peering France-IX même si le reverse du sot N°2 est incorrect.
$ mtr -z6rwc100 milkywan.fr
Start: Mon Feb 26 22:34:45 2018
HOST: ikoula                                 Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS21409 2a00:c70:1:213:246:63:0:1        0.0%   100    0.6   7.9   0.4 381.6  43.2
  2. AS174   ikoula.demarc.cogentco.com       0.0%   100    1.2  24.2   0.8 395.9  73.3
  3. AS21409 2a00:c70::1:13                   0.0%   100    1.4   3.7   1.2 132.2  14.3
  4. AS21409 2a00:c70::1:12                   0.0%   100    1.7   2.5   1.2  38.5   5.7
  5. AS???   ikoula.par.franceix.net          0.0%   100    4.1  12.9   3.8 325.3  45.7
  6. AS???   appliwave-dc3.par.franceix.net   0.0%   100    4.1   4.1   3.9   5.8   0.2
  7. AS2007802a05:46c0:0:210::5               0.0%   100    4.2   4.4   3.9  24.2   2.0
  8. AS57199 saturn.dc3.milkywan.network      1.0%   100    4.5   5.0   4.3  29.8   2.8
  9. AS57199 web.milkywan.space               1.0%   100    4.5   5.0   4.4  46.7   4.3


Hugues

  • AS57199 MilkyWan
  • Expert
  • *
  • Messages: 6 094
  • Lyon & Paris
    • MilkyWan
MilkyWan - AS57199
« Réponse #3 le: 26 février 2018 à 22:42:43 »
Il est toujours possible d'avoir un AS 16bits ?
Yes !

Pour l'intéret, je l'ai expliqué ici ->
On a un ASN 16Bits (AS57199 donc) parce qu'on a des vieux routeurs (bigiron 4000 récupérés chez Hivane) avec lesquels j'aimerais jouer un jour, et que sur les Mikrotik, les communautés BGP étendues, nécéssaires avec un AS32B ne sont pas gérées.
Sinon pour les traceroute, on assigne pour l'instant le backbone en IP privées (vu qu'on a pas encore d'IPs à nous), c'est pour ça qu'il manque des Hops.
Je suis assez content de la connectivité qu'on a via Appliwave, mais bon, ça manque de multihoming quand même chez nous  ::)

vivien

  • Administrateur
  • *
  • Messages: 28 797
    • Twitter LaFibre.info
MilkyWan - AS57199
« Réponse #4 le: 26 février 2018 à 22:45:13 »
J'ai bien compris l’intérêt d'avoir un AS 16 bits (compatibilité avec plus de routeurs)

Par contre choisir un AS 32 bits cela a quel intérêt, a part ne pas pouvoir peerer avec ceux qui ont un vieux routeur ?

Hugues

  • AS57199 MilkyWan
  • Expert
  • *
  • Messages: 6 094
  • Lyon & Paris
    • MilkyWan
MilkyWan - AS57199
« Réponse #5 le: 26 février 2018 à 22:47:56 »
Ah pardon, j'ai mal lu !

Il y'a une pénurie 'relative' en 16 Bits, donc c'est mieux de passer en 32Bit par défaut, sauf contre indication.

Est-ce qu'il y'a encore beaucoup de vieux routeurs en circulation ? Le seul truc que je connaisse, c'est mes dinosaures de Bigiron 4K justement :D J'en ai croisé dans une salle à TH2 une fois, ça m'a surpris d'en voir encore en production !

miky01

  • Expert. Réseau RESO-LIAin (01)
  • Client K-Net
  • *
  • Messages: 3 954
  • Farges (01)
MilkyWan - AS57199
« Réponse #6 le: 26 février 2018 à 23:08:53 »
Sympa ce que tu fais, en tous cas bravo, ca fait plaisir de voir des gens motivés.

Hugues

  • AS57199 MilkyWan
  • Expert
  • *
  • Messages: 6 094
  • Lyon & Paris
    • MilkyWan
MilkyWan - AS57199
« Réponse #7 le: 26 février 2018 à 23:41:20 »
Merci ! ;-)

Hugues

  • AS57199 MilkyWan
  • Expert
  • *
  • Messages: 6 094
  • Lyon & Paris
    • MilkyWan
MilkyWan - AS57199
« Réponse #8 le: 26 février 2018 à 23:57:10 »
Du coup on a monté notre premier peering avec Petrus (AS206155), ça m'a permis de tester mes templates de peering :D

e-TE

  • Client Free fibre
  • *
  • Messages: 627
  • Déville-les-Rouen (76)
MilkyWan - AS57199
« Réponse #9 le: 27 février 2018 à 00:16:00 »
sympa!

good luck dans ce projet :)

111

  • Client Orange Fibre
  • *
  • Messages: 196
  • Nantes
MilkyWan - AS57199
« Réponse #10 le: 27 février 2018 à 01:54:00 »
Très beau projet, bravo à vous !

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 4 140
MilkyWan - AS57199
« Réponse #11 le: 27 février 2018 à 06:35:43 »
Salut,
Sur le papier, c'est un super projet, bien fun, et que je suivrais avec attention... mais

...il y a un truc qui me dérange quand même : On parle de s'amuser, de bidouiller, d'expérimenter, sur le vrai Internet avec de vrais AS et tout et tout. Vous annoncez en IPv4 des plages d'IP très petites, donc vous contribuez à la multiplication du nombre de routes sur l'Internet dans son ensemble. Si tout le monde, tous les acteurs faisaient comme ça, le nombre de routes exploserai, et certains routeurs ne sauraient plus gérer. On sait déjà que des acteurs avec des routeurs un peu ancien ont énormèment de mal à gérer la taille actuelle d'une table de routage full view IPv4.
Vous n'êtes pas les premiers à faire ça, et ça me dérange à chaque fois en fait.

Leon.

 

Mobile View