La Fibre
Télécom => Réseau => 
VPN => Discussion démarrée par: olppp le 11 septembre 2020 à 16:12:08
-
Edit: Hors-sujet suite à la mise en place d'un Tunnel GRE sur la seconde interface du serveur, pour récupérer une IPv4 MilkyWan protégée des DDoS volumétrique
Je pensais qu'il y avait un vpn entre la fibre.info et Voltera. Dommage que Voltera ne gère pas l'ipv6, cela permettrait ne n'utiliser que v6 sur le serveur.
-
L’architecture mise en place est un peu compliquée, mais j'ai déjà été plusieurs fois la cible des attaques et cela a donc une probabilité assez forte de se renouveler.
L'IPv4 au bout du tunnel est une IPv4 MilkiWan, annoncées par Voltera pour la protéger des DDOS volumétrique et un filtrage est prévu pour ne pas la rendre accessible d'internet, mais uniquement de MilkiWan et Volterra.
Ce type de protection (offert de base chez OVH / Swalway) peut être insuffisant face a des attaques de niveau 7, d'où une protection plus complète chez Volterra qui termine la connexion TLS ce qui permet de mettre en place des limites supplémentaires (j'ai fixé par exemple une limite à 1000 requetes par minute par IP - attention rien que la page d’accueil dépasse les 100 requêtes si le cache est vide, à cause des nombreuses petites images).
- IPv4 : AS35280 (Volterra) => AS57199 (MilkyWan) =Rezopole=> AS209097 (NetSyst) => Interface Gb/s du serveur Dell hébergé au Maxnod N°1
- IPv6 : AS43142 (Adeli) => Interface Gb/s du serveur Dell hébergé au Maxnod N°2
-
Franchement moins y'a d’intermédiaires moins y'a de soucis futurs...
La tu as 3 opérateurs (ADELI, MW, Volterra) plus un tunnel GRE plus une config qui doit pas être 100% 'full self-service' j'imagine ?
J’espère que Volterra va rapidement supporté IPv6. Perso j'aurais été chez Cloudflare en attendant que Volterra soit a jour.
D'ailleurs rien ne t’empêche de mettre ton domaine 'lafibre.info' de suite chez Cloudflare histoire d'avoir un plan B activable en quelques secondes (en pratique ca va être a la TTL près des enregistrements)...T'as aucun avantage à avoir ton domaine chez OVH non ? Mieux vaut prévenir que guérir.
exemple Cloudflare: en 1 click tu peux proxifier un service web chez eux.
(https://i.imgur.com/jtnrR4J.png)
(en bonus t'as HTTP/2 et même HTTP/3 sur UDP. Ils font ça chez Volterra ?)
-
Je regarde la possibilité d'avoir l'IPv4 protégée de MilkyWan en direct sur la seconde interface Ethernet de mon serveur (via Rezopole).
Cloudflare ne va pas empêcher que l'on attaque mon IPv4 Adeli de back-end, utilisée pour envoyée les mails du forum, non ?
Là, c'est un différentié dés le serveur avec un port Ethernet différent entre la partie protégée et celle qui n'est pas protégée.
-
Et pourquoi pas juste mettre ça sur un serveur OVH ou Scaleway ? Ça évite ton usine à gaz de reverse proxy Volterra, tunnel MW et serveur Adeli.
-
Je pense qu'il y a une volonté de donner une place à des acteurs moins connus qu'OVH et Scaleway.
Par ailleurs je ne suis pas certain que ça résolve complètement le problème, notamment si le DDoS devient applicatif. D'ailleurs, est-ce qu'on sait à quel point les solutions anti-DDoS intégrées aux offres d'OVH et de Scaleway fonctionnent bien ?
-
Dans ce cas mettre ça sur une machine directement chez Volterra ?
Sinon, je pense qu’ils doivent régulièrement se prendre des DDoS, donc je dirais que ça marche bien, sinon on verrait plus souvent des sites tomber.
-
Pourquoi questionner les choix de Vivien ? A priori avec l'appui d'Hugues, ils ont fait un truc solide, qui n'est pas complexe pour le plaisir de l'être, mais à la hauteur du niveau de l'attaque subie.
-
Franchement, les attaquants ont gagné si ça finit sur un serveur chez OVH ou Online. Je pense que vivien y tient a son petit serveur dans la campagne :)
-
Je regarde la possibilité d'avoir l'IPv4 protégée de MilkyWan en direct sur la seconde interface Ethernet de mon serveur (via Rezopole).
Cloudflare ne va pas empêcher que l'on attaque mon IPv4 Adeli de back-end, utilisée pour envoyée les mails du forum, non ?
Là, c'est un différentié dés le serveur avec un port Ethernet différent entre la partie protégée et celle qui n'est pas protégée.
Le DNS sur Cloudflare est juste pour avoir un plan B en cas de souci.
Actuellement ton DNS sur OVH ne t'apporte aucune valeur ajoutée: tu peux juste changer les enregistrements DNS , rien d'autre.
Si MW ou/et Volterra sont attaqués ou plantés tu pourra en quelques minutes basculer sur autre chose (tant que ton lien IPv6 est vivant).
Pourquoi questionner les choix de Vivien ? A priori avec l'appui d'Hugues, ils ont fait un truc solide, qui n'est pas complexe pour le plaisir de l'être, mais à la hauteur du niveau de l'attaque subie.
Il fait ce qu'il veut mais on peut aussi discuter et questionner le fait qu'il soit influencé par d'autres sur des choix non orthodoxes ou le mettant dans une situation de dépendance vis a vis de ces personnes.
L'important est qu'il ai tout bien compris qui fait quoi et les conséquences de ses choix. On veut juste s'assurer que c'est bien le cas et lui proposer des alternatives.
-
questionner le fait qu'il soit influencé par d'autres sur des choix non orthodoxes ou le mettant dans une situation de dépendance vis a vis de ces personnes.
:o
C'est quand même inquiétant que ne pas utiliser Cloudflare devienne "non orthodoxe" (mais que fait l'inquisition ?! ah ouf, elle poste des messages !) et qu'utiliser les services d'un gros commercial comme Cloudflare ne soit pas considéré comme une dépendance.
-
C'est quand même inquiétant que ne pas utiliser Cloudflare devienne "non orthodoxe" et qu'utiliser les services d'un gros commercial comme Cloudflare ne soit pas considéré comme une dépendance.
Je n'ai jamais dit que "non orthodoxe" = ne pas utiliser Cloudflare. C'est le tunnel GRE qui n'est pas orthodoxe.
Car le point n°1 c'est Volterra qui ne fait pas d'IPv6. Pour moi c'était éliminatoire d'office. Je ne vois pourquoi aller faire un truc alambiqué juste pour garder Volterra ... c'est juste tordu.
Il pouvait passé chez Cloudflare en attendant que Volterra se mette au 21eme siècle. Le but n'était pas de rester chez Cloudflare. Il y avait urgence.
A terme et on en a déjà parler ici, c'était un Reverse Proxy (nginx, haproxy voir envoy) sur un VPS d'OVH.
Et je n'ai jamais mentionné d'aller mettre tout le serveur de lafibre.info chez OVH.
Apres on dépend forcement de quelqu'un. La il dépend de Volterra et de MW pour des choses non "self service" (qu'il ne peut faire lui-même via un interface web).
Et j'ai l'impression que certains considèrent ici Cloudflare comme un GAFAM, ce n'est pas absolument pas un GAFAM (tant qu'un GAFAM ne le rachète pas...). Et si demain Amazon ou Google rachètent Volterra il fait quoi ?
-
Et pourquoi pas juste mettre ça sur un serveur OVH ou Scaleway ?
OVH ou scaleway proposent un anti-DDoS volumétrique, pas applicatif.
Dans ce cas mettre ça sur une machine directement chez Volterra ?
Volterra ne propose pas d'hébergement, mais des protection à mettre devant un hébergement.
OVH + Cloudflare répond au besoin.
Adeli + MilkyWan + Volterra aussi.
Le DNS sur Cloudflare est juste pour avoir un plan B en cas de souci.
On peut aussi prendre Cloudflare avec les DNS chez OVH, non ?
OVH propose un service DNS plutôt complet, gratuit et qui fonctionne bien.
-
Je n'ai jamais dit que "non orthodoxe" = ne pas utiliser Cloudflare. C'est le tunnel GRE qui n'est pas orthodoxe.
Car le point n°1 c'est Volterra qui ne fait pas d'IPv6. Pour moi c'était éliminatoire d'office. Je ne vois pourquoi aller faire un truc alambiqué juste pour garder Volterra ... c'est juste tordu.
Le tunnel GRE va serrement sauter, si j'arrive a me connecter directement à MilkyWan via Rezopole.
Volterra ne propose pas d'IPv6, mais c'est aussi le cas de Pragma Security (Qrator Labs) (https://qrator.net/en/) ni Scaleway cf Scaleway lance de nouveaux Load Balancer incompatible avec IPv6 (https://lafibre.info/scaleway/scaleway-load-balancer/). (Précision le produit utilisé chez Volterra, c'est un load balancer, même si je n'ai qu'un serveur)
J’espère les convaincre de proposer IPv6, c'est plus facile des les convaincre quand tu utilises leur services. J'ai déjà réussi avec Mediactive Network.
-
J’espère les convaincre de proposer IPv6, c'est plus facile des les convaincre quand tu utilises leur services. J'ai déjà réussi avec Mediactive Network.
Il faut forcément que ça soit un service en France ?
-
On peut aussi prendre Cloudflare avec les DNS chez OVH, non ?
Pas en gratuit/pro que en business/entreprise (donc mini $200/mois).
Cloudflare gratuit/pro impose qu'ils gèrent ton DNS (en plus c'est nettement plus simple que ce soit eux).
Ils appellent cela le "cname setup" et ca ne concerne que pour les sous-domaines, par le root domain.
A CNAME setup allows a customer to maintain authoritative DNS outside of Cloudflare. It allows individual subdomains to benefit from Cloudflare's services without requiring updates for a domain's registration to point to Cloudflare's nameservers for DNS resolution.
...
The CNAME setup has two limitations:
- DDOS protection for attacks against DNS infrastructure is only available for the delegated subdomain records.
- Only subdomains, not the root domain, can use Cloudflare's services. This limitation is imposed by Internet DNS specifications.
Apres tu peux toujours rediriger le web de lafibre.info vers web.lafibre.info mais de toute façon vu le prix... ;D
https://support.cloudflare.com/hc/en-us/articles/360020348832
Ou alors pour le niveau de prix Entreprise (sur cotation uniquement = "a la tête du client") tu peux avoir Cloudlfare en DNS Secondaire de ton principal.
-
Je dois avouer ne pas connaître le Free plan https://www.cloudflare.com/fr-fr/plans/
Pour moi cloudflare était cher dans ma tête.
-
On est peut-être pas Self Service, mais Vivien a mon numéro et peut me contacter a n'importe quel moment, et ça, ça vaut tous les cloudflare ou autre.
On parle d'un forum sur la fibre optique, pas d'une plateforme de paiement gérant 60000 transactions a la minute.
-
Je n'ai jamais dit que "non orthodoxe" = ne pas utiliser Cloudflare. C'est le tunnel GRE qui n'est pas orthodoxe.
C'est au contraire un grand classique du nettoyage de trafic.
-
Je dois avouer ne pas connaître le Free plan https://www.cloudflare.com/fr-fr/plans/
Pour moi cloudflare était cher dans ma tête.
l'offre gratuite peut te suffire ca n'inclut pas le WAF mais y'a l'anti-ddos L7:
(https://i.imgur.com/SFfEjfJ.png)
-
Oui, je pense aussi que c'est suffisant si Akamai peut joindre mon serveur en IPv6 uniquement (back-end constitué uniquement d'une IPv6, front IPv4 + IPv6).
Car là le truc un peu complexe a été mis en place pour protéger l'attaque volumétrique de l'IPv4 back-end (ce qu'il s'est produit lundi matin, il a mis un peu de temps à trouver la bonne IP) car Adeli n'a pas ce type de protection.
Bref je note pour un plan B.
-
C'est au contraire un grand classique du nettoyage de trafic.
un GRE se terminant dans un serveur web ?! un grand classique ?!
ce n'est pas routeur a routeur la.
-
un GRE se terminant dans un serveur web ?! un grand classique ?!
ce n'est pas routeur a routeur la.
Je vois pas ce que ça change
-
Kgersen, j'espère que tu ne sais pas comment beaucoup d'entreprises interconnectent leurs public/private cloud, et même sur du k8s avec Azure, AWS ou autres bullshiteries :)
L'encapsulation "peu orthodoxe", j'ai l'impression d'être revenu dans les années 2000 serieux :)
-
Kgersen, j'espère que tu ne sais pas comment beaucoup d'entreprises interconnectent leurs public/private cloud, et même sur du k8s avec Azure, AWS ou autres bullshiteries :)
et ? ils font donc leur terminaison GRE directement dans le serveur web ou le serveur SQL ? ::)
L'encapsulation "peu orthodoxe", j'ai l'impression d'être revenu dans les années 2000 serieux :)
C'est pas le GRE en lui-même qui est peu orthodoxe.
C'est d'aller proposer ça a quelqu'un comme Vivien et de lui faire installer directement dans son serveur web.
et je vois pas le rapport avec les années 2000 ... on faisait très souvent du GRE dès avant l'an 2000 pour du site a site sur Numéris par exemple. C'est la bullshiterie des vendeurs de MPLS que tu mentionnes ?
-
kgersen, pourquoi tu crois que cloudfare propose Argo (https://www.cloudflare.com/fr-fr/products/argo-tunnel/)?
Peut être que resté en ligne pendant un DDoS est un peu plus compliqué qu'avoir un reverse proxy en front ?
-
kgersen, pourquoi tu crois que cloudfare propose Argo (https://www.cloudflare.com/fr-fr/products/argo-tunnel/)?
Peut être que resté en ligne pendant un DDoS est un peu plus compliqué qu'avoir un reverse proxy en front ?
? j'ai pas dit qu'il suffit d'avoir un reverse proxy en front pour resté en ligne pendant un DDoS ? on doit pas se comprendre.
L'idée du RP était que la partie IPv4 'pète' sans planter tout le serveur web qui restera accessible en IPv6.
-
Pourquoi un tunnel GRE ?
Parce que lafibre.info n'a pas une infra en propre et ne peut donc pas faire annoncer son IP par l'infrastructure de Volterra.
Pourquoi alors terminer chez Milkywan ?
Milkywan a une infra en propre qui peut couper tous les transits sauf Volterra (ou un autre fournisseur d'anti ddos, ce n'est pas important ici) et donc survivre au DDoS.
Ce serait le même problème avec CloudFare: il faut que l'endpoint ne soit pas accessible directement d'Internet et masscan marche très bien en IPv4.
Donc soit tu as l'argent pour une infra réseau et tu t'interconnecte directement avec ton provider anti-ddos soit tu monte des tunnels GRE.
-
Nan mais le truc marrant c'est que ça choque kgersen que Vivien termine un tunnel GRE sur son serveur dédié. J'imagine que quand on raisonne en mode devoups avec des conteneurs partout et une fragmentation ultra hyperscale de l'infra, ça peut mindblown.
Maintenant la réalité, c'est que lafibre.info en IPv4, ça fait 10mbps au 95th centile, a peine 40 en pic, et qu'un tunnel GRE ça marche très bien et c'est pas crade. GRE c'est un des protocoles réseau les plus KISS et les plus éprouvés d'internet.
-
"devoups", "ultra hyperscale", "mindblown", "kiss"
Les jeunes, vous êtes des pros dans le domaine du réseau mais coté respect de la langue natale, y a encore un peu de boulot ;)
-
Je pense le devoups volontaire de la part de Hugues.
C'est toujours rigolo pour le jeune vieux c*n que je suis de voir une infra tombé à cause des outils de la culture devops :)
-
Oui c'est volontaire, je n'ai pas cette vision. Mais je bosse aussi sur du k8s et sur des infras haute dispo, juste, je ne m'enferme pas dans le disneyland des solutions d'Amazon, Cloudflare voir Scaleway :)
-
Je pense qu'il y a une volonté de donner une place à des acteurs moins connus qu'OVH et Scaleway.
+1
Franchement, les attaquants ont gagné si ça finit sur un serveur chez OVH ou Online. Je pense que vivien y tient a son petit serveur dans la campagne :)
+1
J'adore la tournure "village gaulois" que prend cette histoire. Oui, avec des moyens semi-amateur, semi-pro et beaucoup de partenariats entre personnes motivées, Vivien, Hugues-MilkyWan, Netsyst et Voltera arrivent à mettre en place une solution peu conventionnelle, et qui est pourtant pragmatique et qui fonctionne, quand on a compris toutes les contraintes du serveurs Lafibre.info.
J'apprécie beaucoup la démarche.
Je n'ai jamais dit que "non orthodoxe" = ne pas utiliser Cloudflare. C'est le tunnel GRE qui n'est pas orthodoxe.
un GRE se terminant dans un serveur web ?! un grand classique ?!
Mais qu'est-ce qu'on s'en moque qu'une solution ne soit pas "habituelle/standard/classique"? Tu avances souvent ce genre d'arguments. Mais on ne fait pas quelque chose juste parce que les autres font pareil, ça n'aurait pas de sens (dans une logique normale non Shadokienne).
En quoi la solution "tunnel GRE qui termine directement sur une machine" (bien que non conventionnelle) peut poser un problème? Le tunnel GRE est l'implémentation la plus basique d'un tunnel, ça marche! Ressource CPU négligeable, configuration statique, etc... Qu'est-ce qui te dérange avec ça?
Leon.
-
Ce serait le même problème avec CloudFare: il faut que l'endpoint ne soit pas accessible directement d'Internet et masscan marche très bien en IPv4.
non car Cloudflare supporte IPv6 (client ipv4 --> cloudflare --> ipv6 --> lafibre.info).
Je rappelle qu'on a tout ce débat a 2 balles parce que le provider Volterra vis encore au 20eme siecle et ne propose pas IPv6.
Pour ce qui est du débat sur GRE, vous apprendrez avec l'age d'avoir un peu d'empathie pour l'utilisateur final et de vous mettre 'hors de l’équation' dans le choix d'une solution.
Ce n'est pas parce que vous êtes des cadors du Net que les solutions que vous proposez sont utilisables ou acceptables par les non cadors. Une bonne solution est une solution qui prend en compte qui va s'en servir et l'aspect humain.
Mon propos n'était que la, j'essai de me mettre a place de Vivien et surtout de ne pas faire en sorte que Vivien dépende d'un tel ou d'un tel au point de devoir avoir son numéro direct en cas de problème...Pour moi ce n'est pas acceptable comme solution (parce que je l'ai fait dans le passé et ça finit en général mal quelque soit les bonnes intentions du moment).
Si on solutionne mon problème en me rendant dépendant d'autres personnes cela ne m'aide qu'a court terme.
Apres si vous êtes 100% focus que sur l'aspect technique de GRE sans prendre en compte aucun paramètre humain c'est clair que cette discussion ne va nulle part.
Et si on veut revenir sur la technique, Volterra ce n'est pas un reverse proxy mais un principalement un "load balancer pour applications a la sauce k8s", pas vraiment non plus ce qu'il y a de plus adapté (d'ailleurs Vivien confirme qu'il galère a configurer ce truc tellement l'UX n'est pas adapté a son souci).
ps: et pendant ce temps personne ne l'aide pour son souci d'email , vous attendez quoi pour lui mettre un tunnel GRE pour que le site puisse envoyer des mails...
-
Je rappelle qu'on a tout ce débat a 2 balles parce que le provider Volterra vis encore au 20eme siecle et ne propose pas IPv6.
Pas du tout, t'as vraiment rien compris.
Le souci c'est pas que Volterra ne supporte pas IPv6 : Il n'y a pas besoin de protection IPv6 à date, les attaques ne se font qu'en v4.
Le souci c'est de protéger le lien entre le serveur de Lafibre et Internet.
Au début, il passait par Adeli pour joindre Volterra, les attaquants ont trouvé l'IP et attaqué Adeli.
Là, avec notre solution, on ne passe pas par internet au sens large, on est sur des routes via PNI ou peering direct entre 3 acteurs. Donc très peu vulnérable à un DDoS.
Pour ce qui est du débat sur GRE, vous apprendrez avec l'age d'avoir un peu d'empathie pour l'utilisateur final et de vous mettre 'hors de l’équation' dans le choix d'une solution.
Ce n'est pas parce que vous êtes des cadors du Net que les solutions que vous proposez sont utilisables ou acceptables par les non cadors. Une bonne solution est une solution qui prend en compte qui va s'en servir et l'aspect humain.
Mon propos n'était que la, j'essai de me mettre a place de Vivien et surtout de ne pas faire en sorte que Vivien dépende d'un tel ou d'un tel au point de devoir avoir son numéro direct en cas de problème...Pour moi ce n'est pas acceptable comme solution (parce que je l'ai fait dans le passé et ça finit en général mal quelque soit les bonnes intentions du moment).
Mais purée, on parle d'un forum sur la fibre et sur le réseau, pas d'un site vital, si ça coupe 10 minutes, ça coupera 10 minutes. C'est bien plus sympa de collaborer entre acteurs que de se foutre chez un énième big corp, vu que le site ne fait manger personne, n'a rien a vendre et n'est vital pour personne.
Et si on veut revenir sur la technique, Volterra ce n'est pas un reverse proxy mais un principalement un "load balancer pour applications a la sauce k8s", pas vraiment non plus ce qu'il y a de plus adapté (d'ailleurs Vivien confirme qu'il galère a configurer ce truc tellement l'UX n'est pas adapté a son souci).
Eh oui, quand on va ailleurs que chez les big corp, l'ergonomie est moins bonne, il faut faire des choix. Mais maintenant que c'est conf, ça marche :)
Et franchement, un reverse proxy ça reste un reverse proxy, loadbalancer ou pas.
ps: et pendant ce temps personne ne l'aide pour son souci d'email , vous attendez quoi pour lui mettre un tunnel GRE pour que le site puisse envoyer des mails...
Je lui ai proposé une seconde IP sur son tunnel GRE tout pourri, mais il préfère passer par Adeli pour éviter de risquer une attaque qui couperait la partie web :)
-
Pour l'IPv4 pour les mails, elle a un peu de retard, car Adeli travaille a une solution de black-listage automatique en cas de DDoS.
Je pensais avoir l'IPv4 jeudi dernier.
J'ai hésité à basculer sur l'IPv4 Netsyst que je pourrais configurer sur mon serveur, toutefois c'est plus risqué si il y a un DDoS, bref je pense que l'on va patienter avec encore quelques jours avec la solution acutelle ou seuls les mails qui peuvent partir en IPv6 partent (c'est à dire pas grand chose).
La solution sera plus résiliente au final qu'une solution CloudFare, avec l'IPv6 et l'IPv4 du forum chacun sur une patte différente du serveur (pour Cloudflare, une IPv4 était quand même nécessaire pour envoyer les mails sur les serveurs d'où un point de vulnérabilité). L'IPv4 et l'IPv6 du forum utilisent des AS différents.
- IPv4 : AS35280 (Volterra) => AS57199 (MilkyWan) =Rezopole=> AS209097 (NetSyst) => Interface Gb/s du serveur Dell hébergé au Maxnod N°1
- IPv6 : AS43142 (Adeli) => Interface Gb/s du serveur Dell hébergé au Maxnod N°2
En plus cela montre un vrai cas où l'IPv6 répond avec une latence plus faible que l'IPv4. (mais la latence IPv4 reste assez faible)
-
Et si il y a un DDOS sur les IP GRE ?
Discussion publique ? Pas mieux pour ouvrir une surface d'attaque.
-
Volterra nous protège des attaques DDoS, ce n'est plus un risque et c'est pour ça qu'on en parle
-
L'IPv4 en question est derrière un firewall managé.
La configuration cible est que l'IP soit bloquée en edge chez eux, de manière à n'être accessible que depuis le réseau Volterra, ce qui permet d'éviter tout type de DDOS, l'IPv4 n'étant pas du tout accessible sur Internet.
Actuellement cette règle en service car tout n'est pas sec (migration vers un nouveau portail), mais cela sera bientôt le cas.
Donc je préfère qu'on ne diffuse pas l'IPv4 en question pour le moment, mais je le ferais avec plaisir dés qu'elle ne sera plus accessible d'Internet.
-
Je pense que Anonyme parlait plutôt de l'IP du serveur lafibre.info, l'IP NetSyst, par laquelle passe le tunnel GRE.
Si j'ai tout compris, actuellement rien ne protège réellement cette IP contre une attaque "volumique". Sauf que l'IP est tenue plus ou moins secrète.
Vivien et Hugues ont déjà annoncé qu'ils étudient une solution alternative pour donner au serveur une connexion et une nouvelle IP protégée des attaques.
Leon.
-
Y'a une protection naturelle, c'est que Netsyst se fera attaquer en transit (et ses transits sont tous en 1G) et on passe par un peering.
De plus, netsyst est client chez nous, et ils sont aussi protégés par l'anti ddos de volterra :)
-
Il y a des routes statiques mises en place sur cette IPv4, donc si elle n'est plus annoncée sur Internet (à cause d'un DDOS), le tunnel GRE devrait pouvoir continuer à fonctionner.
C'est une solution qui est probablement temporaire, je regarde les solutions coté Rezopole pour avoir directement l'IPv4 MilkyWan (celle qui est derrière un firewall managé) sur le serveur, donc sans tunnel GRE, ni IPv4 NetSyst.
-
Pourquoi tu mets pas un CNAME et un roundrobin sur le DNS pour V4 (sur différents VPS chez différents hébergeurs )?
Pas que la solution MW soit mauvaise, on connait les loustics. ;)
-
De plus, netsyst est client chez nous, et ils sont aussi protégés par l'anti ddos de volterra :)
Tiens, j'avais zappé ça... si je comprends bien, dans les situations où le le peering Lyon-IX est HS entre MilkyWan et NetSyst, alors on passe par le transit MilkyWan qui est sur des tunneles GRE (sur un accès FTTH grand public).
Donc ça fait que Lafibre.info est dans une double encapsulation de tunnel GRE...
Ca va faire hurler notre ami kgersen
Leon.
-
Effectivement, il est possible de passer par une double encapsulation de tunnel GRE si le lien Rezopole de NetSyst tombait : NetSyst a un ou deux tunnels GRE, sur du FTTH Orange et une connexion K-Net par exemple, pour avoir du back-up.
-
Il y'a des routes statiques pour l'IP de vivien, donc a moins qu'il y'ait une coupure sur LyonIX ou qu'un de nous deux coupe son port, le trafic continuera de passer par LyonIX.
Le reste du trafic entre Netsyst et MilkyWan passe par les tunnels ou les route server de LyonIX
-
Pas du tout, t'as vraiment rien compris.
Le souci c'est pas que Volterra ne supporte pas IPv6 : Il n'y a pas besoin de protection IPv6 à date, les attaques ne se font qu'en v4.
Le souci c'est de protéger le lien entre le serveur de Lafibre et Internet.
Au début, il passait par Adeli pour joindre Volterra, les attaquants ont trouvé l'IP et attaqué Adeli.
calme toi j'avais compris tout ca.
si le souci est que Volterra ne supporte pas IPv6: oui on sait que les attaques n'ont pas lieu en IPv6 (cf plus avant) donc le serveur web lafibre.info n'a plus besoin d'avoir IPv4 public 'du tout' SI Volterra savait RP v4->v6. tout le probleme est la depuis le début.
La solution simple aurait été de virer IPv4 complètement de son serveur. C'est LE meilleur moyen de se protéger des attaques. ca vaut tout les tunnels, blocage aux edges, access-list, etc et autres magouilles en IPv4.
-
Tu dis que t'as compris, mais tu démontres l'inverse.
Partons du principe que lafibre n'a plus d'IPv4 et passe par de l'IPv6 d'Adeli.
Que se passe-t-il si les attaquants tapent sur des IPv4 d'Adeli au hasard, saturant son réseau ?
Eh bien, le forum est down, et sans toucher à l'IP de la fibre.
De l'intéret du tunnel qui passe par des chemins "sécurisés" en attendant de trouver mieux (une interco dédiée)
- Si Volterra se fait DDoS, ils ont des Terabits de capa, ce n'est pas un souci
- Si MilkyWan se fait DDoS, on est protégés par Volterra, ce n'est pas un souci
- Si Netsyst se fait DDoS, ils sont protégés via MilkyWan et Volterra, et il y'a peu de chances que leur réseau 10G interne sature vu qu'ils ont des transits en 1G et que le lien vers MilkyWan passe par LyonIX, donc ce n'est pas un souci.
Donc c'est la solution la plus robuste, qui évite de mettre Adeli en difficulté (le réseau n'étant pas dédié à Lafibre.info)
De plus, Lafibre a besoin d'envoyer des mails, donc il faut que le serveur ait une IPv4 de toute façon.
-
C'est une solution L2/L3 pas L7
En distribuant le CNAME sur différentes IPV4 sur différents AS tous les saturer en même temps deviens plus difficile.
Type :
www IN CNAME www1
www1 IN A IPV4-1
www1 IN A IPV4-2
www1 IN A IPV4-3
....
www1 IN A IPV4-n
Avec chaque IPV4-k en reverseproxy, sur divers AS. Je sais, c'est pas la solution retenue, mais il me semble que c'est plus robuste.
-
Mais c'est déjà la solution retenue, tu ne le vois juste pas.
l'IPv4 de Lafibre.info est une VIP Volterra annoncée en Anycast aux 4 coins de la planète, sur une dizaine (voir plus) de reverse-proxies.
-
Tu dis que t'as compris, mais tu démontres l'inverse.
Partons du principe que lafibre n'a plus d'IPv4 et passe par de l'IPv6 d'Adeli.
Que se passe-t-il si les attaquants tapent sur des IPv4 d'Adeli au hasard, saturant son réseau ?
Eh bien, le forum est down, et sans toucher à l'IP de la fibre.
De l'intéret du tunnel qui passe par des chemins "sécurisés" en attendant de trouver mieux (une interco dédiée)
- Si Volterra se fait DDoS, ils ont des Terabits de capa, ce n'est pas un souci
- Si MilkyWan se fait DDoS, on est protégés par Volterra, ce n'est pas un souci
- Si Netsyst se fait DDoS, ils sont protégés via MilkyWan et Volterra, et il y'a peu de chances que leur réseau 10G interne sature vu qu'ils ont des transits en 1G et que le lien vers MilkyWan passe par LyonIX, donc ce n'est pas un souci.
Donc c'est la solution la plus robuste, qui évite de mettre Adeli en difficulté (le réseau n'étant pas dédié à Lafibre.info)
ce qui contredit:
La solution temporaire est de couper IPv4 (Adeli à coupé l'IPv4 en amont du réseau pour éviter de se prendre le DDOS). Le forum est donc accessible en IPv6 uniquement.
-> Si Adeli est une quiche pas capable de couper rapidement (voir automatiquement) une IPv4 attaquée au point que tout son DC (voir AS) ne marche plus meme en IPv6, la solution c'est pas de mettre 3 intermédiaires, un RP/LB , un tunnel mais de virer Adeli ...
et cela :
Et tu as fait tomber MilkyWan en basculant sur Netsyst : On les transite, et malheureusement nos protections anti-ddos ne sont pas faites pour protéger nos clients transit (c'est assez compliqué a maintenir sinon), du coup, bim bam boum.
Pour info, MilkyWan a pris 300G en pic aujourd'hui, dont 35G qui sont arrivés jusqu'en bordure. Et on prend encore 120G (filtrés par Acorus) à l'heure où je parle.
Bref tu es dans une démarche d'imposer ta solution et tes tunnels donc tu trouveras toujours une "justification" a cette solution.
Le but et l’intérêt de la discussion est d'éclairer les autres, pas nous, sur les choix et solutions existants face a un telle situation.
De plus, Lafibre a besoin d'envoyer des mails, donc il faut que le serveur ait une IPv4 de toute façon.
Le serveur lafibre.info peur très bien utiliser un mailer smtp ailleurs via IPv6 uniquement.
Je crois que son domaine étant chez OVH il peut les utiliser pour cela gratuitement (https://www.ovh.com/fr/domaines/offre_hebergement_start10m.xml) (encore que 'IPv6 only' et OVH ce n'est pas certain que ca marche ...).
Sinon un simple VPS dualstack a quelques euros €/mois suffira s'il ne veut pas d'une solution managée (souvent gratuite si le volume d'emails envoyés est réduit).
De toute façon tout mettre sur le même serveur n'est pas recommandé.
-
-> Si Adeli est une quiche pas capable de couper rapidement (voir automatiquement) une IPv4 attaquée au point que tout son DC (voir AS) ne marche plus meme en IPv6, la solution c'est pas de mettre 3 intermédiaires, un RP/LB , un tunnel mais de virer Adeli ...
La solution technique pour couper automatiquement une IPv4 qui se fait DDoS arrive la semaine prochaine chez Adeli.
Adeli n'est pas un intermédiaire en IPv4 :
- IPv4 : AS35280 (Volterra) => AS57199 (MilkyWan) =Rezopole=> AS209097 (NetSyst) => Interface Gb/s du serveur Dell hébergé au Maxnod N°1
- IPv6 : AS43142 (Adeli) => Interface Gb/s du serveur Dell hébergé au Maxnod N°2
-
-> Si Adeli est une quiche pas capable de couper rapidement (voir automatiquement) une IPv4 attaquée au point que tout son DC (voir AS) ne marche plus meme en IPv6, la solution c'est pas de mettre 3 intermédiaires, un RP/LB , un tunnel mais de virer Adeli ...
Quand tu te prends 150Gbps de traffic volumétrique, nullrouté l'IPv4 attaqué ne fera rien. Le RTBH (https://www.cisco.com/c/dam/en_us/about/security/intelligence/blackhole.pdf) est loin d'être implementé partout donc tes transits saturent (ou sont coupé)
Donc IPv4 est down.
IPv6 est aussi down car pratiquement personne n'a de transit IPv6 pure.
On route de l'IPv4 et de l'IPv6 sur le même lien physique.
-
La solution technique pour couper automatiquement une IPv4 qui se fait DDoS arrive la semaine prochaine chez Adeli.
Bien au moins ca progresse. Tout ce qui permet d'éviter l'Internet spaghetti a base de tunnel est a saluer. ;D
Adeli n'est pas un intermédiaire en IPv4 :
- IPv4 : AS35280 (Volterra) => AS57199 (MilkyWan) =Rezopole=> AS209097 (NetSyst) => Interface Gb/s du serveur Dell hébergé au Maxnod N°1
- IPv6 : AS43142 (Adeli) => Interface Gb/s du serveur Dell hébergé au Maxnod N°2
n'est pas mais l'était avant non ?
Du coup tu vas garder un serveur dual-stack plutot que de passer en 'IPv6 only' ?
Ce nouvel épisode DDoS me semble l'occasion idéale de promouvoir des approches 'IPv6 first and only' en déléguant IPv4 a des plateformes RP/LB L7 (Volterra, Cloudflare, etc).
Un des gros frein a l'adoption d'IPv6 c'est de devoir faire du dual stack, de devoir tout faire en double.
Démonter qu'on peut faire un serveur web comme lafibre.info sans configurer une seul IPv4 est très porteur pour la cause IPv6.
-
Un des gros frein a l'adoption d'IPv6 c'est de devoir faire du dual stack, de devoir tout faire en double.
Effectivement, c'est très difficile de rajouter une ligne dans le fichier de conf.
-
Partons du principe que lafibre n'a plus d'IPv4 et passe par de l'IPv6 d'Adeli.
Que se passe-t-il si les attaquants tapent sur des IPv4 d'Adeli au hasard, saturant son réseau ?
Eh bien, le forum est down, et sans toucher à l'IP de la fibre.
De l'intéret du tunnel qui passe par des chemins "sécurisés" en attendant de trouver mieux (une interco dédiée)
- Si Volterra se fait DDoS, ils ont des Terabits de capa, ce n'est pas un souci
- Si MilkyWan se fait DDoS, on est protégés par Volterra, ce n'est pas un souci
- Si Netsyst se fait DDoS, ils sont protégés via MilkyWan et Volterra, et il y'a peu de chances que leur réseau 10G interne sature vu qu'ils ont des transits en 1G et que le lien vers MilkyWan passe par LyonIX, donc ce n'est pas un souci.
Donc c'est la solution la plus robuste, qui évite de mettre Adeli en difficulté (le réseau n'étant pas dédié à Lafibre.info)
C'est fourbe, tiens mon cochon vas y fait toi plaiz sur ce lot d'ip qui va envoyer ton trafic de castor dans /dev/null en sirotant un mojito ::) ;D
Un vieux maître de stage de BacPro qui montait des sites et autres plateformes de Streaming, je parle de ça début 2006 ptdr, YouTube n'existait pas encore, le mec il faisait ça partout, un frontal dédié (une sorte de mini anti-DDOS) et caché derrière, les sites des clients 8)
Moi petit scarabée, j'ai jamais oublié ses enseignements de bâtard (qui ne sont plus enseignés chez Epitech et cie) et il avait une Freebox :P
Le bon temps, entre montage de serveur et autres bécanes clients, commande et réception de matos, joujou avec matos de tournage pro et apéros avant de rentrer à la maison à 22h ;D
Le mec il avait une tour de fou avec carte mère Supermicro bi-proc avec 8 slots de ram remplies, il avait 50 onglets ouverts, Photoshop et un encodage vidéo qui tournait simultanément ;D
Elle ramait même pas sa bécane :o
Aujourd'hui ça parait pas fou mais il y 14 ans, peu de monde avais ce genre de matos pour travailler.
Ça me manque :'(
-
lafibre.info est down again en IPv4.
volterra.io est down aussi.
et sinon pas tunnel + cloudflare ca marche avec 0 maintenance ;) (obligatory taunt)
-
J'ai modifié l'IPv4 pour mettre celle de MilkiWan protégée au niveau volumétrique par Volterra.
-
fyi: Volterra racheté par F5
https://investors.f5.com/news-and-events/news/press-release-details/2021/F5-to-Acquire-Volterra-to-Create-the-First-Edge-2.0-Platform-for-Enterprises-and-Service-Providers/default.aspx