Auteur Sujet: AS62000 - Réseau PulseHeberg  (Lu 8857 fois)

0 Membres et 1 Invité sur ce sujet

oliviermis

  • Officiel dc2scale + AS49434 Harmony Hosting
  • Expert
  • *
  • Messages: 82
  • Vélizy (78) et Brest (29)
AS62000 - Réseau PulseHeberg
« le: 04 avril 2016 à 02:19:21 »
Bonjour à tous,

Je vous avoue n'avoir strictement aucune idée de la bonne place de ce sujet dans le forum, mais j'ai vu des choses qui y étaient plus ou moins liées dans les sous-catégories au dessus, alors :-)

J'avais envie de présenter l'évolution (et les pbm auquel nous avons dû faire face, ça servira peut être à d'autres) de notre petit hébergeur associatif PulseHeberg, un des premiers dans notre "catégorie" à se doter de son propre AS, c'est chose faite :-)
Et surtout, maintenant que cette problématique est (un peu) derrière nous, on peut se concentrer sur notre développement.

En décembre 2014, après plusieurs mois de réflexion, et suite aux multiples changements tarifaires et contractuels de nos partenaires, nous avons décidé de nous doter de notre propre réseau : basé sur 10Gbps avec Cogent, deux blocs d'IP /22, et un routeur Mikrotik au sein du Datacenter DC3 de Vitry sur Seine (Online).

En février 2015, nous avions été lourdement attaqué par des DDoS nous visant directement : nous sommes sur un marché très concurrentiel où la concurrence est "rude" : nous avons du trouver des solutions plus "viables" que le blackhole manuel de l'époque. Nous nous sommes donc tournés vers un partenaire de choix : Nerim. Jusqu'en juin 2015, nous avons pu très largement travailler avec eux sur plein de sujets différents, grâce à Antoine que je remercie chaleureusement.

Suite à un soucis avec notre fournisseur, conscient des faibles possibilités d'évolution offertes par ce Datacenter, nous avons pris la décision de migrer vers le datacenter GDC3 situé à Vélizy-Villacoublay, où nous remplissons à l'heure où je vous parle une grosse rangée de baie.

En juillet 2015 à septembre 2015, l'enfer : des problèmes internes accompagnées d'attaque DDoS malicieuses, sans compter des complexités et lenteurs (vacances, etc)...
Nous avons quasiment été down pendant 2 mois... pour un hébergeur la chute est lourde, nous avons réfléchi chaque jour à arrêter. Sans compter notre quasi-obligation de rester sur place pour gérer les problématiques de tous les jours.

Nous avons choisi en fin juillet le transitaire Jaguar Networks. Ils ont tenté de se battre pour nous, mais nous n'avons jamais été à même de faire fonctionner l'usine à gaz Arbor correctement : le problème des transitaires anti DDoS est que le transit coûte *très* cher, et qu'il nous a été nécessaire d'avoir seulement un port 1G. Pas suffisant. Impossible de stopper les attaques où de les rendre moins "violentes" pour notre infra, ils ont pris la décision de résilier notre contrat après avoir reçu des attaques de quasi 100Gbps (notamment) qui rendaient notre contrat "bancal" et non rentable.

Nous sommes un hébergeur associatif sans trésorerie ou presque, et nous avons donc eu de lourdes difficultés financières à la suite de ces DDoS ininterrompus (et les conséquences se font encore ressentir aujourd'hui).

Nous avons dès lors choisi une solution best cost... Nous avons dès lors mis en place plusieurs ports 10Giga (je ne peux dire combien, une nouvelle fois), sur des routeurs Cisco 6500 (qui sont à même de gérer en ASIC le traffic, pas les Mikrotik initialement utilisés) et avons upgradé l'ensemble du réseau de manière stable en 4x1Gbps sur les switches.

Notre présence 7/7 à 20 minutes du datacenter nous permet de régler tous les problèmes courants à distance, tout comme l'accès ADSL de "secours" utilisé.

Qu'est ce que je retiens de tout ça (housing, réseau en propre) ?
Il faut vraiment, mais vraiment avoir des solutions d'out of the band très complètes, PDU switchables à distance, IPMI configuré partout, et de bonnes relations avec nos transitaires. Il faut absolument ne pas annoncer l'ip d'interconnexion car c'est la seule que nous ne pouvons pas blackholer en cas de DDoS...
Il faut aussi avoir un "gros" portefeuille pour être à même de s'en sortir : sans n x 10Gbps, impossible de faire face à quoi que ce soit...
Être sous le statut d'association ne nous a pas permis d'accéder au financement : fonds propres à 100%, prêts des dirigeants, etc... Très très compliqué.

Qu'est ce qu'on prévoit pour l'avenir ?
Grâce au soutien vertueux de notre Data Center et du partenariat que nous tissons avec eux, et grâce à quelques clients plus "lucratifs" (des clients transit, baie...), nous pouvons développer encore plus notre réseau. Grâce à une opération de croissance externe, les besoins cumulés du réseau tous clients confondus atteignent les 50Gbps...

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 663
  • WOOHOO !
    • OrneTHD
AS62000 - Réseau PulseHeberg
« Réponse #1 le: 04 avril 2016 à 09:47:52 »
...nous avons du trouver des solutions plus "viables" que le blackhole manuel de l'époque. Nous nous sommes donc tournés vers un partenaire de choix...

Du blackhole manuel face à du DDOS... tu m'étonnes que tu ne t'en sortais pas :(

Personnellement, j'ai toujours traité mes DDOS en interne : un sFlow qui sort du Mikrotik et une bécane x86 qui détecte les flux suspects. Dès qu'une attaque était détectée, pouf, ça blackhole automatiquement au niveau des transitaires ET du DE-CIX, à ma connaissance, le seul gros GIX qui fait du remote blackholing : https://www.de-cix.net/products-services/de-cix-frankfurt/blackholing/ .

Ca m'a sauvé la vie quand les gros "peers" genre OVH (un peu hypocrite leur "anti"DDOS d'ailleurs, ça filtre à l'entrée, mais en sortie des kimsufi, c'est openbar visiblement) ou Leaseweb par ex m'avaient arrosé. Ca prend qq secondes pour la détection et le blackhole durait 5min. Et je vivais très bien juste avec ça (car je restais joignable grâce à des sessions BGP en plus des sessions avec les RS, pour affiner le truc), sans prendre des partenaires supplèmentaires, des coûts exorbitants en plus et de rester sur du MKT.

Jette un coup d'oeil à https://github.com/pavel-odintsov/fastnetmon à l'occaz, c'était ma pierre angulaire :)

vivien

  • Administrateur
  • *
  • Messages: 47 170
    • Twitter LaFibre.info
AS62000 - Réseau PulseHeberg
« Réponse #2 le: 04 avril 2016 à 11:28:42 »
Merci pour la présentation complète.

Ce n'est pas simple de gérer directement son propre AS et tout ce qui vas avec (DDOS).

Félicitations.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 983
AS62000 - Réseau PulseHeberg
« Réponse #3 le: 25 avril 2016 à 12:35:02 »
Merci pour ce résumé. J'avais vu vos difficultés... Le marché des mini VPS et serveurs Minecraft, ça doit attirer pas mal de hacker en culotte courte.
En décembre 2014, après plusieurs mois de réflexion, et suite aux multiples changements tarifaires et contractuels de nos partenaires, nous avons décidé de nous doter de notre propre réseau : basé sur 10Gbps avec Cogent, deux blocs d'IP /22, et un routeur Mikrotik au sein du Datacenter DC3 de Vitry sur Seine (Online).
[...]
Suite à un soucis avec notre fournisseur, conscient des faibles possibilités d'évolution offertes par ce Datacenter, nous avons pris la décision de migrer vers le datacenter GDC3 situé à Vélizy-Villacoublay, où nous remplissons à l'heure où je vous parle une grosse rangée de baie.
Là, je ne comprends pas trop ce que tu veux dire.
DC3 est un gros DC avec plein d'opérateurs! OK, avec un hébergement "dédirack", tu ne peux pas faire grand chose, car tu n'as accès qu'au réseau d'Online, donc c'est très limité, et impossible de faire son propre réseau.
Mais en sous-louant de l'espace à d'autres hébergeurs sur DC3 (ceux qui possèdent une cage complète), on a accès à des choses sympa, et beaucoup plus souples.
Bref, si tu pouvais nous expliquer ça, stp?

Leon.

cali

  • Officiel Ukrainian Resilient Data Network
  • Fédération FDN
  • *
  • Messages: 2 401
    • Ukrainian Resilient Data Network
AS62000 - Réseau PulseHeberg
« Réponse #4 le: 25 avril 2016 à 13:00:18 »
Apparement "pulseheberg" ne payait pas ses factures chez online.net.

pulseheberg.com pointe vers le réseau de cloudflare.com, ça me semble un peu bancal tout ça :p

DamienC

  • Abonné Sosh fibre
  • *
  • Messages: 2 217
  • FTTH ↓ 300Mbps ↑ 300 Mbps sur Brest (29)
AS62000 - Réseau PulseHeberg
« Réponse #5 le: 25 avril 2016 à 14:08:28 »
Bonjour Cali, je trouve que tu critiques beaucoup sans savoir, le fait que leur site pointe sur CloudFare, quel est le problème?
Et pour l'histoire des factures, c'est pas nos affaires.

Bravo Olivier, je te suis depuis pas mal de temps (depuis le début presque), et je suis impressionné que vous soyez toujours là aujourd'hui, malgré les DDOS répétés. On croise les doigts pour que tout roule pour le mieux! :)

Cdt,
DamienC

cali

  • Officiel Ukrainian Resilient Data Network
  • Fédération FDN
  • *
  • Messages: 2 401
    • Ukrainian Resilient Data Network
AS62000 - Réseau PulseHeberg
« Réponse #6 le: 25 avril 2016 à 15:13:39 »
Bonjour Cali, je trouve que tu critiques beaucoup sans savoir, le fait que leur site pointe sur CloudFare, quel est le problème?

Déjà le fait que le trafic passe par cloudflare.com et qu'en plus il y a SSL ce qui signifie qu'ils ont donné leur certificat à cloudflare.com. Ca me semble un peu de la BS quand on est censé avoir ses solutions contre les attaques.

Quant au fait que je critique "sans savoir", comment toi tu sais que je ne sais rien ?

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 983
AS62000 - Réseau PulseHeberg
« Réponse #7 le: 25 avril 2016 à 22:46:28 »
Apparement "pulseheberg" ne payait pas ses factures chez online.net.
Si "avoir un soucis" c'est ne pas payer ses factures, effectivement...

Leon.

mattmatt73

  • Expert.
  • Abonné Bbox fibre
  • *
  • Messages: 7 340
  • vancia (69)
AS62000 - Réseau PulseHeberg
« Réponse #8 le: 25 avril 2016 à 23:24:23 »
Si "avoir un soucis" c'est ne pas payer ses factures, effectivement...

Leon.

c'est ce que des brokers disaient il n'y a pas longtemps

oliviermis

  • Officiel dc2scale + AS49434 Harmony Hosting
  • Expert
  • *
  • Messages: 82
  • Vélizy (78) et Brest (29)
AS62000 - Réseau PulseHeberg
« Réponse #9 le: 25 mai 2016 à 20:22:11 »
Bonjour à tous,

J'avais "un peu" laissé tombé le sujet ici, et je suis désolé d'avoir mis autant de temps à répondre.

Du coup, je vais essayer de répondre de la manière la plus précise et claire aux questions de tous ici.

Merci pour ce résumé. J'avais vu vos difficultés... Le marché des mini VPS et serveurs Minecraft, ça doit attirer pas mal de hacker en culotte courte. Là, je ne comprends pas trop ce que tu veux dire.
DC3 est un gros DC avec plein d'opérateurs! OK, avec un hébergement "dédirack", tu ne peux pas faire grand chose, car tu n'as accès qu'au réseau d'Online, donc c'est très limité, et impossible de faire son propre réseau.
Mais en sous-louant de l'espace à d'autres hébergeurs sur DC3 (ceux qui possèdent une cage complète), on a accès à des choses sympa, et beaucoup plus souples.
Bref, si tu pouvais nous expliquer ça, stp?

Leon.

En fait, ce "petit opérateur de Data Center" nous donne accès à de nombreuses choses dont nous n'aurions pu bénéficier chez Online DC3. Je ne doute pas que louer des baies à ceux qui ont des cages entières à DC3 peut s'avérer bien vite intéressant, souple et rentable. Je ne l'ai pas expérimenté, et nous n'avons pas les fonds propres pour "nous engager" sur des contrats 36 mois de location de baies, ni même assez de visibilité sur notre activité pour prévoir des baies x kVA par exemple.

Par exemple, nous payons l'énergie de manière aggrégée sur l'ensemble de nos 8 baies (quasi "at cost"), nous bénéficions d'une franchise pour les footprints de qques mois, nous pouvons réaliser des interconnexions très simplement (en accédant à la MMR, et donc en quelques dizaines de minutes...), tout comme nous sommes là 8H par jour pour réceptionner les livraisons.

Pour les raisons que je travaille, et mon collègue Jordan pour les sociétés opérant le Data Center (que nous tentons de reproduire pour nos propres clients, cette espèce de flexibilité).

Apparement "pulseheberg" ne payait pas ses factures chez online.net.

pulseheberg.com pointe vers le réseau de cloudflare.com, ça me semble un peu bancal tout ça :p

Il apparait mal. Pour Online, ce sont clairement des histoires internes, la seule chose que je me permette de dire, c'est que nous sommes en procès contre eux pour ces raisons, et qu'il n'y a probablement pas que ça.
Personnellement, je n'ai rien contre Online et je ne cracherai pas dessus en public, comme a pourtant pu le faire son principal dirigeant sur son IRC en affirmant des propos faux (notamment la propriété des serveurs à Online).

Pour CloudFlare, c'est un choix assumé, nous permettant de ne pas avoir de protections coûteuses et nous évitant de déléguer ces importants investissements à des sociétés, qui le font par ailleurs très bien.
Il faut voir le nombre d'attaques reçues par semaine... (et par jour).

Nous la jouons très simplement : nous nous concentrons sur notre core business, pas sur ce qui nous permet de vendre. C'est un choix délibéré, tu es libre de le critiquer ou de ne pas l'apprécier, par ailleurs !

c'est ce que des brokers disaient il n'y a pas longtemps

Oui, PulseHeberg n'a pas payé *un* fournisseur de matériel, là dessus aucun doute. Est-ce que nous l'avons fait par volonté ? Certainement pas.

A un moment, il faut être pragmatique. C'est soit la survie de la boite, soit la faillite. On a choisi (avec l'équipe) de continuer.
Nous avons préféré payer des fournisseurs tels que nos transitaires, nos fournisseurs de Data Center, et nous assumons le fait de ne pas en avoir payé certains après cette période noire.

En attendant, l'association existe toujours, et donc par conséquent est dans l'obligation de rembourser ses dettes. A choisir, vous préférez ne jamais être payé, ou être payé plus tard ? A contre-coeur, je choisis la seconde option... Et si nous étions des voleurs, on aurait fermé, réouvert une autre structure appelée PulseHeberg et on aurait jamais fait "face" à ces dettes.

Bonjour Cali, je trouve que tu critiques beaucoup sans savoir, le fait que leur site pointe sur CloudFare, quel est le problème?
Et pour l'histoire des factures, c'est pas nos affaires.

Bravo Olivier, je te suis depuis pas mal de temps (depuis le début presque), et je suis impressionné que vous soyez toujours là aujourd'hui, malgré les DDOS répétés. On croise les doigts pour que tout roule pour le mieux! :)

Cdt,
DamienC

Bonjour Damien, et merci pour les encouragements !

Nous avons pas mal évolué, grandi avec PulseHeberg, développé plein de choses intéressantes et par dessus tout avons adoré ce que nous avons fait pendant ces 4 années et espérons que cela va durer encore longtemps. Avec ses hauts et ses bas... C'est aussi ça qu'est stimulant :)

Bonne soirée à tous
Olivier

hell0

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 684
  • Paris (75)
AS62000 - Réseau PulseHeberg
« Réponse #10 le: 10 juin 2016 à 06:50:15 »
Merci pour ce résumé. J'avais vu vos difficultés... Le marché des mini VPS et serveurs Minecraft, ça doit attirer pas mal de hacker en culotte courte.

Des petits problèmes à nous signaler oliviermis ?  ;D