Auteur Sujet: Le forum est temporairement accessible uniquement en IPv6 (Lu 15917 fois)

Breizh 29 · « **Réponse #24 le:** 06 septembre 2020 à 18:26:00 »

Perso, je ne comprend pas complément l'ip v6.
Je vais rester sur l'ip v4.

vivien · « **Réponse #25 le:** 06 septembre 2020 à 18:56:06 »

Je suis désolé, j'ai peu communiqué vu la montagne de choses à faire ces dernières 24 heures.

Mon serveur est connecté a deux réseaux distincts, via deux interfaces Ethernet :
- em1 sur Adeli pour https://lafibre.info et http://ip.lafibre.info (IPv4 et IPv6)
- em2 sur Netsyst pour https://testdebit.info/ (IPv4 et IPv6)

Vers 16h00 le samedi 5 septembre, le site, coté Adeli a eu des moments où il était difficilement joignable.

Le DDOS est a ce moment là un trafic purement UDP IPv4 est le trafic UDP IPv4 provenant d’internet est filtré en amont de mon serveur suite à de précédents DDOS) donc je n'ai pas su que j'étais la cible du DDOS. J'ai même pensé à un problème technique, car cela fonctionnait bien à certains moments.

Je le saurais après mais Cogent à coupé intégralement son transit avec Adeli pour se protéger (et pas uniquement mon IP).

J'ai basculé un seul élément d'Adeli vers vers Netsyst le minimum et le plus important, c'est à dire uniquement l'IP du domaine lafibre.info. Cela a fonctionné quelques minutes, puis le DDOS a basculé sur Netsyst qui a coupé l'IPv4 pour se protéger (c'est rétabli maintenant, j'ai rapidement remis le nom de domaine sur Adeli)

La solution temporaire est de couper IPv4 (Adeli à coupé l'IPv4 en amont du réseau pour éviter de se prendre le DDOS). Le forum est donc devenu accessible en IPv6 uniquement après avoir réglé la problématique du DNS qui était fait en IPv4 et que j'ai basculé en IPv6.

Mon monitoring est réalisé en IPv6. Les grosses coupures sont lié par des difficulté pour joindre le serveur en IPv6 ou de résolution DNS avant que je bascule le DNS en IPv6.

En soirée j'ai commencé à voir avec Volterra pour protéger le site (merci Hugues pour la mise en relation).

On a mis en place la solution un peu avant minuit, le trafic passant par Volterra avant de rentrer par mon unique IPv4 opérationnelle, celle de Netsyst.

Le site a été de nouveau joignable, mais le DDOS qui était volumétrique à changé pour devenir de niveau 7, saturant mon serveur de connexions, ce qui a saturé le CPU :

A minuit j'ai été me couché pensant que l’attaque était bien mitigé, mais le DDOS s'est alors porté vers l'IPv4 publique utilisée, qui était visible sur les messages de Volterra (ils vont rapidement déployer un patch pour corriger ça)

Ci-dessous on voit le DDOS encaissé par Netsyst qui était de nouveau une attaque volumétrique :

L’attaque de niveau 7, juste avant :

Les passage où il manque des données, c'est que le serveur était injoignable en IPv6 ou sans résolution DNS :

Le matin, j'ai de nouveau tenté de faire fonctionner l'anti-ddos Volterra, mais l'IPv4 Adeli s'est prise un DDOS volumétrique.

J'ai alors sorti tous les nom de domaines annexes qui étaient hébergé sur le serveur http://ip.lafibre.info/ et https://testdebit.info/ sont passés sur un serveur Bouygues et je n'ai pas noté de DDOS.

J'ai ensuite, aidée de Philippe de Volterra, crée un compte Volterra payant, pour avoir plus de possibilités pour contrôler le DDOS.

Dernière étape, j'ai changé avec Lionel d'Adeli d'IPv4, mon IPv4 étant connue est présente à de nombreux endroits.

La remise du site en IPv4 s'est fait avec beaucoup de précaution, en mettant de nombreuses protections.

La première protection est un javascript challenge, qui retarde d'une seconde la connexion au forum, ce qui bloque une partie des attaques. J'ai pensé en regardant rapidement les log que l'attaque venait des USA.

En tout cas c'est ce que je pensais, mais en regardant les IP, je vois que c'est IP de Google, pour indexer le forum :

J'ai abandonné ce type de protection pour le moment.

Une autre protection, c'est la limitation à 50 éléments chargés par seconde par IP.

Je me suis aperçus bien plus trad qu'en vidant le cache du navigateur que la page n'arrive pas a charger tous les éléments, la page d’accueil ayant des dizaines de petites images à charger.

J'ai monté cette limite à 150 éléments chargés par seconde par IP.

Bref, j'ai pas mal galéré et je n'ai pas tout compris sur l’attaque, mais maintenant j'ai compris les outils à utiliser, je pourrais être réactif, si c'est insuffisant pour une prochaine attaque.

Un grand merci à tous ceux qui m'ont aidé pendant ces dernières 24 heures : Lionel d'Adeli, Channels de NetSyst, Philippe et Raphael Maunier de Volterra.

Je pense faire un tutoriel pour expliquer ce qu'il faut faire pour mettre en place la solution Volterra, si cela peut aider d'autres personnes. C'est pas simple, surtout qu'il y a deux terminaison TLS (le trafic est en https entre le navigateur et Volterra et de nouveau entre Volterra et mon serveur, mais il est déchiffré sur l'infrastructure de Volterra).

rmaunier · « **Réponse #26 le:** 06 septembre 2020 à 19:01:03 »

Et visiblement, le mec tente toujours de DDoS le site :

Hugues · « **Réponse #27 le:** 06 septembre 2020 à 19:20:59 »

Bon, content que ça se décante, mais c'est vraiment flippant toutes ces attaques, on est vraiment tous vulnérables, que ce soit les administrateurs de serveurs, ou de réseaux complets comme nous...

Merci à Volterra de te protéger en tout cas, c'est beau la solidarité des réseauteux

Je suis en train de mettre en place le loadbalancer volterra sur les sites externes de MilkyWan, en plus du transit protégé (qui marche au top) qu'on a déjà depuis quelques mois avec eux.

En tout cas, ça prouve un truc : Le mec te connait, il veut faire tomber le site (pour le plaisir de faire chier j'imagine, comme pour milkywan). Sinon le trafic n'aurait pas basculé en L7.

alain_p · « **Réponse #28 le:** 06 septembre 2020 à 19:50:57 »

Merci Vivien d'avoir pris le temps de faire tout un historique, très instructif, alors que tu as été pas mal occupé par ces attaques, et j'imagine assez fatigué.

Je remarque que moins de 20% des requêtes sont faites en IPv6, ce qui est peu, vu le public du forum.

Hugues · « **Réponse #29 le:** 06 septembre 2020 à 19:56:58 »

On va essayer d’améliorer encore ça, j’attends d’avoir Vivien au téléphone

Optix · « **Réponse #30 le:** 06 septembre 2020 à 20:03:44 »

Citation de: Hugues le 06 septembre 2020 à 19:20:59

En tout cas, ça prouve un truc : Le mec te connait, il veut faire tomber le site (pour le plaisir de faire chier j'imagine, comme pour milkywan). Sinon le trafic n'aurait pas basculé en L7.

Et que, vu les niveaux de trafic et la capacité à changer l'attaque suivant ce que Vivien met en place pour protéger, je pense aussi que le mec a les moyens pour se payer un botnet conséquent.

En tout cas, beau boulot à tous ! C'est peut être un weekend perdu, mais ce travail va servir pour les prochaines fois où là, ce sera plus tranquille.

kgersen · « **Réponse #31 le:** 06 septembre 2020 à 20:11:30 »

y'a que lafibre.info qui est explicitement ciblé, en L7 qui plus est ?

Ton ipv4 est toujours joignable en http (46......3) de partout:

Code: [Sélectionner]

 curl -k --header "Host: lafibre.info" https://46......3/

Tu devrais limité aux IP de Voltera via une règle L3/L4 (routeur en amont ou iptables sur la machine). En l'état la protection n'est que par DNS. Et changer cette IPv4 public ne résoudra pas grand chose, si l'attaquant te cible vraiment en quelques heures on peut scan tout l'IPv4 (soit-meme ou via shodan/censys et trouver la nouvelle IPv4 qui fait un 301 sur https://lafibre.info/ (le même curl mais en http).

Des sites comme https://dnslytics.com/ ou https://www.domaintools.com/ historisent les enregistrements DNS du coup un attaquant peut retrouver l'ancien A de lafibre.info...

Idéalement et vu que ce site promeus fortement IPv6, il serait peut-être temps que ton serveur soit "IPv6 only" et rien d'autre. L'accès IPv4 se faisant via un reverse proxy externe (perso je recommanderai plutôt un VPS chez OVH que Volterra ou Cloudflare ... ).

thenico · « **Réponse #32 le:** 06 septembre 2020 à 20:55:03 »

Citation de: kgersen le 06 septembre 2020 à 20:11:30

Tu devrais limité aux IP de Voltera via une règle L3/L4 (routeur en amont ou iptables sur la machine). En l'état la protection n'est que par DNS. Et changer cette IPv4 public ne résoudra pas grand chose, si l'attaquant te cible vraiment en quelques heures on peut scan tout l'IPv4 (soit-meme ou via shodan/censys et trouver la nouvelle IPv4 qui fait un 301 sur https://lafibre.info/ (le même curl mais en http).

Ou juste attendre de recevoir un email de notification.
Ou utiliser la gestion du profil pour demander au forum de télécharger un avatar sur un serveur externe.

Voltera en entrée IPv4, un VPN chez qui te veut en sortie IPv4.
Le seul souci sera la réputation des emails => SendGrid/MailJet en relais.

vivien · « **Réponse #33 le:** 06 septembre 2020 à 20:59:10 »

J'ai déja coupé les mails, l'idée est d'utiliser une autre IP pour les mails.

Je regarde si on peut couper la fonction de téléchargement sur un serveur externe.

Edit: Fonction "Télécharger l'avatar à l'URL donnée" coupée. Merci pour la bonne idée.

thenico · « **Réponse #34 le:** 06 septembre 2020 à 21:07:30 »

La fonction est toujours active:
$ grep IP_DE_LA /var/log/nginx/internalexception.access.log 192.0.2.255 - - [06/Sep/2020:22:24:48 +0200] "HEAD /IP_DE_LAFIBRE HTTP/1.0" 404 0 "-" "-"
(oui, j'ai censuré l'IPv4)

Et ton Apache répond toujours en v4:
$ curl -H 'Host: lafibre.info' -k -s https://ip_adeli/ |grep '<title>' <title>La Fibre - Accueil</title> $ curl -H 'Host: lafibre.info' -k -s https://ip_netsyst/ |grep '<title>' <title>La Fibre - Accueil</title>

vivien · « **Réponse #35 le:** 06 septembre 2020 à 21:24:48 »

Merci.

J'avance un peu : Apache n’écoute plus sur l'IPv4 / IPv6 NetSyst