Auteur Sujet: Serveur 40 Gb/s Appliwave pour tester son débit  (Lu 17814 fois)

0 Membres et 1 Invité sur ce sujet

JulienOHAYON

  • AS29075 Officiel Ielo
  • Expert
  • *
  • Messages: 199
  • Paris (75)
    • ielo
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #36 le: 01 mai 2021 à 22:26:11 »
Ok. j'essaye de le mettre en place demain.

Là, j'ai bloqué le nouveau fauteur de trouble, encore une IPv4 Google : 35.204.171.47

Même version de Curl que la dernière fois, seul l'IPv4 a changé.

35.204.171.47 58870 80 [01/May/2021:22:04:16 +0200] "GET /10G/10G.iso HTTP/1.1" 200 10000000245 "-" "curl/7.55.1"
35.204.171.47 58877 80 [01/May/2021:22:04:35 +0200] "GET /10G/10G.iso HTTP/1.1" 200 10000000245 "-" "curl/7.55.1"
35.204.171.47 58885 80 [01/May/2021:22:05:01 +0200] "GET /10G/10G.iso HTTP/1.1" 200 10000000245 "-" "curl/7.55.1"


Tu as tenté de joindre Google ?

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 443
  • Lyon (69) / St-Bernard (01)
    • Twitter
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #37 le: 01 mai 2021 à 22:28:02 »
Sinon bannir les IP de google c'est une possibilité aussi, Je ne vois pas d'usage légitime :P

vivien

  • Administrateur
  • *
  • Messages: 47 175
    • Twitter LaFibre.info
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #38 le: 01 mai 2021 à 22:37:07 »
Non, je n'ai pas contacté Google, même si kgersen me l'a suggéré :
Tu peux déjà signaler a Google pour qu'ils recherchent le coupable. https://support.google.com/code/contact/cloud_platform_report si l'IP est dans leur blocs GCP : https://www.gstatic.com/ipranges/cloud.json (ce qui a l'air d'être le cas). C'est peut-être un compte GCP compromis.

Le ban a réglé le problème sur les serveurs de province, mais je vois que j'ai encore 8 Gb/s de trafic moyen sur le serveur de Paris les deux IP Google bloquées. Cela semble venir de iperf3 vu que ce n'est pas dans les log Apache.

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 443
  • Lyon (69) / St-Bernard (01)
    • Twitter
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #39 le: 01 mai 2021 à 22:38:49 »
iftop pour trouver l'ip

hwti

  • Abonné Orange Fibre
  • *
  • Messages: 2 237
  • Chambly (60)
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #40 le: 01 mai 2021 à 22:47:14 »
Mon cahier des charges, dans mes rêves, c'est de mettre un maximum de 30 Go de données transférée par période de 8 heures. Cela nécessite une grosse table qui est vidée toutes les 8 heures.
Au-delà de ces 30 Go, l'IP est bloquée par iptables pour une durée de 8h à partir du moment où elle a dépassée le quotas, afin d'éviter que simultanément toutes les IP bloquées soient de nouveau autorisée, ce qui pourrait provoquer une saturation si il y a un script qui boucle.
Attention aux IP partagées quand même.
Pour Free, on peut ajuster pour supporter 4 clients, mais pour SFR et son CGNAT IPv4, ça ne risque pas de poser problème ?

Ou alors il faut un seuil bien plus haut, qui n'attrapera que les utilisations probablement malveillantes comme les IP Google actuellement, et pas les utilisateurs un peu abusifs qui feraient des tests automatiques de manière trop fréquente.

buddy

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 15 128
  • Alpes Maritimes (06)
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #41 le: 02 mai 2021 à 07:36:10 »
Attention aux IP partagées quand même.
Pour Free, on peut ajuster pour supporter 4 clients, mais pour SFR et son CGNAT IPv4, ça ne risque pas de poser problème ?

La probabilité que les 4 abonnés Free fassent plusieurs tests sur le même serveur durant le même intervalle de temps doit être minime.

vivien

  • Administrateur
  • *
  • Messages: 47 175
    • Twitter LaFibre.info
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #42 le: 02 mai 2021 à 09:01:00 »
On parle d'un black-listage d'IPv4 ou d'un /64 IPv6 quelques heures.

Les abonnés qui sont en partage d'IPv4 ont presque toujours de l'IPv6, donc ils ne sont pas impactés.
- SFR et Free : Dans les deux cas, les abonnés avec partage d'IPv4 ont de l'IPv6 et ne peuvent pas désactiver IPv6 sur leur box.
- Bouygues Telecom : Le partage d'IPv4 semble au stade de l'expérimentation pour voir d'éventuels retours clients et on peut penser qu'ils on pris les zones où il y a de l'IPv6, pour limiter l'impact (ex: Google qui dit qu'il y a trop de recherche depuis la même IP et qui demande de remplir un captcha).

L'idée serait aussi pour moi de bloquer ceux qui ont mis un SpeedTest toutes les 5 minutes dans leur crontab : Il n'est pas souhaitable de le faire aussi souvent.
Vous contribuez à la saturation avec vos tests de débit réguliers...

PS: Pour hier, le trafic sur Paris était lié au fait que je n'avais pas bloqué la bonne IPv4.

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 436
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #43 le: 02 mai 2021 à 10:47:03 »
Je suis sur que je ne suis pas le premier à avoir ce type de besoin... c'est étonnant de ne rien trouver.
Ah ben les sites d'hébergement de fichiers savent très bien faire ça mais à mon avis ils gèrent ça au niveau de l'applicatif comme ils n'ont qu'un trafic HTTP(S) en général.

hwti

  • Abonné Orange Fibre
  • *
  • Messages: 2 237
  • Chambly (60)
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #44 le: 02 mai 2021 à 14:27:49 »
Les abonnés qui sont en partage d'IPv4 ont presque toujours de l'IPv6, donc ils ne sont pas impactés.
Ils peuvent avoir envie de tester leur débit IPv4, pour voir si le tunnel ou l'équipement CGNAT de l'opérateur tient la charge.
Puisqu'il y a encore beaucoup de sites sans IPv6, ça reste représentatif d'un usage réel.
Bien sûr ça ne concerne probablement qu'une minorité des tests, la probabilité de voir plusieurs abonnés le faire sur la même IP est faible chez Free, mais pour les autre ça va dépendre du nombre de clients par IP.

hwti

  • Abonné Orange Fibre
  • *
  • Messages: 2 237
  • Chambly (60)
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #45 le: 02 mai 2021 à 14:30:50 »
Ah ben les sites d'hébergement de fichiers savent très bien faire ça mais à mon avis ils gèrent ça au niveau de l'applicatif comme ils n'ont qu'un trafic HTTP(S) en général.
Initialement, certains le faisaient sur l'IPv6 complète et pas le préfixe, ce qui faisait que la limite pouvait être contournée.

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 091
  • Paris (75)
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #46 le: 02 mai 2021 à 15:34:23 »
Sur un serveur 40 Gbs il faut mieux mettre en œuvre cette restriction au niveau applicatif qu'au niveau IP (3).
Ca veut dire soit en mettant un reverse proxy qui fait cela , soit en intervenant dans le serveur web (du moins tant que tu conserve un système de mires a base d'un serveur web standard).

Quelques recherches:

- mod_cband pour Apache2 a l'air de faire cela mais on trouve peu d'info et il est assez ancien.  voir https://www.howtoforge.com/mod_cband_apache2_bandwidth_quota_throttling_p3
Pas sur que ca prenne en compte IPv6 . (on trouve des forks plus récents sur github mais je n'ai pas cherché plus. ( https://github.com/search?q=mod_cban notamment https://github.com/vobruba-martin/mod_cband ).

- Le programme squish en complément du proxy Squid a aussi  ce genre de fonctionnalités mais je ne sais si elle s'appliquent aussi en mode reverse proxy

Dans les 2 cas ce sont des 'vieux' trucs pas forcement maintenus/a jour/bug free mais mod_cband a pas l'air mal (CBandUserLimit semble correspondre a ton besoin)



Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 443
  • Lyon (69) / St-Bernard (01)
    • Twitter
Serveur 40 Gb/s Appliwave pour tester son débit
« Réponse #47 le: 02 mai 2021 à 15:38:01 »
Ouais enfin pour faire du trafic >10G, il vaut mieux éviter de passer par un vieux proxy tout pourri