Auteur Sujet: Requetes sur lafibre.info en fonction du user-agent  (Lu 1002 fois)

0 Membres et 1 Invité sur ce sujet

acut3

  • Abonné Sosh fibre
  • *
  • Messages: 266
Requetes sur lafibre.info en fonction du user-agent
« Réponse #12 le: 26 octobre 2026 à 21:55:08 »
Ce sont des requêtes qui chargent des pages, presque toujours les mêmes, sans charger la moindre image et avec comme caractéristique le user-agent qui change à chaque requête.
Là encore une fois, on a toujours le problème des PHPSESSID insérés (incorrectement en plus) dans les URL : seulement 9 requêtes sans PHPSESSID, et 428 avec, avec à chaque fois un PHPSESSID différent (il n'y a pas une seule répétition).

Je pense qu'on a toujours le même problème : on des crawlers qui considèrent des URL identiques comme étant distinctes, parce qu'elles diffèrent par le PHPSESSID. Et même si c'est un bot "intelligent" qui cherche à ignorer le PHPSESSID, il ne peut pas le faire car il est ajouté de manière incorrect : on voit que dans chaque requête, il vient après un %3B au lieu d'un ? ou un &. Il n'est donc pas parsable comme un query parameter.

A mon avis c'est vraiment le problème n°1 du site concernant les bots.

kazyor

  • Expert des Télécoms
  • Expert
  • *
  • Messages: 1 427
  • Lyon 3 (69)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #13 le: 26 octobre 2026 à 22:16:22 »
- blacklist après analyse des logs
- whitelist pour IPv6 et les utilisateurs connectés (rule set dynamique)
- greylist avec rate limit pour le reste, par défaut, ou page de maintenance lorsque la charge >80%

Non ?

hwti

  • Abonné Orange Fibre
  • *
  • Messages: 3 106
  • Chambly (60)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #14 le: 27 octobre 2026 à 00:03:46 »
Le forum a été quasiment injoignable pendant plus d'une heure, et c'est revenu.
Un bot agressif s'est déclenché, et a fini par abandonner ?

EDIT: ça recommence  :(
« Modifié: 27 octobre 2026 à 00:42:10 par hwti »

turold

  • Abonné Orange Fibre
  • *
  • Messages: 2 145
  • mp fermée (sauf admin et exceptions temporaires)
    • Site officieux de Paint.NET.
Requetes sur lafibre.info en fonction du user-agent
« Réponse #15 le: 27 octobre 2026 à 00:09:08 »
- blacklist après analyse des logs
C'est déjà le cas.

- whitelist pour IPv6 et les utilisateurs connectés (rule set dynamique)
Des bots sont repérés en IPv6 dans ce forum.
Pour les utilisateurs connectés, même si Vivien ne m'a pas répondu quand j'avais remarqué publiquement une plus grande fluidité quand on est connecté, ben c'est encore le cas maintenant.. Entre 10k et 20k "visiteurs", beaucoup de lenteurs pour la moindre page en invité. Par contre, dès que je me suis connecté à mon compte, avec sensiblement le même nombre en "invités", c'est devenu très fluide pour moi.

- greylist avec rate limit pour le reste, par défaut, ou page de maintenance lorsque la charge >80%
Il y a déjà une rate limit. Mais c'est par IP. Hors les bot et les DDoS utilisent beaucoup des centaines d'IP, voir beaucoup plus.
Et mettre une page de maintenance avant les 100%, c'est donner raison aux DDoS. On les ferait gagné à 80% de la charge, en interdisant à tout le monde l'accès... sic.

Leon

  • Abonné Bbox fibre
  • Modérateur
  • *
  • Messages: 7 227
Requetes sur lafibre.info en fonction du user-agent
« Réponse #16 le: 27 octobre 2026 à 06:30:28 »
La situation devient critique, les temps de réponse se comptent en seconde (3, 4, 5 secondes).
Ca doit faire fuir les visiteurs humains, je pense.
On aimerait sauver notre forum. Tu as besoin d'aide Vivien?

Pourquoi ne pas prendre une solution temporaire de type CloudFlare, juste pendant 1 mois par exemple, le temps d'assainir le code du forum, d'upgrader le hardware, de faire la montée en version de SMF ?

Leon.

K-L

  • Abonné MilkyWan
  • *
  • Messages: 4 802
  • HFC 100 Mbs / FTTH 1Gbs sur Oullins (69)
    • Cable Rhone
Requetes sur lafibre.info en fonction du user-agent
« Réponse #17 le: 27 octobre 2026 à 09:02:47 »
Pas de soucis ici, le site répond très rapidement à chaque fois que je le consulte.

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #18 le: 27 octobre 2026 à 09:09:08 »
Non, on a eu une très grosse charge de 22h à 9h (la charge a diminué suite à la mise en place de nouvelles règles de filtrage).

Aujourd'hui de nombreuses requêtes provenant d'IP très largement distribuées.

Les IPv4 (il y a aussi un peu d'IPv6) sont toutes hors de France.

Quelques AS concernées :
- AS63911   NetActuate, Inc   Royaume-Uni
- AS398781   OCULUS NETWORKS INC   États-Unis
- AS45102   Alibaba (US) Technology Co., Ltd.   Allemagne
- AS45102   Alibaba (US) Technology Co., Ltd.   États-Unis
- AS45102   Alibaba (US) Technology Co., Ltd.   Singapour
- AS45102   Alibaba (US) Technology Co., Ltd.   R.A.S. chinoise de Hong Kong
- AS45102   Alibaba (US) Technology Co., Ltd.   Japon
- AS45102   Alibaba (US) Technology Co., Ltd.   Malaisie
- AS42689   Glide Student & Residential Limited   Royaume-Uni
- AS11404   Wave Broadband   États-Unis
- AS37705   TOPNET   Tunisie

Là encore une fois, on a toujours le problème des PHPSESSID insérés (incorrectement en plus) dans les URL : seulement 9 requêtes sans PHPSESSID, et 428 avec, avec à chaque fois un PHPSESSID différent (il n'y a pas une seule répétition).

Je pense qu'on a toujours le même problème : on des crawlers qui considèrent des URL identiques comme étant distinctes, parce qu'elles diffèrent par le PHPSESSID. Et même si c'est un bot "intelligent" qui cherche à ignorer le PHPSESSID, il ne peut pas le faire car il est ajouté de manière incorrect : on voit que dans chaque requête, il vient après un %3B au lieu d'un ? ou un &. Il n'est donc pas parsable comme un query parameter.

A mon avis c'est vraiment le problème n°1 du site concernant les bots.
Il faut voir que le problème des PHPSESSID insérés concent à 99,9% des robots. Le trafic des utilisateurs réel n'a presque jamais de problème de PHPSESSID.

J'ai hésite à filtrer automatiquement les IP avec un PHPSESSID dans la requete, mais il y a quelques cas où un utilisateur réel à un PHPSESSID (aprés avoir posté un message de mémoire).

buddy

  • Expert
  • Abonné Bbox fibre
  • *
  • Messages: 16 516
  • Alpes Maritimes (06)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #19 le: 27 octobre 2026 à 09:10:36 »
ça dépend des fois, certains moments, c'est très long et d'autres, très rapide.
Après, je ne sais pas quel est le temps nécessaire pour la migration de SMF, mais il faut peut être le remonter en top priorité non ?
avec un peu de chance, les méthodes "anti-IA" du forum réduiront aussi fortement le temps passé à "lutter" contre le DDOS/chargement abusif de page.

Pegasus38

  • Réseau IFT (75)
  • Abonné MilkyWan
  • *
  • Messages: 2 381
Requetes sur lafibre.info en fonction du user-agent
« Réponse #20 le: 27 octobre 2026 à 10:27:15 »
C'est dur aujourd'hui un peu  ;D

Paul

  • Abonné Free fibre
  • *
  • Messages: 4 970
  • FTTH 8 Gb/s sur Châlons-en-Champagne (51)
    • Mon site
Requetes sur lafibre.info en fonction du user-agent
« Réponse #21 le: 27 octobre 2026 à 11:31:42 »
C’est terrible, il y en a pour une bonne minute pour charger une page…

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #22 le: 27 octobre 2026 à 12:15:54 »
La directive Crawl-delay définit le nombre de secondes qu'un robot doit attendre entre deux requêtes successives.
Certains dont Bingbot et Yandex respectent Crawl-delay.
GPTBot d'OpenAI ou ClaudeBot d'Anthropic respectent généralement cette directive, s'ils sont explicitement ciblés.
Googlebot l'ignore totalement (il détermine sa propre vitesse de crawl de manière dynamique en fonction de la capacité de réponse du serveur), mais il ne pose aucun problème de charge.

J'ai donc mis en place ce fichier robots.txt :
User-agent: *
Crawl-delay: 2
Disallow: /*?wap*
Disallow: /*?wap2*
Disallow: /*?imode*
Disallow: /*;wap*
Disallow: /*;wap2*
Disallow: /*;imode*
Disallow: /admin
Disallow: /help
Disallow: /search
Disallow: /presentations

User-agent: GPTBot
Crawl-delay: 2

User-agent: ClaudeBot
Crawl-delay: 2
J'ai ré-autorisé bingbot ce matin, mais il ne respecte clairement pas le Crawl-delay.

J'ai vraiment l'impression qu'il y a des plages où le bingbot fait n'importe quoi et d'autres où le Bingbot a un usage raisonable.

Voici les logs : 202610_log_bingbot_27_octobre_2026.txt

Mon hypothèse : certains ont loué des VM chez Microsoft pour faire du scraping agressif en se faisant passer pour bing.

J'ai autorisé les plages IP qui font des requêtes à une fréquences raisonables et bloqué celles qui ont un usage extrêmement agressif.

Ge

  • Abonné Sosh fibre
  • *
  • Messages: 12
  • Montrouge (92)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #23 le: 27 octobre 2026 à 15:47:47 »
Voici les logs : 202610_log_bingbot_27_octobre_2026.txt

Mon hypothèse : certains ont loué des VM chez Microsoft pour faire du scraping agressif en se faisant passer pour bing.

Il y a une procédure et un outil web public pour vérifier si une IP est utilisée par un Bingbot authentique.

J'ai fait une vérification sur celles du log. Elles sont toutes associées à un vrai Bingbot, sauf 2 (avec seulement une requête chacune dans le log) :
* 131.145.130.11
* 131.145.130.1

Ces deux requêtes ont un user agent différent : Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Celles du vrai Bingbot ont celui-ci : Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36