Auteur Sujet: Requetes sur lafibre.info en fonction du user-agent  (Lu 723 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 53 729
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« le: 26 octobre 2026 à 10:41:49 »
J'ai également analysé le trafic du week-end, du samedi 24 octobre 0h00 au dimanche 25 octobre 23h59.

Voici les statistiques :
- j'ai mis en vert le trafic humain
- j'ai mis en rouge les bots identifiés
- ce qui n'est ni rouge, ni vert, c'est du trafic majoritairement issu de robots qui se font passer pour des navigateurs classiques


(Cliquer sur le tableau pour ouvrir le tableau au format PDF)


La première page :

timpera

  • Abonné FAI autre
  • *
  • Messages: 447
  • Paris
Requetes sur lafibre.info en fonction du user-agent
« Réponse #1 le: 26 octobre 2026 à 11:28:42 »
(pour la première, 20.15.133.0/24, les requêtes sont plus faibles, j'hésite à la ré-autoriser)
Je pense effectivement que c'est une bonne idée de laisser l'accès à Bingbot, vu le nombre de moteurs de recherche qui utilisent leur index.
Ils respectent le crawl-delay dans robots.txt si nécessaire, c'est d'ailleurs sûrement plus rapide à faire qu'un blocage IP.

zbug

  • Abonné FAI autre
  • *
  • Messages: 598
  • 72000
Requetes sur lafibre.info en fonction du user-agent
« Réponse #2 le: 26 octobre 2026 à 11:34:06 »
Sauf si c'est un erreur de ton fichier, mais y'a vraiment des gens qui ont pointés leurs uptime-kuma vers lafibre?...  ::)

buddy

  • Expert
  • Abonné Bbox fibre
  • *
  • Messages: 16 515
  • Alpes Maritimes (06)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #3 le: 26 octobre 2026 à 11:50:07 »
Sauf si c'est un erreur de ton fichier, mais y'a vraiment des gens qui ont pointés leurs uptime-kuma vers lafibre?...  ::)
il y en a qui doivent vérifier le ping entre leur serveur (domicile?) et lafibre.info ...

Je pense effectivement que c'est une bonne idée de laisser l'accès à Bingbot, vu le nombre de moteurs de recherche qui utilisent leur index.
Ils respectent le crawl-delay dans robots.txt si nécessaire, c'est d'ailleurs sûrement plus rapide à faire qu'un blocage IP.
A voir si c'est que bing le moteur de recherche ou bing + bing Mode IA https://www.bing.com/copilotsearch?q=lafibre&FORM=CSSCOP

NB : je ne sais pas si ils en prennent vraiment compte, mais ajouter dans le robots.txt
User-agent: *
Crawl-delay: 1
ça fait déjà 86400 page par jour ... c'est bien.

zbug

  • Abonné FAI autre
  • *
  • Messages: 598
  • 72000
Requetes sur lafibre.info en fonction du user-agent
« Réponse #4 le: 26 octobre 2026 à 11:59:52 »
il y en a qui doivent vérifier le ping entre leur serveur (domicile?) et lafibre.info ...

C'est bien ce qui me fait peur. Les gens ne se rendent pas compte que de faire cela, speedtest, ou autre pour "tester" multiplié par X personne ajoute de la charge totalement inutile, surtout sur un site communautaire comme lafibre  ::)

vivien

  • Administrateur
  • *
  • Messages: 53 729
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #5 le: 26 octobre 2026 à 14:39:54 »
NB : je ne sais pas si ils en prennent vraiment compte, mais ajouter dans le robots.txt
User-agent: *
Crawl-delay: 1
ça fait déjà 86400 page par jour ... c'est bien.
La directive Crawl-delay définit le nombre de secondes qu'un robot doit attendre entre deux requêtes successives.
Certains dont Bingbot et Yandex respectent Crawl-delay.
GPTBot d'OpenAI ou ClaudeBot d'Anthropic respectent généralement cette directive, s'ils sont explicitement ciblés.
Googlebot l'ignore totalement (il détermine sa propre vitesse de crawl de manière dynamique en fonction de la capacité de réponse du serveur), mais il ne pose aucun problème de charge.

J'ai donc mis en place ce fichier robots.txt :
User-agent: *
Crawl-delay: 2
Disallow: /*?wap*
Disallow: /*?wap2*
Disallow: /*?imode*
Disallow: /*;wap*
Disallow: /*;wap2*
Disallow: /*;imode*
Disallow: /admin
Disallow: /help
Disallow: /search
Disallow: /presentations

User-agent: GPTBot
Crawl-delay: 2

User-agent: ClaudeBot
Crawl-delay: 2

alain_p

  • Abonné Free fibre
  • *
  • Messages: 18 996
  • Delta S 10G-EPON sur Les Ulis (91)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #6 le: 26 octobre 2026 à 15:59:02 »
Je vois que SMF 2.1 à "Multiple fixes for AI crawlers".

Effectivement, l'IA Google dit que c'est une amélioration récente, du 11 Octobre dernier, pour la version 2.18 :

Citer
La mention « Multiple fixes for AI crawlers » fait référence à l'une des nouveautés majeures de la mise à jour SMF 2.1.8, publiée par Simple Machines Forum le 11 octobre 2026.
Cette version est un patch de sécurité et de maintenance critique pour la branche 2.1.x. Elle apporte des correctifs ciblant spécifiquement le comportement des robots d'indexation liés à l'intelligence artificielle (comme GPTBot, ClaudeBot, CCBot, etc.).

🤖 Pourquoi ces correctifs pour les "AI crawlers" ?

Les robots d'IA ont tendance à explorer les sites web de manière extrêmement agressive pour collecter des données d'entraînement, ce qui peut poser plusieurs problèmes aux administrateurs de forums :
• Surcharge du serveur : Un flot continu de requêtes simultanées s'apparente parfois à une attaque DDoS masquée, ralentissant le forum pour les vrais utilisateurs.
• Gestion des sessions : Si le forum n'identifie pas correctement ces robots comme des "invités/crawlers", il peut générer des milliers de sessions inutiles en base de données, saturant la mémoire.
• Respect du fichier robots.txt : Les correctifs permettent à SMF de mieux catégoriser ces agents utilisateurs (User-Agents) afin de leur appliquer des restrictions d'accès adaptées si l'administrateur souhaite bloquer le siphonnage de son contenu.

🛠️ Autres changements notables dans SMF 2.1.8

Outre la gestion des robots d'IA, cette mise à jour intègre :
• Améliorations pour le Reverse Proxy (meilleure détection des adresses IP réelles derrière Cloudflare, Nginx, etc.).
• Gestion optimisée des fuseaux horaires.
• Nombreux correctifs de sécurité (hautement recommandés).
• Amélioration des performances de l'outil de mise à niveau (Upgrader) pour les forums volumineux.
...

« Modifié: 26 octobre 2026 à 16:35:26 par alain_p »

acut3

  • Abonné Sosh fibre
  • *
  • Messages: 266
Requetes sur lafibre.info en fonction du user-agent
« Réponse #7 le: 26 octobre 2026 à 16:06:47 »
Effectivement, l'IA Google dit que
C'est de la provoc c'est pas possible ;D

alain_p

  • Abonné Free fibre
  • *
  • Messages: 18 996
  • Delta S 10G-EPON sur Les Ulis (91)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #8 le: 26 octobre 2026 à 16:34:33 »
Elle a interrogé le forum, c'est sûr ;)

turold

  • Abonné Orange Fibre
  • *
  • Messages: 2 145
  • mp fermée (sauf admin et exceptions temporaires)
    • Site officieux de Paint.NET.
Requetes sur lafibre.info en fonction du user-agent
« Réponse #9 le: 26 octobre 2026 à 18:15:49 »
Même sans IA, c'est indiqué en français dans le forum communautaire FR de SMF:
https://www.smf-fr.com/discussion-generale/mise-a-jour-vers-la-version-2-1-8-de-smf/
Citer
Plusieurs corrections concernant les robots d'indexation basés sur l'IA.

Et dans le forum officiel de SMF:
https://www.simplemachines.org/community/index.php?topic=595147.0
Citer
Multiple fixes for AI crawlers

Mais il faut bien prendre la version 2.1.8 (ou plus récente selon la temporalité de la mise en prod ici).


Et le mode IA de Google Search, pour l'utiliser tout les jours, on peut lui demander la ou les sources.
Et quand ses sources ne disent pas ce qu'il dit, le lui faire remarquer.
On finit toujours par avoir les bonnes sources... Et rarement, l'IA lit mieux les sources que nous (bonjour les sites officiels de Microsoft qui ont l'air d'être rédigés par des avocats/juristes alors que ce sont juste des infos sur des fonctionnalités, sur Windows, ou sur un logiciel/framework de Microsoft).

alain_p

  • Abonné Free fibre
  • *
  • Messages: 18 996
  • Delta S 10G-EPON sur Les Ulis (91)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #10 le: 26 octobre 2026 à 19:05:36 »
Oui, l'IA Google fournit les sources, et donc on peut vérifier ce qu'elle dit. Mais comme tu dis, les sources sont souvent verbeuses, et l'IA Google en fait à mon avis une bonne synthèse et résumè, très bien rédigé. Je dois dire qu'elle me sert beaucoup. En espérant qu'elle ne devienne pas payante. Après, c'est pour éviter que nous allions plutôt sur ChatGPT ou consorts...

vivien

  • Administrateur
  • *
  • Messages: 53 729
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #11 le: 26 octobre 2026 à 21:27:24 »
Dans le top des user-agent, on a des user agent de vrais navigateurs Google Chrome, mais avec 0% d'IPv6.

Mozilla/5.0 (iPhone; CPU iPhone OS 18_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/150.0.0.0 Mobile/15E148 Safari/604.1
Mozilla/5.0 (iPhone; CPU iPhone OS 18_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/147.0.0.0 Mobile/15E148 Safari/604.1
Mozilla/5.0 (iPhone; CPU iPhone OS 18_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/151.0.0.0 Mobile/15E148 Safari/604.1
Mozilla/5.0 (iPhone; CPU iPhone OS 18_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/148.0.0.0 Mobile/15E148 Safari/604.1
Mozilla/5.0 (iPhone; CPU iPhone OS 18_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/149.0.0.0 Mobile/15E148 Safari/604.1
Mozilla/5.0 (Linux; Android 15; Pixel 9) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/151.0.0.0 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 15; CPH2653) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/149.0.0.0 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 15; SM-S938B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/150.0.0.0 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 14; 23127PN0CC) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/147.0.0.0 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 14; Pixel 8 Pro) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/148.0.0.0 Mobile Safari/537.36



En filtrant sur ces user-agent, j'ai fait une analyse par IP avec à chaque fois l'AS associé et je tombe de haut.

On a des IPv4 qui sont presque toutes chez les 4 grands opérateurs français et quand je regarde les log sur une IP particulière, voici le trafic : 202610_log_ipv4_bouygues_etonante.txt

Ce sont des requêtes qui chargent des pages, presque toujours les mêmes, sans charger la moindre image et avec comme caractéristique le user-agent qui change à chaque requête.

Le user-agent change à chaque requête, avec un Chrome d'un iPhone ou d'un Android.
Quel est le but ? Les pages sont souvent les mêmes, donc ce n'est pas pour récupérer des données du site.

J'ai extrait une IPv4 en exemple, mais j'ai beaucoup d'IPv4 chez les 4 opérateurs qui ont ce comportement étrange qui semble typique de la volonté de faire du DDOS.