Auteur Sujet: Requetes sur lafibre.info en fonction du user-agent  (Lu 755 fois)

0 Membres et 1 Invité sur ce sujet

Fyr

  • Abonné Free fibre
  • *
  • Messages: 1 655
  • Talissieu 01
Requetes sur lafibre.info en fonction du user-agent
« Réponse #84 le: 09 novembre 2026 à 10:30:21 »
Ca devient un boulot à temps plein de gérer un forum

fred_mgnt

  • Abonné Bbox fibre
  • *
  • Messages: 472
Requetes sur lafibre.info en fonction du user-agent
« Réponse #85 le: 09 novembre 2026 à 14:56:11 »
Pour les robots suivants :
- badbot
- AhrefsBot
- SemrushBot
- MJ12bot
- Scrapy
- curl
- wget
- Uptime-Kuma
- Trident
Le forum répond par une erreur 403 classique qui ne consomme rien en ressources.

C'est le module mod_rewrite d'Apache qui est utilisé.

Il faudrait peut-être ajouter d'autres robots.

J'étudie aussi la mise en cache des pages pour consommer moins de ressources.

Oui mais une erreur 403 entraine souvent une recherche de contournement par les BoT car ils tombent sur un truc bloquant, et ils veulent éliminer la possibilité d'un blocage "au faciès" donc changer d'IP, d'user-agent, etc.
Alors que sortir une page anodine, sans erreur, ça peut juste leur faire dire "OK la page est vide ou peu rempli, basta". Après je sais que certains crawler interdisent ça (Google sûr, je sais qu'à une époque quand j'avais créé le site de notre asso d'étudiants (il y a 20-22 ans, hein!), il était indiqué dans leur FAQ qu'il était interdit de servir une page différente aux Bot au risque d'être banni).

Paul

  • Abonné Free fibre
  • *
  • Messages: 4 970
  • FTTH 8 Gb/s sur Châlons-en-Champagne (51)
    • Mon site
Requetes sur lafibre.info en fonction du user-agent
« Réponse #86 le: 09 novembre 2026 à 22:49:27 »
Ça c'est sûr que cela va bien réduire tout le trafic : ce matin, 98% du trafic était en IP4. En temps normal, en moyenne, c'est plus 90% IPv4/ 10 % IPv6.

Trafic frauduleux compris ? Étant donnée la disponibilité d'IPv6, même en prenant en compte les visiteurs sur des connexions entreprise, 90% d'IPv4 c'est énorme.


vivien

  • Administrateur
  • *
  • Messages: 53 729
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #87 le: 09 novembre 2026 à 23:10:07 »
Le trafic que je bloque ne compte pas.

Voici les stats de la journée, c'est un peu plus élevé, mais cela reste faible.

simon

  • Abonné Orange Fibre
  • *
  • Messages: 2 075
Requetes sur lafibre.info en fonction du user-agent
« Réponse #88 le: 10 novembre 2026 à 09:43:05 »
Trafic frauduleux compris ? Étant donnée la disponibilité d'IPv6, même en prenant en compte les visiteurs sur des connexions entreprise, 90% d'IPv4 c'est énorme.
Je pense que le traffic lié au traffic humain est minime par rapport aux crawlers. Comme ces crawlers sont majoritairement IPv4, ca a du sens.

Pegasus38

  • Réseau IFT (75)
  • Abonné MilkyWan
  • *
  • Messages: 2 378
Requetes sur lafibre.info en fonction du user-agent
« Réponse #89 le: 10 novembre 2026 à 09:56:57 »
Le trafic que je bloque ne compte pas.

Voici les stats de la journée, c'est un peu plus élevé, mais cela reste faible.

Aussi peu de v6 ? Ou ce sont les bots qui faussent le résultat ?
Tu as la statistique, par hasard, des utilisateurs inscrits qui sont en v6 ?

vivien

  • Administrateur
  • *
  • Messages: 53 729
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #90 le: 10 novembre 2026 à 10:32:21 »
La plupart des personnes qui postent des messages le font en IPv6 (à noter que ton message précédent a été posté en IPv4).

Pour les accès, on voit bien que l'IPv6 est majoritaire sur les user-agent identifié comme utilisés par des humains :
J'ai également analysé le trafic du week-end, du samedi 24 octobre 0h00 au dimanche 25 octobre 23h59.

Voici les statistiques :
- j'ai mis en vert le trafic humain
- j'ai mis en rouge les bots identifiés
- ce qui n'est ni rouge, ni vert, c'est du trafic majoritairement issu de robots qui se font passer pour des navigateurs classiques


(Cliquer sur le tableau pour ouvrir le tableau au format PDF)


La première page :


Paul

  • Abonné Free fibre
  • *
  • Messages: 4 970
  • FTTH 8 Gb/s sur Châlons-en-Champagne (51)
    • Mon site
Requetes sur lafibre.info en fonction du user-agent
« Réponse #91 le: 10 novembre 2026 à 17:07:29 »
OK, ça correspond à ce que j'avais en tête, c'est parce qu'il y a le trafic des robots légitimes dans les statistiques.

Sylv_01

  • Abonné Orange Fibre
  • *
  • Messages: 494
Requetes sur lafibre.info en fonction du user-agent
« Réponse #92 le: 12 novembre 2026 à 09:15:18 »
Hello, c'est uniquement moi ou le forum est trèèèès lent à répondre ce matin ???

vivien

  • Administrateur
  • *
  • Messages: 53 729
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #93 le: 12 novembre 2026 à 10:03:24 »
Oui, il y eu un premier changement de User-agent à 5h00 ce matin (Chrome 145 sous Windows) que j'ai bloqué, puis un second changement de user-agent à 9h00 pour Chrome 155 sous Linux que je viens de bloquer.

À chaque fois, il y a un volume très important de requêtes.

Il faut que je passe à l'analyse de tous ces logs que j'ai pour faire du blocage IP avant un nouveau changement de user-agent.

Sylv_01

  • Abonné Orange Fibre
  • *
  • Messages: 494
Requetes sur lafibre.info en fonction du user-agent
« Réponse #94 le: 12 novembre 2026 à 10:11:13 »
Ok merci pour ton retour, et merci pour tes interventions toujours aussi efficaces !
Oui effectivement c'est beaucoup mieux à présent.

vivien

  • Administrateur
  • *
  • Messages: 53 729
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #95 le: 12 novembre 2026 à 23:29:56 »
Analyse du trafic des robots qui se font passer pour un humain : user-agent puis plages IP. Analyse du 26 octobre au 12 novembre 2026.

Voici le trafic par jour et par User-agent probablement utilisé par dés robots d'indexation :



Et dans ce document de 441 pages, voici les IPv4 (ou IPv6, j'ai laissé les IPv6), classées par plage IP.

(cliquez sur la miniature ci-dessous - le document est au format PDF)