Auteur Sujet: Requetes sur lafibre.info en fonction du user-agent  (Lu 987 fois)

0 Membres et 1 Invité sur ce sujet

noks

  • Abonné Bbox fibre
  • *
  • Messages: 475
  • Limoges 87
Requetes sur lafibre.info en fonction du user-agent
« Réponse #72 le: 07 novembre 2026 à 11:35:23 »
Je vais peut être dire une connerie, mais pourquoi ne pas plutôt tenter un truc avec fail2ban : Si plus de X requêtes en moins de X secondes -> ban ?

( j'ai pas lu toutes les pages, pas tapé si ça a déjà été suggéré )

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 5 563
  • WOOHOO !
    • OrneTHD
Requetes sur lafibre.info en fonction du user-agent
« Réponse #73 le: 07 novembre 2026 à 12:25:47 »
Je vais peut être dire une connerie, mais pourquoi ne pas plutôt tenter un truc avec fail2ban : Si plus de X requêtes en moins de X secondes -> ban ?

( j'ai pas lu toutes les pages, pas tapé si ça a déjà été suggéré )

AHMA, ce n'est pas la méthode, car tu envoies directement un signal "t'es bloqué haha"
Et donc l'autre en face peut tout de suite s'adapter.

Ce qu'il faut, c'est continuer à répondre positivement, mais en tapant dans du cache pour éviter de refaire travailler le CPU à chaque fois.

noks

  • Abonné Bbox fibre
  • *
  • Messages: 475
  • Limoges 87
Requetes sur lafibre.info en fonction du user-agent
« Réponse #74 le: 07 novembre 2026 à 12:57:26 »
Y'a fort longtemps, ce que j'aimais bien faire dans ces cas la c'était du DROP au lieu de REJECT dans iptables. Le gars se prends des timeout au lieu d'un franc rejet. J'imagine qu'aujourd'hui ça ne sert strictement à rien avec des bots/agents ...

Quand au fait qu'il s'adapte, l'idée c'est de l'empêcher de faire trop de requête en masse puisque c'est ça qui ralentit le serveur. Si il s'adapte en abaissant son seuil "nombre de requêtes en X temps" ça règle en partie le problème non ?

Fyr

  • Abonné Free fibre
  • *
  • Messages: 1 655
  • Talissieu 01
Requetes sur lafibre.info en fonction du user-agent
« Réponse #75 le: 07 novembre 2026 à 14:17:24 »
je repete : coupe l'IPv4. Teste une semaine.

apres on peut aussi juste demander à Claude les derniers posts apparement il se prend pas des ralentissements lui.

Je vais peut être dire une connerie, mais pourquoi ne pas plutôt tenter un truc avec fail2ban : Si plus de X requêtes en moins de X secondes -> ban ?

( j'ai pas lu toutes les pages, pas tapé si ça a déjà été suggéré )

le truc c'est que pour filtrer il faut recevoir la requête et il va quand même niquer son SOMAXCONN. Il lui faut un truc, en amont, bcp plus costaud pour trier. Et là on est plus dans les mêmes moyens.

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #76 le: 07 novembre 2026 à 14:27:09 »
je repete : coupe l'IPv4. Teste une semaine.
Ça c'est sûr que cela va bien réduire tout le trafic : ce matin, 98% du trafic était en IP4. En temps normal, en moyenne, c'est plus 90% IPv4/ 10 % IPv6.

Non, soyons sérieux : IPv4 est encore indispensable pour beaucoup de visiteurs (entreprises, wifi public, box qui n'a pas encore IPv6...)

Par contre IPv4 a le droit à de très nombreuses règles de blocage, surtout hors d'Europe. Si vous partez en vacances hors d'Europe, si vous n'avez pas d'IPv6, utilisez le VPN intégré de Firefox qui permet d'avoir une connectivité IPv6 gratuitement.

Je vais peut être dire une connerie, mais pourquoi ne pas plutôt tenter un truc avec fail2ban : Si plus de X requêtes en moins de X secondes -> ban ?
Car le trafic (pas celui de Bing, mais celui qui se fait passer par un Mac avec différentes version d'un navigateur) est trés largement distribué : les IP font moins d'une requete par heure, mais c'est réparti sur des millions d'IPv4.

Fyr

  • Abonné Free fibre
  • *
  • Messages: 1 655
  • Talissieu 01
Requetes sur lafibre.info en fonction du user-agent
« Réponse #77 le: 07 novembre 2026 à 14:40:48 »
t'as un truc qui surveille quand on peut plus accéder au forum ? t'es à combien de disponibilité depuis les attaques IA ?

turold

  • Abonné Orange Fibre
  • *
  • Messages: 2 145
  • mp fermée (sauf admin et exceptions temporaires)
    • Site officieux de Paint.NET.
Requetes sur lafibre.info en fonction du user-agent
« Réponse #78 le: 07 novembre 2026 à 16:43:32 »
Chrome 149 devrait avoir très peu d'usagers réel : cela ne correspond pas à une version bloquée par un système d’exploitation obsolète.
C'est la dernière version pour être sûr d'avoir des extensions en Manifest V2. J'utilise Chrome portable 149 sur Windows 11 en navigateur secondaire, mais plutôt sur d'autres types de sites où j'ai besoin d'extensions uniquement pour Chrome. Après un test rapide, il n'est pas bloqué sur ce forum.
Sinon, c'est Chrome 150, mais en version à mettre à jour, et donc généralement c'est déjà au-delà sans Manifest V2 possible.

Les versions minimales pour pouvoir surfer sur ce forum :
- Chrome 120
- Firefox 93
- Safari 16.1
Tu dis toi-même qu'il y a une minorité non négligeable sur Windows 7 parmi les visiteurs de ce forum... où la dernière version officielle de Chrome est 109. Il reste Firefox (ESR) 115, mais bon.

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #79 le: 07 novembre 2026 à 17:07:06 »
Je n'ai bloqué que le user-agent indiqué, donc Chrome 149 sur macOS version 10.15.7 et supérieur.

Les visiteurs de Windows 7 sur le forum sont bien avec Firefox ESR et non Chrome qui n'a plus de support pour Windows 7 depuis un moment.

Voici les nouveaux prérequis pour le forum :



turold

  • Abonné Orange Fibre
  • *
  • Messages: 2 145
  • mp fermée (sauf admin et exceptions temporaires)
    • Site officieux de Paint.NET.
Requetes sur lafibre.info en fonction du user-agent
« Réponse #80 le: 07 novembre 2026 à 21:07:20 »
En parallèle, j'ai débloqué Bing hier soir, en espérant qu'il se limiterait à récupérer une page toutes les 2 secondes, comme indiqué par robots.txt, mais il ne respecte pas la directive.

En 8 heures, bing a fait 82 494 requêtes entraînant quelques ralentissements.

J'ai été dans les outils "Bing Webmaster Tools" pour demander de calmer la fréquence :

Microsoft/Bing/Copilot, entre autres, compte respecter une future directive de robots.txt, indépendamment de ce qu'ils respectent ou non de ce fichier actuellement... Mais ce sera juste pour simplifier le ON/OFF complet pour les autoriser/interdire, sans devoir expliciter chaque crawler (dont la plupart du marché s'en fiche).
https://next.ink/266259/google-microsoft-anthropic-et-openai-veulent-changer-robots-txt-pour-refuser-les-ia/
« Modifié: 07 novembre 2026 à 21:59:42 par turold »

LeNuageux

  • Abonné Free fibre
  • *
  • Messages: 214
  • Mulhouse (68)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #81 le: 09 novembre 2026 à 08:54:12 »
je met ça la

https://sebsauvage.net/wiki/doku.php?id=stupidantibot

Des règles Apache ou Ngnix pour bloquer les bots crawlers et IA en tout genre. c'est probablement déja en place.

Voila voila  ;D

fred_mgnt

  • Abonné Bbox fibre
  • *
  • Messages: 473
Requetes sur lafibre.info en fonction du user-agent
« Réponse #82 le: 09 novembre 2026 à 09:06:21 »
Comme je l'ai déjà demandé ici, n'est-il pas possible pour ces robots ou IP louches de servir une page statique basique (même pas forcément le forum, ou peut-être juste sa page d'accueuil, expurgé de tous les liens pour pas qu'il aille plus loin), avec éventuellement un lien vers un formulaire pour les faux positifs, si quelqu'un se retrouve coincé, ou bien ralentir les réponses, en mettant un timer entre 2 requêtes, avant de les servir?

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #83 le: 09 novembre 2026 à 09:48:34 »
Pour les robots suivants :
- badbot
- AhrefsBot
- SemrushBot
- MJ12bot
- Scrapy
- curl
- wget
- Uptime-Kuma
- Trident
Le forum répond par une erreur 403 classique qui ne consomme rien en ressources.

C'est le module mod_rewrite d'Apache qui est utilisé.

Il faudrait peut-être ajouter d'autres robots.

J'étudie aussi la mise en cache des pages pour consommer moins de ressources.