Auteur Sujet: Le forum attaqué par des IP Free Pro le 19 octobre 2026 (Lu 10131 fois)

vivien · « **Réponse #168 le:** 07 novembre 2026 à 17:07:06 »

Je n'ai bloqué que le user-agent indiqué, donc Chrome 149 sur macOS version 10.15.7 et supérieur.

Les visiteurs de Windows 7 sur le forum sont bien avec Firefox ESR et non Chrome qui n'a plus de support pour Windows 7 depuis un moment.

Voici les nouveaux prérequis pour le forum :

turold · « **Réponse #169 le:** 07 novembre 2026 à 21:07:20 »

Citation de: vivien le 07 novembre 2026 à 08:51:04

En parallèle, j'ai débloqué Bing hier soir, en espérant qu'il se limiterait à récupérer une page toutes les 2 secondes, comme indiqué par robots.txt, mais il ne respecte pas la directive.

En 8 heures, bing a fait 82 494 requêtes entraînant quelques ralentissements.

J'ai été dans les outils "Bing Webmaster Tools" pour demander de calmer la fréquence :

Microsoft/Bing/Copilot, entre autres, compte respecter une future directive de robots.txt, indépendamment de ce qu'ils respectent ou non de ce fichier actuellement... Mais ce sera juste pour simplifier le ON/OFF complet pour les autoriser/interdire, sans devoir expliciter chaque crawler (dont la plupart du marché s'en fiche).
https://next.ink/266259/google-microsoft-anthropic-et-openai-veulent-changer-robots-txt-pour-refuser-les-ia/

LeNuageux · « **Réponse #170 le:** 09 novembre 2026 à 08:54:12 »

je met ça la

https://sebsauvage.net/wiki/doku.php?id=stupidantibot

Des règles Apache ou Ngnix pour bloquer les bots crawlers et IA en tout genre. c'est probablement déja en place.

Voila voila

fred_mgnt · « **Réponse #171 le:** 09 novembre 2026 à 09:06:21 »

Comme je l'ai déjà demandé ici, n'est-il pas possible pour ces robots ou IP louches de servir une page statique basique (même pas forcément le forum, ou peut-être juste sa page d'accueuil, expurgé de tous les liens pour pas qu'il aille plus loin), avec éventuellement un lien vers un formulaire pour les faux positifs, si quelqu'un se retrouve coincé, ou bien ralentir les réponses, en mettant un timer entre 2 requêtes, avant de les servir?

vivien · « **Réponse #172 le:** 09 novembre 2026 à 09:48:34 »

Pour les robots suivants :
- badbot
- AhrefsBot
- SemrushBot
- MJ12bot
- Scrapy
- curl
- wget
- Uptime-Kuma
- Trident
Le forum répond par une erreur 403 classique qui ne consomme rien en ressources.

C'est le module mod_rewrite d'Apache qui est utilisé.

Il faudrait peut-être ajouter d'autres robots.

J'étudie aussi la mise en cache des pages pour consommer moins de ressources.

Fyr · « **Réponse #173 le:** 09 novembre 2026 à 10:30:21 »

Ca devient un boulot à temps plein de gérer un forum

fred_mgnt · « **Réponse #174 le:** 09 novembre 2026 à 14:56:11 »

Citation de: vivien le 09 novembre 2026 à 09:48:34

Pour les robots suivants :
- badbot
- AhrefsBot
- SemrushBot
- MJ12bot
- Scrapy
- curl
- wget
- Uptime-Kuma
- Trident
Le forum répond par une erreur 403 classique qui ne consomme rien en ressources.

C'est le module mod_rewrite d'Apache qui est utilisé.

Il faudrait peut-être ajouter d'autres robots.

J'étudie aussi la mise en cache des pages pour consommer moins de ressources.

Oui mais une erreur 403 entraine souvent une recherche de contournement par les BoT car ils tombent sur un truc bloquant, et ils veulent éliminer la possibilité d'un blocage "au faciès" donc changer d'IP, d'user-agent, etc.
Alors que sortir une page anodine, sans erreur, ça peut juste leur faire dire "OK la page est vide ou peu rempli, basta". Après je sais que certains crawler interdisent ça (Google sûr, je sais qu'à une époque quand j'avais créé le site de notre asso d'étudiants (il y a 20-22 ans, hein!), il était indiqué dans leur FAQ qu'il était interdit de servir une page différente aux Bot au risque d'être banni).

Paul · « **Réponse #175 le:** 09 novembre 2026 à 22:49:27 »

Citation de: vivien le 07 novembre 2026 à 14:27:09

Ça c'est sûr que cela va bien réduire tout le trafic : ce matin, 98% du trafic était en IP4. En temps normal, en moyenne, c'est plus 90% IPv4/ 10 % IPv6.

Trafic frauduleux compris ? Étant donnée la disponibilité d'IPv6, même en prenant en compte les visiteurs sur des connexions entreprise, 90% d'IPv4 c'est énorme.

vivien · « **Réponse #176 le:** 09 novembre 2026 à 23:10:07 »

Le trafic que je bloque ne compte pas.

Voici les stats de la journée, c'est un peu plus élevé, mais cela reste faible.

simon · « **Réponse #177 le:** 10 novembre 2026 à 09:43:05 »

Citation de: Paul le 09 novembre 2026 à 22:49:27

Trafic frauduleux compris ? Étant donnée la disponibilité d'IPv6, même en prenant en compte les visiteurs sur des connexions entreprise, 90% d'IPv4 c'est énorme.

Je pense que le traffic lié au traffic humain est minime par rapport aux crawlers. Comme ces crawlers sont majoritairement IPv4, ca a du sens.

Pegasus38 · « **Réponse #178 le:** 10 novembre 2026 à 09:56:57 »

Citation de: vivien le 09 novembre 2026 à 23:10:07

Le trafic que je bloque ne compte pas.

Voici les stats de la journée, c'est un peu plus élevé, mais cela reste faible.

Aussi peu de v6 ? Ou ce sont les bots qui faussent le résultat ?
Tu as la statistique, par hasard, des utilisateurs inscrits qui sont en v6 ?

vivien · « **Réponse #179 le:** 10 novembre 2026 à 10:32:21 »

La plupart des personnes qui postent des messages le font en IPv6 (à noter que ton message précédent a été posté en IPv4).

Pour les accès, on voit bien que l'IPv6 est majoritaire sur les user-agent identifié comme utilisés par des humains :

Citation de: vivien le 26 octobre 2026 à 10:41:49

J'ai également analysé le trafic du week-end, du samedi 24 octobre 0h00 au dimanche 25 octobre 23h59.

Voici les statistiques :
- j'ai mis en vert le trafic humain
- j'ai mis en rouge les bots identifiés
- ce qui n'est ni rouge, ni vert, c'est du trafic majoritairement issu de robots qui se font passer pour des navigateurs classiques

(Cliquer sur le tableau pour ouvrir le tableau au format PDF)

La première page :