Pour les robots suivants :
- badbot
- AhrefsBot
- SemrushBot
- MJ12bot
- Scrapy
- curl
- wget
- Uptime-Kuma
- Trident
Le forum répond par une erreur 403 classique qui ne consomme rien en ressources.
C'est le module mod_rewrite d'Apache qui est utilisé.
Il faudrait peut-être ajouter d'autres robots.
J'étudie aussi la mise en cache des pages pour consommer moins de ressources.
Oui mais une erreur 403 entraine souvent une recherche de contournement par les BoT car ils tombent sur un truc bloquant, et ils veulent éliminer la possibilité d'un blocage "au faciès" donc changer d'IP, d'user-agent, etc.
Alors que sortir une page anodine, sans erreur, ça peut juste leur faire dire "OK la page est vide ou peu rempli, basta". Après je sais que certains crawler interdisent ça (Google sûr, je sais qu'à une époque quand j'avais créé le site de notre asso d'étudiants (il y a 20-22 ans, hein!), il était indiqué dans leur FAQ qu'il était interdit de servir une page différente aux Bot au risque d'être banni).