salut,
désolé, j'ai pas lu toutes les pages juste les 8 premières mais je suis aussi confronté à ça sur notre infra.
Mon constat lié à ma petit expérience, sachant qu'on a choisi de mettre cloudflare devant les gros clients donc ca aide :
- la plupart des bots liés au search sont respectueux (google, bing, ...) et respecte le crawl-delay que tu peux ajouter dans un robots.txt donc bloquer bing ou google c'est pas toujours une bonne solution.
Garder en tête que plus un site répond vite et plus le bot augmente le rythme.
- les bots liés à anthropic n'ont aucun respect et moi je bloque le user agent qui se présente comme anthopic (les IP commencent par 216 en général, c'est chez aws je crois). On dépasse les 300.000 requêtes par jour de anthropic chez certains clients. et ca insiste pendant des jours même bloqué.
- filtrage par pays avec maxmind geoip pour filtrer le trafic qui n'a aucun sens sur un site franchophone.
- je filtre les user-agents chrome et firefox inférieur à 1xx (ca filtre les gamins qui scannent avec un vieux script tout pourri)
- je filtre quelques AS qui hébergent de la merde, on le sait, tout le monde le sait.
enfin, on test aussi CrowdSec et sa base d'IP malveillantes.
La dernière chose que j'ai mis en place en test c'est le honeypot. Une IP essaie de lire l'url .env ou .credentials ... t'es ajouté à la ban list.
J'ajoute que j'ai lu aussi que les vrais navigateurs chrome notamment, ont un mécanisme qui permet de les identifier parmi les faux user agent via une requête particulière.
Je l'ai pas exploité encore, mais je crois que Cloudflare Turnstile (le recaptcha cloudflare) utilise entre autre cela.