Perso, pour se protéger de ça, je vote pour l'introduction de captcha ou équivalent.
Maintenir une liste d'IP à bannir, ça ne semble pas une solution pérenne.
Si on ne veut pas passer par Couldflare, est-ce qu'il existe des solutions équivalentes, clef en main, franco-françaises ?

Leon.

Pour les entraîner probablement, mais une grosse partie des requêtes effectuées par ces bots sont réalisées lors de l'inférence.
Par exemple, quelqu'un qui demanderait à ChatGPT "donne moi des instructions claires pour configurer mon routeur OPNSense pour bypasser la Livebox d'Orange" va déclencher une dizaine de requêtes au forum, à minima, si ce n'est un ou deux ordres de grandeur de plus.

Très bon point ! Tu as raison, on parle souvent de scrapers pour entraîner l'IA, mais on pense moins aux recherches des agents IA (agents côté client, ou côté inference provider).

Sur un autre sujet : on pouvait facilement voir immédiatement que ces adresses "Free Pro" étaient en fait des proxies. On voit que plusieurs requêtes avec un même PHPSESSID viennent d'IP différentes, signe qu'une même machine envoie ses requêtes à travers une infra de proxies choisis aléatoirement.

Comme je l'ai dit, c'est très a la mode le scrap agressif (et mal fait).

Je confirme, j'ai le problème sur certains sites que je maintiens et je ne sais plus trop quoi faire.
J'ai essayé Cloudflare, mais les visiteurs humains ont râlé, et les blocages IP sont trop faciles à contourner.
Quelques améliorations de performance grâce à l'IA m'ont permis de supprimer les erreurs 508 pour l'instant, mais vu l'évolution du trafic ça n'est qu'une question de temps avant que ça ne reprenne. 

https://github.com/TecharoHQ/anubis ?

Malheureusement, l'efficacité d'Anubis semble avoir été nettement réduite ces derniers temps :
https://people.kernel.org/monsieuricon/creepy-crawlies (section "Make them pay")
https://lock.cmpxchg8b.com/anubis.html

En plus, quand on navigue sur un vieil appareil, c'est franchement dérangeant. Par exemple, récupérer un document sur https://hal.science depuis un ordinateur de bibliothèque, c'est attendre bien 45 secondes à chaque connexion que le challenge soit validé.

Donc on se retrouve avec une majorité de pages essentiellement statiques, mais impossible à mettre en cache car elles contiennent toutes une infime proportion de contenu dynamique. Alors que la majorité du contenu pourrait être servi sans même avoir appeler le moindre PHP.

Sur ta conclusion c'est mon propos depuis le début également.

Sinon tu peux mettre des pages dynamiques en cache.
Certes le nombre de visiteurs ne sera plus mis à jour ou affichera une info périmée, mais en mode non-connecté, on s'en fout.